州刺史，不久任命他为都官尚书，几年后，转任晋州刺史。将去做官，跪拜杨坚说：“我实在平庸，又见识浅陋，对国家无益。因此常想冒着危难来报答国家的大恩，南方陈国还在，按我的揣度，有三个条件，可以灭他。”杨坚问他缘故，皇甫绩回答说：“大国吞并小国，这是一个理由；正义的国家讨伐不正义的国家，这是第二个理由；接纳叛臣萧岩，对我们来说，就有了攻打它的理由，这是第三个理由。陛下若命勇武的将士，我请求加入军队，出点头发丝那么大的小力。”杨坚嘉奖他的壮志，慰劳他，然后派遣他去，平定陈国后，任命他为苏州刺史。
高智慧等人在江南造反，苏州州民顾子元发兵响应，高智慧借助他来攻打皇甫绩。双方相持了八十天，顾子元一向感激皇甫绩的恩典，在冬至日，派人送上牛肉和酒。皇甫绩在给顾子元的信里说：“以前陈朝独自抵抗我朝，江东百姓饱受困苦。好在上天辅助仁德之人，假借我朝之手，进行了一次轻微的讨伐，陈国当时就土崩瓦解。金陵的百姓，死而复生；吴郡、会稽的臣民，白骨上又生出了肉。你们只应感恩戴德，欢歌庆祝，怎能够自比那些对主人狂叫，并噬咬主人的疯狗？你既然不是我的臣民，何必尽上酒之礼？我是大隋朝的将领，怎容与你外交？即便是遇到易子而食、析骸而爨的惨况，也不应相往来，何况你有足够的粮草兵马，又有高城深沟，你只需坐着等待援兵，对付我就绰绰有余了，何必劳你学着轻薄陈旧的风俗，说些虚伪的话，想阻拦我这个忠臣的心，白白地想迷惑我骁勇将士的大志？想用这些来见到你期待的目的，那是不可能的。你要好好地想想你的活路，并告知百姓，如能早日改变迷惑的心思，那你们在错误的道路上还不算走得太远。”
顾子元得到书信，就在城下叩头认罪，杨素的援兵也到了，合兵打败了叛军，朝廷授皇甫绩为信州总管、都督十二州诸军事。不久，皇甫绩因病请求退休，有诏调他回京，并给赐他御药，宫中的使者去拜见慰问他，络绎不绝，后面派的使者能望得见先前派出来的使者，在家中去世，时年五十二岁，谥号为“安”。
最新网址：xiashukan.com