皇甫诞乃安定乌氏人，祖、父俱为关陇世家出身。少刚毅，有器局。杨谅担任并州总管之后，杨坚以皇甫诞公方著称，拜皇甫诞为并州总管府司马，总府政事，一以谘之，杨谅也很敬重他。
见是皇甫诞反对，杨谅不好发怒，只得耐着性子问道：“皇甫公，难道孤就要看着自己的父亲不明不白的死去吗？”
皇甫诞流着泪说道：“我预料大王的兵力不是京师军队的对手；加上君臣的地位已经确定，双方势力悬殊，大王的军队虽然精锐但难以取胜。希望大王奉诏入朝，守臣子之节，必有松、乔之寿，累代之荣。如果大王迁延止步，那么一旦身处叛逆的地位，被追究刑法，就是想作一个平民也不可能了。”
杨谅听后大怒，一脚将身前的桌案踢走，指着皇甫诞大声斥骂道：“孤有胜兵百万，五十二州臣民，难道还不能击败杨广？”
皇甫诞大声说道：“以五十二州之兵马，可抵天下之胜兵吗？大王三思啊，只有奉诏入朝，才是完全之计。”
此时杨谅再也无法忍耐，令人将皇甫诞押下去囚禁起来。
皇甫诞被关押，此事再无人敢反对。
杨谅乃起身说道：“孤欲起兵诛杀杨素，拨乱反正，诸位疏愿与孤同往。”
有了皇甫诞这个榜样，更没有人敢反对。众人纷纷跪地请缨，杨谅乃见士心可用，心中大喜。
······
众人议定起兵，乃风风火火的布置下去。
此时杨谅早就已经集结了大量的兵力，又居高临下，可以直接威慑到关中的安全。杨谅询问众人如何进兵，这时众人就起兵名头又发生争论。
裴文安、王頍都认为可以“利用的是先皇死因不明，天下议论纷纷为由，打出‘新皇弑父，汉王替父报仇’的旗号”。若是杨谅同意，此举便可颠覆了新皇的合法性，也给自己赢得了名分，使得师出有名。
这时并州司马张祥劝杨谅道：“一旦言先皇死因不明，必使先皇声名受损。且矛头直指杨广，必令杨广心中震惊，发动殊死抵抗，其结果于我不利。不若以‘杨素谋反，要诛杀他，以清君侧’为名头起兵，也可麻痹杨广，使得他和杨素发生龌龊，一如汉景帝杀晁错一般。我军起兵，是为诛杀杨素，避免了大王麾下因为讨伐天子而产生畏惧之心。哪怕我军进兵不利，也未和杨广撕破脸皮，到时割地自守，也能图霸大河以北。”
杨谅也觉得张祥的说法更加稳妥。裴文安等人的说法虽然名头更响亮，但却是和杨广不死不休的局面。再说张祥说得有一点很对，真若是起兵不利，他也能和杨广求和，不至于因为双方不死不休而弄得无法挽回局面。
因此裴文安和王頍虽然与杨谅关系更亲密，但杨谅还是接受了张祥的说法。
此时王頍清楚杨谅优柔寡断，并无置之死地而后生的勇气，也只得同意了杨谅的意见。
但杨谅不知道张祥并不是真的为杨谅图谋，而是故意使杨谅造反的名头不实。杨谅说杨素造反，只要新皇出来辟谣，他就无计可施了。到时候为难的就是杨谅。
而且张祥在此之后，秘密逃出晋阳，前往井陉一带抗击汉王逆军，成功阻止了汉王祸乱太行山以东的地区。