黄明远此时立刻便明白，杨广询问自己不仅仅是要自己对总管制度的看法，还有自己的态度。而对于现在的黄明远来说，天子的态度就是自己的态度。若是废除了总管制度，虽然会影响到自己在丰州的一些布置，但废除了这些总管才能确保以后不会出现军阀割据的现象，后来唐朝的统一也才会阻力那么小。
黄明远立刻跪在地上，长揖于地，对杨广说道：“即使圣人不询问明远对于总管制度的态度，明远也是想向天子进言的。总管制度对于现在的大隋，实际上已经弊大于利，到了不得不废除的地步。”
杨广一愣，没想到黄明远直接提到了废除。
不过杨广仍是上前扶起黄明远，又笑着说道：“明远不必如此拘束，这只是你与朕的探讨而已。”
黄明远便说道：“总管制度，实际上是东汉以来，群雄割据，列国兼并，中央政府为了保持对边疆地区的控制，不得不设置的一种制度。在战时阶段，可以有效地发挥属地的全部资源，便于对敌作战；战后又能集中力量稳定当地局势，安抚百姓，此制度对于大隋初建之时，发挥了巨大的作用。
但凡事有利必有弊，总管权势的巨大，也威胁到中央政府的权威。当初北周之时，相州总管尉迟迥联合青州总管尉迟勤、郧州总管司马消难、益州总管王谦等人举兵叛乱，整个天下震恐，其声势之大，几乎覆亡了长安。而实际上若不是幽州总管于翼、徐州总管源雄、毫州总管贺若谊、利州总管豆卢勣这四人忠于朝廷，当时胜负尤未可知。而这一次汉王叛乱，一人作乱而河北尽反，此皆为总管制度的大害。
总管统帅诸州兵马，掌兵权；兼任刺史，掌民权；征辟官僚，署理财权，可谓是一地之主也。而朝廷将一地的从叛不做约束，完全寄托于臣子的忠心之上，这难道不是一件很可怕的事情吗？”
黄明远越说越激动，仿佛与此制度不共戴天。当然黄明远也不过是表明一个自己的态度而已，所言不过是尽可能的夸大、矫饰而已，并没有直接深入到总管制度的根本问题。
倒也不是黄明远不想就这个问题展开细述，而是杨广想废除此制度，黄明远说什么都没有用。实际上历史上杨广于大业元年二月刚平定晋阳，而晋州、绛州要到同年七月份才平定，这种局面下杨广仍旧是力排众议，于大业元年三月便废除了总管制度。
果然杨广听了不住地点头，黄明远算是说到了杨广的心里。其实这件制度主要还是触碰到关陇贵族的利益，只要大多数文官不反对，而作为军中领袖的黄明远也带头支持，杨广便有决心废除总管制度。
在黄明远看来，废便废了，但要有补救措施，使得总管制度被废除之后，地方上不至于生乱。若是杨广如历史上那般废完之后便完了，岂不是胡乱作为。
此时的杨广眉开眼笑，笑着说道：“明远之见，老诚谋国，与朕不谋而合。真该让那些老臣们看看，什么是为国为民？什么是担当大事？如此真知灼见，他们羞不羞煞。”