杨宪的结局说明多相制也并不能有效防止宰相结党谋私、危害皇帝的利益。因为凡是追求权力的人，无不具有私己的目的。杨宪后来就成为元璋经常提到的在他手下第一个结党营私的奸臣。要消除权臣，根本性的措施，看来得改变丞相制度本身。
元璋认识到，不得隔越中书省奏事，正是丞相制的最大毛病。所以，他就授意臣下直接向他报告政务，不要经过中书省。但这一举动遭到那些守旧儒士的反对。1370年（洪武三年）12月，有位叫做严礼的儒士上书朝廷，对元璋的做法提出批评。元璋收到这份上书后，就召集身边的近侍儒臣进行讨论。他对他们说：“你们知识渊博，通晓历史，明白不同的具体情况有不同的办法，且为朕谈一谈元朝得天下与失天下的原因。”儒臣们滔滔不绝，口若悬河，谈了很多看法。元璋听了，直摇头。他说：“你们所说的，都不得要领。元朝统一天下，固然是由于世祖的神武。而它的灭亡，就是因为委任权臣，上下蒙蔽所造成的。严礼上书所说的不得隔越中书奏事，正是元朝最大的弊病。人君不能够躬揽政务，所以大臣就得以专权放肆。现在是创业之初，正应该让下情上达的渠道畅通无阻，而严礼反而要堵塞起来，这怎么可以呢！”
元璋的分析很有道理，确实道中了元朝政治体制的弊病所在，儒臣们听了，深表佩服。
元璋说不得隔越中书奏事正是元朝最大的弊病，无异在说明朝的丞相制度存在很大的缺陷，容易造成权臣。懂得明哲保身的人听了这句话，就应该主动引退，以避嫌疑。无奈李善长不是这样的人。1371年1月18日（洪武四年正月初二），新年刚开始，元璋就只好让他致仕（退休）回家，提升中书右丞汪广洋为右丞相，参知政事胡惟庸为中书左丞。当时元璋虽然知道了丞相制的弊病所在，但并没有立即废除丞相制，是因为制度的改革必须配套进行，牵一发而动全身，何况中书省是政治中枢，他只有在配套改革完成后才会把丞相和中书省废除掉。
元璋废丞相是从两方面逐渐着手的。一方面是削弱丞相对六部的控制能力，将丞相的各项职能分割，分别设置不同的机构来承担，这些机构的品级低，权力小，便于皇帝控制，这叫“以小制大，上下相维”。另一方面就是完善和扩充六部的职能，加强皇帝对六部的控制。这两方面的工作是同时展开，交替进行的。
早在1369年（洪武二年）7月，元璋就革除了中书省的检校、照磨、断事等属官。次年设立磨勘司，主管全国的审计工作，直接对皇帝负责。
1373年（洪武六年）3月，又将给事中一官扩编为吏、户、礼、兵、刑、工六科，每科设给事中二员，正七品，主管朝会时在臣下打给皇帝的报告（奏章）后面记录书写皇帝的处理意见，并要留写副本。元璋还规定，臣下的奏章，如果涉及军事、财政等重大的机密事情，用不着等待朝会（每天皇帝与臣下集中处理政务的御前会议），可以直接告诉给事中，让给事中引导他们奏报皇帝。给事中掌管了这两项事务，一是防止丞相篡改皇帝的旨意，二是削弱了丞相掌管军事、财政等重大政务的权力。
1377年（洪武十年）8月，朱元璋又设立了一个历史上没有过的机构——通政司（正三品衙门）。流行的说法认为它是我国历史上最早的信访机构。这个说法不错，但不全面。明初的通政司不但有接待群众来信来访的任务，而且还有更重要的职能，就是在地方的政务报告丞相以前，它先检查一遍，重要的都可以截留下来，先报告给皇帝；另外，中央各部门发往各地方的公文、行政命令，都要在通政司挂号，接受检查，看是否有违皇帝的旨意，然后才能下发。十分明显，通政司的设立直接破坏了“奏事不得隔越中书”制度，架空了丞相的权力。
在削弱、架空丞相权力的同时，是加强皇帝对政务的控制。明代的中书省刚设立时，下面不设六部，直到1368年（洪武元年）才设立。到1372年（洪武五年），六部下面又设立各个属部（1393年改称为清吏司，简称司）。1373年户部增设为五科。1375年（洪武八年），又扩大户、刑、工三部的机构。六部的官制是逐年不断完备，分工渐渐明确，权力按专业集中。然后元璋越过丞相，许多事情直接与各部尚书（部长）打交道。六部的事十分多，元璋一个人管不过来，就让皇太子帮忙干。1373年1月2日（洪武五年十二月辛巳），元璋就让18岁的皇太子朱标帮自己处理政务，他命令“百官奏事，皆启皇太子知之”以后，百官们有什么需要奏报皇帝的事情，都先报皇太子。到1377年（洪武十年）8月以后，丞相和中书都省就只剩下一个空架子，废除只是一个时间问题。
汪广洋当右丞相后，徐达的右丞相一职不用明说就被免去了。汪广洋有胡惟庸这样一个权力欲极强的人做副手，同时事情又多有皇帝的过问，便采取浮沉守位的策略，饱食终日，无所事事。到了1373年2月，元璋便给他安个“巽柔怠政”的罪名，贬为广东参政。8月，胡惟庸被提升为右丞相。胡惟庸是定远人（今安徽定远），在和州投奔元璋，是渡江前的旧人。他是李善长的心腹，官运亨通，与善长的提携分不开。他极有才干，纷乱的事，经他一处理，顿时纲举目张，条理分明，但有相才无相德。对胡惟庸这个人，元璋应该是很了解的。但元璋却让他在中书省唱了四年零两个月（从1373年8月到1377年10月）的“独相”戏，目的并不是为了造就一个有职有权的宰相，而是要达到一箭双雕，一石二鸟，甚至三鸟、四鸟。
1371年1月，李善长致仕后，刘基的地位显得更突出了，不久，他也告老还乡。回到青田（浙江青田）后，他韬光养晦，谨慎地过着退闲生活。但元璋对他不放心，还派人去监督他的行踪，又捎去一封信，让他“共论”天象的“休咎”，借以窥测刘基的心态。
胡惟庸是绝顶的聪明，对主子的心思了如指掌。他对刘基在皇帝面前不替自己说好话，早就耿耿于怀，现在正好可以投合元璋的好恶，给刘基做做题目。
青田县南170里处有个叫淡洋的地方，形势险要，又与瑞安县交界，政府的控制薄弱，是各种罪犯的藏身之地，构成地方治安的一大隐患。1371年，经刘基的儿子刘琏奏请，在这里设立了巡检司（明朝管理地方治安的机构）。1373年，这里发生山民暴动，地方官怕朝廷怪罪，隐瞒不报，刘基便派刘琏直接报告朱元璋。胡惟庸一看刘基奏事，跟他这个堂堂的大明丞相连招呼都不打，径直告到皇帝那里，恨得直咬牙。冷静一想，计上心头。他撺掇畏罪的地方官上了一个奏章，说刘基看准了这个地方有王气，一心想得到它作墓地。百姓不愿给，他就奏请设立巡检司，赶跑了百姓。这下正说中了元璋的痛处，他立即下诏降罪，夺了刘基诚意伯的俸禄。
刘基当然也是绝顶聪明的人，赶忙带着儿子到南京谢罪，表示忠诚，这一招，唤起了元璋爱做明君的虚荣心，便饶了他的罪，而刘基也不敢回青田。刘基当时64岁，已现龙钟老态，加上羁旅京师受人算计，心情不好，不久便郁抑成疾。胡惟庸幸灾乐祸，时常到刘基的邸宅探问。元璋看出了惟庸的心迹，便让他带着御医给刘基看病。吃了御医的药，刘基觉得腹中出现了个像拳头大小的硬块，心中疑惑，便告诉了元璋，元璋没在意。3个月后，元璋特地派人去探问，回说没有好转的希望，便颁了一道诏书，让刘基回家安养。刘基于1375年（洪武八年）4月抵家，5月就死了。临死前，嘱咐把尸骨焚化，不要安葬，又将保存的天文书交给长子刘琏，让他在自己死后立即交给皇上。刘基这些做法的目的在于消除元璋对自己借风水为子孙谋利益的疑虑，以保全家族。元璋见刘基死了，心中也踏实了，但见他临死仍那么忠诚，心中又不免感到有愧，后来让刘琏做官。刘琏两年间便从六品的考功监丞做到从三品的江西参政，不久又被胡惟庸迫害致死。
胡惟庸搞掉了刘基，得意忘形，对所有得罪过他的人，都想一一加以报复。他想法离间元璋与徐达的关系，又给明朝的第一位状元吴伯宗小鞋穿，但都没有成功。
对于胡惟庸那套借君主的好恶以报个人恩怨的奸臣手法，元璋是洞若观火。元璋让他当丞相，是因为他可供利用。到1377年（洪武十年）8月后，废除丞相的制度改革准备都做好了，差的就是个由头。
利用存在隔阂仇怨的人互相监督，是元璋惯用的权术。1374年6月，他又将汪广洋从广东召回来，任命为左御史大夫。果然有个叫韩宜可的不怕死的御史，上章弹劾胡惟庸与右御史大夫陈宁、御史中丞涂节擅作威福。元璋假装大怒，说他排陷大臣，抓进锦衣卫关起来。不久却又将他放了，并没有治罪。1377年10月28日，元璋提升胡惟庸做左丞相，让汪广洋做右丞相去牵制，1378年（洪武十一年）4月，元璋命礼部定奏章式样，禁天下奏事关白（报告）中书省，不知胡惟庸的自我感觉如何。1379年7月，吉安侯陆仲亨、江夏侯周德兴、宜春侯黄彬在临清练兵地被逮捕回南京。其中，陆仲亨与惟庸的关系密切。
这些迹象说明元璋在中书省问题上将有重大行动。这时，发生一件胡惟庸的儿子在大街上骑马横冲，跌落下马，被过路马车压死的事。胡惟庸不由分说把马车夫捉住，擅自杀了。元璋见他如此专横，很生气，要他偿命。到11月4日（洪武十二年九月戊午）发生了占城（今越南南部）贡使事件。占城贡使到南京进贡，把象、马赶到皇城大门口，让守门的宦官发现了，报告给元璋。元璋一听，大怒，命令将胡惟庸和汪广洋抓起来，关进监狱，说他们蒙蔽欺君。二位丞相不愿承担罪责，认为接待贡使是礼部的责任，元璋听了，更是怒不可遏，将礼部的官员也统统关了起来。
两相入狱，御史们才彻底明白皇上的意思，便纷起攻击胡惟庸擅权植党，祸乱朝廷。御史中丞涂节为了保命，揭发胡惟庸毒死刘基的事，并说当时汪广洋任左御史大夫，是知情人。元璋对这件事很敏感，若是把事情的真象暴露了，对自己不利，便横下一条心，要大开杀戒。他先是逼迫汪广洋自杀，然后采取刑讯逼供，让涂节编织了一个胡惟庸结党造反的口供，于是株连蔓引，许多人都被牵连进去。到次年（1380年，洪武十三年）2月12日（正月戊戌），将胡惟庸、涂节、御史大夫陈宁都给杀了，同时宣布废除中书省，将六部尚书的品级由三品升为二品，改组御史台与都督府。御史台改称察院，只保留监察御史，后来调整为都察院。都督府改组为前、后、中、左、右五军都督府，分别统管各地的卫所。
胡惟庸、汪广洋被杀，是朱元璋为了解决传统的皇权与相权之间的矛盾，强化皇权所采取的暴力行动。但从此以后，胡惟庸案就被元璋当作一个进行政治斗争的方便武器，凡是心怀怨望的，行动跋扈的，对皇家政治有危险的文武官员、大地主，都陆续被罗织为胡党罪犯，处死抄家。
