哈麻在宫中胡作非为，许多人看在眼里，恨在心上，但知道他有皇帝作后台，都敢怒而不敢言。可也有人不怕打击，仍想弹劾哈麻，为国除害。但就在这时，元廷内部争权夺利的斗争再次激烈起来。人们开始忙于内部权力争夺，而无暇顾及哈麻之事了。
原来，脱脱“更化”，取得了一定成就，声望日益高涨，也引起一些人眼红嫉妒。这些人背后风言风语，吹毛求疵，妄图中伤陷害脱脱，但苦于没有时机，一时不好下手。至正四年（1344年），脱脱因患疾病，上表请求辞去相位，最初，顺帝坚决不同意，后经脱脱多次要求，顺帝才应允。脱脱辞相以后，由阿鲁图继任为中书右丞相，别儿怯不花任中书左丞相，别儿怯不花因与脱脱之父马札儿台有过宿怨，一直想整倒脱脱。脱脱辞相，他以为时机到来，便想乘机拉拢阿鲁图一起谋害脱脱，但阿鲁图为人正直，坚决不同意，别儿怯不花就攻击去掉阿鲁图，爬上了中书右丞相的高位，别儿怯不花控制朝政以后，为了陷害脱脱，经常在顺帝面前无中生有地说脱脱的坏话。
这时，别儿怯不花虽然掌握了朝中主要大权，但他谋害脱脱，引起朝野内外的普遍反对，脱脱的声望不但没有降低，反而更高了。特别善于见风使舵的哈麻，看到军心、民心、贵族之心不偏向于别儿怯不花，而偏向于脱脱，预料到别儿怯不花将会很快垮台，脱脱将会东山再起。这个善于钻营的小人，经过一番苦思冥想、权衡利弊以后，决定仍然把赌注押在脱脱身上。于是，在别儿怯不花说脱脱坏话期间，哈麻也在顺帝面前替脱脱说上几句好话，作一些排解工作。不管哈麻的目的如何，但客观上也起到了一些好的作用，也算是哈麻做了一点儿好事。
由于别儿怯不花陷害脱脱不得人心，任相不到一年，就被赶下了台。接着，由朵儿只和太平分别任了中书右丞相和左丞相。太平为人比较正直，他和朵儿只密切合作，很快使朝政稳定下来。之后，他开始腾出手来解决祸国殃民的哈麻的问题。为了驱逐哈麻，太平把御史大夫韩嘉纳找来商量，韩嘉纳非常赞成驱逐哈麻，于是他们两人便授意监察御史斡勒海寿，让他以监察御史的身份整理材料，共同弹劾哈麻。经过研究，他们列出了哈麻的罪状，主要有以下几点；一是哈麻在御幄之后设置账房，没有君臣之分；二是哈麻以提调宁徽寺、掌握脱忽里皇后钱粮为名，频繁出入明宗妃子、顺帝庶母脱忽思皇后宫闱，越分无礼；三是私受贿赂，妄作威福等等。奏章刚刚拟出，还没等上奏，其事就被哈麻的耳目所侦悉，他们很快就告诉了哈麻。哈麻一听，如同一盆冷水浇到头上，浑身直哆嗦。过了一会儿，他才镇定下来。俗话说“恶人先告状”。他便抢先跑到顺帝面前哭诉，说自己如何忠心于皇帝，根本没有罪。只是太平、韩嘉纳曾与以前的中书右丞相别儿怯不花等十人约为兄弟，阴谋把持朝政。现在，别儿怯不花因罪被罢去中书右丞相之职，可太平、韩嘉纳他们却把别儿怯不花被罢的责任推到了我身上，因此，想方设法搜集我的材料，妄称罪过，以唆使斡勒海寿出头，将臣劾奏，以泄其愤，为臣实属冤枉。说着说着，就抹起眼泪来了。大凡世界上的小人，都会捣鬼。哈麻的一席鬼话，还真使顺帝相信了，连连向哈麻解释说，并无奏章，何必着急。哈麻还是不放心，一定要顺帝答应替他做主，方才离去。
第二天早朝，韩嘉纳果然以御史所言上奏，顺帝见应了哈麻的话，顿时怒往上涌，气不打一处来。他连奏章看都没看，就把韩嘉纳斥责了一顿，勒令他把奏章原封不动地拿了回去。
韩嘉纳奏劾哈麻受挫，并不甘心，急忙同太平商量对策，两人认为，哈麻不除，国无宁日，决定冒死进谏。翌日上朝，他们又把奏章递了上去，顺帝仍然不接。不接，再递，章凡三上，顺帝一看没有办法只好把奏章接过来。顺帝看过奏章所列哈麻罪状以后，知道哈麻已惹起众怒，如果再不采取一点措施的话，很难平息众臣之愤。但他心里又偏向哈麻，仅仅贬黜哈麻，又觉得于心不忍。经过一番思考以后，顺帝以为不如将他们双方一概黜退，既可以安慰哈麻之心，又可以缓和当时的激烈矛盾。想到这里，顺帝立即命侍臣草拟诏书，免去哈麻之官，令其出居草地；罢去太平左丞相之职，降为翰林学士承旨；罢去韩嘉纳御史大夫之职，降为宣政使；罢去斡勒海寿监察御使之职，出为陕西廉访副使。诏令发下不久，脱忽里皇后又来哭诉，她说御史劾奏哈麻之事侵犯了她，影响了她的声誉，一定要顺帝给她做主，为她恢复名誉。脱忽思皇后是顺帝庶母，她这么一哭，弄得顺帝六神无主，心情焦躁，更加愤怒，急忙再传诏旨，把韩嘉纳赶出京师，令其出任江浙行省平章政事；又下令夺去斡勒海寿之官，屏归田里，禁锢起来。一场弹劾奸佞哈麻的斗争，就这样被顺帝稀里湖涂地“平息”下去了。
哈麻被贬，本来是罪有应得。可他心里明白，这不过是顺帝想掩人耳目的一项权宜措施罢了，他坚信自己不久就会重新被任用。所以，他并没有因此而检讨他的荒唐作为，根本没有悔罪表现，相反，却依靠他取媚顺帝的成功，满怀信心地等待东山再起。
