太元元年（公元376年），孝武帝司马曜亲政后，任命谢安为中书令，录尚书事；第二年又加授他为侍中，都督扬、豫、徐、兖，青五州诸军事。谢安掌起了东晋的军政大权。虽然外姓篡权的危机已经过去，但东晋政权仍旧面临着严重的内忧外患。内部皇族与世家大族之间的矛盾、世家大族互相之间的矛盾从来就没有消失过；外部却又受到了日益强大，业已统一了北方的前秦的威胁。真可谓是一波未平，一波又起。
在这种形势下，谢安积极奉行王导缓和士族矛盾，稳定政局的政策，同时奉行“镇以和靖，御以长算，不存小察，弘以大纲”的方针，团结异己，共同维护晋室。为此，他很注意搞好同桓氏家族之间的关系。桓温死后，谢安不仅没有打击排抑桓氏家族，还让桓温的弟弟桓冲接替了他哥哥的权位；让另一个弟弟桓豁做荆州刺史，主持长江中游的军事。桓豁死后，他又让桓冲从长江下游移镇荆州。公元379年，襄阳被前秦苻坚攻陷后，桓冲因战守无方，引咎辞职。谢安也未惩办他，仍让他继续领兵扼守中游。他不计前嫌，宽宏大量的胸怀深深感化了桓氏兄弟。当桓温的党羽曾一度鼓动桓冲伺机诛杀谢安，专断朝政的时候，桓冲不但没有采纳，反而自以为德望不及谢安，而忠心听命于安石的调遣，效命于朝廷。谢安对桓氏的宽怀大度，对团结其他士族，共同维护晋室，起了积极的作用。
除了均衡士族势力，化解集团矛盾之外，谢安作为宰相，还特别注意选拔英才，进行制度改革。在他选拔的优秀人才之中，有文才、有武将，最有代表性的莫过于谢玄，桓伊、徐邈、范宁四人。他用人唯才，不避亲故。最初当朝廷下诏寻觅能镇守北方、抵御前秦的文武良将的时候，谢安认为他的侄子谢玄就有“经国才略”，足以担当重任，于是推举了他。中书郎郗超为人奸诈，平日与谢氏关系不好，但当他听说谢安保举了谢玄，也不由地感叹：“谢安能违众举亲，真是明达；谢玄有真才实干，肯定不会辜负他的推举。”
后来谢玄果真在战场上频频告捷，并成为淝水之战的重要功臣。他的成功是与叔父谢安平日以家教方式培养人才又委以重任分不开的。
自古以来，战争带给百姓的似乎只有苦难，但东晋在备战前秦之际，却在宰相谢安的主持下采取了一系列减轻百姓负担的措施，同时进行了制度上的改革。在他执政后，每遇水旱灾害，朝廷必会减免租税，或除一年租布，或除半年租布；或赐穷苦百姓五斛米，或除去逋租宿债。太元四年（公元379年）还下令御供从俭、百官俸禄减半，停止一切非军国要事的差役和费用。其中在太元元年（公元376年）和六年（381年）进行了最重要的两次改革。第一次解除“度田收租制”：王公以下，每口人交米税三斛，解除劳役；第二次改制度，减烦费，削减吏士700人。这两次改革受到时人的欢迎和后人的好评。王夫之就认为此是“均贫富之善术，利在长久而民自得”。通过改革，不仅减轻了人民的负担，而且集中了国家的物力财力，有利于做好御敌准备。
为了抵御前秦的进攻，谢安还进行了积极的军事准备。他派谢玄镇守广陵（今江苏扬州），在南迁士族和民众之中选拔精壮组成了勇猛善战的“北府兵”，并以刘牢之等为将领。他们进可攻，退可守，以逸待劳，在长江北岸紧紧守卫着京师大门。另外建立侨郡、侨州，平时务农以充军粮，闲时习武，组成了军事后备力量。这些人一部分守卫庄寨，一部分拱卫京城，在长江以南随时做好御敌准备。此外，桓冲在长江中游驻守，防止前秦从中线南下。这就形成了京师、广陵、夏口的犄角之势，谢安自己坐镇京师，遥控全局。正因为他事先已做了精心的部署，所以在后来战火燃起，情势危急的时候才能临危不惧、处变不惊。也正是这样，他把自己个性魅力中的名士风度与儒将气质完美地结合在了一起。
由于谢安的正确决策和精心治理，东晋出现了空前稳定的局面，甚至连前秦的有识之士也不得不承认，东晋虽然衰微，但不曾“丧德”，君臣和睦，上下同心，谢安、桓冲是江南的伟才、东晋的能人。
