在汤姆·彭德格斯特的支持下，1922年，杜鲁门当选为密苏里州杰克逊县法院的法官。1926年他又当选为该郡的首席法官。在任期间，他十分勤奋，其中几项大型的公共建设项目更为他赢得了不少赞誉。
1934年，杜鲁门要求彭德格斯特支持他竞选薪俸优厚的税收主任职务，可彭德格斯特已经把这个肥缺给了别人。当时，他正物色参议员竞选人，便让杜鲁门去试试。在民主党内部的提名选举中，杜鲁门遭遇对手塔克·米利根。塔克的兄长莫里斯·米利根在日后搞垮了彭德格斯特的政治集团，在1940年的参议院选举中成为杜鲁门的竞争对手。参议院选举期间，在彭德格斯特势力的支持下，杜鲁门成功当选。当时有人揭发他们在选举中弄虚作假，用欺骗手段把杜鲁门“选”入参议院，说杜鲁门是“从彭德格斯特袖子里掏出来的参议员”。
确实，没有彭德格斯特，杜鲁门不可能进入政界，更不会在政界青云直上，直到坐上总统宝座。不过，对于和这个声名狼藉的集团的关系，杜鲁门却从不避讳。他直言在密苏里州任何想要从政的人，如果无法获得他们的支持，根本不可能从政。1936年，彭德格斯特因向大公司勒索巨款、逃税等罪名锒铛入狱，最后死在狱中。而杜鲁门为了报答他的提携之恩，在彭德格斯特死后，还照顾过他的遗孤。
失去了后台的杜鲁门在1940年的选举中，不得不独自面对激烈的竞争。他的竞选对手是颇有名气的民主党州长劳埃德·斯塔克，还有莫里斯·米利根。
当时富兰克林·罗斯福支持杜鲁门的对手，劝他退出竞选，但倔强的杜鲁门拒绝退出，决定孤注一掷。
杜鲁门不辞辛苦地四处拉选票，以质朴和诚挚的语言发表简短的演说。在此过程中，他发现各陆军基地和军火工厂浪费现象十分惊人，工作效率也低得可怜。对此，他发表了一篇慷慨激昂的演说。参议院为此让他在参议院“调查国防计划委员会”任职，负责调查军方有关行政混乱、浪费和诈骗资源等丑闻。杜鲁门用几个月的时间进行调查研究，写了一份报告，揭露了陆军军营支出方面骇人听闻的贪污浪费案件，还有很多军火商偷工减料、贪污舞弊、大发横财的重大案件。
这篇报告为杜鲁门赢得了不少名声和赞誉。其中，他建议军方实施的“常识节流措施”，更使他受到了广泛的支持和敬重。这个委员会成立最初被认为有可能会损害军队士气，但事实证明委员会获得了成功，因为它为军方总共节省了至少110亿美元。杜鲁门因此出现在了《时代周刊》的封面上。
有了群众基础之后的杜鲁门在参议院选举中的底气更足了，加上他又得到了民主党在圣路易斯的领袖罗伯特·汉尼根的支持，结果成功连任参议员。
1944年，杜鲁门又遇到了从政以来另一个改变他一生的机遇。
总统罗斯福对副总统亨利·华莱士过分崇尚自由主义十分不满，希望能撤换他。当时南卡罗来纳州的詹姆斯·伯恩兹是副总统的热门人选，但由于他的种族隔离主义者的身份而被认为过于保守。曾在1940年支持过杜鲁门参选参议院的汉尼根当时正出任民主党全国委员长，所以在芝加哥举办的1944年民主党全国会议上，汉尼根推荐了杜鲁门。于是，人们在1944年的美国总统选举中看见了“罗斯福—杜鲁门”组合，结果这个组合在选举中取得了压倒性胜利。
当上副总统的杜鲁门已经61岁了，那时的他从没有想过要当总统。在那期间，他只见到过总统两次，对政府的施政纲领与计划所知甚少，在二战打得热火朝天的时候，他甚至从来没有进过白宫作战室。在罗斯福的手下，他不过是一件并不引人注目的政治装饰品。所以，1945年4月12日，当他接到白宫新闻秘书史蒂夫·厄尔利打来的电话，请他速到白宫的时候，他还以为总统已经从温泉休养地回来，有什么事要和他谈。
总统找他已经让杜鲁门受宠若惊，到了白宫，一个更大的惊讶在等着他——总统已经逝世了。按照美国宪法，他这个当了82天的副总统要接任总统职位。这对杜鲁门来说，实在太震撼了。
1945年4月12日晚7点，杜鲁门在白宫的内阁会议厅宣誓就任总统。随后，他主持了一个简短的内阁会议，当他第一次在会议桌的首席坐下来还没来得及开口的时候，新闻秘书史蒂夫·厄尔利就进来询问有关联合国成立的旧金山会议是否按原计划在4月25日召开。杜鲁门镇定、灵活的处事方式在此时显现出来，他果断地告诉厄尔利这个会议对赢得和平是十分重要的，必须要按照原定计划进行。这是杜鲁门出任总统后做出的第一个决定。
在此次会议上，杜鲁门向内阁成员们保证他将继续贯彻罗斯福总统的对内对外政策，但同时也表示他是他，罗斯福是罗斯福，两任总统必然不会选择一个总统的政策，至少不会完全相同。这是杜鲁门首次在内阁会议上表现出自己的铁腕魄力，他的“铁腕”在他就任总统后几个月便显露无遗。
四点燃地狱之火
杜鲁门就任美国总统第二天，陆军部长亨利·史汀生几乎是毫不经意地提到美国多年来一直在研究一种拥有非凡力量的武器。当时史汀生还没有使用“原子弹”一词，他担心会给这位新总统带来太多的压力。
就在成为总统前的几个月，作为国防计划调查委员会主席的杜鲁门，曾派出一些人到全国军火工厂进行检查。他命令所有调查人员都到田纳西州和华盛顿州，决意查出某些巨大建筑内到底在干什么，它们的目的何在。但杜鲁门的检查人员刚刚派出几个小时，陆军部长史汀生就告诉杜鲁门，那些东西都是国家机密，让杜鲁门不要去查。杜鲁门爽快地答应了史汀生。
当时杜鲁门还不清楚这个机密到底是什么，但他并没有多大的好奇心，对此也没有再仔细探究。现在史汀生向他提及了，杜鲁门也没觉得事情有多重大，因为他面前还有很多更加重要的事情等待他去处理。直到4月25日，来自51个国家的代表齐聚旧金山参加联合国第一次会议的时候，史汀生和格罗夫斯将军才将曼哈顿项目向杜鲁门做了详细介绍。他们告诉他，在不到4个月的时间里美国将测试钚弹。史汀生表示如果爆炸试验成功，美国就会拥有人类历史上最可怕的武器。他还补充道，那是一颗炸弹就能毁灭一个城市的可怕武器。
直到此时杜鲁门才明白，那些国家机密的重要性和它背后所代表的意义。
最让杜鲁门感到不可思议的是，这桩“大事”居然瞒过了所有国会议员而从未被发现。
原子弹，是现代科技的产物，人类文明的结晶。在二战已接近尾声，美苏争霸世界的端倪已显露出来的时候，它的问世将对未来美国乃至是全世界产生多大的影响，杜鲁门简直想都不敢想。
听了格罗夫斯和史汀生的报告后，杜鲁门立即召集战争委员会所有委员开会，要求他们详细向他汇报被释放的原子衍生物以及它们的用途。一个星期之后，杜鲁门同意史汀生成立临时委员会，专门探讨有关原子弹的问题。
几次预备会议之后，5月31日，临时委员会在五角大楼办公室召开了第一次全体会议。会议上，阿瑟·康普顿首次提出了向日本投放原子弹的问题。
1945年5月7日，德国向同盟国无条件投降，欧洲战事随即宣告结束。在亚洲战场，日本还在负隅顽抗。最后临时委员会讨论的结果就是建议杜鲁门总统使用原子弹并不要警告日本政府，以产生最大限度的心理震撼。而投放原子弹的位置应该选在一个军事装备区或是军工厂。到5月28日，原子弹投放地点选在了小仓、广岛、长崎、新泻和京都5个城市。史汀生看过报告之后，将京都从目标中删除了。
在没有警告的情况下，向日本投放原子弹引起了研究原子弹科学家的强烈反对。就在科学家和临时委员会在这一问题上争吵得不可开交的时候，位于太平洋的美军已经开始了对冲绳岛的最后攻击，战争达到了高潮。在这场持续了3个月的战争中，日军苦苦扞卫着自己的每一寸阵地。当他们无法守住阵地时，数以千计的日军将士便以自杀性的方式冲向美军，企图和敌人同归于尽。在6月22日冲绳岛战役结束之前，有1.2万美军死于战斗中。
巨大的人员伤亡，让杜鲁门倍感压力，他希望尽快打败日本，结束战斗。
杜鲁门召集陆军部长和联席会议主席召开会议共同商讨打败日本的策略，核心战略就是继续进行大规模的常规轰炸，或者登陆日本诸岛。此时，投掷原子弹和外交斡旋都尚未纳入考虑的范围内。但是史汀生坚持日本只有无条件投降，美国才会考虑保留天皇，否则，美国将考虑使用原子弹。陆军副部长麦克洛伊认为应该给日本一次机会，让他们明白美国的想法，如果他们选择负隅顽抗，那时候再使用原子弹也不迟。最后在杜鲁门的授意下，麦克洛伊起草了宣言文件，列出了日本投降后必须遵从的条款，并提及允许他们保留天皇。
为了让日本早日投降，杜鲁门建议苏、美、英三国首脑在柏林附近的波茨坦举行会议，共同商波茨坦会议上的美英苏三国首脑：杜鲁门（中）、艾德礼和斯大林。此时，对如何解决日本问题，杜鲁门已胸有成竹。
讨对日政策。对于会议召开的日期，尽管英国首相丘吉尔一再要求提前，但杜鲁门却一拖再拖。原因很简单，当时杜鲁门想把会议拖到原子弹试验之后再召开。
这样，如果试验成功，也许就用不着苏联参加对日战争，也就用不着在欧洲再对苏联做出什么让步来换取他们在远东的援助。
1945年7月15日，杜鲁门抵达波茨坦。次日上午，杜鲁门察看了破败不堪、已然一片废墟的柏林。回到旅馆后，陆军部长史汀生向他出示了一份电报，内容显示原子弹在新墨西哥州试验成功。17日，斯大林抵达波茨坦。下午，美、英、苏三巨头在装饰华丽、有着300多年历史的塞西林宫首次聚会。次日早上，史汀生又收到了一封华盛顿来电，称“小男孩”即准备用来对付日本的原子弹也试验成功。
尽管电报中有关于炸弹威力的详细描述，但杜鲁门却觉得这些还不够确实，他希望在自己做任何有关这项新武器的决定之前，能得到格罗夫斯将军的详细报告。在等待这一详细报告的时候，杜鲁门与丘吉尔和斯大林正在紧张地谈判着。就在三巨头关于领土分割问题进行激烈的争论时，杜鲁门等待的报告终于在21日上午到达了。随后，杜鲁门召开紧急会议。会上，很多将领极力反对使用原子弹，认为常规的轰炸就能轻易结束这场战争。而且，大部分人认为原子弹并不是拯救美国人的必要措施。
这些争论并没有对杜鲁门产生多大的影响，事实上，他已经做出了使用原子弹的决定。
第二天，他询问已经返回华盛顿的史汀生，什么时候可以使用第一颗原子弹轰炸日本。史汀生回答大概在8月4日或5日就可以准备好。7月24日，杜鲁门授意美军参谋长联席会议下达了作战命令：8月3日后，在气候许可的情况下，立即对广岛、小仓、新泻、长崎4个目标之一投掷特制炸弹。
7月26日晚，盟军向全世界广播了《波茨坦公告》。公告表明如果日本不接扔在广岛和长崎的原子弹无疑是杜鲁门一生中最杰出的作品。
受无条件投降，那么盟军将全面攻占日本领土。其中没有提到特殊武器，也没有提及保留日本天皇。也许是觉得还有谈判下去的可能，日本方面并没有接受《波茨坦公告》，拒绝了最后通牒。
于是，人们美好的愿望最终破灭了。7月30日，史汀生在华盛顿致电总统，请求下令投掷原子弹。杜鲁门快速签署了答复命令：批准提议，一切准备就绪，即可投掷。8月6日上午8点15分，“伊诺拉·盖伊号”轰炸机在广岛上空扔下了名为“小男孩”的原子弹。43秒之后，炸弹在广岛上空爆炸。
广岛上空的爆炸并没有让日本改变态度，军方仍坚持在本土进行最后防线的垂死挣扎。他们还弄不清到底是不是原子弹，怀疑这不过是杜鲁门设下的骗局。
8月9日上午11点零1分，第二枚原子弹“胖子”离开“博克之车”机舱，一分钟后，在长崎上空1500米处爆炸了。
两颗原子弹，杀伤20万无辜百姓，换取了日本帝国主义的投降。在8月15日，日本最终宣布无条件投降。
