此时，吴宓又燃起了与毛彦文复合的希望：“自觉我一生惟爱彦最为深至久长，熊公既殁，宓或可有机缘与彦重复旧好，终成眷属乎？”他一封接一封地给毛写信，希望重建联系，毛不予回复。吴宓因事去香港，登门求见，却被告知毛已去上海。有一位叫毛仿梅的青年，自称其堂弟，与吴宓面谈，代为表示，毛今后拟继承熊公遗志，尽力于慈善教育事业，与一切朋友不欲往来，望吴宓勿再去函，更不可此时到沪过访。吴宓当面表态，绝不愿有一事而使熊夫人不快者。然而回去后，仍不断写信寄到上海。毛彦文不予理会，且态度一次比一次决绝。1940年3月20日《吴宓日记》有记：“接彦三月十日自沪复书。不着一字，仅剪取宓函中数语，粘贴信笺上，为复。略谓伊决为熊公守节终身，祈宓勿再接近云云。”5月20日又记：“拆视彦命其秘书挂号寄还宓至彦函，并未启视。原函外批云：熊夫人已于月前离沪，故退。熊宅附言。四月二十九日。”10月3日又有：“熊公馆航函：径启者，本宅于九月底退租，以后请勿来信。此致吴宓先生。”吴宓只能求助友人，让沈从文、贺麟等人帮忙转达自己的心意。直到有一天，吴宓在报上看到毛彦文当选北平市参议员、国民大会代表，他才终于明白，以前种种的推测以及心存的幻想都错了：“知彦文热心政治活动，对宓似毫无情意，不欲与宓接近，终当分道背驰以没世耳！”1949年，毛彦文离开大陆赴台，此后，吴宓再也没有了他心爱的毛彦文的消息。
吴宓对毛彦文的爱，持续后生。他对此从不避讳，甚至在课堂上与学生公开谈论，并写进自己的诗中。他经常与贺麟、浦江清等人谈他心中的遗憾与矛盾。吴宓的《诗集》中题下不少未注姓名的情诗，都是为毛彦文而写的。1943年8月20日，已是知天命之年的吴宓于昆明写下一首五言长诗《五十自寿》，此中仍表达对毛彦文的爱意：“平生爱海伦，临老亦眷恋。世里音书绝，梦中神影现。怜伊多苦悲，孀居成独善。孤舟泛黄流，群魔舞赤县。欢会今无时，未死思一面。吾情永付君，坚诚石莫转。相抱痛哭别，安心归佛殿。即此命亦悭，空有泪如霰。”
吴宓追求毛未果之事，闹得沸沸扬扬。一次赴某军长宴时，主人介绍说：“此即与毛彦文……之诗人。”但每遇到此种场合，吴宓都未恶言相加。对于别人有关熊、毛婚事的议论，他也不以为然，表现得相当绅士。
“吴宓苦爱毛彦文”一事，不仅被当作八卦消息四处流传，还有作家将之写成文学作品。陈慎言以之为素材，作小说《虚无夫人》，在《时报》上连载。吴宓阅后称：“描写殊恶劣，而宓心情及彦之苦楚，实未写出。”李健吾的三幕讽刺剧《新学究》，吴宓认为“取材既太沾实，而叙事则又失真，皆与宓所行全然相反”。卢冀野撰《恼毛女峰曲》，周光午为之作笺注。曲中词句多取自《吴宓诗集》，而表达的是谴责毛彦文负心、后悔离婚之意，吴宓怒斥其“均与宓之情意正相反背”。
吴宓对毛彦文的爱存一种柏拉图式的爱情。1936年8月1日，吴宓在日记中对自己的爱情进行了反省，他说：“盖中国一般人，其视爱皆为肉体之满足及争夺之技术，不知宓则以宗教之情感而言爱。……真正之爱者，皆情智超卓，道行高尚，上帝之宠儿，而人类之俊杰也。爱乃极纯洁、仁厚、明智、真诚之行事，故宓不但爱彦牺牲一切，终身不能摆脱，且视此为我一生道德最高、情感最真、奋斗最力、兴趣最浓之表现。他人视为可耻可笑之错误行为，我则自视为可歌可泣之光荣历史，回思恒有余味，而诗文之出产亦丰。我生若无此一段，则我生更平淡，而更郁郁愁烦，早丧其生矣。今年老情衰，并此而不能再，故益不胜其系恋也。”
20世纪60年代初，吴宓请西南师范大学美术系的一位老师按照相片画了一幅毛彦文的肖像，挂在墙壁上，日日相对，夜夜相守。
然而，20世纪60代末，隐居台湾的毛彦文撰《往事》一书，在这本自传体回忆录中，她提及吴宓时，就如同一个交往不深的朋友，对于她和吴宓的爱情，更是只字未提。从书中的叙述来看，她不仅不爱吴宓，甚至对他有些反感。
据去过台湾而且拜访了毛彦文的沈卫威撰文介绍，当他向毛彦文提及当年吴宓对她的深情厚爱时，已是102岁高龄的毛彦文语气平淡地表示：“他是单方面的，是书呆子。”再问下去，她便连说“无聊，无聊”。
1953年6月，已近暮年的吴宓迎来了自己的第二次婚姻，他与原重庆大学法律系毕业生、二十多岁的邹兰芳结为夫妻。
邹兰芳出生于地主家庭，她在重庆求学完全依靠两位供职原国民党川军的哥哥救助。新中国成立后，两位兄长因参加武装叛乱被镇压，留下了几个无人照顾的遗孤。邹一己承担抚养兄长遗孤的重担。但由于她出身不好，且患有严重的肺结核，处境很是艰难。
邹兰芳在《新华日报》上看到吴宓的“思想检讨”后，主动写信给吴，称自己对吴极为佩服、崇拜。吴宓回信后，邹便登门求教，此后经常以学生身份为老师缝补浆洗。不久，二人结婚。
谈到这次婚姻，吴宓曾对好友姚文青说：“非宓负初衷（他曾发誓：为爱毛彦文，终身不复娶），实此女强我，不得已而为之。以此女学识，则英文不懂，中文不通；以论容貌”，说着掏出一张半身照片，“不过如此”。
婚后，吴宓叫苦不迭。师生恋压得他抬不起头，邹兰芳身体极差，吴宓不仅要照顾她，还要供养其兄的遗属。吴宓曾对朋友说，这哪是黄昏恋，实是在为兰芳治病，在养兰芳一家九口。
婚后仅三年，邹兰芳因肺结核不治，香消玉殒。吴宓很是伤心，他将邹生前所用过、学过的书籍，全部封存不动，放在特定的地方。学生江家骏去看望吴宓时，吴指着这些书，深情而忧伤地告诉江，这是邹兰芳的遗物。逢年过节时，饭桌上必多摆两副碗筷，一为亡友吴芳吉，一为亡妻邹兰芳，并在举箸前，静坐低头、默祷两三分钟；偶尔看电影，也买两张票，空出身边的座位，犹有亡妻相伴。
吴宓在屋子内一张空着的单人床靠着的墙壁的上方，贴了一张约一尺五寸长、一尺二寸宽的淡绿色土纸，恭恭正正地在上面写了两个字：“兰室。”因为这间屋子和这张床，是邹兰芳曾经住过和睡过的。
晚饭后，学生江家骏常陪吴宓在校园内散步。当他们漫步到办公大楼正门前，吴宓总要停足凝视对面的远山，一次吴指着对面远山顶上有三根高压电线杆的地方说，在第三根电线杆下，就是邹兰芳埋葬之所。江这才明白，为什么每次来到办公大楼正门前空坝上时，吴宓总要久久凝视对面的远山。
邹兰芳去世后，吴宓并未能摆脱邹家的一大家子人，他继续用工资抚养邹的侄儿侄女，直至“****”开始后，吴自顾不暇为止。邹兰芳的一个侄儿，在她去世后，长期以照料吴宓为由，和吴住在一起。据谭优学回忆，这个侄儿“五短粗壮身材，流里流气，不三不四……吴宓先生为人忠厚，困难年间，上级分配给他’高知‘享受的许多东西，买来都归他侄儿享用。前后两间屋，好的一间让给他侄儿住”。西师一位教授实在看不惯了，力劝他辞掉这个食客。“****”开始后，这个“食客”才被“横扫”回老家去。当时西南师院的一个青年教师气愤地说：“这十几年，一个二级教授的工资大都让一个大地主的女儿和几个国民党反动军官的龟儿子花了。”
学者江勇振曾戏谑地评价吴宓的爱情：“吴宓谈恋爱，光说不练是意淫，像吴宓，只在日记、书信里演练他对女性的爱；又练又说，像徐志摩，是浸淫，是真恋爱；光练不说，像胡適，是真淫。”
抉择
1949年4月，解放军直逼武汉三镇，时在武汉大学的吴宓面临何去何从的问题。岭南大学校长陈序经邀吴宓任该校文学院院长，并告知陈寅恪已应聘到校，他没有应允。张其昀和钱穆劝他离开大陆，赴台或赴港，吴宓拒绝了。女儿们让他回清华，他也拒绝了。最后他谢绝友人要他去美国、香港和台湾讲学的劝告，决定留在大陆。他说：“生为中国人、死在中国土。”
重庆相辉学院院长许逢熙来函，邀请吴宓到相辉学院任教。这时的吴宓有出家为僧的念头，正好学衡派的王恩洋在成都主持东方文教学院，吴宓便想到那里研修佛教，然后慢慢地出家为僧。于是，1949年4月底，吴宓抵达重庆，任相辉学院外语教授，同时兼任梁漱溟主持的北碚勉仁学院文学教授。
1950年4月，私立的相辉学院、勉仁学院被相继撤销、合并之后，吴宓被调到四川教育学院任教。9月，该学院又并入在北碚新建的西南师范学院。吴宓成为西师的历史系教授，随后调整到中文系。
吴宓对于自己没有回清华而是到相辉学院的决定，日后颇为后悔，他说：“举动之极端错误，而祸害以长者也。”
1961年，吴宓到北京参加会议。贺麟告诉他，周扬主张调他到中央文史馆任研究员，专力译萨克雷小说，因而愿意陪他去拜访周扬。吴宓未往。后来吴宓写到这段经历时说：“若竟从之，后来周扬得罪，宓必受牵连。然谨慎不往。伏处西师，一九六八年以后仍受种种之惩罚与斗争，则何如其往耶？”
晚景
************期间，许多人都处于饥馑状态，每顿只有二两米饭，但为了配合“形势大好”的教育，在师生中常常要组织辩论会，证明粮食定量足够营养，人人都得表态。一天，吴宓上课时讲，结合课文讲“……犹……，况……”结构和“……者，……也”句式的用法，脱口举了两个例句：“吴宓者，西师之教授也”、“三两犹不够，况二两乎？”学生们都被逗笑了。谁知，一次来上课时，只见他皱着眉头，静了一下，声音很慢、如同背书般对学生说道：“我做检查。有一次上课，我举了两个错误例子，特别是’三两犹不够，况二两乎‘。这是世界观没改造好，今后我要加强……”学生们十分讶然，心情也为他感到了沉重。原来，每一次课后，系里都叫课代表向学生了解对吴宓讲课有什么意见，这句话也成了吴宓的罪证。
20世纪60年代初的一天，吴宓上完上午第一节课，擦完黑板，拍拍满手的粉笔灰，从裤袋里摸出小半截冷馒头，大概是早上为了赶到教室上课没来得及吃完的，背着大家，就在教室门边满不在乎地啃将起来。此时吴宓已经是“有问题”的人，学生们谁也不敢在讲台上给老先生泡一杯热茶，甚至个别学生还公然说这个老头太不讲卫生。
吴宓的日记成为了吴宓“反动”的罪证，据和吴宓一起蹲“牛棚”的西师中文系古典文学教授谭优学回忆说：
1968年夏，两派斗争又紧张起来。“革命群众”突然对吴宓采取了一次“革命行动”。抄走了他的“反动日记”。这可惹下滔天大祸了。不但自讨苦吃，还连累到我们。他日记里说，叫中学生造反，等于拿小刀给孩子玩，没有不伤手的。“**********”是毛主席“亲自发动亲自领导的”。这不是明目张胆地反对毛主席的罪状之一？日记说“******在江青卵翼之下”，是恶毒攻击中央“****”和“江青同志”、******。罪状之二。日记里有些地方对毛主席的文艺讲话，说了不全赞同的话，“狗胆包天”，竟敢“唱反调”，罪状之三。我们在“学习”中，监督有时不在，不免对两派的某些事有长短得失的议论，他也记在日记里，而且记下是“某君云”。“牛鬼蛇神想翻天了，那还了得”，于是我们被勒令于某日上午去某处集合。其他系的几条“辫子”挨了毒打，杀鸡给鹅看。我们挨了一顿毒骂。吴宓大概因为年老，免予挨揍，但被宣布为“现行反革命”，严加监管。还据说“两派同志都同意，公安部已批下来给吴宓戴这顶帽子”。这下真成为“不齿于人类的狗屎堆”了。
谭优学还回忆，吴宓自奉甚俭，不抽烟，不喝酒，似乎也不买什么书，他的一些外文书都捐给院图书馆了，他的衣着，在全院老教师中算最坏的，甚至有人目之为“老叫化子”。那他每月270余元哪里去了呢？有些青年教师经过调查研究，断言：拿国家的钱去接济坏人了，是吴宓立场反动的表现。这又是吴宓的一条罪状。“****”中“革命群众”批斗他时，也没有少掉这一条。
事实上，所谓“好人”向他借钱，他都肯借。有些是存心借了不还，理由是：不义之财该拿来共产。借了不还，他也并不逼着要，久了也就算了。“****”期间，谭优学也被扣了工资，只发生活费，向吴宓借了近百元，后来如数奉璧，吴宓感激称赞说：“只有您这么讲信用啊。”
吴宓和其他被批斗的人一起蹲牛棚白天劳动，晚上“学习”。一天晚上“学习”完毕，监管的红卫兵叫其他人滚回去，只留下吴宓，说是要对他单独训话。不久，另一位颇宽裕的“棚友”被单独训话后，其夫人到“革命组织”去闹，大家才终于之后了所谓训话的内容，是红卫兵小将要他出200元钱，作为捐献，支持红卫兵小将去大串联。对于此，吴宓说他是赎罪，但大家都认为这是敲诈勒索。
西南师院批斗“牛鬼蛇神”时，勒令他们跪着。被批斗后不久，刘兆吉遇见吴宓，在周围无人的情况下，刘悄悄问吴被批斗后的身体情况，吴说：“跪着比站着好些。”刘听了，想哭又想笑。
