从父亲家中出逃的张爱玲，来到母亲黄逸梵家里避难。其实在她出逃之前，带她的用人何干就看出了她的心思，并曾劝阻她说：“千万不可以走出这扇门呀！出去了就回不来了。”但张爱玲当时决心已定，非走不可。而她走后，果然再也回不去了。她的继母把她的东西都分给了别人，连何干都被当做同犯赶回了皖北老家。张爱玲自由了，同时也一无所有了，她只能去投靠母亲。
从小时候起，张爱玲与母亲之间就似乎一直隔着一段距离。即使当她们处于同一屋檐下时，母亲对于她也是遥远的、疏离的。后来母亲出了国，她更是只能在记忆中拼贴母亲的模样。虽然张爱玲是尊敬、爱慕甚至羡慕自己这位敢爱敢恨的母亲的，但她却始终无法与母亲产生普通母女之间那种亲密无间的感情。
而这时，张爱玲与母亲突然要生活在一起了。她最初是兴奋的，这兴奋一方面是由于逃离了父亲与继母，重获自由；另一方面也是对与母亲在一起的向往。然而，在母亲家里生活了一段时间之后，张爱玲却不安地发现，母亲的家也渐渐变得不那么亲切了。
首要的原因是经济上的。张爱玲初到母亲家时，母亲就提醒过她：“你仔细想一想，跟父亲，自然是有钱的，跟了我，可是一个钱都没有。”当时张爱玲正被自由的激情所鼓舞着，所以仍不假思索地表示不后悔。然而在现实到残酷的日子里，张爱玲逐渐感到钱在渐渐销蚀着母亲对自己的爱。
母亲原本并无多少积蓄，对于张爱玲的索求，也渐渐变得不耐烦起来。这让张爱玲感到十分尴尬。孩子向母亲要零花钱，这原本是天经地义的事情。要是换作别的女孩子，恐怕要起钱来理直气壮，得不到也会耍耍赖、撒撒娇，缠磨着母亲不放。可张爱玲不同，她从小就与母亲之间有距离感，再加上对于母亲收留自己已是十分感激，因此不敢再有许多要求。
在《童言无忌》中，张爱玲这样写道：
“问母亲要钱，起初是亲切有味的事，因为我一直是用一种罗曼蒂克的爱来爱着我母亲的……可是后来，在她的窘境中三天两天伸手问她拿钱，为她的脾气磨难着，为自己的忘恩负义磨难着，那些琐屑的难堪，一点点地毁了我的爱。”
这些琐屑的小事，让敏感的张爱玲感到是一种隐形的折磨。这种折磨虽然不像父亲那样以狂暴的形式表现出来，但正是这种平静的、隐秘的、滴水穿石般的折磨，让张爱玲更为窘迫。她慢慢地感到，“母亲的家亦不复是柔和的了”。
在母亲的亲戚家里，张爱玲也常常感到贫穷给自己带来的困扰。有一次，她到舅舅家吃饭，舅妈看张爱玲总是穿几件破旧的衣服，就主动说要把自己女儿穿剩的衣服送给她穿。舅妈或许只是好意，没有别的意思，但张爱玲听到这话，心里却有一种说不出的滋味。她的脸刷地一下就红了，眼泪也忍不住流了下来，赶紧低下头假装吃饭。她觉得自己在亲戚眼中已经成了被怜悯、被接济的对象，这让敏感、清高的她情何以堪！
与母亲的隔阂并不仅仅是因为钱。母亲一心想要把张爱玲培养成一名德、才、交际能力俱佳的西式淑女，当初把她送到圣玛利亚女校读书，也正是出于这个目的。然而在与少女时代的张爱玲一起生活了一段时间后，母亲却失望地发现，张爱玲距离西式淑女的标准相差太远了。虽然张爱玲的德与才都没有问题，但她对日常的生活常识、待人接物却表现出惊人的愚笨。后来在香港读书期间，张爱玲在散文《天才梦》中用自嘲的口吻回忆了自己让母亲失望的愚笨：她不会削苹果，经过艰苦的努力才学会补袜子；她害怕上理发店，害怕见客，怕给裁缝试衣服；许多人尝试过教她织绒线，可是没有一个成功；她在一间房里住了两年，还不知道电铃在哪儿；她天天乘黄包车上医院打针，连着三个月，可还是不认识那条路。用她自己的话说，“在现实的社会里等于一个废物”。
也正是这些在常人看来再简单不过的事，让张爱玲的母亲觉得恼火。她也曾试图手把手地教张爱玲这些事情，教她煮饭，用肥皂粉洗衣，练习走路的姿势，教她看人的眼色，点灯后记得拉上窗帘，照镜子研究面部神态，如果没有幽默天分就别轻易说笑话……但这些努力还是没有成功，而这显然不能满足母亲的愿望。有一次，生气的母亲甚至对张爱玲说：“我懊悔从前小心看护你的伤寒症。我宁可看你死，也不愿看你活着使自己处处受痛苦。”张爱玲感觉到母亲开始放弃自己了，开始对自己失望了。这让她在母亲家里的处境更加尴尬。
在母亲家时，还有一件事让张爱玲刻骨铭心。那年夏天，弟弟张子静也找到母亲家。他穿着一身脏兮兮的衣服，除了一双用旧报纸包着的篮球鞋，什么也没带。张爱玲一向是疼爱弟弟的，看到他是又惊又喜，连忙问他怎么来了。弟弟抽泣着说自己也要来和母亲一起住，因为父亲总是打自己。张爱玲心里一紧，觉得父亲一定是将对自己的恨转嫁到了弟弟身上，后母也一定不会爱护弟弟的。于是她也赶紧向母亲求情，希望母亲能够把弟弟留下。
可是母亲的回答让张爱玲很失望。母亲说自己的积蓄要负担女儿已经很不容易了，按照离婚协议，姐弟两人的生活费、学费原本就应该是父亲负担的，自己实在没有能力再负担一个人的教养费。张爱玲看着弟弟又抱着那双篮球鞋无奈地回去了。黄逸梵究竟为什么不愿收留这个儿子，真的是钱的原因，还是对女儿的失望延续到对儿子的冷淡？这一切已经不得而知。但这件事给张爱玲的打击是巨大的。她在心里恨自己，觉得是自己害了弟弟。她也再次看到金钱的重要与可恶，后来在她的作品中，金钱对于人性、人情的影响成为一个绕不过去的话题，她的文字也无比犀利，鞭辟入里，因为这里面融入了她记忆中烙下的痛。
