1950年7月16日下午，在大陆“旁观”革命一年有余的曹聚仁，在弟弟曹艺的陪同下，乘火车离开上海，“忽然”要到香港去走一走了。第二天早晨车过金华，那是最靠近他家乡蒋畈的一站，微明中遥望北山，心中生出无限的怅惘。行囊里装着王安石的诗集，王荆公“飘然羁旅尚无涯，一望西南百叹嗟。江拥涕泗流入海，风吹魂梦去还家”的诗句，正是他当时的心绪。几天后，当曹聚仁踏上深圳罗湖桥，就像去国怀乡的屈原一样，眷恋反顾，心头泪涌。过了桥，他驻足桥头，又一次凝望大陆，久久不忍离去。
1950年曹聚仁去香港首次穿西装时所摄。1949年4月《前线日报》晚刊结束时，社长马树礼派人给曹聚仁送来船票，请他们全家前往台湾；他婉言谢绝，说要留下来迎接解放。现在，整个大陆已经解放，“中共之成为中国大陆的统治者，已经成为定局”他却抛妻别子，把自己“放逐”到香港，这一抉择，确实让朋友们感到太“忽然”了。
既然如此依依不舍，曹聚仁为什么还要决然离去呢？
最直接的原因是家庭生活所迫，使他不得不另谋生路。上海解放时，其他报社的职工，还有机会领取六个月的俘虏生活费，而曹聚仁所在的前线日报社，除了一所大房子和一批遣散的职工，印刷器材都被马树礼搬到了台南，职工们连做俘虏的机会都失去了。曹聚仁失业在家，又没能领到“俘虏生活费”，但是一家八口——母亲、岳父母、妻子和三个嗷嗷待哺的孩子，等米下锅。实在没办法，他就组织一家人用剪刀糨糊剪贴拼凑，编辑一本新词典，准备卖点儿版税糊口。然而，当时出版业正在接受整顿，没有出版社愿意出版这种词典。
其次，曹聚仁认为生活方式的突然改变，对像他这样中年以上的人打击最大，自己在中共当局心目中已成为“留了也作不得什么用，去了也不算少了什么宝”之人。经过静观默察，曹聚仁发现，中共政权的一切教育设计、生活安排，都是为30岁以下的人着想的，对于中年以上的人可说是新的冰河期，气候变得太快，生存技能的适应，太不容易了。“记者曾检讨过自己的生活条件，由于幼年的农村生活以及抗战时期的战地奔波，要我吃苦耐劳，减低生活水准，是可能的。但，我的劳役能力，只能做到每天挑四十市斤的担，走五十华里路的限度，要我再加重挑担分量，走更多的路，已经不可能了。假使我今年只有二三十岁的话，只要训练一个月，挑百斤担走八十华里的要求，很快会做到的。到了我们这样的年纪，那就无法可想了；而中共当局所要求于中年以上的人的，还不仅是加重了负担，同时还减低了营养的分量呢。在生存环境突然改变的当儿，而且没有逐渐的改变的机会；我们这一代的人，都在很短的时间中倒下去了。”
乌鹊南飞，何枝可依当然，最重要的还是精神层面的因素。曹聚仁说，大陆解放，就像朱熹所说的，这是一个“一齐打烂，重新造起”的时代。在这个大变动的时代中，既是新闻记者又是史学家的他，最早最深刻地感受到了“精神的干扰”。那么，曹聚仁感受到的“精神的干扰”是什么呢？
曹聚仁在上海“旁观”革命的这段时期，正是中共“征服”整个大陆的时期，他自己却在“征服着内向的精神世界”。这段时期，从唯物辩证法到周易，从毛泽东思想到康德、叔本华，从马克思到老庄，失业在家的他阅读了大量的中外书籍。通过阅读与思考，他自称发现了人类社会发展的规律：人类史，一直是在社会主义与个人主义的钟摆中前进。西方的国家，永远为斯巴达精神与雅典精神的交替之迹。在中国，法家思想与道家思想，也一直在升沉起伏着。他认为，中共建立新政权后，中国已经进入了新的法家天下，毛泽东也正在砌起了思想上的万里长城。“从斯巴达精神说，毛泽东是成功的；不过，我们这一群知识分子，却恋恋于雅典精神而不忍舍。”曹聚仁信仰的是雅典精神即自由主义精神或者说是道家思想，而占统治地位的是斯巴达精神或者说是法家思想，个人信仰与国家信仰之间发生了张力。个人的自由主义信仰能否兼容于新政权？著名马克思主义哲学家艾思奇的一番话，让曹聚仁翻然醒悟：
那年（1950年）六月，艾思奇在北京大学讲演说：“一块砖头，砌到墙头里去，那就谁也推不动了，落在墙边，不砌进去的话，那就一脚被踢开了！”这是对于自由主义知识分子的提示；在中共政权之下，不独“中共”政团是一个有组织的整体，每一党员只是一个齿轮。“中共”起了带头作用，把民主政团组成一个整体，每一民主人士，也是一个齿轮。于是，全国的学校、报馆、通讯社、书店，都组成了一个整体，每一单位都只是一个齿轮；像我这样离开了齿轮的地位，到自由主义的圈子中来，对于我以后的命运，关系是很大的。我也如屈原一样，眷怀反顾，依依而不忍去，然而我终于成行了，这也是我心理上的矛盾。
曹聚仁承认自己“骨头里的钙质太多”，自己这块“砖”可能无法砌进“新墙”里去，与其日后被人一脚踢开，还不如主动地早点离开，到香港去寻找新的精神天地。自己虽然未曾到过香港，但那是先前所熟悉的世界，不必改变生活方式也可以生存下去，“过了罗湖，我们所进的，乃是希腊精神的天地，从自由主义说，那当然愉快得多了”。
同时，曹聚仁决心南来香港，也是想看清楚整个世界的动态。他在上海，只能看到香港的《大公报》、《文汇报》，求教往来港沪经商的朋友，让他们谈谈香港舆论界的情况，朋友们所讲的他又认为是道听途说，不足为信。他疑心自己身在上海，或许坐井观天，并不曾看到整个世界的动态。关于是否离开上海南下香港，曹聚仁本来还在踌躇不决，后来朝鲜战争爆发，“第三次世界大战”即将爆发的谣传四起，而中共当局非常谨慎，几乎不发议论。他认为从民族的永久命运说，“这决不是闹政党意气的时候了，我们似乎应该听一听世界人士对这一问题的议论了”。自信自己这个新闻记者，还不至于落伍到连大局的演变都看不明白的田地，于是决心到香港来看看究竟是怎么一回事。这时，《星岛日报》又汇了一笔稿费给他，他不知道自己所写的通讯是否还适合现在的报纸，因此更觉得有亲到香港来看看的必要。
到香港的第二天，曹聚仁在一家小饭馆偶然碰到一位上海的老朋友，他问曹的第一句话是：“你靠拢了没有？”让曹茫然无以为答。后来接触的人多了，才明白这是港九人士对留在大陆的知识分子所要知道的一件大事。他说，在上海，见过“积极分子”或“前进分子”这样的名称，大家既有种种机会去参加学习，接受了社会主义的观点，有的从劳动改造过程中接受了新观点，这都是“意识形态”的转变，而不是“靠拢不靠拢”的问题。仅仅“靠拢”，事实上是不够“积极”的条件的。世变之际“逃难”到香港的不少人，早就想象着曹聚仁在大陆一定倒尽了霉，吃尽了亏，不料曹突然来到香港，反而使他们有些失望了。曹聚仁觉得，“在香港的文化人，大都是带点心病的，他们都有着不可告人的一篇交待不了的帐目，眼见自己的政治生命已经完蛋了，下意识中也希望人人都和他们一样同归于尽。他们把一部分觉悟了的文化人称之为‘靠拢分子’，这也是河水鬼的心理”。
初到香港，曹聚仁还发现了一个有趣的问题：在大陆看革命时，只听得对旧政权攻击与诅咒的话，几乎凡是国民政府所做的一切，都是坏的；到了香港，却听到相反的攻击与诅咒的语调，几乎凡是人民政府所做的，都是不对的。他认为，相互之间的这种隔膜即所谓的“竹幕”，还是因为“意识形态”的不同而形成种种错觉，都是不符合事实的。
曹聚仁决定把自己在上海的见闻感受客观、真实地写出来，让港九人士对中共统治的大陆有一个正确的了解。《星岛日报》社长林蔼民支持曹聚仁“忠于事实”的史家态度，请他出任《星岛日报》主笔。到港后第四天，曹聚仁的文章便出现在《星岛日报》专栏《南来篇》中，首篇第一句话开宗明义说：“我从光明中来！”接着，对解放军纪律严明、秋毫无犯，对“中共治天下非常成功”进行赞扬。尔后，他在《隔帘花影》中，报道了留在大陆的冰心、张恨水、梁漱溟、老舍、曹禺等一批文坛巨匠的生活、创作情况，用详尽的事实挑开了遮住港人之眼的“竹幕”，使某些港报散布的有关这些人的谣言不攻自破。他还在《数风流人物还看今朝》中，向香港读者介绍了被某些港报骂为“匪首”的毛泽东、周恩来、陈毅、刘伯承、贺龙的事迹，并表达了自己对这些中共领袖的敬仰之情。当然，基于“忠于事实”的史家态度，在这些文章中，曹聚仁对中共的有些政策和做法，例如“土改”和“肃反”，也表达了自己不同的看法。总之，是有赞有弹，赞多于弹。
一石激起千层浪。曹聚仁的这些文章，发表后反应非常热烈，引起台湾当局的不安。《星岛日报》连载《南来篇》的第四天，台湾国民党“中宣部”便下令在港的宣传机构，发起对曹聚仁的总攻击。这种攻击，连续进行了五个多月。
除了来自国民党宣传机构的攻击外，曹聚仁更多地还受到在港“忠贞之士”的围攻与谩骂。大陆政权易手之际，一批反对新政权的人“逃难”到香港，而国民党当局又拒绝其入台。曹聚仁称这批人为“忠贞之士”：“他们把香港的调景岭比作首阳山，而他们这一群伯夷、叔齐是准备咬首阳山之蕨薇以尽其忠贞的残年的。”
在香港报刊上一片“骂曹”声中，化名“马儿”的文章尤其引人瞩目。“马儿”本名李焰生，在上海时与曹聚仁就相识。李本是国民党员，后来认为蒋介石、汪精卫抛弃了孙中山的主张而脱党，但反共立场并没有改变。他在报纸上连续发表《给曹聚仁》、《再给曹聚仁——兼论中国革命问题》的公开信，批评曹不该“投共”，还诬蔑曹之所以要做“靠拢的民主人士”、“轻于国而重于共，贱于台湾而重于北京”，是因为曹氏出于私利，怕留在大陆的家人受共产党清算。他希望曹反思自己的言行，和他一起做“中华民国的亡国之民”。面对老友的误解、责难和劝告，曹聚仁在《星岛日报》上也发表《我的观点、态度——与李焰生先生书》的公开信，予以回应。他在这封公开信中说，香港朋友看不惯自己的文章，可以理解，因为大家“几乎都背负着创痛，心中有无名的愤火”。由于李焰生主要是指责曹聚仁不该“投共”，所以，曹在公开信中主要讨论了两人政治观点的不同：“在政治观点上，我和你有一绝大的分歧点：你是‘反共’的，而我是不主张‘反共’的……共产主义决不是自天而降的魔法，我想你决不至于相信天下事是给共产党搅糟的，认为共产主义一去，天下就会太平的……我觉得‘反共’的朋友，思想上有一绝大错误，就是想一拳推倒马克思主义，结果马列主义并没有推倒，他自己却倒下去了……我赞成仲长统的说法，一个政权已经安定下来了，就让它安定下去为是，因为‘革命’对于社会，是一场突变，不仅消耗人力物力，而且耽误了建设时间。正如一所旧房子，已经拆掉了，就让新工程师来试试看他们建筑的工程究竟怎样，好的，也是国家民族之福；坏了，那时再革命也未迟。”接着，曹聚仁又发表了《读徐道邻〈我们不可缘木求鱼！〉》、《复何永先生的信》两封公开信，表明自己之所以赞成人民政府新政权，是因为自己反对“无为而治”而主张“有为而治”，“我认为批评大陆中国人民政府的措施，应该用他们的观点来下批评的。如果依旧用我们的旧观点来批评他们的措施，那就如司马光之批评王安石的新法，永远合不上来的。”
曹聚仁这一“回手”，立刻又招来一片反驳和辱骂。一位自负华南第一人才的“忠贞之士”，用“左通马克思，右通诸子百家，上通毛主席，下通秧歌舞”来讥嘲曹聚仁。有一位化名“博斋”的作者，因曹聚仁在《我的观点、态度》一文中引用了曹雪芹的《好了歌》，便依调写了一首来挖苦、辱骂他：
人人都道投机好，富贵功名忘不了。卖身投靠无多时，斗争清算便来了。
人人都道投机好，只有生涯忘不了。卑污狗贱甘折腰，担米无多跑不了。
人人都道投机好，解放声声忘不了。事到头来不自由，地网天罗逃不了。
人人都道投机好，服务人民服不了。吹拍文章廉耻无，讨好何曾讨得了。
还有更恶毒者，骂曹聚仁是“妖孽”，鼓动大家起来“合力扫荡”。眼看这场论争就要演变成人身攻击，主编《星岛日报》副刊的易君左，便出来做“和事佬”。他写了篇《息争论》，主张大家“稍安勿躁”，不要因“环境不安，生活不安”弄得心情也不安，不妨“等到秋凉时，再计较不迟”。
与此同时，曹聚仁这座“箭靶”还迎受着来自香港左派文人的利箭。因为曹介绍中共新政权的文章，并非全是赞颂之声，而述及国民党黑暗时又常用曲笔隐藏起来，生怕“剥伤若干人士的疮疤，也不愿意激起他们心头的隐痛”，这便引起了香港左派人士的反感。曹把人民政府与蒋经国的赣南新政相提并论，尤其让左派人士感到悖谬。在左派人士看来，曹自称“从光明中来”，既然身在“光明”之中，又为何离她而去？这便不能自圆其说了。聂绀弩、冯英子、胡希明等纷纷在开设的专栏中撰文，对曹聚仁进行挞伐。其中，聂绀弩利用自己担任香港《文汇报》总主笔之便，在《周末报》的《今日随笔》专栏中，不时写诗文贬斥曹聚仁。
在左派文人所写的“骂曹”诗文中，《周末报》1950年11月14日发表的一首题为《赠乌鸦》的七律，颇有意思。诗步鲁迅《无题》“惯于长夜过春时”之韵：
惯投显贵过春时，颂主心劳鬓有丝。
梦里模糊奴相泪，文坛高插×龙旗。
笑看志士成新鬼，跪向刀丛献颂诗。
吟罢请封多赏赐，骨头有血染绸衣。
诗题中的“乌鸦”，文化圈内的人都知道是指曹聚仁的。1931年秋天，曹聚仁和四弟曹艺及曹礼吾、陈子展、黄芝冈、周木斋等几位朋友，办了一份《涛声》周刊。他们之间，只有共同的兴趣，起初并没有什么政治主张，也不替什么主义作宣传，对一切问题均采取批判的态度。后来，大家慢慢形成了共识，提出了“乌鸦主义”作口号。曹聚仁妻子王春翠的一位亲戚王琳，为《涛声》设计了以乌鸦形象为主体的木刻图案：“下面是海涛汹涌，上面是群鸦乱飞；一面象征时代大变动，一面表明我们为时代而叫喊。旁上题了几句话：‘老年人看了叹息，中年人看了短气，青年人看了摇头！这便是我们的乌鸦主义。’”《涛声》周刊封面的原文是：“老年人看了摇头，青年人看了头疼，中年人看了断气。”从此，“乌鸦”的帽子便落在曹聚仁的头上，成为“长衫”之外曹的另一著名“商标”。关于“乌鸦主义”，曹聚仁有时称其为“纯理性批判主义”，有时又代之以“怀疑主义”。总之，乌鸦主义的含义有两重：其一，批判精神。“乌鸦”绝对不同于报喜不报忧的“喜鹊”，它“只有对于恶势力下批判，既无什么主义要宣传，也没想替什么主子开留音机”。曹聚仁：《涛声的宗旨和态度》，《涛声》第二卷第4期，1933年1月21日出版。其二，怀疑精神。就是要喊醒人们的理性，用自己的眼睛去看，用自己的脑子去想问题。
曹聚仁重新检视自己南来后在《星岛日报》上发表的文字，感觉没有什么宣传意味，也没有歪曲事实，还是跟原来的京沪通讯一样，只是忠实报道而已。那么，这些文字为什么会招致左右两派的无情攻击呢？后来他才知道，那一时期正是一般“上海人”（香港对内地去的人的统称）苦闷彷徨的低潮时期，广州解放以后的大骚动情绪，已经平静下去，期待大陆因韩战而总崩溃的幻影，也逐渐破灭。这些“上海人”，本以为曹聚仁的报道会满足他们的幻想，不料曹的报道如此忠实，一点也没有夸大的成分。“我的报道，足以证明他们笔下所虚构的大陆新闻，都是幼稚可笑的。”因此，这些“忠贞之士”便群起而攻之了。一位《前线日报》的朋友对曹聚仁说：“你所说的都是对的，但这个时机是不适于说实话的。”他听后恍然大悟，自己对大陆的忠实报道，对当时香港的左右两派来说，都是不合时宜的，受到左右夹击也就不足为奇了。
经过“解放”的大教训，曹聚仁觉得知识分子的命运已定，遂抱着“苟全性命于乱世，不求闻达于香港”的态度南来，孰料一到香港便受到左右夹击，成为1950年港九的“新闻人物”。某港报资料室一位小姐，把报刊上批曹的文章剪存起来，竟有800篇之多。不过，曹聚仁并没有被“乱箭”射倒，他承认自己是该死的“异端”，但“甘于成为绝物”，要像“世故老人”鲁迅那样，努力加餐饭，“活给那希望我倒霉的忠贞之士多头痛一些日子”。除了担任《星岛日报》主笔外，他和徐訏、朱省斋、李微尘等创办了创垦出版社，还出了个《热风》刊物。更重要的是，从1950年到1956年，寄身香港的曹聚仁勉力笔耕，出版了“采访”系列、《新事十论》、《文坛五十年》、《鲁迅评传》等20余种著作，成就了自己的“一家之言”。其中，《新事十论》是曹聚仁发奋续接冯友兰《新事论》之作，该书中下面的这段话，尤其能够反映他当时的学术思想与信念：
儒家是我的嘉陵江，道家是汉水，佛家是湘沅诸水，宋明理学、浙东学派是赣江，马克思学说乃是苏州河与吴淞江，这样形成我的思想上的扬子江；我的每一勺水中，都有着这些支流的成分。世界上，只有这样的水，才是真正的水；那不掺杂任何成分的蒸馏水，除了医药，并无其他用处的。我曾说笑话：有一天，我要讲“马曹主义”，大家一定嗤之以鼻，说我的神经有些不健全了。可是，我一说起马列主义，他们却又并不惊讶了。可惜马克思已死，无法使之复生；否则“马曹主义”与“马列主义”的优劣论，老师眼底，自有权衡，不一定如世俗人的说法的……“马曹主义”固是一个笑话，但既有了“马列主义”，便不能限制“马曹主义”的成熟的……人皆可以为尧舜，为学者，不可不存此抱负；一个人在思想上，不可让别人牵着鼻子走的。我可以信仰马克思主义，这是我的自发行为；你要强迫我信仰马克思主义，我就要考虑一下子了。为了生活，孔子可以连打更的工作都去做，但颜回虽居陋巷，并不改变他的思想的。明末清初，也是时代的转角，从“大同”说，顾亭林、黄梨洲、颜元、李塨，连那独学无友的王船山，也在山谷间有同样的转变；但，颜、王、顾、黄四家，各有所见，各自完成其思想系统，既未舍己从人，也没强人从己的。
