据邓绍基回忆，到了60年代初，又听一位同志说，毛主席在一次谈话中提出了《红楼梦》描写四大家族的见解。对此，在我们的讨论中出现两种看法：一种看法认为，说《红楼梦》是描写四大家族的兴衰，是符合这部小说的实际的；还有一种意见认为，《红楼梦》中写有贾、史、王、薛四个贵族家庭，但主要描写的是贾家，即荣、宁二府，因此不妨把毛泽东同志的见解理解为《红楼梦》描写了以贾府为代表的四个贵族家庭的兴衰；持这种看法的同志还猜度毛泽东同志所说“四大家族”带有即兴发挥的成份，因为据有的同志说，毛泽东同志发表这个见解时，在座的人中有《中国四大家族》的作者。毛泽东同志对着那位作者说：你写了一本《中国四大家族》，我看《红楼梦》也是描写的“四大家族”。
1981年薄一波也曾有过这样一段回忆：“毛泽东同志对《红楼梦》有浓厚的兴趣，讲过这是一部顶好的社会政治小说。他多次要大家读，说不是读故事，而是读历史，你要不读《红楼梦》，怎么知道什么叫封建社会呢？这部小说描写的是乾隆年间，清朝开始走下坡路，曹雪芹借贾、史、王、薛‘四大家族’的兴衰，揭示了封建制度的腐朽。”
