《新华成语词典》对这个成语的解释是：指谈论的不是正经的事。这个故事出自《论语·卫灵公》，原文是，“群居终日，言不及义，好行小慧，难矣哉！”意思是说，一帮酒肉朋友聚在一起，完全是清谈，没什么内容，无正事可谈，天南地北，个个都喜欢卖弄小聪明，争先恐后地发言，什么事也干不成。这种人真难教导。最可怕是“好行小慧”，喜欢使用小聪明，都想占便宜，谁也不想吃亏。如果整个社会都盛行使用小聪明，孔子只有摇头了：“难矣哉！”叹口气，到了这个样子，还有什么办法可以挽救？人跟人之间可能有真正的交流吗？我一直表示怀疑。理解恐怕只能停留在“万岁”的层面上了。好的作家写散文善用闲笔，但用不好的就是赘笔。闲笔可不是漫无边际地东拉西址，更不是言不及义的废话、空话。“闲”是行文时的心态。
比如，鲁迅一篇文章有这么一句话：“墙外有两株树，一株是枣树，另一株还是枣树”，欧阳修一篇文章中有这么一句话：“夕阳在山，人影散乱，太守归而宾客从也”，如果碰上今天的编辑，很可能大笔一挥，删去。一旦删去，这两句传世的名句我们今天再也无法领教了。文章可以用闲笔，聊天也可以清谈。但是，“群居终日，言不及义，好行小慧”就没有意义了。明朝末年，满清入关，顾亭林就引用这两句话批评明末的社会风气，他说南方的知识分子“群居终日，言不及义”，北方的知识分子“饱食终日，无所用心。”汉语中有一个词，叫吹牛。狐朋狗友聚在一起，就是吹牛，大事干不成，小事又不想干。高不成，低不就。说的都是些东拉西扯、言不及义的话，堂而皇之混日子，一点也不踏实。找不到工作就啃老，也不肯靠自己的双手去赚钱。
不是无所用心，他们所用的心，就是孔子这句“好行小慧”，使小聪明，没有从大学问、大聪明上着眼。这不是义的行为。孔子认为人要重道义，轻私利。他说：“君子喻于义”，“君子义以为质”，就是说，君子要了解“义”是什么，为人要以“义”为本。孔子说：“君子坦荡荡，小人长戚戚。”曾子说：“君子以文会友，以友辅仁。”（《颜渊》）人结交朋友，在于论学辅仁。儒家认为人生的终极目标在仁德的完美实践，因此结交朋友就是要互相规过劝善，砥砺切磋，以实践仁德。而朋友之间，日常相聚的时候，不但不可言不及义，还必须研习讲论文献典籍之学，大家互勉互助，求仁行仁，这样的朋友才可以称为君子之交。孔子说：“士志于道，而耻恶衣恶食者，未足与议也。”志于道的人，不应以恶衣恶食为耻，否则的话，就不值得和他们在一起交流、聊天。
