杨摛藻南归以后不到一年的时间，他81岁的父亲心满意足地走完了人生的全部旅程，撒手人寰。杨摛藻与几位兄长操办了丧事。按当时的规定，杨要在家为父守孝，丁忧三年。丁忧期内，可在家乡附近谋一份短期差事。办完丧事以后，经友人介绍，他就被聘到邻县旌德的凫山书院任教。书院中均为程度较高的学生，相当于现在的私立大学，以读经制艺为主，目的仍在于考中功名。
谁知杨摛藻在凫山书院一教就是六年，丁忧期早过，他似乎根本就不想再回到京城复职，似乎甘愿放弃官场，而更热衷于为后学解疑释惑这一古老崇高的职业。这叫我们现代人都难以想明白，京官不当，而甘居乡下当一名穷教书匠。想想当年的十年寒窗苦，不就是为了金榜题名，高官厚禄吗？中国历朝历代，读书人唯一的出路就是考中功名，一朝为官，权势、地位、金钱、美女，人的七情六欲需要满足的一切尽能满足，应有尽有。
但杨摛藻考功名的初衷是为实现父亲的意愿，现在父亲去世了，他似乎更有志于传承父亲的衣钵，只不过父亲当年所教的是程度较低的私塾学生，而他现在所教的是程度更高的大学生或研究生。一旦走进课堂，他得心应手如鱼得水，他的性格似乎更适合这一古老的职业。家乡的这一古老职业相对于北京官场来说，他真是乐不思蜀了。
杨摛藻自入凫山书院，就将儿子杨仁山带在身边，并开始发蒙读书。可以说，杨仁山是在父亲执教的凫山书院发蒙的。
凫山书院在旌德县城外数里路的凫山上。旌德县城城南徽水河畔有楼阁临水，城西有明末所建的西竺寺，每当春和日丽，或秋月当空，杨摛藻都要携几位知己好友及儿子杨仁山，带上酒与茶，往游这两个地方，竟日饮酒喝茶，赋诗作画，谈天说地，极尽兴致，方才罢休。这与父亲杨志翘当年喜游山林的生活几乎毫无二致，在凫山书院任教的头尾六年中，他莫不是如此。他也是一位丹青高手，绘画技艺甚为了得，曾有友人在他的画中题了一首《如梦令》词：
云锁山房蝉定，
月浸湖楼人静，
一鹤恋吟魂，
扶起一枝梅影，
谁省？谁省？
心字香消灰冷。
在旌德教书的六年中，以他进士、京官的名声，想攀附结交他的有钱人家很多，但他洁身自好，取舍有节，持之尤严。初到旌德，一江姓大族人家，隆重为高寿的母亲祝寿，重金聘请杨摛藻为他母亲撰祝寿文。杨摛藻则回答他说：“我现在处在丁忧期中，为父服丧，这是大事，一日丧服不脱，就不能参与外事活动，你怎么能陷我于不义呢？”于此婉言谢绝，退回重金。一些有钱的人家，遇有上人去世，都要重金聘请有名望的人为其点主，就是在供奉的牌位上用朱笔点上一个红点。遇到这样的事，杨摛藻均一一谢绝。相反，他主动到当地名声好的忠义之士、才学之士家拜访、交往，并写成文章，记述他们的事迹。
在教学之余，杨摛藻编辑《敬修堂时文选》，选择明清以来的美文有四百多篇，以供他的学生作为课外读物。时文为一个人当下所写的文章，在明、清两朝，文人们所作的时文都是为了博取科名，因而不是雕虫小技就是陈词滥调，时文也因此成了八股文的代名词。但杨摛藻要求学生们作文要“以一己之精神透圣贤之义理”，不要因为功名而以腐烂的八股时文耗费精力芜没心志，这是不足取的。时文虽有不好的名声，但也不能把千百年来君子贤人所作的佳文与八股时文一样全部抛弃。如明代的归有光、唐荆川、张岱等先贤都是潜心经义参透神明的饱学之士，即使韩愈、欧阳修再生，也不多让。所以说“以文为文虽古犹今，以道为文虽今亦古”，完全在于作文之人自己的选择。这些先贤的文章都自有其精神贯穿其中，不可磨灭，所以编选出来，希望学生们以古圣贤为榜样，养之以学，本立而后才能以文行世。
在教学期间，他经常与同事朋友们交流各自所写的文章，对于写得好的则爱之玩之，对于文义与题目相违背的则与友辩论修正。几年下来，也编选了一本自己与友人的合集《凫山课艺》，阐发作文的理念和精神。
一晃六年过去了，儿子杨仁山也已经长大，到了可以结婚成家的年龄。
1851年底，杨摛藻收拾行囊，辞别凫山书院回石埭故里，一来为儿子结婚成家，二来可在家专心致志读书，继圣贤之学，用他自己的话说就是：“并力一致，追古人而从之。”
五、乡居生活
杨仁山的少年时代，有过一段清静的乡居岁月。这与他父亲的生活有关。
杨仁山的父亲杨摛藻回到石埭故里，口袋里颇有一点积蓄，便在县城广阳西门外的高墈处，购置一房，重新修葺，准备一家人迁居此地。
这时候他接到一封信，是当年的同年进士陈岱云写来的。陈岱云从江西调到池州当太守，他打听到杨摛藻还在家乡，便修书一封，重温前谊，深致问候。杨摛藻接到这封信后，展读再三，心情异常复杂，面对同年好友历任显秩，所至有声，而自己病免在家，优游山林，不能与当年同登仕版的各位才俊戮力同心，咸奏佳绩，则心中自生惭愧。但人各有志，各有追求，又岂能奔走于一途？他不能不向好友岱云款陈心曲，在复信中他写下惭愧之意后，接着写道：“既又私念，以为古人趋操，岂必一途？有安居廊庙而生灵蒙休者，有寂处山林而万物在抱者，发之为事业，蕴之为德行，藏显虽异，其归同也。”在表明这一情怀之后，他告诉岱云：“顾自病免以后，潜心探讨，窃冀粗闻圣道。”从而“并力一志，追古人而从之”。这可能才是他偏隅书院寂处山林的大志向。他继续写道：“凡有所为，必以实心究之，实力行之，毋令轻易放过。”在他看来，道无往而不存，学无往而不在，他岂能甘于自弃？
从这封信中，我们可以见到杨摛藻真正的内心世界，他离开京城官场，偏隅一处，弃世间之荣华，就山林之寂寞，并非甘于淡泊、安于爽心快乐的教书生活，消极处世。而是为了有更多的时间和精力修养身心，拜会圣贤，养浩然之气。应该说这是有积极进取的人生态度的。他在另一封写给旌德书院同事的信中，就清楚地表明了他治学的态度：
近人读四书，专为作文计，每读一句，曰：“此句命意当何属？”每读一章，曰：“此章当何属？”非不谓然，而于身心性命毫不自反，虽尽卷何益之有？
读一句，即以一句反己；读一章，即以一章反己。我之所为，为古人之所是，即从而持守之；我之所为，为古人之所非，即从而痛除之。件件体认，自成片段。
人生乐事，无过诗书，身在晚近，举数千百年圣人、贤人、奸人、人之事，罗列于胸，以为法戒，立身则自有把握矣，遇事则自有条理矣。
这些都是他读书、做学问的理念和态度。中国的读书人常常被看作是迂腐的代表，被冠以“书呆子”的蔑称，其原因就是他们读死书、死读书，不能用书的奥义来反省自己，所以读了一辈子的书，头发读白了，也不明白书中真正的意义，得不到益处，更无从谈起立身处事的把握和条理。
从这里可以看出，杨摛藻读书，是在问学求道。古人隐僻深山，道成而出山任事，杨摛藻或许也深知这样的道理，他后来在写给族弟杨德亨的信中说：“仆早岁只知学文，不知求道，分道与文而二之，已非所以为学矣……迩来潜心体认，知古人功夫，必以穷理，居敬存养，省察为要。”
杨德亨，字仲乾，恩贡生，是杨氏家族中与杨摛藻关系最为密切的人，虽是族弟，也是十分知己的朋友，后来两人一同效力于曾国藩幕府，深为曾国藩所器重，但他不喜混迹官场，却喜读倭仁、吴廷栋的著作，认为是“此学问正脉也”。年老以后，他潜心修学，听说吴廷栋在南京，特意赶到南京拜访，见面深为感叹：“真纯儒也！”他一生也著述颇丰，有《尚志居集》八卷、《补遗》一卷、《读书记》四卷行世。
回复陈岱云之后，杨摛藻仍然过着他的乡居生活。他把广阳西门外高墈上的房屋已修葺一新，在这里过着清静的生活，无比惬意。他在写给同教于凫山书院经常在一起郊游饮酒赋诗的吕课廷的信中说：“今年春，室庐既完，器亦足用，兼有小园两所，花木数十株，为游息之地。和气潜至，草色皆青。吾晨起入园摊书，跗地坐，儿童奉茶以侍其旁，只见鸟喧树间，蝶戏花下，不觉置身羲皇以上。足下不我遐弃，噬肯来游，仆即以独乐者与足下同乐，则春风沂水、濂溪明道二先生既得领其意，我辈同在化育中，不亦可以与知乎？南城之会，西竺之饮，虽往矣，此心犹戚戚焉！”南城指徽水河畔的楼阁，西竺就是西竺寺。
实在是太快乐的生活了，所以要邀请好朋友来一起同乐。这里，让我们不得不怀疑志向高远的杨摛藻究竟是潜心于圣贤之学，抑或是想与陶渊明一样归隐田园逃避现实？
父亲杨摛藻的选择，自然影响了少年时代的杨仁山。杨仁山的少年时代，就是在乡间清静地度过的。这一年的秋天，杨仁山与苏氏姑娘在广阳西门外高墈结婚成家。
