成书于12世纪初的《今昔物语集》的卷19就记述了与泰山府君有关系的故事。说是有一位高僧得了重病，弟子们虔诚祈祷也不见好转，便请来阴阳家安倍晴明前来祭祀泰山府君，以望祛除病魔。安倍晴明却说，要想挽救高僧，需有一人替死，载其名于祭祀的文书之上。一位平时并不受到高僧器重的弟子挺身而出，愿意替师赴死。法事之后，高僧病情迅速好转，而那毅然待死的弟子也平安无事。原来泰山府君感其诚意，保佑师生长寿终其天年。这个故事里，泰山府君不仅管着中国人的生死，连异国僧侣的寿夭也是他的权限。
泰山府君随佛教传入日本之后，又被那里的阴阳家奉为掌管生死的神灵，与日本古代神话中的素戋明命相配，成为祭祀的对象。平安时代以后他是延命，除魔，荣达（荣华富贵，飞黄腾达）的神，对信他拜他的人来说，好像比在中国还顶用。史载京都的赤山禅院13世纪就多次祭祀泰山府君。
这个故事，又将泰山府君与日本的阴阳家牵在了一起。原来中国的阴阳家大约六世纪时就传到日本，特别是到了平安时代，阴阳家神秘的一面大为强调，变成了一种民间信仰，到处用来避祸招福。那故事里的安倍晴明所属的安倍家，就是平安时代中期最有影响的两家阴阳家中的一家。泰山府君为日本的阴阳家所用，那故事里赞扬的是情愿代师去死的弟子，与《搜神记》中的胡母班故事赞美孝道，其中背景实有不同。
胡母班故事中的泰山府君的一句话，不仅让胡母班阴间服苦役的父亲换了身份，而且让他儿子免去一死。不过，别的人就没有胡母班那份福气，能随时谒见这位冥王，那就只有烧香磕头，求他保佑了。看来《今昔物语集》中的泰山府君，已经与《搜神记》里的不大一样，不是那么容易让人一睹尊容了，在人生病的时候，只有好好拜他才行。日本《吾妻镜》多处记载寺院举行天曹地府祭，祭祀泰山府君及冥道诸神。皇室贵族染疾，都对泰山府君敬上加敬。
日本文学中的泰山府君形象，基础当然是中国文献中的泰山府君。六朝很多志怪小说传到日本，传到日本的唐宋以来佛教典籍和笔记小说中也有不少提到泰山府君的威力。例如宋人非浊编的《三宝感应要略录》传到日本后，送去了很多感应故事，日本的佛书以及有关文学集纷纷引用或改编。室町中期玄栋编的《三国传记》卷第七的《第二太山府君旧译仁王经誉（玉）事》就讲述了一个泰山府君精通佛学的故事。原文是有夹杂着汉语词汇的日语写的，今按汉文语法调整后录于下：
汉言，德宗皇帝世，有一沙门（住处名字不记）。贞元十九年，宿太山府君庙堂。鹿鸣猿叫。[孤]云惨，叶落泉飞。片月残，物哀思幽。五欲无常如泡沫，体性虚伪似观灯炎。诵新译仁王经四无常偈。府君梦示云：“我昔在佛前，亲闻之。什公翻译语质，义味泯合。闻读诵声，身心清凉也。新译经文词甚美，义味淡薄也。汝可持旧本与（玉）经卷。沙门梦觉，兼持旧本矣。”
这一段记述，原本《三宝感应要略录》卷中第六十《旧译仁王经感应》，今收入《大藏经》。原文如下：
德宗皇帝贞元十九年，有一沙门，不知名及住处。宿太山府君庙堂。诵新译四无常偈。府君梦示云：“吾昔在佛前闻此经。什公翻译词质，义味泯合。闻读诵声，身心清凉。新译又（又当作文）词甚美，义味淡薄。汝持本又毗沙门与经卷副（此句难读，疑有误）。”沙门梦觉，兼持旧本矣。
《三国传记》所载比《大藏经》多出一段充满无常情调的景物描写，有了这样的氛围，沙门诵读四无常偈才能更合情理。或许《三宝感应要略录》中原本是有这样文字，后来被删节掉了。总之，泰山府君作为曾在佛身边亲聆圣教的形象，与佛教结下不解之缘。这个故事的意义不仅在于肯定了《仁王经》鸠摩罗什的旧译本，而且表现了泰山府君的无限权威。《仁王经》是日本平安时代为国消灾免祸，除妖驱魔时诵读的重要经卷，联想到这一点，那泰山府君的威力便不难窥测了。
