白鹿洞书院东南二里许有回流山，与书院的左翼山、后屏山相连。满山苍松杂树，四季翠绿，金银花、杜鹃花等四时野花争放。山下有一村庄，名上坊李家。由九江至星子原有驿路可通，靠驿路有一村庄名下坊李家。原先由星子至白鹿洞书院的小道是由驿路边的下坊李家再到上坊李家，上坊李家有一小溪阻断通路，因此在宋代就筑有石拱桥连接去书院的道路。小溪宽约10米，深约5米，朱熹曾在此建石拱桥。回流山近溪水旁有一巨石，朱熹弟子陈宓书有憩斋流芳桥小记一则。文曰：“新安朱侯在建桥白鹿洞之东南陬，面直五老峰，溪流绀洁，未之名，同游江西张踞、罗思、姚鹿卿，闽张绍，燕潘炳，郡人李燔、胡泳、缪惟一，会讲洞学毕，相与歌文公之赋，得名流芳，既揭楣间，因纪岸左。嘉定戊寅四月丙午，莆田陈宓书。”另外陈宓还专书“流芳”两字刻于石。
不知朱熹建桥后流芳桥又被大水冲毁了多少次、重建了多少次，现在，上坊李家的小溪上只留有一座解放初期建的小水泥桥。留有清道光年间帅方蔚的《重修白鹿洞书院流芳桥记》等。
流芳桥位于白鹿乡的上坊李家，是星子至白鹿洞书院必经的小桥，没有此桥，书院的学生到白鹿洞就要绕道。清道光年间，安义县乡绅张兆奎的儿子在白鹿洞书院学习，听说书院的流芳桥年久失修，已经倒塌，桥为星子至书院必过之桥，诸生往来其间络绎不绝，现在没有了桥，行走非常不便。于是，张兆奎提出出资修复流芳桥，召工谋建，鸠工伐石。修复工程始于道光壬寅二十年（1840）六月，落成于九月。一座卷拱的坚固小桥耸立在上坊李家的溪水间。工程耗银三百余两。大家都称赞张兆奎的慷慨好义。
桥建好后不久又被大水冲毁了。道光二十六年（1846），邱建猷任南康知府。二十七年，他到白鹿洞书院课士，视察书院。此时，张兆奎所建流芳桥已经被大水冲毁，他从星子至白鹿洞书院，也是从回流山边的草丛中绕道而行。他坐的轿子是由轿夫搬过来的。他看见流芳桥仅有水中几块大石，枕流桥却安然无恙，可以畅通。他分析认为，枕流桥虽然建筑在两崖之间，但枕流桥以石为基础，不易倒塌，而流芳桥两岸均为土质，大水一冲容易倒塌。于是，邱知府致书安义杨绎堂、潘容堂二县令，要他们与张兆奎商量，能否再次出资修建流芳桥。张兆奎让在书院念书的儿子张凌云中秋去见邱知府，提出寻找一处不易倒塌的地方建桥。于是鸠工庀材，道光二十八年（1848）小春朔日开始建桥，三个月完工，费银三百余两。他们考虑到原桥名流芳，“流”字不吉利，遂改名“留芳桥”，以图吉利，使之能永远巩固。
第一次修桥由帅方蔚书《重修白鹿洞书院流芳桥记》。记曰：桥成，“观者莫不为颂张君之贤，以为其为惠于道路者至无已矣。”“余闻古名九月除道，十月成梁，其事皆堇之于官，孟子所谓‘徒杠舆梁，民亦病涉’，固政典之一也”。他认为以前修桥补路皆为官府的政事，修好了桥，补好了路，可以方便百姓的往来。这是官府的政绩之一。“武侯相蜀，所至好治官府，次舍、桥梁、道路”，所以后世皆称赞诸葛亮的义举。现在张君用大量的金钱修建距他家二百里之远的流芳桥，这种义举是值得嘉许的。
张兆奎的儿子张凌云为他的老师、书院主讲帅方蔚书《帅子文夫子教思碑记》。署名碑末诸生的名字为三十八人。碑文中提到：“先生以学问文章负海内重名久矣。”先生“十岁能属文，十三岁补邑诸生，十八岁举于乡，又十六年成进士”。帅方蔚是一位灵童。他在廷试中以美丽的辞藻和条理明晰的文章，颇得廷试官的称赞，认为“醇茂渊懿，举世无比”。由于帅方蔚字写得不大好，遂由第一名状元降为第三名探花。但帅方蔚的文章却传遍京师，家家都会传抄，“京师几为纸贵”。考试后，帅方蔚于道光八年（1828）出典山东乡试，以后迁湖广道监察御史，转掌京畿道事。道光十八年（1838），母亲病故，帅方蔚乞假为母亲送葬。道光十九年（1839），江西巡抚见帅方蔚守孝在家无事，聘其主白鹿洞书院讲席。他教学认真，讲学躬行，教人谨守洞规，要求学生读书别出心裁，抛弃陈词滥调，要踏踏实实地学习，不要剽窃别人的成果。学生都以“经师易得，人师难求”称赞他。
帅方蔚在书院教书四年，道光二十二年（1842）他的假期已到，将要辞别白鹿洞书院的同仁和诸生，回京师赴任。他难舍在书院的同事和诸生，作诗四首，作为对白鹿洞书院同事和诸生的留念：
十年蓬岛别仙班，小住匡庐亦汗颜；
不学只应惭绛帐，无诗弥觉负青山。
一楼雅喜春风远，万卷同忧镇日闻；
几上枕流桥上过，敢忘圣域与贤关。
考亭旧迹此间存，规制当年费讨论；
千古岿然尊鹿洞，四方学者仰龙门。
吟余自得“诗”“书”趣，僻绝全除市井喧；
最是谈经遗轨在，敢将义利剖微言。
贤守风流特爱才，振兴端赖狄公来；
（嘉庆年间，诸生膏火不继，南康狄公请于大府，岁给盐务公费银千两，是时微公，书院几废）
藻芹多士从游盛，桃李何人著意裁。
经典即今还散佚，洞田强半已汙来；
护持总芨当途力，顾乞余恩一挽回。
滥拥阜比媿寡闻，何时尊酒更论文；
烟霞未许浮生老，山水差偿夙愿殷。
不觉蕉窗经四载，当从杏苑望诸君；
怀人恰有难忘处，松下清风岭上云。
道光二十八年（1848）重筑流芳桥记则是由南康知府邱建猷所书。对于建桥地址，他们是经过勘察的，“乃相与陟巘降原，相观得地”。其具体位置是“距旧址下数寻，因石盘筑之”，也就是离旧址几丈的地方，地址用大石块筑牢。他为什么再次要求张兆奎捐资建桥呢？那是因为“张君星圃素以侠称，既已修缮于昔，必能改小于兹”。也就是说，张星圃乃好义之士，既然前次能修，这次也必定会慷慨捐修。“平日之所为，而乐于此善可知矣”。加之白鹿洞书院的山长乃是他“通家故旧”，所以“张星圃欣然命哲嗣凌云茂才者中秋后末谒余”，商谈建桥事宜。桥成，“流芳桥”改名“留芳桥”。改名“留芳桥”的原因是，“余虑其流而不返也。爰名之曰‘留芳’”。“流”改“留”，寓意巩固也。
