明孝宗弘治二年（1489年），刘大夏调升为广东右布政使。上任伊始，他发现广东官府的金库中另有一笔账外资金，也就是私设的“小金库”。刘大夏询问缘由，管库官员报告了小金库的设立及使用情况，说明这是历来供长官不时之需，从来都是不入正式账册的，并建议他沿用下去。刘大夏沉思良久，突然大声说：“我从小读圣贤书，立志做正直之士，怎么今天遇到这样的事，还犹豫思考这么长时间呢？真是愧对古圣先贤，不是大丈夫之所为呀！”当即命令取消小金库，将它记入正式账册，革除这种腐蚀官吏的弊端，并坚决表示自己决不非法私用官库中的一分钱。
弘治六年（1493年）春，黄河的张秋堤防决口，泛滥成灾，皇帝诏选有才干的大臣去治理，吏部尚书王恕等推荐了刘大夏，并把他提升为右副都御史。刘大夏到任后，宵衣旰食，身先士卒，在黄陵冈疏通贾鲁河，又疏通了孙家渡和四府营上游，以分水势。从胙城经东明、长垣到徐州，修筑了三百六十里长堤，使水灾得到根治，造福于一方百姓，受到朝廷的嘉奖。由于他使用治河经费精打细算，竣工时节余了两千多两银子。临行时，河南布政使和按察使为了表示感谢，决定把这些钱全部送给他。刘大夏坚决不收，建议他们交还国库。
刘大夏正直敢言，一心谋国，多次向朝廷进言，撤去非定额内的四方镇守宦官，惩处其中的贪婪残暴者，因而得罪了当权宦官和朝中奸佞，被诬陷抓捕到京城。途经开封时，河南布政使和按察史商议，准备将刘大夏在治河结束时拒收的两千两银子送给当权宦官刘瑾，以解救刘大夏。刘大夏知道后，严肃地说：“你们怎么能助长这些豺虎的贪欲呢？我宁愿坐牢死去，决不向这些人行贿求免。”当时一同被抓的人中，有的通过向刘瑾行贿而获释。刘大夏的子孙们也准备用这种方式来救他，已向亲朋好友借贷，凑足了一笔钱。刘大夏得知后，痛斥亲属说：“我如果被诬死去，受害的只我一人，如果以贿赂求活命，这不仅是我的莫大耻辱，也辱没了祖先与子孙后代，是万万不可的。”他坚决制止了亲人们的错误念头。刘瑾开始要判刘大夏死刑，但遭到都御史屠滽的反对，在大学士李东阳的调解下，判他流放戍边，免于一死。两年后刘大夏被赦还乡。刘瑾恶贯满盈被诛后，朝廷恢复了刘大夏的官职。
（见《明史·刘大夏传》、《玉堂丛语》、《先进遗风》）
赞曰：
一
身登要路秉清廉，不染毫厘非份钱。
犯众奉公除积弊，赤心一片足称贤。
二
横遭冤狱因清廉，不贿权奸买命钱。
羞玷英风甘玉碎，堪教公仆效前贤。
※诗作者：陈龄彬
