海瑞于隆庆四年（1570年）上《告养病疏》，被获准辞官，返回家乡。
海瑞从应天回到海南岛的琼山，开始了清苦的闲居生活。当然，他的心情是苦闷的，因为他的兴利除弊的改革刚刚初见成效，便遇到各种阻力，更得不到皇帝的支持，不能施展抱负，难免心烦意乱。海瑞在浙江、江西、北京、南京、苏州等地为官数十年，却从来没有添置过田产。此次回籍仍然靠祖上遗留下来的十几亩田地度日，身边也只有年已古稀的老母亲和侍妾（妻子王氏病故），相依为命，生活清贫恬淡。
解职回乡的海瑞，很少与他人来往。他对老母谢氏十分孝顺，感激其丧夫后抚己成才立业的养育之恩。据传，他早在南平县任教谕时，就把母亲接到任上一起生活，因为母亲从28岁开始守寡，勤俭持家，这给海瑞留下深刻印象。海瑞在淳安任知县时，有一天自己亲自买了二斤肉，人们都很奇怪，海知县今天是怎么了？他平日连半斤肉都舍不得买呀！后来人们才知道，买二斤肉是为母亲过生日。这件事传了出去，被浙江总督胡宗宪所知，做笑话一传再传，胡宗宪认为海瑞堂堂七品知县，日子过得太寒酸。
知县的母亲过生日，发请柬、办酒席、祝福老人家健康长寿，这在过去可以说是司空见惯的事，知县本人亦可乘机发上一笔或大或小的钱财，这也是买官卖官的一个机遇。可是，海瑞只给母亲买了二斤肉，还被权贵豪吏者讥笑传闻，真是令人慨叹。
海瑞的俭朴是世人皆知的，他的官服只有上朝理事或者有重大拜见活动时才穿，并且多年不易；有一次进京述职穿的是五年前的旧袍，吏部众多官员都为之感动。海瑞的靴子多年不更换，破了之后找鞋匠修补，受到居民普遍赞扬。
明朝官员的俸禄，同唐宋等朝代相比是偏低的，应酬官场上的礼尚往来需要一笔资金，这笔资金从哪里来？一般地说，州府、县皆从税收或向民众摊派中攫取。海瑞没向老百姓伸手，也没从税收中提取，而是首先减免迎来送往方面的支出。除此之外，他还自己动手创造财富。他曾利用业余时间开垦菜园，用勤劳的双手创造财富，以弥补财力上的不足，这种自力更生，艰苦奋斗的作风，在中国古代官员中是罕见的。
海瑞有“海青天”等称谓，这是人们赞颂他严惩贪官污吏、平反昭雪冤假错案的刚毅风骨。海瑞又有“爱民如子”和“老百姓的父母官”等称呼，是指他为官一日就尽职尽责一天，想方设法为百姓谋求利益，因此深受百姓的爱戴。他每到一地都要派出官员丈量当地土地，然后根据土地的多少确定赋税徭役的高低，从而防止了土地多而赋役少的严重弊病，此举一是减轻了农民的负担，二是控制了土地兼并继续蔓延的势态，三是缓和了阶级矛盾，达到了一举三得的效果。
早在海瑞辞职返乡之前，有人告诉他：“琼州一带（在广东海南岛澄迈以东，会乐以北）有人借您的名义放债买田。”海瑞听后立即写信给琼州知府，信中说：“生自为官以来，俸余所入，仅仅足用，余无分文可债可贷，田业止祖余量一石二斗，外来增一亩一升，有以二事呼瑞进状者，皆作为也。请台下一查治之，勿少假贷。”
海瑞从任福建南平县教谕到江苏应天府巡抚，当了18年官，从自己薪俸中日积月累了120两银子，才买下了一所住宅。此外便没有什么财产添置了。至于田产，如前所述也只有祖传十余亩。在丈量清算土地面积时，当地县吏为照顾他家，少算了1亩8分，海瑞知道后不答应，执意要照实按田地亩数计算。全家吃用，都从这祖传的10余亩田里出，连温饱都谈不上。
在中国封建社会，发展农业生产至为关键，而发展农业生产离不开兴修水利。海瑞对水利事业极为重视，他在任应天巡抚期间，经实地考察，弄清楚了江苏的吴淞江泄太湖之水，原来沿江田亩都靠这条江水灌溉。年长月久，又不修治，江岸堤防被潮水冲刷腐蚀，造成通道淤堵，每遇狂风暴雨即成水灾，大片田地被淹没，水害连连。海瑞组织府衙官员，发动组织群众，赈济饥民，用工代赈，仅用了56天时间疏通吴淞江，又用30天时间疏浚白茆河，变水害为水利。
“要开吴淞江，除是海龙王。”这是流传于江南民间的两句话，意思是治理吴淞江水患根本没有指望。当时的民众认为，开河通口是朝廷绝不会做的一项大工程，即使做了也得要老百姓出钱。原本做梦都梦不到的好事，如今竟在海瑞大人率领下，美梦成真了。河修好了，老百姓一个子儿也没花。
自从海瑞辞职还乡之后，虽有朝中正义官员多次替他鸣不平，保荐他重新任职，但是，权倾朝野的张居正于1572年出任内阁首辅（相当于丞相）执掌国事，后惮于海瑞的孤峭刚直，曾派巡按御史梁云龙去查访海瑞。梁云龙来到琼山探视，海瑞高兴地杀了鸡、煮了玉米款待来客，梁云龙环顾房舍，仅有竹桌、竹椅，冷落凄切，满目萧然，叹息而归。
海瑞由于没有俸金收入，生活不济，只好经常替人书写应酬文章，现留有《赠史方斋升浙藩大参序》《赠李太守母七十寿诞序》《贺屈之礼生子序》等十余篇墨迹存世。这些情况，印证了海瑞晚年在琼山茅舍生活的拮据，不得不以笔墨之劳获取薄酬，缓解生计之不足的窘境。
海瑞虽然在家乡过着简朴的日子，但心念国事民情，有些地方官员仰慕他的人品，常常写信询问有关政事，海瑞一一复信作答。留存至今的有《奉分巡道唐敬亭》《复唐敬亭》等真迹。信中内容涉及如何清丈田地、平均赋役等问题。还有《启殷石汀（正茂）两广军门》等多封书信，建议要防范倭寇，并提出策略方法。他论述国事，仍然直言不讳，对官军不能平寇、官吏不能抚民的现状，非常愤恨。万历十年（1582年）张居正因病故去。不少官员向明神宗上疏告发张居正贪赃枉法，张家财产被抄，封爵被剥，被张居正排挤打击的官吏被神宗重新启用，其中就有海瑞。
万历十三年（1885年）的正月初十，朝廷任命海瑞为南京都察院右佥都御史，后来又改为南京吏部右侍郎，（明朝自永乐皇帝迁都北京，仍在南京保留中央政府组织，和北京同时设有吏、户、礼、兵、刑、工六部，分管各有关政务。各部长官叫做尚书，副长官叫做侍郎）这时海瑞已经72岁了。年纪虽长，可他的刚毅廉洁的作风仍不减当年。
同年2月20日，海瑞怀揣圣旨，在家人海安的陪护下前往南京（应天）上任。一路上，为避免沿路官府的应酬客套，“琼山海府”的灯笼没有悬挂，他身穿青衣，头戴小帽，但神态依然精神抖擞。他曾对人说道：“主上有特达之知，臣子不可无恃之报，奚取焉！”
海瑞上任伊始发出布告：严禁向新任官员馈赠礼，严禁接风宴请。在朝廷做官和在家不一样，各级衙都均该前来祝贺送礼，“此酬彼答，费精劳神，挥霍钱财，殊为虚伪”。海瑞率先垂范，把已经送来的贺礼一律送回，这样一来就再没有人敢来送礼赠银了。
海瑞发出的第二个布告：严厉禁止在京各衙门以各种事由向百姓摊派物品或银两；除了原先规定的必要的供应之外，一分一文不准多取，否则严惩不贷。
明朝中后期的吏制严重败坏，贪污、贿赂成风；官吏搜刮百姓的现象非常普遍，正如著名政治思想家黄宗羲所说：“二百余年，天下金银纲运至于燕都，如水赴壑。”海瑞对这些腐朽和东西深恶痛绝，为此，他发布了第三个告示：
“本臣倘若不为民不为公而随心所欲地乱用滥支府库银粮，各州县可鸣鼓攻之，自己决不自赦。”
在发布公告期间，海瑞与房寰之争引起轩然大波。房寰系朝廷提学御史，他反对海瑞提出仿效明太祖朱元璋惩办贪官的法律，即洪武三十年（1397年）对贪官枉尘者剥皮囊草以及贪赃八十贯论绞的律法。他诬告海瑞本是一介寒士，却以圣人自诩；“清平之世，创闻此不祥不语”，他还挑拨皇帝朱翊钧与海瑞的关系，让海瑞失去了朝廷的信任。
值得注意的是，皇帝朱翊钧对如此大事大非的问题，以“是非自有公论”为由来了个无加可否的表态，助长了房寰的气焰。海瑞上书力驳房寰，揭露其多种劣迹，使房寰狼狈不堪。
万历十五年（1587年）十月十四日，在这个风雨交加的秋夜，海瑞因病诀别了人间尘世，逝于任上，享年73岁。
临终前三天，兵部官员送来的柴薪费多出了七钱银子，海瑞命令家人如数退回。海瑞弥留之际，守护在他身边的除了家人海安之外，还有南京佥都御史王用汲等人。
海瑞病故与心情抑郁有关，海房之争越演越烈，一批有正义感的进士，如顾允、诚彭遵古等都拥护海瑞严惩贪官的主张，但被皇帝朱翊钧以进士不该“多言多语”为由逐出京城，由此可见皇上是偏袒房寰的。海瑞申请告老还乡，皇上又不应准，加上年迈体弱，海瑞一病不起。
海瑞已殁，王用汲负责清理他的家产，有余银十几两，有葛布制做的帐幕和已破旧的竹制用具，还有多次修补过的衣衫，王用汲看过之后不禁落泪，并凑钱为海瑞办理了丧事。南京的缙绅同情海瑞，南京的市民怀念海瑞，护送海瑞遗体归葬的船只出现在江面的时候，两岸上的群众身披白布，眼含热泪，手捧祭酒向海瑞遗体告别。
“号泣如朝考妣，倾城皆至舟次，罢市数日。”（《金陵锁事》卷2）人民百姓感恩戴德，争相为其作画、立像、筑祠，甚至街谈巷谈：“相传公已为神。”
上述记载、传说，反映了人们对海瑞当政为民功绩的赞许，反映了人们对他的深切怀念，反映了人们对他的崇敬。
当朝皇帝明神宗朱翊钧自知愧对海瑞，连忙下达圣旨给江南督抚，要厚葬海瑞，并加封太子少保，谥忠介。
