在王安石的运营下，有人发现广东潮州缺个州政府总务长（别驾），于是，唐坰跋山涉水的去潮州了。这事儿出来后，神宗对王安石的信任就已经打了折扣，此后，神宗与王安石的分歧越来越大，并最终导致了王安石的离开。
你是你，我是我
宋神宗与王安石，表面上是君臣，其实在变法刚刚开始时，两人的心是一起的，称得上是穿一条裤子的兄弟。可惜，这对好兄弟却没有顶住敌人狂风暴雨般的攻击，并因此变得矛盾重重。而在两兄弟内部，也同样发生了很多不愉快的事。那种穿一条裤子的时代不再了，取而代之的是你是你，我是我的时代，你穿什么与我无关，反正我不会与你再穿一条裤子。
对于太监程防的任用，神宗与王安石就有过异议。
熙宁初年，程防担任河北地区屯田的监工，每天就是呼喊工人们干这干那的活，空余时间比较多。程防是个挺会思考的人，而且思考后会马上用于实践，在治理黄河的过程中，他就经常这么干。对于这种有想法敢实践的人，王安石大为赞赏，擅作主张给程防升了官。
程防升官遭到了很多人的不理解。说来这程防也不是什么好鸟。在当监工时他就作威作福，拿着鸡毛当令箭，劳民伤财。所以用这样的人神宗是不乐意的，王安石却是一意孤行，那条穿在两人身上的裤子，开始有了裂口。
熙宁五年，王安石又要升程防的官，神宗还是反对，说：“程防可能有点能力，但思想政治水平不过关，不能用。”王安石觉得神宗对程防有偏见，以老大哥的身份对神宗提出批评：“陛下您很聪明，就是有点善良，当领导的是不能讲妇人之仁，不能优柔寡断的。正因为这样，别人才以为您这个领导好欺负，天天给您上奏章说些歪曲事实的话。现在是用人之际，要观大节，略小过。”
但是无论王安石怎样给程防说情，神宗就是不用。直到熙宁八年，王安石还对这事耿耿于怀，说文彦博、陈升之推荐的人神宗就用，他推荐的程防神宗就是不用。对于王安石的话，神宗嘴巴上虽没说什么，但心中已经明显不服。
两兄弟吵得最凶的一次，是关于李评的问题。
李评家是皇亲国戚，他爷爷李遵娶的是宋真宗的女儿万寿长公主，从此攀上皇亲，家族事业走上康庄大道。李评老爸李端愿当了武康军的军区司令，李评长大后，因为家族关系，没经考试，直接进入了公务员行列，被朝廷任为枢密都承旨。在王安石开启新法，全国上书跟吃饭一样平常的年代，李评也不免掺和了进来。
他也喜欢上书言事，而且他运气比较好，说的问题都还算是问题，很多上书都被神宗采纳，因为这点，李评有点控制不住自己了，加上他品德也有问题，天天跟着一帮公子哥们搞些违法乱纪的事，弄得到了有点人人喊打的地步。
王安石对李评很不满，神宗却有点支持李评。有次李评主持修改仪制，等他绞尽脑汁把仪制修改出来后，却招致一片骂声，说是比原来更混乱了。王安石要撤了李评，神宗不干。两人这次都没给对方留面子，大吵了一回。在用人问题上，两兄弟从没发生过这么大的争端。
几天后，王安石又提出要惩罚李评，神宗还是不同意，说李评改的，都没什么问题，他的罪状都是别人恶意中伤他的，不要只看到表面。王安石说，您不懂，我看到了他的表面，也看到了他的里面，他就是个兔嵬子。因为这，两兄弟又闹得不可开交，只差没动手直接把裤子撕开，你穿你的，我穿我的。
最后，神宗的执拗劲还是没拗过王安石，李评被外放到了保州。虽然如此，神宗心里还是有着一百二十个不服的。王安石没有意识到，这件事竟让神宗到了伤透了心的地步。裤子间的口子越撕越大。王安石不懂，神宗对李评是有着很深的个人情感的，这李评很长时间以来，一直伺候神宗，知书达礼，又懂数学智谋之计，在神宗的内侍中堪称翘楚，因此神宗与李评有时候走得非常近，要把李评外放，神宗舍不得，想侃文学、数学时，找谁侃去？
李评被贬以后，两兄弟间的争论更多。神宗对王安石不再言听计从，也不再崇拜，自立的种子开始发芽。李评被贬的当月，有个叫郭逢原的小官上书，对王安石大唱赞歌，说他政绩搞得好，人也长得帅，神宗应该给王安石更好的礼遇，这话明显就捧得有点过了。
对这样的上书，神宗当然不高兴，你称赞王安石，把我放在什么位置。王安石却很高兴，说郭逢原是个人才，应该用。一句话又伤了神宗，坚决不提升他，裤子，各穿各的吧，王安石“帝王之师”的形象就这样消弥于无形了。
一张致命的图卷
熙宁六年的元宵节，开封城内张灯结彩，大家都在为过节而忙碌。宋朝政府内部也在积极组织新春联谊会。联谊会办得还算成功，王安石和神宗都在看百戏，与民同乐，气氛是比较和谐的。但是，在这天晚上却发生了一段小插曲。
夜深了，参加联谊会的官员们都开始陆续回宫。王安石也骑着马跟着皇帝的车驾往宫里赶。在神宗的车驾进了宣德门后，王安石扬两下子马鞭策马而入。谁知，两个太监站了出来，拉住了王安石的马缰。还沉醉在节日气氛中的王安石一惊，差点被拉下马来。而这马匹也是因为惯性，把拉马的太监一带，差点跌倒在地。
这下太监不干了，上前就踹了王安石的驭手一脚。王安石涵养再好，这时也未免有点生气。因此质问两个太监为什么打人。太监仿佛还很有理，根本没把王安石放在眼里，拿出祖宗法制来压人：
“所有人到了宣德门前都必须下马进入，你难道不知道吗？”另一个太监说得更损：“所有人都必须要下马，你居然不下马，难道你是王莽这类货色吗。”这话确实有点伤人，平心而论，王安石从来都把自己当周公自居，要说他是王莽，那真是污辱了他。
王安石受不了这个气，跳下马来，扬手就打了说话的太监一记耳光，声音还非常清脆，王安石虽然是秀才，打人的力道却还不赖。被打的太监找不到别的方法理论，于是使出妇人的手段，在地上打滚，边滚边喊：“打人了，打人了。”其实，太监也算得上是半个妇人。
已经进了宫的神宗这时并没走多远，听到这边有人喧哗，派人出来问王安石出了什么事，王安石虽在气头上，但在皇帝面前还是要收敛一下，就说：“小太监目中无人，打伤我在先，我教训了他一下，小事一件，明天再说吧。”
嘴上说是小事，但王安石心里却没把这事看成是小事。回到家后，他就越想越生气。以前也不是没打马从宣德门前经过过，每次都是平安元事，也没人提醒他说要下马，偏偏这次却出了问题。一个小小太监，如果没人指使，是不会对自己这样无礼的。王安石心知自己政敌太多，明天这事还得说清楚才行，希望少出点下黑脚的事。
第二天，王安石在见到神宗后。王安石还没提，神宗先把这事说了出来。王安石当着百官的面，把这事的前前后后一五一十地说了出来，同时请皇帝派人调查调查，看是不是有大臣须在宣德门前下马的祖制。
宋神宗说：“朕以前还在做亲王时，官职还比不上宰相，进宣德门也没有下过马啊。这是怎么回事。“神宗也被鼓捣在了葫芦里。没想到老饭桶文彦博却跳出来说：“臣听说过大臣到宣德门时是要下马的，臣到宣德门后，从来都是下马进来的。陛下当年是皇子，地位比谁都尊贵，过宣德门自然不必下马。”文彦博为了扳倒王安石，这会有点开始想当然地在说胡话了。要说他每次都在宣德门前下马而入，绝对不实。
神宗还想给王安石找点面子，就问群臣：“朕是不记得有这个规定的，你们还有谁知道应不应该下马。”神宗希望站出一两个人来给王安石说说好话。没想到神宗说完这话后，下面鸦雀无声，没人说话，朝堂上静得落针可闻。今天的当朝大臣，都是有名词的人物，变法派除了王安石，其他骨干都因为资历不够，没有参加这次朝会。王安石不可避免地面对着空前的压力。
见没人说话，神宗开始点名，第一个被点到的是冯京。冯京是广西宜州人，是中国科举制下13个三连中中的一个。所谓三连中，就是在乡试（地区选拔）、会试（全国选拔）、殿试（皇帝面试）中都是第一名。
由于冯京的牛气，中状元后很多政府官员都想招他作女婿，国戚张尧佐把冯京招到自己府上，送他一条金腰带，还当场表示只要他娶自己女儿，嫁妆绝对够份量。但冯京却不干，当场拒绝，弄得老张心里很不舒服。看起来冯京好像很有骨气，但最后还是没架住京官们让他作女婿的浪潮，最终跟富弼攀上了，把富小姐娶进了门。
冯京曾和王安石同事过，对王安石的为人很了解，所以王安石变法开始时，冯京积极支持。但很快就发现有点不对。王安石这是在集权，也就是官方垄断经济。冯京不像其他反对新法的那样敲锣打鼓反对王安石，而是在背后偷偷摸摸的搞。
对于今天这个问题，冯京想整王安石，但也不能太露骨，因此略带委婉地说：“这个问题臣也记不太清楚了，不过臣仿佛好像似乎记得是应该下马的。”这不他妈的废话吗，神宗心道。看样子，朝堂上是没人说得清楚了。神宗只好以以后再调查结束了这次朝会。
退朝回来后，王安石的心情就无法平复，他执政以来，处处小心，生怕被别人抓住把柄，没想到还是发生了这样的事。不灰心那是假的，如果得不到起码的尊重，他王安石也只能辞职，回家养老去了。
接到王安石的辞职书，神宗立即出面找王安石谈话，希望他别往心里去，又把王安石的儿子王髣找来，让他安慰王安石。至于闹事的太监，神宗让开封府判官梁彦明抓进公堂，打了个屁股开花。太监惩了，幕后之人，神宗却一直没有过问。也就是从这时起，在反对王安石的浪潮中，神宗自己就支援了，他已经不是那个和王安石穿一条裤子的宋神宗，而是为了某些利益，可以牺牲掉王安石的宋神宗。
宣德门事件正式拉开了王安石想要隐退的序幕，而让这成为现实的，却是《流民图》，主角叫郑侠。
郑侠是福建人，年轻时曾到过江宁（南京），当时王安石正是南京市长，郑侠因为才名而受到王安石的亲切接见和勉励。后来王安石到京城做宰相，郑侠恰好又中进士，到光州的法院工作。当时，王安石给了郑侠很多支持。光州有疑难的案件，经郑侠审讯上报后，王安石全都批复照准。据郑侠的同事说，郑侠感动的热泪盈眶，默默的把王安石当作人生知己。
郑侠在地方法院的工作结束后，到东京后等组织部的安排。王安石当时的改革正在紧要关头，急需大量有用的人才，郑侠自然是他看中的目标之一。王安石就鼓励郑侠去参加新法规定的考试，因为这项考试如果及格，就可以越级提拔为京官。当然，就可以为新法流血流汗了。当时很多想要做官的人都通过这条路进入东京。可郑侠给王安石的答复很不委婉，他说，我根本不熟悉新法。
王安石感到很奇怪，心想，你小子每年审的几百件刑事案的细节都了如指掌，新法难道还比刑事案复杂。郑侠只好对王安石说实话，我在地方上亲眼见到青苗法、免役法、保甲法、市易法推行起来的弊病。大家反对新法如同反对桀纣。
如你所知，王安石对这样的言论早已经麻木了。他感觉，有些人过于夸大新法的危害。而郑侠就属于这类人。为什么要夸大新法的危害，当然是反对新法。
王安石后来对郑侠有意疏远，郑侠后来到地方上担任父母官，经常写信到东京，说新法的坏处真是大大地！王安石实在是太讨厌他，就把他召回东京，让他当了个东京城安上门的门卫。
郑侠可是进士出身，你让他当门卫，这是典型的凌辱加强暴。不过郑侠是个善于忍辱负重的人，他觉得门卫这个工作更能使他看到新法带给人间的惨剧。
郑侠最先看到的是东京城里《免役法》带给人间的惨剧。即使是在天子脚下，《免疫法》的执行也不是尽善尽美。很多本该不交税的人交了税，很多应该少交税的人却多交了很多。比如挑水、理发、卖粥、卖菜的小买卖，不交税就会被政府强行停业整顿。政府有关部门所索要的大额征税手续费，有的甚至超过了正税。也就是说，小商人们好不容易按照《市易法》贷款成功，贷款的一部分却被《免役法》给夺走了。
郑侠把这些鲜血淋漓的事实通过王安石的一名门客告诉了王安石，王安石还是采纳了郑侠的部分意见：做小买卖的不征税，商人征税太重的，减免十分之七。
然而，这种改变对幅员辽阔的北宋帝国而言，无疑是大旱中的一滴甘露，毫无意义。郑侠始终想拯救黎民于水火，所以在门卫办公室里经常沉思，皇天不负苦心人，他终于等来了机会。
1073年下半年，持续的干旱席卷北宋帝国的东北地区，一直到第二年的春天即将过去，仍然不见好转。东北流民扶老携幼，衣裳褴褛，面露愁容，条件好一点的，买麦麸掺米煮着吃，差的则吃草根，树皮，还要被戴上刑具背瓦抬木头，卖了以偿还官府青苗法所贷本息。又有些胆大的流民一路南下，到了东京城，使得东京城中的治安急剧恶化。
王安石和宋神宗都坐不住了。王安石是觉得，自己真是倒霉，变法正在进行中，老天居然也反对起来。而宋神宗实在是爱民如子，赶紧下诏，征求批评意见。王安石当年说，老天搞的东西不足为惧。现在宋神宗在老天面前像个软柿子，这就说明对老天服软。那可是万万不行的。
他对宋神宗说，“干旱是自然现象，尧时大旱，商汤时也大旱，都是十几年。您不必为此而忧虑，应该把国家和人民的事情办好，以应付自然灾害。”宋神宗居然冷笑，“这是小事？那什么是大事？饿死的人不可胜数，我就是觉得人事没有办好，老天才警告我的。”
王安石感到皇帝的话绵里藏针，出了身冷汗。但七年来，他和宋神宗一直合作愉快。他认为，这件小事很快就会过去。他永远都不能想到，这是他人生的一个坎。是必然过不去的。
我们还曾记得，司马光离开东京前，宋神宗要他推荐一位御史台的台柱子。司马光当时推荐的是苏轼，但苏轼很快就被王安石踢出京城，而御史台的台柱子是王安石推荐的人——冯京。
东京城里的流民开始严重时，冯京找到老朋友郑侠，二人一商量，一条干掉王安石的计划书就有了雏形。
冯京的脑部处理器没有郑侠的容量大，冯京认为，可以把东京流民问题做成一个大题目来搞定王安石。但冯京还有疑虑，那么多人想搞掉王安石，立意不可谓不高。比如前几天，司马光还特意在洛阳写信给大领导，认为天灾是由新法引起的。司马光那样的大人物一直想搞掉王安石，都不能如愿，我们行吗。
郑侠呸了一口，说，司马光、苏轼、富弼、韩琦这样的人只会大谈理论，举着高调的道德大旗，总想把大领导往道德的圣坛上牵引。任是谁，都不能接受。郑侠还说，我已经想到办法。这件事成功率在百分之九十以上。
冯京看郑侠那么自信，赶紧跑回家等消息了。郑侠开始行动。第一步是，找来一位好朋友喝酒。这个人就是擅长作画的刘安世。
