在苏轼外任期间，朝廷中变法派争异乎激烈，由于新派当权，旧派官员纷纷去职，一大批资历甚浅的新官员被迅速提拔，加之新法在实施过程中常被地方官僚集团异化，成了盘剥农民的工具，这一切对新法实施产生了许多负面的影响，地方上下一时怨声载道。熙宁七年(1074年)，天下久旱，人心散乱，反对派趁机起哄，造谣说这次旱灾都是由王安石引起的。继而，朝中又有人企图诬陷王安石参与谋反，在诸多压力排挤的情况下，王安石只好罢相。但这个罪名太离谱了，王安石很快恢复清誉。

　　次年，王安石复相。熙宁九年(1076年)，由于宋神宗对变法态度的动摇，变法派内部也发生了纷争，同是变法内部的吕惠卿，把王安石曾写给他几封有“无使上知”字样的信件交给了神宗，给王安石带来了不少麻烦。与此同时，反对变法的呼声依旧日益高涨，最后连皇太后也站出来了。就在这一年，王安石的爱子王雱33岁早逝，心灰意冷的王安石，终究再次罢相，回到了江宁(今南京市)，他在城外筑了座“半山园”，从此吟诗念佛，结交高僧，清心寡欲，俨然如出世之人。

　　时年，苏轼正在密州任上。再说苏轼在外任期间，虽不满新法，却因亲眼看到了新法的便民之处，从而认识到了反对派的偏执与保守。他在给友人滕达道信中说：“吾侪新法之初，辄守偏见，至有异同之论……回向之所执，益觉疏矣。”苏轼对新法认识的改变及其诚恳的回顾，淡化了在政治上对王安石的对立情绪，而王安石罢相之后，他不想再参与任何与政治有关的事了，心态也逐渐归于平淡。苏轼与王安石之间淡化了昔日政敌关系，而是更欣赏对方的才气与学问了。秉性像王安石、苏轼这样的人，于公必会势同水火，于私却可以雪中送炭。