苏东坡的老爹苏洵，就为此写了一篇《辨奸论》：“今有人，口诵孔老之言，身履夷齐之行，收召好名之士，不得志之人，相与造作言语，私立名字，以为颜渊、孟轲复出，而阴贼险狠，与人异趣，其祸岂可胜言哉？”这个人，就是指王安石而言的。接着，就谈到了他的怪：“夫面垢不忘洗，衣垢不忘浣，此人之至情也。今也不然，衣臣虍之衣，食犬彘之食，囚首丧面，而谈诗书，此岂其情也哉？”一个连自己胡子上爬着蝨子也不自知的人，还有什么可以指望的呢？最后，他对于这位怪人王安石，所得出的结论是：“凡事不近人情者，鲜不为大奸慝、竖刀、易牙、开方是也。”因此，碰上这类以怪待价而沽，以怪欺世盗名，以怪招摇过市，以怪不可一世的文人，还真得想想苏老泉的这番话。
王安石罢相以后，回到金陵去了。他的住宅附近，有一个地名叫“谢安墩”，指挥“淝水之战”的谢安，又名谢安石，曾在此地落过脚。东晋至宋，也是好几百年的事了，王安石这个怪人，也怪得太无边无际起来，为这个“谢公墩”姓谢而不姓王，写了一首绝句：