十二年（1185年）五月，以地震应诏上书，极论时政十事，劝谏孝宗姑置不急之务，精专备敌之策，坚决反对一些人提出的放弃两淮、退保长江的误国建议，主张选用人才，积极备战。次年，任枢密院检详官兼太子侍读。十四年（1187年），迁秘书少监。高宗崩，万里因力争张浚当配享庙祀事，指斥洪迈“指鹿为马”，惹恼了孝宗，出知筠州（今江西高安）。光宗即位，召为秘书监。绍熙元年（1190年），为接伴金国贺正旦使兼实录院检讨官。

　　终因孝宗对他不满，出为江东转运副使。朝廷欲在江南诸郡行铁钱，万里以为不便民，拒不奉诏，忤宰相意，改知赣州。万里见自己的抱负无法施展，遂不赴任，乞祠官（无实际官职，只领祠禄，等于退休）而归，从此不再出仕，朝命几次召他赴京，均辞而不往。开僖二年（1206年），因痛恨韩侂胄弄权误国，忧愤而死，官终宝谟阁文士，谥“文节”。

　　诗与陆游、范成大、尤袤齐名，称“中兴四大诗人”或“南宋四家”。初学江西诗派，后转以王安石及晚唐诗为宗，终则脱却江西、晚唐窠臼，以构思精巧，语言通俗明畅而自成一家，形成了他独具的诗风，号为“诚斋体”。他学问渊博，才思健举。亦能文，对理学亦颇注意。相传有诗二万余首，现存诗四千二百余首，诗文全集一百三十三卷，名《诚斋集》，今存。