次年正月，元军兵临临安，文武官员都纷纷出逃。谢太后任命文天祥为右丞相兼枢密使，派他出城与伯颜谈判，企图与元军讲和。文天祥到了元军大营，却被伯颜扣留。谢太后见大势已去，只好献城纳土，向元军投降。

　　元军占领了临安，但两淮、江南、闽广等地还未被元军完全控制和占领。于是，伯颜企图诱降文天祥，利用他的声望来尽快收拾残局。文天祥宁死不屈，伯颜只好将他押解北方。行至镇江，文天祥冒险出逃，经过许多艰难险阻，于景炎元年(1276)五月二十六日辗转到达福州，被小皇帝宋端宗赵昰任命为右丞相。

　　文天祥对张世杰专制朝政极为不满，又与陈宜中意见不合，于是离开南宋行朝，以同都督的身份在南剑州(今址福建南平)开府，指挥抗元。不久，文天祥又先后转移到汀州(今址福建长汀)、漳州、龙岩、梅州等地，联络各地的抗元义军，坚持斗争。景炎二年(1277)夏，文天祥率军由梅州出兵，进攻江西，在雩都(今江西于都)获得大捷后，又以重兵进攻赣州，以偏师进攻吉州(治今江西吉安)，陆续收复了许多州县。元江西宣慰使李恒在兴国县发动反攻，文天祥兵败，收容残部，退往循州(旧址在今广东龙川西)。祥兴元年(1278)夏，文天祥得知端宗已死，继承立的弟弟——赵昺移驻崖山，为摆脱艰难处境，便要求率军前往，与南宋行朝会合。由于张世杰坚决反对，文天祥只好作罢，率军退往潮阳县。同年冬，元军大举来攻，文天祥在率部向海丰撤退的途中遭到元将张弘范的攻击，兵败被俘。

　　文天祥服毒自杀未遂，被张弘范押往崖山，让他写信招降张世杰。文天祥说：“我不能保护父母，难道还能教别人背叛父母吗?”张弘范不听，一再强迫文天祥写信。文天祥于是将自己前些日子所写的《过零丁洋》一诗抄录给张弘范。张弘范读到“人生自古谁无死，留取丹心照汗青。”两句时，不禁也受到感动，不再强逼文天祥了。