当文天祥被押送到镇江的时候，得当地义士相救脱险，此后力图恢复，转战东南。这时，南宋朝廷已奉表投降，恭帝被押往元大都，陆秀夫等拥立7岁的宋端宗在福州即位。文天祥奉诏入福州，任枢密使，同时都督诸路军马，往南剑州(今福建南平)建立督府，派人赴各地募兵筹饷以继续抗元战争。秋天，元军攻入福建，端宗被拥逃海上，在广东一带乘船漂泊。

　　文天祥与当时朝臣张世杰与陈宜中意见不合，于是离开南宋行朝，以同都督的身份在南剑州(治今福建南平)开府，指挥抗元。1277年，文天祥率军移驻龙岩、梅州，攻入江西。在雩都(今江西南部)大败元军，攻取兴国，收复赣州十县、吉州四县，人心振奋，抗元形势转好。

　　但好景不长，元军主力进攻文天祥兴国大营，文天祥寡不敌众，率军北撤，败退到庐陵、河州(今福建长汀)，损失惨重，妻儿也被元军掳走。祥兴元年(1278年)夏，文天祥得知南宋行朝移驻崖山，为摆脱艰难处境，请求率军前往，与南宋行朝会合。

　　由于张世杰坚决反对，计划失败，文天祥率军退往潮阳县。当年八月南宋朝廷封文天祥为少保、信国公。同年冬，元军大举来攻，文天祥再败逃走，传说曾经发生文天祥几乎快被元军逮捕时，突然冒出三座山遮住蒙古兵，掩护文天祥逃去，后人即以“三山国王庙”祀拜这三座山神保护忠义。

　　文天祥在率部向海丰撤退的途中遭到元将张弘范的攻击，文天祥军在五坡岭(广东海丰北)造饭时被元军攻击，兵败，文天祥吞下随身携带的冰片企图自杀，未死，但却昏迷过去，在昏迷当中，文天祥被俘。

　　张弘范要文天祥写信招降张世杰，乃书《过零丁洋诗》：“辛苦遭逢起一经，干戈寥落四周星。山河破碎风飘絮，身世浮沉雨打萍。惶恐滩头说惶恐，零丁洋里叹零丁。人生自古谁无死?留取丹心照汗青。”弘范笑而置之，不久遣使护送至大都，路上绝食八日，不死，被关押在北京府学胡同，拘囚四年。