咸淳元年，调回临安府做府尹。当时权相贾似道主持朝政，前任府尹事无巨细都事先禀告才去实行。唯独李芾不禀报什么。福王府有逼人致死的事，贾似道竭力营救，李芾用写信的方式去再三申明自己的观点，最终还是依法处置。李芾曾经外出视察火攻战具的生产情况，百姓有不生产这种战具的，问他为什么，回答道：“是贾似道的家人。”李芾立即用杖责打他。贾似道知道以后大怒，让谏官黄万石以贪赃罪诬告他，（随之）罢免了他。

　　元军攻取鄂州，朝廷才起用李芾做湖南提刑。当时湖南各县盗寇骚扰，百姓大多四散奔逃，李芾下令所属各部征调百姓武装自卫，县里授予他们一面黑旗，下令道：“作乱者斩于旗下。”另召民兵聚集在衡阳一带做防守准备。不久，贾似道兵败芜湖，于是朝廷恢复李芾官职，让他掌握潭州兼任湖南安抚使。当时湖北州郡都已被元军占领，他的朋友劝他别去上任，李芾流泪道：“我难道会在考虑自身的问题上犯湖涂吗？只因（我家）世代蒙受国恩，现在很幸运朝廷任用我，我更应该把全家奉献给国家。”当时他的爱女死了，他痛哭了一场就上任去了。