迁官外放

　　会昌元年(841年)，杜牧调任比部员外郎。

　　会昌二年(842年)，外放为黄州刺史。杜牧外放的原因史书上并无记载。杜牧自己认为是宰相李德裕的排挤。而李杜两家为世交，李德裕为何不喜欢杜牧，有人认为是杜牧为人倜傥，不拘小节，与李德裕的理念不合;而且牛李党争，杜牧与牛僧孺私交甚好，可能被李德裕认为是牛党。后杜牧任池州、睦州刺史。为政能兴利除弊，关心人民。

　　会昌四年九月(844年9月)，杜牧迁池州刺史，这年四十二岁。池州治所秋浦县(今安徽贵池)。

　　会昌五年(845年)，七月，武宗下诏禁毁佛教。杜牧对于这一措施是很赞同的，后来他在宣宗大中年间作《杭州新造南亭子记》，详细叙述武宗禁毁佛教事。

　　宣宗大中二年(848年)，得宰柏周墀的帮助，入为司勋员外郎、史馆修撰，转吏部员外郎。

暮年

　　宣宗大中三年(849年)，就因为京官俸禄低，而难以养家请求外放杭州刺史，但是没有批准。

　　宣宗大大中四年(850年)，他被升为吏部员外郎。但是杜牧仍然多次请求外放湖州刺史，连上三启，终于应允了他的要求。但是也有人认为，杜牧请求外放并不仅仅是经济原因，而是不满意朝政，认为自己无法在朝中有所作为。同年秋天，杜牧到任湖州刺史。他在湖州凭吊前贤，结识诗友，作了不少诗。一年后，他又被内升为考功郎中、知制诰。到长安第二年，迁中书舍人。这段时期，杜牧重新整修了祖上的樊川别墅，并且闲暇之时经常在这里以文会友。

　　宣宗大中六年(852年)，冬天病重逝世。