会昌四年九月(844年9月)，杜牧迁池州刺史，这年四十二岁。池州治所秋浦县(今安徽贵池)。

　　会昌五年(845年)，七月，武宗下诏禁毁佛教。杜牧对于这一措施是很赞同的，后来他在宣宗大中年间作《杭州新造南亭子记》，详细叙述武宗禁毁佛教事。

　　宣宗大中二年(848年)，得宰柏周墀的帮助，入为司勋员外郎、史馆修撰，转吏部员外郎。

　　人生暮年

　　宣宗大中三年(849年)，就因为京官俸禄低，而难以养家请求外放杭州刺史，但是没有批准。

　　宣宗大大中四年(850年)，他被升为吏部员外郎。但是杜牧仍然多次请求外放湖州刺史，连上三启，终于应允了他的要求。但是也有人认为，杜牧请求外放并不仅仅是经济原因，而是不满意朝政，认为自己无法在朝中有所作为。同年秋天，杜牧到任湖州刺史。他在湖州凭吊前贤，结识诗友，作了不少诗。一年后，他又被内升为考功郎中、知制诰。到长安第二年，迁中书舍人。这段时期，杜牧重新整修了祖上的樊川别墅，并且闲暇之时经常在这里以文会友。

　　宣宗大中六年(852年)，冬天病重逝世。

　　【人物评价】

　　李商隐《杜司勋》：高楼风雨感斯文，刻意伤春复伤别，短翼差池不及群。人间惟有杜司勋。

　　《宣和书谱》：牧作行、草，气格雄健，与其文章相表里。