他在诗中写道：“如何舍此去，遥遥至西荆。”(《 辛丑岁七月赴假还江陵夜行涂口》)对仕桓玄有悔恨之意。“久游恋所生，如何淹在滋?”(《庚子岁五月中从都还阻风于规林二首》)对俯仰由人的宦途生活，发出了深长的叹息。隆安五年冬天，他因母丧辞职回家。元兴元年(402年)正月，桓玄举兵与朝廷对抗，攻入建康，夺取东晋军政大权。元兴二年，桓玄在建康公开篡夺了帝位，改国为楚，把安帝幽禁在浔阳。他在家乡躬耕自资，闭户高吟：“寝迹衡门下，邈与世相绝。顾盼莫谁知，荆扉昼常闭。“表示对桓玄称帝之事，不屑一谈。元兴三年，建军武将军、下邳太守刘裕联合刘毅、何无忌等官吏，自京口(今江苏镇江)起兵讨桓平叛。桓玄兵败西走，把幽禁在浔阳的安帝带到江陵。他离家投入刘裕幕下任镇军参军。(一说陶渊明是在刘裕攻下建康后投入其幕下)。当刘裕讨伐桓玄率兵东下时，他仿效田畴效忠东汉王朝乔装驰驱的故事，乔装私行，冒险到达建康，把桓玄挟持安帝到江陵的始末，驰报刘裕，实现了他对篡夺者抚争的意愿。他高兴极了，写诗明志：“四十无闻，斯不足畏，脂我名车，策我名骥。千里虽遥，孰敢不至!”(《荣木》第四章)刘裕打入建康后，作风也颇有不平凡的地方，东晋王朝的政治长期以来存在“百司废弛”的积重难返的腐化现象。

　　经过刘裕的“以身范物”(以身作则)，先以威禁(预先下威严的禁令)的整顿，“内外百官，皆肃然奉职，风俗顿改“。其性格、才干、功绩，颇有与陶侃相似的地方，曾一度对他产生好感。但是入幕不久，看到刘裕为了剪除异己，杀害了讨伐桓玄有功的刁逵全家和无罪的王愉父子。并且凭着私情，把众人认为应该杀的桓玄心腹人物王谥任为录尚书事领扬州刺史这样的重要的官职。这些黑暗现象，使他感到失望。在《始作镇军参军经曲经阿曲伯》这首诗中写道：“目倦山川异，心念山泽居”“聊且凭化迁，终返班生庐”。紧接着就辞职隐居，于义熙元年(405年)转入建威将军、江州刺史刘敬宣部任建威参军。三月，他奉命赴建康替刘敬宣上表辞职。刘敬宣离职后，他也随着去职了。同年秋，叔父陶逵介绍他任彭泽县令，到任八十一天，碰到浔阳郡派遣邮至，属吏说：“当束带迎之。”他叹道：“我岂能为五斗米向乡里小几折腰。”遂授印去职。