其次，在归田后，陶渊明不仅要排除社会舆论的袭击，而且还要克服生活上的重重困难。陶渊明的弃官归田，为囿于世俗之见的人所不理解，曾招来不少非议和讥笑。他在《祭从弟敬远文》里就谈到了这点：“余尝学仕，缠绵人事，流浪无成，惧负素志，敛策归来，尔知我意。常愿携手，置彼众议。”面对着来自世俗的非议和讥笑，诗人的态度是“置彼众议”，走自己认定的路。在《饮酒》诗里，他不仅愤怒地指出“行止千万端，谁知非与是”而且表示要“摆落悠悠谈，请从余所之”。陶渊明这种置非议和讥笑于度外，毅然“息驾归闲居”，并且要一直隐居下去的思想和行为，是需要有点勇气和胆识的。关于这个时期的生活，诗人是这样描写的：“贫居乏人工，灌木荒余宅。班班有翔鸟，寂寂无行踪。”（第十五首）由于家境清贫，人手缺乏，自己的住宅也呈现出一片荒芜冷落的景象。这种贫困的生活在第十六首中写得更具体，更形象：“竟抱固穷节，饥寒饱所更。弊庐交悲风，荒草没前庭。披褐守长夜，晨鸡不肯鸣。”“披褐守长夜，晨鸡不肯鸣”，没有饱经饥寒煎熬的人，是无法写出这样的语言来的。陶渊明不愧为生活中的强者，贫穷窘困不但没有把他压垮，反而把他磨炼得更加坚强。“托身已得所，千载不相违。”一些好心人出于对诗人的关心，也曾劝他出仕，他拒绝了。“清晨闻叩门，倒裳往自开。问子为谁软，田父有好怀。壶浆远见候，疑我与时乖。玄监缕茅檐下，未足为高栖。一世皆尚同，愿君泊其泥。深感父老言，察气寡所谐。纤髻诚可学，违己诅非迷。且共欢此饮，吾驾不可回。”诗中的“田父”，可能实有其人，也可能是诗人假托以寄意。对“田父”的好心，陶渊明是感激的。但要他出仕，诗人是不能接受的。