不知何故，王之涣未走科举之途，而以门子调补冀州衡水主簿。任衡水主簿时，王之涣父母均已去世，衡水县令李涤将三女儿许配给他。王之涣才高气盛，不愿为了衡水主薄的卑职而折腰，加上有人诬陷攻击，他便愤然辞官而去，“遂化游青山，灭裂黄绶。夹河数千里，籍其高风;在家十五年，食其旧德。雅谈珪爵，酷嗜闲放。”在家过了15年闲散自由的生活。后来他的亲朋好友觉得他这样一直沉于下层，不是办法，便劝他入仕。后来补文安郡文安县尉，仍是一不起眼之小职。他在职官风以清白著称，理民以公平著称，颇受当地百姓称道。谁料不久，他竟染病不起，以55岁之壮年，卒于官舍，葬于洛阳。

　　如此有才华之人，可惜终不见用，天也不假其年。这也是诸多有才华的正直知识分子的常见结局。他的诗虽只流传下六首，但这寥寥数首，确为我国古典文学宝库的精华。也为众多学子提供了参考。

　　王之涣与李氏的婚姻，可能还有一段罗曼史。开元十年(公元722年)两人结婚时，王之涣是已婚并且有孩子之人，年已35岁，而李氏年方二九，比王之涣小17岁，正是妙龄女子。县令的千金，嫁给父亲部属、35岁又已婚的小小县尉，颇耐人寻味。这一定是为王之涣的才华所倾倒。

　　靳能在墓志铭中称王之涣“孝闻于家，义闻于友，慷慨有大略，倜傥有异才”，可谓对王之涣一生的完美概括。

　　李氏嫁给王之涣后，两人恩爱。王之涣在家赋闲15年，李氏安贫乐素，跟他过着清苦的生活。王之涣再入宦场，生活刚有了转机，却染病身亡，使李氏不到40岁而守寡。王之涣死后六年，李氏也因病而死。因王之涣有前妻，两人竟不能合葬。

　　据唐人薛用弱《集异记》卷二(见《说郛一百卷》卷二十五)载：“开元中，诗人王昌龄、高适、王之涣齐名。时风尘未偶，而游处略同。一是，天寒微雪，三诗人共诣旗亭贳酒小饮。忽有梨园伶官十数人登楼会宴。三诗人因避席，隈映拥炉火以观焉。俄有妙妓四辈，寻续而至，奢华艳曳，都冶颇极。旋则奏乐，皆当时之名部也。昌龄等私相约曰：我辈各擅诗名，每不自定其甲乙。今者可以密观诸伶所讴，若诗入歌词之多者则为优矣。俄而一伶拊节而唱，乃曰‘寒雨连江夜入吴……’。昌龄则引手画壁曰一绝句。寻又一伶讴曰：‘开箧泪沾衣，见君前日书。夜台何寂寞，犹是子云居’。适则引手画壁曰一绝句。寻又一伶讴曰：‘奉帚平明金殿开……’。昌龄则又引手画壁曰二绝句。之涣自以得名已久，因谓诸人曰：‘此辈皆潦倒乐官，所唱皆巴人下俚之词耳，岂阳春白雪之曲，俗物敢近哉?’因指诸妓之中最佳者曰：‘待此子所唱，如非我诗，吾即终身不敢与子争论矣。脱是吾诗，子等当须列拜床下，奉吾为师。’因欢笑而俟之。须臾次至双鬟发声，则曰‘黄河直上白云间……’。之涣即揶揄二子曰：‘田舍奴，我岂妄哉?’因大谐笑。诸伶不喻其故，皆起身曰：‘不知诸郎君何此欢噱?’昌龄等因话其事。诸伶竞拜曰：‘俗眼不识神仙，乞降清重，俯就筵席。’三子从之，饮醉竟日。”