太祖任吴王，拜任李善长为右相国。李善长了解熟悉典章制度，裁定决断各种事务都非常明快流畅，他又娴于辞令。太祖要招纳什么人才，常常命李善长书写文告书信。前前后后凡是亲自带兵出去征讨，太祖都命李善长留守后方，将吏信服他，服从调度，居民生活安定，调运兵饷，使前方不至困乏。李善长曾经请求国家统管两淮盐务，实行专卖，立茶法，都是在元代盐法茶法的基础上斟酌改订，剔除其弊政。不久又恢复制钱法，开办铁冶，确定鱼税，使国家用度更加丰足，而百姓又不因乏。太祖刚刚渡过长江的时候，处事常常用很重的法典，一天，太祖对李善长说：“法律有三条连坐的规定，不是太过分了吗？”李善长于是请求除犯大逆罪要连坐之外，其它连坐的规定都删去。太祖于是命李善长与中丞刘基等裁定法律条文，并且在朝廷内外公布，让大家知道。

　　李善长外表宽和，而内心偏狭刻薄。参议李饮冰、杨希圣稍微有些越权，侵犯了李善长的权力，李善长立即按照他们的罪上奏罢黜他们。李善长与中丞刘基争法以至于怒骂。刘基心中不安，于是请假回乡。富贵都达到了极点，内心也渐渐骄横，皇帝开始有些讨厌他。洪武四年，李善长因病退休，赐给他临濠地若干顷。

　　丞相胡惟庸最初任宁国知县，因为李善长的推荐，擢拔为太常少卿，后来任丞相，因此和李善长互相往来。而李善长弟李存义之子李佑，是胡惟庸的侄女婿。洪武十三年，胡惟庸谋反被诛，因为同党之罪而死的人很多，但李善长依然如故做官。又过了五年，李善长年纪已有七十七岁，因为年老而不约束自己。洪武十八年，有人告发李存义父子实际是胡惟庸的党徒，皇帝下诏免他们一死，贬谪崇明安置。李善长不谢恩，皇帝心中含恨。于是御史们接二连三地上奏章弹劾李善长。而李善长的家奴卢仲谦等人，也告发李善长与胡惟庸互赠钱财，暗中勾结。罪案已定，说李善长是国家元勋，皇室的亲戚，知道有反叛的阴谋而不检举告发，狐疑观望，持两面派的态度，实属大逆不道。恰逢有人上书说星象变化，其应验应当在改换大臣。于是把李善长家以及他妻子、女儿、弟弟、侄子家共七十余人全部诛杀。