内侍鱼朝恩依仗权势、自负恩宠，不与元载合作。元载常常怕他。大历四年冬，元载趁机密奏鱼朝恩专权，行为不轨，请将他除掉。五年三月，鱼朝恩伏法。元载以为自己有清除恶人的功绩；褒贬前贤，认为文才武略没有比得上他的。在城中建成南北二所豪华宅第，室宇恢宏壮丽，为当时第一。城南的肥沃土地与别墅、疆界相互连接，共数十处，穿绔罗的婢女奴仆有一百余人。恣意放纵，犯法妄为；奢侈僭越，没有限度。代宗详尽地察觉到他们的行迹，但因为元载被任用多年，想（不杀他）使君臣的名分得以保全，于是在元载单独晋见时，代宗劝诫他，但他并不悔改。上封人李少良秘密将元载的丑恶行迹奏上朝廷，元载知道后，面奏代宗，将李少良等数人全都在朝廷打死。于是道路行人以目示意，无人敢议论元载的劣迹。代宗明察元载的所作所为，已经数年，但元载恶行长远不加悔改，致使众人的愤怒日有所闻。辨明罪行追问事端，元载伏罪。

　　元载处在宰相职位多年，权倾四海。域外珍宝异物，都汇集在他的门内，资财不可胜数，因此元伯和、元仲武等人得以任意妄为。奔向他门下的轻浮士人，唯恐奔走不及。名妓美女奇异音乐，宫中没有的他有。兄弟各自在家中蓄养妓妾；倡优表演的猥亵游戏，父子兄弟一同观看，一点不觉羞愧可耻。到元载获罪，路人没有嗟叹惋惜的。