贞观二十二年（648年），李世绩改任太常卿，仍然是同中书门下三品。太常卿是太常寺的长官，正3品，“掌邦国礼乐、郊庙、社稷之事”。这一改任，不升不降。十几后，他又恢复了任太子詹事，同中书门下三品如故。也就是，李世绩从贞观17年（643年）4月开始，不管是担任太子詹事，还是出任辽东道行军大总管，或者是改任太常卿，都兼任宰相（同中书门下三品）之职，是当时朝臣中担任宰相时间最长的人物之一，也是对大唐王朝的强大与统一贡献最大的人物之一。
然而，贞观二十三年（649年）6月29日，唐太宗李世民却出人意料地将没有任何过错的李世绩由宰相贬为叠州都督。
7月10日，唐太宗李世民驾崩，向上距离李世绩被贬日只有11。
唐太宗李世民为什么要在自己临死前将忠心耿耿、屡建功业的李世绩罢去宰相职务，贬为外州督府？其原因耐人寻味的。
原来，唐太宗李世民从贞观二十一年（647年）正月开始“饵金石”，也就是吃金丹，幻想长生不老。贞观二十二年（648年），又从竺请来了，“自言高寿200岁，云有长生之技术”的方士那罗迩裟婆寐，为他造，“延年益寿之药”。经过一年的炼制，丹药制成了。，这种丹药，大多数含硫、汞，实际上是有害无益的毒药。唐太宗李世民吃了后，果然身体中了剧毒，难以治愈。