李德裕很有才干，虽然只是个地方官，但在民间的口碑很好。唐武宗登基后，牛党失势，李德裕被任命为宰相，从此李党又独掌大权。李德裕深受唐武宗信任，当时回纥请求依附唐朝，李德裕实行怀柔政策，团结了少数民族，受到了好评。
唐武宗笃信道教，很讨厌佛教。他觉得佛教劳民伤财，又和朝廷抢夺人民和财富，即位没几年就下令废除佛教。李德裕认为太多人出家当僧侣导致户口减少，朝廷的税收也大受影响，所以他对废除佛教持赞成态度。唐武宗年号会昌，这次废佛运动被称为“会昌灭佛”。通过打击佛教，唐朝政府收回了不少土地，户口也增加了，国力增强了不少。不过当时有太多佛教徒，所以导致李德裕日后名声不太好。
李德裕这次掌权由于少了牛党在旁边捣乱，做起事来得心应手，出了不少成绩，朝廷内外赞誉声不断。但李德裕做事比较专断，听不进别人的不同意见，恨他的人也不少，就连一些曾经支持过他的宦官也脱离了他的阵营。唐宣宗即位后，第一件事就是把他赶出了朝廷，任命为洛阳留守，顺便把李党也排挤了出去。这时候牛党的人又可以扬眉吐气了，他们纷纷被召回朝廷授予官职，牛僧孺也得意洋洋地回来了。