李绛出身赵郡李氏东祖房。唐德宗贞元八年（792年），李绛中进士，登博学宏词科，授秘书省校书郎。任满后，补任渭南县尉。贞元（785年—805年）末年，拜监察御史。

元和二年（807年）以本职充任翰林学士。不久，改授尚书主客员外郎。次年，调任司勋员外郎。元和五年（810年），升司勋郎中、知制诰。李绛在朝任职勤勉，以匡救劝谏为己任。

元和六年（811年）拜相，为中书侍郎，同中书门下平章事。

元和八年（813年），封高邑县男。李绛因足疾上章请求免职，至次年，被免知政事，授礼部尚书。

元和十年（815年），加检校户部尚书，出任华州刺史。不久，入朝任兵部尚书。后遭逢母亲去世，李绛离职为母服丧。元和十四年（819年），再加检校吏部尚书，因得罪宠臣皇甫镈，只被任命为河中观察使（本应授为节度使）。

元和十五年（820年），皇甫镈获罪被贬，李绛重任兵部尚书。新即位的唐穆宗李恒任命李绛为御史大夫。

穆宗沉湎于游猎巡幸，李绛在延英殿极力劝谏，穆宗都未予采纳。李绛借病辞职，再次担任兵部尚书。

长庆元年（821年），转任吏部尚书。同年，加授检校尚书右仆射，判东都（洛阳）尚书省事，充任东都留守。

长庆二年（822年）正月，改任兖州刺史、兖海节度观察等使，仍任检校尚书右仆射。次年，再任东都留守。

长庆四年（824年），于洛阳被加授为检校司空。

唐敬宗宝历元年（825年），入朝任尚书右仆射。

宝历二年（826年）九月，昭义节度使刘悟去世，临终留表请求让其子刘从谏袭任节度使。李绛秘密奏请立即任命靠近昭义军的一位大臣充任节度使，令其兼程赴镇，以“疾雷不及掩耳”之势迫使刘从谏来不及抗命，只能听命朝廷。但此时宰相李逢吉、宦官王守澄已受刘从谏贿赂，都奏请让他任昭义节度留后（实际控制了昭义军），所以敬宗不能采纳李绛的主张。

李绛奉行正道，在当时颇有名望。但他性格刚直、嫉恶如仇，对待贤者与不肖之人态度判然有别，因此屡遭他人忌恨。一次，李绛与御史中丞王播相遇道中，王播未避让他。李绛上奏论说事理，敬宗命门下、中书两省详议，群臣都支持李绛。但李逢吉庇护王播而厌恶李绛，便罢免他仆射之职，改授为太子少师，分司东都。

宝历二年（826年）十二月，唐文宗李昂即位，召李绛为太常卿。

大和二年（828年），以检校司空衔出任兴元尹、山南西道节度使，累封为赵郡公。

大和三年（829年）冬，南蛮进犯蜀地，李绛奉诏赴西蜀救援。他在山南西道招募兵卒千人赴蜀，行至中途，蛮军已退，所募兵卒都返回。

山南的兵额素来有规定，招募的兵卒应该全部退伍回家。大和四年（830年）二月十日，李绛晨起理事，召集募卒，说根据诏令遣返他们，依例发给粮饷，募卒一个个怏怏而退。监军使杨叔元贪财恃宠，怨恨李绛不奉敬自己，于是趁募卒嫌赏赐微薄、众口喧嚷之际，煽动募卒作乱，以泄私愤。募卒喧噪聚集涌向府署，劫夺库中兵器冲入使衙。李绛正与幕僚会宴，来不及防备。听说叛乱立即北逃，登上女墙，衙将王景延力战抵御乱兵，最终力竭战死。左右将校请李绛缒城出逃，被他拒绝。李绛随即与幕僚赵存约、薛齐一同遇害，终年六十七岁。十三日，杨叔元谎奏李绛收取新军士卒赏赐钱物，以致兵乱被杀。而三省长官为李绛诉冤，谏议大夫孔敏行奏呈杨叔元激怒乱兵事实，文宗方知真相，册赠李绛为司徒，谥号“贞”。并赐其家属布帛三千段、米粟二百石。

尚书右丞温造奉命出任山南西道节度使，定计诛杀乱兵八百余人，囚禁杨叔元。温造将手刃李绛的人，剁为肉酱；并将发布杀害李绛命令的人，处以极刑。取一百首级祭奠李绛，三十首级祭奠王景延等人，其余的全部投入汉江。杨叔元最终被流放康州（今广东德庆），时人以温造不杀杨叔元为遗恨。

大中二年（848年），李绛本拟与李岘等三十七人共绘像于凌烟阁，但他的画像最终被唐宣宗留在宫中。

李绛潜心匡时济世，屡屡上疏，常以唐玄宗先治后乱的历史经验为借鉴，用治生于忧危，乱生于放肆的道理劝谏宪宗，劝其选贤举能，任贤政治，并提出贤则当任，任则当久的主张，他任宰相期间，曾多次建议皇帝削藩平党，并积极参与谋划。利用藩镇内部矛盾，使魏博节度使田兴听命朝廷，在一定程度上消弱了藩镇势力。

李绛喜实厌虚，在朝勇于犯颜直谏。他曾说：身居国家重要职位，只图惜身不敢直谏，是臣辜负于君王。若臣子为国为民不看圣上脸色说话，敢于做出不顺从圣上的事，而被治罪，是圣上负于臣子。宪宗听罢很受感动，说道：卿告朕以人所难言者，疾风知劲草，卿当之矣。李绛还反对大臣无原则奉迎上意，粉饰太平。为此，常与人争辩殿上。一次，宰相李吉甫盛赞皇帝威德，李绛当场给予尖刻批评，宪宗赞李绛：绛言骨鲠，真宰相也。

李绛在任华州剌史时，还禁止猎捕鸟兽，以保护自然生态。

唐宪宗元和三年（808年），权宦吐突承璀要整修安国寺。他依仗权势，气焰熏天，说一不二，擅自动工，立了一个功德碑，碑的大小高下与华岳碑相同。碑立起来了，碑文却还没有着落。碑文自然是要歌颂皇帝圣明，天下太平，皇恩浩荡，河清海晏，但这种御制文章也不好作。吐突承璀放出大话：谁能撰写碑文，就给谁一万贯钱。有人推荐说，李绛的文章写得好，这差事就交给他吧。李绛时任知制诰，职责就是专为皇帝起草诏令。

李绛听到消息，不但不感到荣幸，反而说，自古圣帝明王都没有功德碑，难道是因为他们的功德还不够吗？只是因为他们认为不宜歌功颂德而已。于是向唐宪宗上了一道奏章。

大概与唐太宗确立的君臣关系及前几任皇帝从谏如流有关，这道奏章一点不给宪宗面子，直斥功德碑的弊端，现在看起来这个李绛真是胆大包天。

“陛下布维新之政，划积习之弊，行前王所不能行，革历代所不能革，四海延颈，日望德音。今忽自立碑，以示天下不广，彰满假之渐，招矜炫之讥耶？”陛下治国很有成就，有目共睹，现在却要立功德碑，自我炫耀，难道是想招来天下的讥笑吗？圣德、皇猷岂是能用一块碑几行字所能概括的，如果真要立碑，反而有损形象。高祖、太宗创开元、贞观盛世，也未立碑，难道陛下的功德还能超过先祖吗？尧、舜、禹、汤、文、武，皆无立碑之事，历史上只有秦始皇游泰山立过碑，为百王所笑，万代所讥，至今称为失道亡国之主，岂能追秦皇暴虐不经之事，而自损圣德？何况此碑在安国寺内，碑文本应记载与寺院有关的内容，如记载陛下的功德，实在是不伦不类。请陛下罢修。

当晚宪宗看了奏章，心中肯定不爽，但李绛说得义正辞严，句句在理，只好违心地说了句“李绛是忠臣”，命令把碑拽倒。宪宗看李绛的奏章时，吐突承璀正在旁边，不高兴地嘟囔道：碑体积太大，恐怕拽不倒，慢慢拆吧。实际上是想暂缓执行，心存侥幸皇帝说不定还会改变主意。没想到宪宗正在气头上，没好气地厉声喝道：拽不倒就多用几头牛拽！吓得吐突承璀再也不敢吱声，只好动用了100头牛，把自己费尽心机立起来的碑拽倒了。