徐世绩(后改名李世勣、李勣)出身于高平北祖上房徐氏，原本是曹州离狐人氏。隋末迁居至滑州卫南县，曾跟随翟让参加了瓦岗军，后来追随李密与王世充征战。
到了贞观年间，李世绩为避唐太宗李世民之名讳，改名李绩。随后开始了对外的连年征战，大破东突厥、被灭高句丽、薛延陀部族。
此时的李绩在朝中已经是功名赫赫，在贞观二十二年(公元648年)，李绩转任太常卿，任同中书门下三品，随后又拜为太子詹事。次年，太宗卧病，对李治说：“你对李绩没有恩惠，我现在要贬他为外官，等我死了以后，你便授予他仆射之职，他蒙受你的恩惠，定会为你鞠躬尽瘁。”随后便将李绩外派为叠州都督。
同年，唐高宗李治即位之后，立马招李绩入朝官拜洛州刺史，加封开府仪同三司。并且任命李绩为同中书门下，参与军机要事，同时再行封赏李绩为尚书左仆射。永徽四年(公元653年)李绩官拜司空，高宗李治亲自为其画像作序，并且下诏。特许李绩乘小马出入三省，每日有小官奉命迎送。
两年后，李治召见李绩问询“废王立武”的意见，李绩说：“此乃陛下家事，何必为外人烦恼”。此事之后坚定了李治改立武媚娘为后的决心，从此深得李治和武皇后的信任。
麟德二年(公元665年)，李治泰山封禅，李绩被封为封禅大使，随驾而行。途中武皇后亲临李绩旧宅，封李绩姐姐为东平郡君。高宗甚至在李绩坠马受伤的情况下，将自己的御马赐予李绩乘骑，如此荣宠，使得李绩终生没有兴起背叛的念头。
