他做了三年丞相，汉景帝崩逝，汉武帝即位。
建元年间，因当初汉景帝卧病之时，官府中多有无辜受冤的囚犯，身为丞相未能负责申冤，被免去相职。
卫绾去世后，谥号哀侯。
轶事典故
汉武帝即位后，窦太后依然左右朝政，不允许改变治国思想。
他为河间王太傅。
吴楚七国之乱时，朝廷诏令卫绾为将，领河间兵力讨伐叛军，因此立下功劳，升任中尉。
三年后，因军功封为建陵侯。第二年，皇帝废除太子刘荣，杀了太子的外家亲属栗卿等人。
皇上因为卫绾年老德高，不忍心动他，赐给告假还乡，另派郅都审捕栗氏。
接任丞相
汉武帝即位不久，就下诏“举贤良方正能言直谏之士”。
丞相卫绾提出在所举的贤良文学方正之中罢除法家和纵横家这两个学派的学者，虽然卫绾没有提“罢黜百家”，但依然引起窦太后的不满。
几个月后，卫绾被借故免去了丞相的职务。
.........
之后，汉景帝立胶东王为太子，召回卫绾，任命为太子太傅，升任御史大夫。
五年后，替代桃侯刘舍做了丞相。
朝中理事，守职分而已。
不过他从开始当官直至位居丞相，始终无所建树也无有过失。
皇帝认为他敦厚老成适于少主，对他很尊重信任，赏赐很多。