建陵侯卫绾是代郡大陵人，因为善于驾车而当了郎官，跟随文帝，后来又因为连续立功，升为中郎将。卫馆没有什么特殊的才能，但他忠厚谨严的品性是其他一般大臣所不能比的。
景帝做太子时，有一次招呼文帝身边的人一起喝酒，卫绾称生病没来参加，太子心里就有些不高兴。文帝快要驾崩时，嘱咐景帝说：“卫绾人老实忠厚，你今后可要好好对待他。”后来景帝即位，虽然心里一直对卫绾耿耿于怀，但是没说出口，也没有表现出什么。卫绾心里非常感激景帝，在任职期间更加严谨勤奋。
有一次，景帝要去上林苑，命令卫绾陪同一起乘车，卫绾于是就坐在景帝身边。在回来的路上，景帝问卫绾：“你知道为什么让你和我同坐一辆车吗?”卫馆回答说：“我只管认真做好我的事，不知道为什么能受到皇上如此的偏爱。”景帝看他不明白自己的意思，突然话锋一转，严厉地问：“我当太子的时候召你来一起喝酒，你为什么不愿意来?”卫馆回答：“请皇上恕罪!当时臣正在生病。”景帝起初不信。卫馆不慌不忙，依然坚持说是生病的缘故。景帝看他一脸真诚的样子，从此也就原谅了他。过后，景帝赐给卫馆宝剑作为奖赏，卫馆拒绝了景帝的好意，说：“先帝已经赐给我6把宝剑了，我不敢再接受了。”景帝问道：“宝剑人人都喜欢，你也可以用它来交换和买卖呀，难道那些宝剑你到现在还着?”卫绾说：“我一直留着那些宝剑。”景帝说：“那你快去把那些宝剑拿来，让我看看!”卫绾拿来宝剑，宝剑还在鞘中，没有用过，景帝见了非常感动。
卫绾宽以待人，严于律己。郎官们常常犯了错就让卫绾来顶罪承担，卫绾也从来不与他们争辩;而当自己立了功，他却常常把功劳让给其他中郎将。景帝认为卫绾廉洁公正，善良忠厚而不会施什么诡计，就任用他为河间王太傅。吴楚反叛时，景帝又命令他当将军，率领河间的军队攻打吴楚叛军，卫绾杀了不少敌兵，立下了汗马功劳，被任命为中尉。3年后，因为军功被封为建陵候。第二年，景帝废弃太子刘荣，想要诛杀太子的亲信栗卿等人。景帝认为卫绾太忠厚，要是派他去杀栗卿，他肯定下不了手。于是景帝就赐卫绾休假回家，而派郅都抓捕栗卿。然后，景帝立胶东王做太子，征召卫绾，让他当太子太傅。过了几年，卫绾升为了御史大夫，又过了5年，升为丞相。
卫绾忠诚善良，才能一般，他做官勤勤恳恳，一般是照章办事。他从开始做官直到做丞相，从来都没有提过什么新奇的建议。然而皇上认为卫第忠厚诚恳，可以辅体少主，因此雅尊重他，赏赐他的东西也非常多。卫绾当了3年的丞相，武帝即位。武帝发现各地官署里有很多囚犯都是无辜的，没有什么罪过，就认为是卫绾的过错，认为他当丞相不称职，把他的官给免了。
