“建陵侯卫绾者，代大陵人也”，卫绾受封为建陵侯，是代地大陵人。司马迁明确卫绾在汉文帝时凭实力踏入官场，“绾以戏车为郎，事文帝”。其中，“戏车”解释为车技，是指驾驶技术过硬。在古代御马驾车是一项硬指标，“六艺”之一，秦赵先祖因为“御”术过硬而拥有封国；“郎”则是皇帝身边的侍从人员，有骑郎、侍郎、郎中、议郎等等，上级为五官署、左署、右署中郎，再往上为中郎将，“九卿”之一的郎中令则为最高指挥官。
卫绾因为飙车技术优异而被选为侍从人员，侍奉在汉文帝身边。这完全不同于张释之“以訾为骑郎”（家财充实捐官），也不同于冯唐“以孝著”（因孝廉被举荐）。在当时来讲，卫绾凭借个人实力进入官场，可见能力不俗。
然而，卫绾“功次迁为中郎将，醇谨无他”——不断立功依次被提升为中郎将，为人忠厚谨慎没有其他杂念。“孝景为太子时，召上左右饮，而绾称病不行”，汉景帝刘启做太子时，曾经召请皇帝（即汉文帝）左右近侍喝酒，卫绾称病没有参加。
此处隐含着两个信息：其一，卫绾是一个忠厚老实的人，与石奋相似。卫绾拒绝太子拉拢说明本质的“醇谨”。其二，汉景帝是太子为何要迫不及待地拉拢汉文帝身边的近侍？
“文帝且崩时，嘱孝景曰：‘绾长者，善遇之’”——汉文帝临终嘱咐汉景帝说：“卫绾是个忠厚的人，一定要好好待他。”
司马迁明确汉文帝托孤重臣只有两位，另一位是平叛七国之乱的周亚夫。“孝文且崩时，诫太子曰：‘既有缓急，周亚夫真可任将兵。’文帝崩，拜亚夫为车骑将军”（《绛侯周勃世家》）——汉文帝临终之际告诫太子：“假如突发出现紧急情况，周亚夫可以任将军统率军队。”汉文帝驾崩，汉景帝提拔周亚夫为车骑将军。
周亚夫助汉景帝平叛七国之乱，可见汉文帝判断不错。由此推断，卫绾也是可信赖的忠厚之人。
“岁余不诮呵绾，绾日以谨力”——但汉景帝继位后一年里没有呵责过卫绾，而卫绾天天谨慎努力。“诮呵”翻译为呵责、批评、打骂。从字面上看汉景帝没有批评卫绾，而实际是汉景帝故意冷落卫绾，让卫绾坐冷板凳。可见，汉景帝心胸狭隘，而张释之也曾因此贬官。
卫绾虽晾晒了一年多，但汉景帝仍然依赖。打了一巴掌，再揉一揉给颗甜枣，这种说法叫恩威并用，笼络人心。
景帝幸上林，诏中郎将参乘，还而问曰：“君知所以参乘乎？”绾曰：“臣从车士幸得以功次迁为中郎将，不自知也。”上问曰：“吾为太子时召君，君不肯来，何也？”对曰：“死罪，实病。”上赐之剑。——《史记·万石张叔列传》
汉景帝游幸上林苑，下令让中郎将卫绾一同乘车。
返回之后，汉景帝问卫绾：“知道为什么让你陪乘吗？”卫绾说：“微臣从驾车有幸得以依靠功劳累积升迁为中郎将，我确实不知道是什么原因。”
汉景帝于是又问：“当年，我还是太子时曾召你来喝酒，你却没有来，这是为什么？”卫绾胆战心惊地回答：“真是罪该万死，我的确是病了。”
汉景帝与卫绾旧事重提，再次印证汉景帝心胸极其狭隘。此外，还值得关注的问题是，“还而问”说明汉景帝在返回途中未与卫绾谈及旧事，而是在返回京城之后才提到旧事。这意味着汉景帝提防身边人。
当然，卫绾的言谈举止还算老实，所以“上赐之剑”。在古代赐剑意义不同，文种、伍子胥因“赐剑而死”，但是汉景帝赐剑应是奖励卫绾。
“绾曰：‘先帝赐臣剑凡六，剑不敢奉诏’”——卫绾回答汉景帝：“汉文帝时已经赏赐了六把宝剑，不敢再接受赏赐了。”
“上曰：‘剑，人之所施易，独至今乎’”——汉景帝很奇怪，“宝剑是人们用来交易的东西，难道还能留到现在？”可见，汉景帝并不相信。
卫绾回答六把宝剑尚在家。“上使人取六剑，剑尚盛，未尝服也”，汉景帝派人取来六把宝剑，发现剑仍然盛在剑鞘中，且从未佩戴过。
六把宝剑说明卫绾受汉文帝赏识，故而赏赐较多；皇帝赏赐六剑没有变卖，而是好好保存着，表明了卫绾确实“醇谨”。此外，六把宝剑还意味着什么呢？
“郎官有谴，常蒙其罪，不与他将争；有功，常让他将”，“郎官”属于中郎将的下级，也就是卫绾的下级。下级犯了错，卫绾常代替承担罪责，不会将责任推诿给其他将官；有功劳也不争夺，谦让给别人。这便是卫绾的品行，所以“上以为廉，忠实无他肠”——汉景帝认为品行端正，忠厚老实没有其他心眼。“乃拜绾为河间王太傅”——于是让卫绾做河间王太傅。
“七国之乱”时，卫绾受命为将带兵平叛，因立军功被封为中尉，三年后又被封为建陵侯。“中尉”执掌京师守卫部队（北军）及京师治安。从此，可以看出来汉景帝多么信赖这位“托孤重臣”。
前150年，“上废太子，诛栗卿之属”，汉景帝废绌太子刘荣，并铲除太子舅舅栗卿等外戚势力。“上以为绾长者，不忍”，汉景帝认为卫绾忠厚老实，担心不忍心大肆屠戮，又或者不忍心让卫绾背负坏名声，“乃赐绾告归，而使郅都治捕栗氏”，于是让卫绾请假，而派出酷吏郅都根除栗氏势力。
单凭这点来看，汉景帝并非蠢笨无知，还有知人之明。那么，他任用像石奋类似的“庸才”担当重任所为何事？要么是奉行清净无为，不需要能臣干吏；要么避免权力分散，需要听话的奴才。又或者保护卫绾，留下好名声而不被攻击。
栗太子案件办完之后，胶东王刘彻被立为太子，卫绾以太子太傅的身份再次回到权力核心。过了许久，又被升为御史大夫。“五岁，代桃侯舍为丞相”，五年后取代桃侯刘舍为丞相，刘舍被免丞相。
“五岁”应该是“后元年七月”，即前143年。
“桃侯免相，窦太后数言魏其侯”，在《窦婴田蚡列传》中，刘舍被免丞相后，窦太后曾多次推荐侄子窦婴，但汉景帝并未应允。
“太后岂以为臣有爱，不相魏其？魏其者，沾沾自喜耳，多易。难以为相，持重。”——《史记·窦婴田蚡列传》
“太后难道认为我有所吝啬而不让魏其侯当丞相吗？魏其侯这个人骄傲自满，容易自我欣赏，做事草率轻浮，难以出任丞相，担当重任。”
这是汉景帝说辞，而实际上真正的目的是为避免外戚分权。汉景帝宁可用一个“庸才”为奴才，也不喜欢一个强势的人才做助手。毕竟，窦婴行事确实让汉景帝反感，诛杀晁错、任侠、交游豪杰等等。
而卫绾则完全符合汉景帝的要求，“朝奏事如职所奏”——在朝廷上奏事，例行公事。所以，“然自初官以至丞相，终无可言”——卫绾自入职做官到丞相，既没有什么建树，也没有什么过失，得过且过。
“天子以为敦厚，可相少主，尊宠之，赏赐甚多”，汉景帝认为卫绾敦厚老成，可以辅佐年少的太子，对他很尊重信任，赏赐很多。汉景帝对卫绾寄予厚望，希望能够继续碌碌无为的辅佐太子刘彻。
“为丞相三岁，景帝崩，武帝立”，汉景帝去世，汉武帝即位，卫绾在丞相位置上已经干了三年。
“建元年中，丞相以景帝疾时诸官囚多坐不辜者，而君不任职，免之”，建元年间，卫绾因为汉景帝卧病期间各官署的囚犯大多属于无辜受牵连，被认为不称职而免职。这又是谁给安置的罪名呢？应该是窦太后顽固势力。虽然汉景帝对卫绾的全面保护，但是仍让顽固势力找到了“破绽”。
这句话有两处信息需要明确：
第一，关于“建元年中”。“建元”为汉武帝刘彻的第一个年号，从前140年-前135年。“年中”跨度太大，而其实际上为建元元年，即刘彻继位之后就对人事安排做了调整。“建元元年，丞相绾病免”，在《窦婴田蚡列传》的交代的信息。
第二，关于被免职原因。《窦婴等列传》说是因为“病免”，生病被免职；而《万石张叔列传》却说是因为“不任职”，也就是渎职罪。其实这两条都不是真正的原因，而真正的原因为“上向儒术，招贤良”，《武帝本纪》中透露刘彻崇尚儒术，欲招纳贤良，启动变革。
当然，这场变革无疾而终。
汉武帝刘彻虽然即位，但是根本无法施展自己的执政理念，因为国家大权仍受窦太后掣肘，而窦太后崇尚黄老无为，自然不允许汉武帝有所改变。
司马迁披露了具体原因，“会窦太后治黄老言，不好儒术”，但是没有讲更多细节。“使人微得赵绾等奸利事”，窦太后暗中派人察访赵绾等人不利的事情，最终以法办惩处。刘彻招纳来的赵绾、王臧等擅长文献经典的贤良被迫自杀。汉武帝之初的改革无疾而终，“诸所兴为者皆废”。
卫绾究竟是否像万石君石奋一样为“庸才”，确实值得怀疑。以汉景帝临终嘱托以及授奖六剑来判断，其忠诚与才能应该不次于周亚夫。司马迁为何将其与万石君石奋放在一起对比呢？仍值得推测其中深意。
