公元前51年，蒙古高原分裂后的南匈奴，呼韩邪单于率部投降汉朝。昔日不可一世，侵袭汉朝边境100多年的匈奴，终于在汉宣帝时期落下帷幕，成为汉帝国的附属。中兴之主汉宣帝激动万分，不忘辅佐他的功臣们，令人在未央宫麒麟阁，画上十一个功臣图像，并注明姓名、官爵。以示怀念和表扬，史称“麒麟阁十一功臣”《资治通鉴》记载此事：
上以戎狄宾服，思股肱之美，乃图画其人于麒麟阁，法其容貌，署其官爵、姓名。
在这份麒麟阁名单中，只有排在第一位的霍光不注名字，仅霍氏二字。这表明汉宣帝非常矛盾，想表彰霍光曾经的拥立之功，又忌惮霍氏曾经的专权。排在第二位的是张安世，在霍光死后，官至大司马、卫将军、录尚书事，集军政大权于一身，这属于”内朝”一把手，地位远在“外朝”丞相之上。
在汉武帝死后，设立内朝大司马一职，让霍光行周公之职，成为托孤之臣，辅佐汉武帝幼子汉昭帝刘弗陵，昔日的丞相被大司马彻底架空。
托孤大臣之间开始不满霍光专权，逐渐产生内讧，左将军上官桀父子、御史大夫桑弘羊联合燕王刘旦准备发生政变，密谋逮捕霍光，废汉昭帝。14岁的聪明的汉昭帝，识破了他们的阴谋，一场政变失败流产了。扑灭叛乱后，大司马总不能事事过问吧，他要寻找一个助手，同时也要扶植自己朝中势力。他看上忠厚谨慎的张安世，从光禄大夫（相当于皇帝顾问）提拔为光禄勋（掌管宫廷事物及宫廷宿卫）、右将军。为什么要单单提拔张安世呢？《汉书 张汤传》记载：
光以朝无旧臣，白用安世为右将军光禄勋，以自副焉。
张安世，杜陵人（今西安人），父亲是大名鼎鼎的酷吏张汤。张汤素来以严酷冷峻著称，但同时也是一个廉吏。善于揣摩圣意，干一些汉武帝想干的事情。比如陈阿娇巫蛊案，搬开长公主的石头，在淮南王、衡山王一案中也表现优异。还为汉武帝搞钱，执行桑弘羊的敛财方案，以严法治豪强，又毫不留情的打击富商，为汉武帝搞了许多钱。
为皇帝干了许多大事，被提拔为御史大夫，经常干一些丞相该干的事情，得罪了丞相庄青翟，同时张汤也觊觎丞相的位置，于是双方发生了权力之争。丞相府的三个长吏诬陷张汤勾结商人牟利，于是汉武帝派人责问张汤，于是自杀。汉武帝听说张汤家里只有5百金，并不存在勾结商人，收受贿赂的事情。丞相自杀，三个长吏也被治罪杀死。汉武帝冤枉了张汤，心里很愧疚，于是就不断提拔张汤的儿子张安世。
张安世很有才能，曾因父亲的关系被任命为郎官（皇帝的侍从），因擅长书法和熟悉图书，又任命在尚书供职。汉武帝出于对张汤的愧疚，提拔张安世为光禄大夫。张安世可能因父亲的缘故吧，做事极为谨慎低调。这和同僚霍光的性格比较相似（当时他们同为光禄勋系统），他小心翼翼做事20多年，后来被汉武帝任命为大司马，成为托孤之臣。此时，霍光缺少助手，所以他又看上很像自己的张安世，提拔他为自己所用。
霍光还把一个女儿嫁给了张安世，从此后张安世也成为霍党的一员。但是，张安世做事风格与霍氏的嚣张跋扈截然相反，依然是低调做事，不因小事随便处置人。宿卫皇宫兢兢业业，13年如一日。有件小事，可见张安世的为人。有一天，有一个郎官喝醉酒，在大殿里撒尿，让人告发，请求张安世治罪，张安世说，“怎么知道他是不是打翻浆水造成的呢？怎么能拿小错治罪。”直到汉昭帝驾崩的前一年，汉昭帝为了表彰张汤的功劳，被封为富平侯。《汉书 张汤传》有记载：
“右将军光禄勋安世辅政宿卫，肃敬不怠，十三年以来，平安无事。亲近亲人任用贤士，是尧、舜治国之道。封安世为富平侯。”
昭帝驾崩后，霍光和张安世迎立昌邑王刘贺为皇帝，但是霍光发现，这位新立的皇帝总是安排自己带的人为官，严重威胁自己的地位，还是一个乱来的主，20多天，做坏事一千多件。于是，霍光提拔张安世为车骑将军（掌管宫廷禁军之职）、又把丞相杨敞拉来，一起废了刘贺，史称叫汉废帝，现在在南昌的海昏侯墓还在挖掘中。
霍光废皇帝后，又和张安世一起迎来，废太子刘据的孙子刘病已立为皇帝。就是汉宣帝。汉宣帝明白霍光手里的权柄历害，刚行完废立之事，只能小心翼翼的装孙子，表现的恭恭敬敬。马上嘉奖霍党，给霍光、张安世都加封一万多户，有拉拢张安世之嫌，为自己所用的意思。
几年后，霍光去世，此时霍氏一党已经遍布朝野，霍光的儿子、女婿、亲信都享受高官厚禄，朝中势力盘根错节。汉宣帝想要连根拔起霍氏，实力上完全不够。于是汉宣帝拉拢一向老实谨慎、恪尽职守的张安世为外援，让他接替大司马、车骑将军之职，任命他儿子张延寿为光禄勋。张安世受宠若惊，不敢接受，这样不就成了另一个霍家了吗？几天后，还是接受的任命。张安世一下掌握了军政大权，从而制约了霍家。《汉书 张汤传》记载：
国家重臣也，宜尊其位，以为大将军，毋令领光禄勋事，使专精神，忧念天下，思惟得失。安世子延寿重厚，可以为光禄勋，领宿卫臣
有了张安世的加盟，汉宣帝底气更足了，开始收拾霍家。又提拔霍光的儿子霍禹也为大司马，不过这只是个称号而已，不授印玺，授带。又把霍氏一族全部安排成了地方官，并剥夺他们的兵权，霍家的势力大减。2年后，霍家谋反计划泄漏，汉宣帝把霍家满门抄斩。张安世及时和霍家划清界限，支持汉宣帝扳倒霍家，立下了汗马功劳。
为什么汉宣帝那么相信张安世呢？这与张安世的性格离不开，还是那些话小心谨慎，低调做人，宽厚对待手下，不因小错而斤斤计较。曾经他父亲张汤的死，恐怕给他留下了难以磨灭的阴影，只能小心驶得万年船，不能重蹈他父亲的覆辙。但我认为不光因为性格原因吧，张家曾经有恩于汉宣帝，也是事实。
汉宣帝的祖父，就是汉武帝的太子刘据，曾经因为巫蛊之祸，惨遭几乎灭门。只留下还在襁褓中的刘病已，也叫皇曾孙。刘病已在丙吉等人的保护下，才得以成长起来。后来汉武帝赦免了他，5岁的刘病已被安排在掖庭生活（宫女生活的地方）。掖庭令张贺，是刘据太子的门下，也是张安世的哥哥，巫蛊之祸后被阉，担任掖庭令。张贺亲自担任刘病已的启蒙老师，生活上对他十分照顾，在经济上也经常资助他。
刘病已的这种身份，没人敢和他亲近，唯有张贺对他像亲人般对待。张贺经常在张安世面前提起皇曾孙的才干，而张安世却让他禁止提皇曾孙，怕引起皇帝的忌惮，也算是保护了刘病已。对了娶妻的年龄，张贺给他当媒人，娶了许平君为妻子，也算是在平淡中增添了几分惊喜。张家对刘病已的恩情怎能忘记。《I汉书 宣帝纪》记载：
时掖庭令张贺尝事戾太子，思顾旧恩，哀曾孙，奉养甚谨，以私钱供给教书。既壮，为取暴室啬夫许广汉女。
平步青云后的张安世，显得更极为谨慎，常常推荐有才干之人，从不求报答，如果谁要报答，张安世就和他断绝关系。张安世看到他父子权势太大，主动提出让他儿子张延寿去做地方官，于是汉宣帝任命他为北地太守。
此时丞相的权利，从汉武帝时期，就逐渐被中朝架空，大司马成为常职以后，负责商议决策国事，丞相更是像傀儡一般，只有执行权。张安世经常和汉宣帝决策完大事，总是装病不上朝，几天后装作不知道这事，表现出一副惊讶的样子，从而给足了丞相的面子，也不得罪朝中大臣。张安世一生中，总是这样小心做事，低调做人，成为汉宣帝的肱骨之臣。任命大司马的六年后，公元前62年张安世病重，请求汉宣帝收回侯爵。当然汉宣帝不能答应，几月后，富平侯张安世病逝，其子张延寿继承爵位，一直到东汉才灭国。
张安世的一生，是围绕谨慎二字展开的，父亲张汤的冤死，使他明白一个道理，唯有低调才是制胜法宝。与霍光，汉昭帝，汉宣帝共事，总保持一颗敬畏之心，对待本职工作兢兢业业，从不出差错。在关键时刻，总是保持正确的站队，头脑始终清醒着，他的谨慎，成全了他三代元老的身份，这样的肱骨之臣，成为麒麟阁十一功臣也不足为奇了。
