光大二年（568年）三月二十三日，当朝大宗伯、太傅、三老之一的于谨病逝于任上。
得知其去世，周武帝亲自前往吊唁，不仅追赠“文”这样的顶级谥号，还下令要求葬礼上，所有王公以下的官员，都送葬到郊外，可谓死后哀荣。除了在葬礼上给予高规格对待，周武帝还让他配祭太祖宇文泰庙庭，达到一个臣子生前死后的最高荣誉了。而于谨更是唐朝祭祀的六十四位和宋朝祭祀的七十二位名将之一。可以说于谨在当时的地位，足以媲美诸葛亮和王猛。
于谨比较低调，哪怕位高权重，却始终以谦虚的姿态处事，加上南北朝时期历史混乱不堪，自然在后世没啥名气。但在当时，于谨可是威震南北朝，不仅战功赫赫，而且谋略出众，换句话说，要不是他，西魏都不一定能建立，更别说日后的北周了。
于谨是鲜卑族人，本姓万忸于氏，祖上都负责镇守北魏边疆六镇，但到了他这一代，六镇背景已经和北魏朝廷格格不入，游离于北魏核心阶层之外，比如父亲就担任文职了。
如果不意外，于谨日后也要出仕做官的。但和其他人不一样，于谨对于仕途并不热衷，倒不是他看不上，而是视州郡官职为耻，要做官就得做三公。在普通人眼里，州郡的官职已经很高了，然而心高气傲的于谨却视为粗鄙不堪，因而他的这番话得到很多人的嘲笑。但于谨才不管怎么看他，继续选择隐居，每天抱着史书和《孙子兵法》读，彻底蛰伏了起来。“谨性沉深，有识量，略窥经史，尤好《孙子兵书》。屏居闾里，未有仕进之志。或有劝之者，谨曰：‘州郡之职，昔人所鄙，台鼎之位，须待时来。吾所以优游郡邑，聊以卒岁耳。’太宰元穆见之，叹曰：‘王佐材也。’”从这里也可以看出，于谨这辈子的志向是从军，而不是当个普通文官。
普通四年（523年），席卷北魏北方的六镇大起义爆发，男儿建功立业，正当此时。
而在六镇起义中，破六韩拔陵为了壮大声势，居然拉拢北魏的老对手柔然入侵，一时间北方各地战火不断，大行台仆射元纂征召于谨出征。
对于于谨来说，在战场上厮杀才能快速立功，得到元纂的命令后，立马带着两千骑兵北上三千余里与柔然交战，首次出征即大获全胜，也让于谨名声大噪。
除了破柔然，于谨还在此后的征战里平定铁勒、破六韩拔陵、葛荣、邢杲、南梁、克宿勤明达、夏寇等等，几乎屡战屡胜，成为北魏新的军事明星。然而和其他武将不同，于谨征战多年，却没有自己的部众，这让他在北魏末期的地位有些尴尬。
一方面，北魏末期已经出现了文武分途的现象，即武将身份开始和秘著起家的文官们差距逐渐扩大。虽然武将有建功立业的机会，但随着尔朱荣攻破洛阳后，于谨的个人境遇并没有因为出色的战功而得到改善，反而沦为各个势力的工具。
此前报效朝廷，却遭到胡太后的猜忌，尔朱荣入驻洛阳后，朝廷被尔朱氏把持，于谨又成为尔朱氏阵营的人。
中大通三年（531年），于谨任征北大将军，跟随尔朱天光征讨高欢，双方在韩陵山作战，败于斛斯椿之手，尔朱天光战死，于谨逃亡关中，此战是于谨军事生涯里少有的败绩，也是于谨仕途上的一次大挫折。
于谨
自己奋斗了大半辈子，突然发现自己效力的北魏朝廷现在成了高欢的霸府，明明想为朝廷效力，却莫名其妙成为被征讨的尔朱氏余党，尽管洛阳朝廷还可以发布诏令，但只是傀儡罢了。因而于谨投奔贺拔岳，虽然依旧顶着卫将军和金紫光禄大夫的帽子，但这些都是虚的，真正的官职反而是咸阳郡守。此时于谨三十九岁，征战十年，最终还是当了年少就瞧不起的州郡官职，可想而知于谨现在的抑郁和沮丧。
而在贺拔岳这里，于谨认识了这一生最重要的伙伴——宇文泰。此时宇文泰属于贺拔岳的谋臣，有气度、有胆略，虽然二人相差十二岁（宇文泰远小于他），但于谨和他一见如故，认为他是夺取天下的雄主。至此于谨成为宇文泰的左膀右臂，而宇文泰又知人善任，让于谨的人生也因为他彻底步入巅峰。
中大通六年（534年），贺拔岳被侯莫陈悦杀害，在于谨的帮助下，宇文泰被推举为新的领导人，接管贺拔岳部。
和贺拔岳部其余部下相比，宇文泰显然更相信于谨，不仅信任他，而且给予实权，也让于谨决定彻底效忠对他恩同再造的年轻领袖。
而这个时间段，除了在战场上继续征战之外，他为宇文泰带来两个惊喜，即夏州定策与江陵之战。
宇文泰
首先是夏州定策。
当宇文泰接手贺拔岳旧部并讨伐侯莫陈悦之际，于谨为宇文泰献了“夏州对”：“关右，秦汉旧都，古称天府，将士骁勇，厥壤膏腴，西有巴蜀之饶，北有羊马之利。今若据其要害，招集英雄，养卒劝农，足观时变。且天子在洛，逼迫群凶，若陈明公之恳诚，算时事之利害，请都关右，帝必嘉而西迁，然后挟天子而令诸侯，奉王命以讨暴乱，桓、文之业，千载一时也。”
说实话，此时的高欢已经在洛阳掌权，已经有挟持魏帝以令诸侯之势。但于谨和宇文泰没有承认失败，反而采取积极主动的方式，让于谨“献”计，“劝”孝武帝迁都长安。
此时孝武帝早已不堪高欢的压力，认为这是摆脱高欢控制的机会，立马听从于谨建议迁都。高欢得知后，立马派兵，想要追回孝武帝，可惜没能追上。
可惜孝武帝原以为逃出了狼窝，但没想到又进了虎穴，彻底被宇文泰掌控。
至于高欢那边，则迎立皇族元善见为帝，至此北魏分裂为东魏和西魏。
自孝武帝迁都被挟持后，宇文氏政权就是根据于谨的建议，召集各路英雄，然后夺取巴蜀富饶之地，并且成功灭了北齐，后杨坚在这个基础上一统天下。
于谨
可以说于谨的夏州对，堪比诸葛亮的隆中对。
实际上宇文泰当初也建议贺拔岳建议以关中为根据地的，但于谨在这个基础上加上西迁魏帝，算是给这个新政权的合法性的神来之笔。
当然，夏州对的意义不仅于此，除了让宇文政权有了合法性之外，还带动了三股势力的融合，即原先北镇的宇文泰势力、关中陇西势力、跟随孝武帝西迁的士族势力，最终形成了日后的关陇贵族集团，影响后世几百年。仅凭这一点，于谨的战略能力方向就能在南北朝位居第一档。
而在这个之后，于谨又打出了其生涯最显赫的功绩——灭南梁。
就在北魏四分五裂的时候，南梁也没好到哪里，从北方来的侯景将南梁搅了个天翻地覆，一帮南梁皇族坐看梁武帝饿死台城无动于衷，而后为了争夺皇位互相内讧。而势力最大的暂时是占据江陵的梁元帝萧绎。
宇文泰和高洋则趁南梁混乱的时候来咬一口，其中宇文泰看上了巴蜀之地，而此时占据巴蜀的则是萧纪。
而对于宇文泰而言，萧纪不足为虑，萧纪北边是西魏，东边是一生之敌萧绎，南边都是群山峻岭，没地方逃，实属瓮中之鳖。真正让宇文泰比较看重的是萧绎，萧绎和萧纪不一样，萧绎现在是名义上的梁帝，完全可以号召各路勤王兵马，比如用兵于西、南的任约、王琳，建康还有王僧辩。除此之外，在江陵还可以联络北齐。
萧绎
除了四方可以援助之外，江陵自古以来就是南方重要的军事重镇，其中在东晋和南朝，江陵地位尤为重要，更是南梁龙兴之地。而且别看萧绎是个文弱书生，但这个政权对其他萧家子弟的征讨都是秋风扫落叶般的顺畅。
在这种情况下，打上一场灭国之战，不是那么简单的。因而宇文泰派出了其最强阵容，以于谨为统帅、韦孝宽为主将、杨忠和宇文护为先锋，带领五万精兵征讨江陵，这些人几乎是西魏所有的府兵了。之所以派这么多，一方面是重视南梁，一方面是震慑王僧辩。
承圣三年（554年）11月4日，于谨大军集结，11月21日正式出兵，而在西魏出兵次日，消息就传送到萧绎这边，不过萧绎不相信西魏大军征讨，并未做出安排。
为了尽快灭了南梁，防止其他人援救，于谨下令急行军，仅仅四天，也就是11月25日到达了樊邓，直到这个时候，萧绎才知道慌忙下令抵抗。
于谨这次行军堪称神速，毕竟长安距离樊邓有八百里，四天急行军，相当于每天两百里，想当初司马懿八天行军一千两百里，被史书夸上天，而于谨行军速度可比司马懿快多了。
王僧辩
然而萧绎又怕王僧辩过来架空自己，也怕这是西魏的虚张声势，始终迟疑救援，直到11月30日，才开始派人向王僧辩求援，但时间已经晚了。
12月12日，于谨渡过汉水，然后命令杨忠、宇文护带领两千骑兵直扑江陵南面的江津以断梁帝后路。12月13日，宇文护攻克武陵，萧绎则下令布置木栅围城以拒于谨，随后于12月17日，征召广州刺史王琳勤王。但所有的一切都晚了，12月28日，于谨大军把江陵重重包围，断绝内外一切联系，勤王部队只能望江心叹。就这样，江陵先后被围了十六天，随着梁将胡僧祐被射杀，萧绎再无抵抗之意，被迫开门投降于谨。
从出兵到灭南梁，前后仅有一个半月，还包括行军，对于萧绎来说，简直就是神兵天降，稍有犹豫就会贻误战机，而萧绎前前后后犹豫了不止一次，直到宇文护攻克武陵后才开始布防，但已经晚了。而在于谨的急行军之下，王僧辩、王琳、任约丝毫来不及救援，至于北齐这边，段韶刚刚发兵，江陵就陷落了。
立下如此大功，宇文泰给了于谨最高规格的赏赐，除了加封他为新野郡公、食邑二千户之外，还命乐官作了十首《常山公平梁歌》。
灭南梁和后面伐蜀，不仅迅速壮大了西魏的实力，也提升了宇文家在关陇集团的地位，为日后“变魏为周”奠定了基础。
于谨
灭梁的时候，于谨已经六十四岁了，算是半截身子入土的年纪，加上立下了不世之功，他开始考虑致仕养老的问题，向宇文泰辞官。然而于谨文能治国，武能安邦，岂能轻易归田？宇文泰坚持不许，于谨只好继续效力，并担任大司寇。
太平元年（556年）十月，宇文泰去世，由于宇文泰走得匆忙，未能完成改朝换代之举，但于谨心领神会，打算在改朝换代事业上报答宇文泰的再造之恩。
此前，因为宇文泰世子宇文觉还幼小，宇文泰就将基业交给了宇文护，但宇文护在关陇集团里名望和地位不如其他人，其他人也不服宇文护掌权。因而宇文护只能寻求于谨的帮助，在于谨的力挺下，宇文护得以上位：“及太祖崩，孝闵帝尚幼，中山公护虽受顾命，而名位素下，群公各图执政，莫相率服。护深忧之，密访于谨。”
为何于谨坚持支持宇文护呢？第一个原因自然是报答宇文泰知遇之恩了，当初于谨仕途挫折之际被宇文泰提拔为近臣并委以重任，他和宇文家的关系远比其他柱国亲密。另一个原因就是身份和地位的问题，于谨虽然是柱国，但严重缺乏政治根基，于家只是河南于氏的小宗，并非鲜卑勋贵后代，在洛阳也没有很深的根基。跟随孝武帝西迁后，地位也很尴尬，既不是孝武帝身边的文武官僚，也没有和贺拔胜有共事的经历，更不是韦孝宽、杨敷、苏绰这样的关中郡姓。只能依靠宇文家才能实现自己的抱负和价值，而宇文泰也看出于谨能力很强但却没有太多的关系，有上马定乾坤之才，却无谋反的势力。因而这种尴尬的背景反而让他深受宇文泰的信任，也是宇文泰时期，少数独自带领集团军作战异姓之人。如今宇文泰没了，自然得继续依附宇文家，因而从情感和实际利益出发，于谨自然要支持宇文护的上位。
而宇文护上位后，立即着手改朝换代。
永定元年（557年），宇文护拥立宇文觉为帝，改魏为周，而于谨被进封为燕国公，食邑一万户，同时担任太傅、大宗伯，彻底完成了幼小时候的三公之梦。
宇文邕
而随着北周权力的稳固，于谨打算归田养老，但不管是宇文护还是后面的周武帝宇文邕，都挽留于谨，还赐给他延年杖，执晚辈礼，可以说于谨已经达到了一个臣子荣耀的巅峰，且始终未能得到猜忌。
在西魏八柱国里，除了宇文泰和当摆设的元欣之外，于谨在其余六柱国里名列第五，但从能力来看，于谨当在六柱国里排第一。
虽然在北周时期，未能在史书里给予其应有的地位，但在后世却不断推崇。比如在唐玄宗时期，唐玄宗给各代著名君臣立庙，其中配给宇文泰的就是于谨和苏绰，苏绰是改革家，而于谨则是宇文泰的左膀右臂，这个安排恰如其分。而后于谨又被选入唐朝和宋朝的武庙，相当于认可其军事上的地位。
换句话说，文治武功来看，于谨丝毫不逊于诸葛亮，可惜在南北朝的乱世里，名人太多，于谨在后世反而不为人所知。
