张霖之同志生于一个农民家庭；他早年曾在父母的全力资助下读了七年书，拥有较高的文化涵养。1929年，他的家中突然遭遇变故，经济状况一落千丈，已然无力再支持他读书。于是，他只得被迫辍学。当年下旬，他报名参军，进入国民党军某步兵师担任连书记官。1928年初，他受红色思想影响，毅然报名参加共产党，成为一名坚定的革命战士。

1931年，张霖之的身份暴露，他为了自保被迫退出国民党军，转而返回山东老家蛰伏。直到1936年下旬，他方才重新出山从事革命工作。抗战爆发后，张被任命为中共山东省委委员。1938年，他参与了鲁西南革命根据地的开辟工作。解放战争时，张霖之由行政部门转入中原野战军任职，先后出任师政委、纵队政委等职务。

建国后，他短暂在重庆市委工作过一段时间，1952年，他被调入中央担任二机部副部长，主管轻武器的研发也制造工作。1957年，二机部解散重组，张霖之随即又转往煤炭工业部担任一把手。张向来不喜欢坐办公室，他一年中有一半时间都在各地视察、走访，每到一个矿区，他都会对矿长、矿党委书记等干部进行“问政”，以考察他们的个人能力和工作成果。

有一次，张霖之随口询问一位矿长：“有没有下过矿井？”对方坚定地回答道：“下过！”张霖之紧接着又问：“是什么时候下的？”对方稍微顿了顿，神色慌张地回应了一句：“大概两三个月之前。”张霖之闻言后瞬间大怒，他随即严厉批评了矿长，指责他玩忽职守，不了解基层、一线的情况：“这样怎么能管理好煤矿？”矿长自觉理亏，马上向张霖之道歉，并承诺自己一定会整改，充分发挥领导干部的带头作用，与工人们一起奋战。

还有一次，张霖之到抚顺煤矿视察的时候，发现矿区的伙食非常差，工人们每天都只能吃黑乎乎的杂粮馒头和没有什么油水的素菜。他为此很是不满，于是便买下几个馒头，用绳子串起来挂在矿长的办公室门口。矿长马上就领会了张霖之的意思，当即调拨资金改善工人的伙食，让大家吃上了荤素搭配、营养均衡的饭菜。

张霖之虽然身居高位，但他并未因此骄傲、自满，反而一直保持着节俭的习惯，从来不乱花钱。每个月的工资，他会省下一大部分，用于接济亲属或者捐给慈善机构。按照当时的规定，张霖之这样的正部级领导人，必须要配一名警卫员，以保证他的人身安全。可张霖之却觉得自己身边有一个秘书就够了，不需要警卫员，于是便将警卫员退回公安部，这样也能为国家节省一些资金。

1965年，张霖之有一个侄子从部队转业，一直没有找到什么好工作，于是便向张霖之求助，希望他能给自己安排一个好差事。张霖之想都没想，严辞拒绝了侄子。以公谋私这个口子千万开不得；既然在城里找不到什么工作，那就回农村去务农、种地，这也算是为国家建设做贡献了。

1966年动荡爆发后，张霖之迅速受到波及。从当年6月开始，他不断受到批斗、揪斗，这严重影响了他的健康状况。可即便如此，他也没有选择向居心叵测者低头，仍旧坚持自己的立场，拒绝承认莫须有的罪名，也绝不会出卖同志和战友。1966年底，张霖之的病情突然恶化，他的精神头一天不如一天。1个多月后，他不幸病逝，时年五十九岁。

周总理当时一直被蒙在鼓里，直到1968年中旬，才有人秘密将此事告知给总理。总理闻讯后很是悲痛：张霖之是革命功臣，是国务院的鼎力支柱，就连毛主席都对他赞不绝口，谁料他居然就这么不明不白的死在了小人手中，实在让人惋惜！1975年，在周总理的极力推动下，中组部开始着手为张霖之平反，1979年，中组部正式下达文件，宣布恢复张的一切荣誉。

1980年，党中央还专门给张霖之补办了一个追悼会，邓公、叶帅等一众中央领导人悉数到场为他吊唁，他的骨灰随后被安放在八宝山。张霖之的妻子李蕴华也是一位革命者，她曾在宣传部门任职，后来又转往妇联工作，有力的推动了解放妇女运动与两性平权，堪称当代妇女觉醒的先驱。80年代末，李蕴华离休，晚年她一直过着低调的生活，很少有公开消息。