1908年2月7日生于陕西渭南堰头村。

1922年就读于渭南赤水职业学校，开始接受马克思主义，参加学生爱国运动。

1924年加入中国社会主义青年团。1926年考入黄埔军校政治科，并转入中国共产党。

1927年4月毕业后，曾任国民革命军第8军第3师第9团政治指导员办公室干事兼2营政治指导员、国民革命军第24师新兵营排长、第二方面军总指挥部警卫团第3营连长。同年年9月参加湘赣边界秋收起义，任中国工农革命军第1军第1师第1团2营6连连长。三湾改编后改任团部参谋、副连长，随毛泽东上井冈山，参加创建革命根据地的斗争。

1928年6月调任中国工农红军第4军第31团1营2连连长。

1929年1月随军转战赣南、闽西，先后任红4军第3纵队第9支队副支队长、支队长，参加了创建中央苏区的斗争。

1930年10月起任红一方面军第36师师长、第12军军长、第14师师长兼广昌警备司令等职，率部参加中央苏区历次反“围剿”。

1934年6月调任中国工农红军大学校长兼政治委员。10月参加长征，先后任中央军委第二野战纵队参谋长、红3军团第4师师长、红10团团长，指挥所部参加了夺占娄山关、攻占遵义城等战斗。

1935年8月调任红四方面军第4军参谋长、红军大学参谋长兼高级指挥科科长，对张国焘的分裂行为进行过抵制。

1937年1月调任中央军委第一局局长，后兼任延安等五县警备司令。

抗日战争爆发后，任八路军第120师第358旅旅长，率部开赴晋西北抗日前线，取得雁门关伏击战的胜利。

1938年10月率部转战晋察冀边区，为粉碎日军对五台山地区的围攻，指挥滑石片伏击战，歼灭日军1个大队700余人。

1939年转赴冀中地区，曾参与指挥陈庄战斗，并多次参加反“扫荡”和反击国民党顽固派军队进攻的作战。

1940年回师晋西北地区，参加夏季反“扫荡”和百团大战。同年11月兼任晋西北军区第3军分区司令员。

1943年为挫败国民党顽固派发动的第三次反共高潮，率部开赴延安地区，执行保卫陕甘宁边区任务，同时开展冬训练兵和大生产运动。1945年8月指挥爷台山反击战，挫败国民党顽军对陕甘宁边区的进攻。旋任晋绥野战军副司令员、吕梁军区司令员兼政治委员。解放战争开始后，1946年7月任大同前线指挥部司令员，指挥大同集宁战役，歼敌1.2万余人。11月起任晋绥军区第1纵队司令员、陕甘宁野战集团军司令员，率部参加保卫延安、青化砭、羊马河、蟠龙等战役。

1947年7月任西北野战军副司令员兼第1纵队司令员，协助彭德怀指挥榆林、沙家店、岔口、黄龙、延清等战役，收复大部失地。1948年为配合其他战场的战略进攻，率部转入外线作战，先后参与指挥宜川、西府陇东、荔北等战役。

1949年2月任第一野战军副司令员，率部发动春季攻势和陕中战役，并参与指挥扶郿、兰州等战役，对解放大西北作出重要贡献。

新中国建立初期，任第一野战军兼西北军区副司令员、最高人民检察署西北分署检察长、西北军政委员会委员、西北军政委员会财政经济委员会副主任。1952年10月任中国人民解放军副总参谋长兼军校部部长，1955年4月兼任训练总监部副部长。长期领导军事训练和院校建设工作，并参与组织编写各种条令、条例和教材。

1971年2月任济南军区副司令员。

1973年6月～1978年2月任总后勤部部长。第一至第三届国防委员会委员，中共第七、第八届中央候补委员，第十届中央委员。

1983年6月被选为第六届全国政协委员。

1955年获一级八一勋章、一级独立自由勋章和一级解放勋章，1988年获一级红星功勋荣誉章。

1998年9月14号在北京逝世 。

儿子：张又侠 ，陕西渭南人，北京出生。中国共产党党员。中国人民解放军高级将领，上将军衔。历任陆军团长、副师长、师长、第13集团军副军长、第13集团军军长、北京军区副司令员、沈阳军区司令员、解放军总装备部部长、中央军委装备发展部部长等职。任中共第二十届中央政治局委员，中共中央军事委员会副主席，中华人民共和国中央军事委员会副主席。