1841年张俊出生于甘肃省庆阳市环县，同治初年，与董福祥、李双良等人以“保护乡民”为号召，集结兵力起事，活动于陇东、陕北一带。当时，社会动荡，溃勇、饥民不堪战乱之苦，纷纷归附，史载“溃勇、饥民争附之，众常十余万”。张俊作战英勇，冲锋陷阵，迅速成为董福祥的得力助手，展现出卓越的军事领导才能。 同治七年（1868年），清政府派左宗棠率重兵镇压反清回民军。董、张所部在与左军的对抗中，被左军部将金顺、刘松山击败，退据瓦窑堡（今陕北子长县）。次年二月，张俊与董福祥商议后，决定投降清军。刘松山将其部改编为“董字三营”，张俊随董福祥为统领，李双良等为管带，正式成为清军序列。此后，张俊参与了一系列攻打回民军的战役：同治七年六月，随左军出花马池（今宁夏盐池），攻占灵武；配合左军攻破回民军大本营金积堡（今属宁夏吴忠市），击败马化龙部，因功授都司衔。同治十年，又随左军将领刘锦棠等，攻打河州、西宁、肃州等地回民军，为清政府稳定西北局势立下战功。 光绪二年（1876年），张俊随左宗棠、董福祥进军新疆，参与驱逐阿古柏侵略势力的战役。在迪化（今乌鲁木齐）战斗中，张俊率部率先入城，与敌军展开巷战，杀伤甚众，迫使敌军南逃，展现出顽强的战斗作风。收复玛纳斯时，敌军据城固守，湘军久攻不下。张俊率甘军接手后，采用坑道作业的战术，将城墙炸开缺口，亲率步兵首先冲入城内，打垮敌军。此役中，张俊与董福祥“并立头等军功”，受到清廷嘉奖。 入秋，张俊回甘肃募兵，在陇东招募3000余人，编为“定远三营”，由其任统领。所募士卒多为董、张起事时的农民，经战争磨练，战斗力极强。在收复南疆的战斗中，“定远三营”充任开路先锋，战功卓著。光绪三年（1877年）春，张俊率部配合董字三营，连克达坂城、托克逊、喀喇沙尔（今焉耆）、库尔勒、库车、拜城等地，势如破竹。阿古柏势力在清军打击下节节败退，最终阿古柏本人在逃亡途中被部下杀死，其政权覆灭。张俊率部抵达阿克苏后，与董福祥合兵，继续追歼残敌，为收复南疆全境作出重要贡献。 南疆战役结束后，张俊因功升任伊犁镇总兵。翌年，指挥甘军追歼阿古柏残部爱克木汗条勒、阿布希勒哈玛等部3000余人，基本安定西部边疆。战后，清军在当地建立纪念碑，铭记张俊与董福祥等将领的功绩。时人评价张俊“俊好舞刀，所部衣帜皆白色，被时人称为‘雪张’”，“俊武功超群，善于用兵”，其军事才能与领导能力得到广泛认可。 新疆平定后，张俊率甘军一部驻防北疆，戍卫边疆十余年，为维护祖国领土完整作出积极贡献。光绪二十一年（1895年），董福祥调离新疆，张俊继任喀什噶尔提督，继续守卫边疆。光绪二十三年底，调任甘肃提督，到任后招募陇原士卒5营进行训练，预防地方动乱。此后，张俊移防京津地区，“屏蔽京师”，防御帝国主义列强侵略。光绪二十五年，直隶总督荣禄统率武卫全军，保卫北京，张俊被任命为武卫全军翼长兼统中军，成为荣禄的主要助手。同年七月，清廷赐其在紫禁城骑马。 光绪二十六年（1900年）三月，张俊病殁于北京，终年59岁。他去世后，清廷赐号“壮勋”，并建祠纪念，以表彰其一生的军事贡献。