臧霸，字宣高，小名奴寇，汉末兖州泰山郡华县人，年少便以勇气出名。臧家是华县的地方豪族，家中有宾客数十，臧氏族人世代在郡县为吏，臧霸的父亲臧戒是华县的县狱掾。
臧霸十八岁那年，其父臧戒因据守法律，不听太守私杀狱犯的命令，惹怒太守，被捉拿押往泰山郡治所奉高县。
臧霸率宾客数十人预先埋伏于费县西山中，等待押解其父臧戒的队伍经过。
当时押解臧戒的役卒有百余人，经过臧霸埋伏地点时，臧霸率众冲出，众役卒认出是臧霸，知其勇壮，都不敢动。
于是，臧霸打开囚车，救下父亲，率众宾客离了泰山郡，往相邻的徐州东海郡避难去了，自此后臧霸勇壮之名传遍乡野。
汉灵帝中平五年（188年）徐州黄巾余党起事，一时徐州大乱，朝廷派陶谦任徐州刺史。陶谦到任后招募兵勇平叛，臧霸率众宾客应募，在征讨黄巾的战斗中，臧霸屡立战功，被陶谦任命为骑都尉。
陶谦派臧霸率军驻扎徐州北境琅琊郡治开阳县，琅琊与臧霸家孙康、孙观兄弟、吴敦、尹礼、昌稀等数部，众人仰慕臧霸大名，纷纷率众来投靠。
众人公推臧霸为帅，因众首领都是泰山郡人，人们统称这支军队为“泰山军”。自此后，臧霸成为依附陶谦的一股半独立势力。
汉献帝兴平元年（194年）徐州牧陶谦去世，刘备继任为徐州牧，刘备派人来拉拢臧霸，殷勤致意，臧霸及泰山军诸将自此依附于刘备。
兴平二年（195年），曹操击败吕布，重新夺回兖州。曹操的兖州旧将徐翕、毛晖原本叛降吕布，因吕布兵败，二人来投臧霸，臧霸收留二人为将。
此后，吕布夺取徐州，臧霸的泰山军再度依附吕布。建安三年，曹操征讨吕布，臧霸率泰山军诸将，整顿兵马，准备往下邳去救吕布。
泰山军诸将刚离开开阳，便得到消息：下邳已破，吕布已经被曹操所擒。臧霸及泰山军众将大惊，都怕曹操率军来报复，于是各自散去，臧霸带了几个亲随藏匿起来。
曹操派人四处搜寻，将臧霸擒获。曹操亲自召见臧霸，与其交谈大喜，让臧霸将孙观等泰山诸将招来。
臧霸招众人来，曹操全部委任为郡国守相，任命臧霸为琅琊相，吴敦为利城太守，尹礼为东莞太守，孙观为北海太守，孙康为城阳太守，昌豨为东海相。将青、徐二州军事都托付于臧霸。
曹操想起兖州叛将徐翕、毛晖在臧霸部，于是让刘备去见臧霸，让其献出二人首级。
刘备与臧霸相会，说明曹操之意。臧霸对刘备道：“霸所以能自立者，以不为此也。霸受公生全之恩，不敢违命。然王霸之君可以义告，愿将军为之辞。”
刘备便把臧霸所言，转告给曹操。曹操后来见到臧霸，对其叹息道：“此古人之事而君能行之，孤之愿也。”于是赦免徐翕、毛晖，任命二人为郡守。
建安五年（200年），曹操与袁绍在官渡对峙时，臧霸率泰山军精锐多次进入青州骚扰袁绍后方，使得曹操不用顾念东方之事，可以专心对付袁绍，对官渡之战曹操一方获胜起到了一定作用。
建安十年（205年），曹操在南皮大破袁谭，至此河北全部平定。曹操在南皮置酒大会，臧霸率泰山军诸将前去祝贺。
会上，臧霸向曹操提出派遣子弟及诸将父兄家属前往邺城居住，曹操道：“诸君忠孝，岂复在是！昔萧何遣子弟入侍，而高祖不拒，耿纯焚室舆榇以从，而光武不逆，吾将何以易之哉！”便同意了臧霸的请求。
曹操又以泰山军诸将在青、徐二州平乱有功，加以封赏，臧霸被封为都亭侯、加威虏将军，孙观战功仅次于臧霸，被封为吕都亭侯、加偏将军，其余孙康等诸将都封为列侯。
南皮大会后，泰山军诸将回到徐州，都将家属送到邺城为质，唯独东海相昌豨非但没送家属，还据守东海三公山起兵反叛曹操。这个昌豨此前曾数次反叛，都被招降。
建安十一年（206年）曹操派大将夏侯渊、于禁与臧霸一起出兵东海，征讨昌豨。于禁是泰山郡人，与昌豨等泰山军诸将素来相识，因此，昌豨兵败被围后投降了于禁，被于禁引用法令诛杀，东海之乱平定。
建安十二年（207年）青州济南黄巾余党徐和起事，臧霸率泰山军与夏侯渊平定了徐和之乱。曹操以臧霸前后平定昌豨、徐和之功，升其为徐州刺史。
徐州的治所在下邳国下邳县，时任下邳县令的是沛国人武周，被当时人称为雅士，臧霸对其十分敬重，认为其与众不同，经常到其居住的官舍作客。
有一回，臧霸手下的部郡从事總詞不遵守法令，武周得悉他的罪状，便将其收押拷问，没有因为謥詷是臧霸所辟从事而徇私。
臧霸得知后不但没有怪罪，反而更加敬重善待武周。
建安十四年（209年），在淮南的袁术旧将陈兰、梅成叛乱，曹操派将军张辽、张郃、牛盖讨陈兰，命将军于禁、臧霸讨梅成。
梅成得到消息，派人向于禁诈降，于禁信以为真，不再率军前进准备收兵返回，梅成趁机率部下三千人去投奔陈兰，双方合兵一处，转入灊山，并派人向孙权求救。
孙权派水、陆两军来救陈兰，大将韩当率军由陆路来救，曹操命臧霸率军至皖，截击韩当，使其不能救陈兰。
韩当得报，率军来迎战，与臧霸军在逢龙相遇，双方展开大战，韩当兵败。韩当又派军至夹石，也被臧霸军所败，臧霸于是率军回屯舒县。
孙权的数万水军抵达舒口驻扎，分兵登陆往救陈兰，途中听说臧霸屯兵舒城，当夜立刻遁还。
臧霸得到消息，乘夜追击百余里，至天明追上吴军，前后夹击，吴军窘迫，无法上船，跳水逃生、淹死者甚众。由于臧霸对孙权援军的成功截击，张辽遂在灊山剿灭了陈兰。
数年后，臧霸又率军随曹操征讨孙权于濡须口，曹操命将军张辽与臧霸同为先锋，二人率军先行，行军途中遇到大霖雨。
在后方大军中的曹操见雨势甚大，担心张辽、臧霸有失，派人去传令二人，暂且退兵。
因雨大难行，传令之人还未赶到，张辽、臧霸的前锋已经抵达江边，但见江水上涨，敌船稍进，而曹军缺船，如果水涨泛滥成灾，对曹军十分不利，形势十分危急。
张辽见此情景，便要下令撤军，臧霸不同意，认为既然奉命来此驻军，当执行命令。臧霸对张辽道：“曹公如此英明之人，如有危险不会舍弃我们的！”张辽于是接受了臧霸建议，下令在江边驻扎下来。
第二天，曹操传令之人赶来，张辽、臧霸这才尊令撤军。张辽、臧霸率军返回曹军大营，张辽来见曹操，讲了臧霸劝阻自己之事，曹操听了，对臧霸大为赞许。
曹操召来臧霸，对其褒奖，拜臧霸为扬威将军、假节。
建安二十一年（216年）冬，曹操再征孙权，臧霸再次从征。臧霸率军先登冲入孙权军阵，再入巢湖，攻破居巢。
此后，曹操、孙权双方对峙于濡须口，泰山军中猛将孙观为先锋，率部先攻孙权军。
孙观立足未稳，正要扎营。此时，孙权手下的将军吕蒙凭借此前所建的船坞，置强弩万张，向孙观军射来。
孙观军无法扎营，被击破。孙观也被流矢射中，左脚受伤，但仍坚持奋战不退。
其后，曹操援军赶到，将孙观救下，曹操亲来慰问，对其道：“将军被创深重，而猛气益奋，不当为国爱身乎？”于是转拜孙观为振威将军。
孙观所受伤重，不久病逝。曹操厚葬之，以其子孙毓嗣爵。
曹操与孙权在濡须口相持数月，不分胜负。至建安二十二年（217年）春，孙权遣使徐详乞降，曹操答应了孙权的请求，于是双方罢兵。
曹操留下将军夏侯惇、曹仁、张辽、臧霸等驻守居巢，自己率大军回邺城去了。
建安二十五年（220年），曹操在雒阳去世。留守雒阳的青州兵以为将要天下大乱，大都擅自鸣鼓离去，臧霸的泰山兵当时也有一部驻守在雒阳，见青州兵大乱，也跟着离开了雒阳。
不久，曹丕继任魏王，为安抚泰山军，升臧霸位镇东将军，进爵武安乡侯，都督徐州诸军事。
同年，曹丕称帝，国号魏，改元黄初，臧霸晋爵为开阳县侯。
黄初三年（222年），魏文帝曹丕兵分三路亲征孙权，任命曹休为正东大将军，假黄钺，督前将军张辽、镇东将军臧霸、豫州刺史贾州刺史王凌等诸州郡二十余军从东线出击洞浦。任命上军大将军曹真从西线进攻南郡江陵，大将军曹仁从中线出击濡须口。
孙权升建威将军吕范为前将军、假节，督徐盛、全琮、孙韶等五军，以水师拒曹休于洞口；以左将军诸葛瑾督潘璋、杨粲救南郡，拒曹真；命裨将军朱桓以濡须督拒曹仁。
孙权收到曹丕回信，知双方已彻底决裂，于是下令各军临江拒守，为彰显自此后独立于曹魏，开始设立自己的年号，取曹魏年号黄初和蜀汉年号章武各一字，定年号为：黄武。
十一月，曹丕抵达南阳宛城，这时收到曹休的上表，表中说：“臣愿率领精锐之师即刻渡江，大军虎步踏平江南，从敌人那里夺取粮草补给，则一定可以取得胜利。如果臣殒命疆场，请陛下不要挂念。”曹丕见表大惊，担心曹休即刻渡江，立刻派驿马赶快阻止曹休。
侍中董昭正侍立在侧，劝谏道：“我私下里窥见陛下脸上有忧虑的神色，难道只是因为曹休将要过江的缘故吗？现在渡江，从人之常情上说，都认为很难，即使曹休有这个愿望，从形势看，他不能独自实行，还应当有各个将领协同。
却说前线的曹休大营，正如董昭所料，臧霸等人听说曹休要渡江，都不愿孤军冒险，都来劝阻，拖延数日不能决。不久，曹丕阻止渡江的诏书也到了，曹休无奈，这才作罢。
曹休命魏军乘轻船骚扰吴军，吕范命将军全琮带甲仗兵，随时戒备，魏军一时不能讨得便宜。
一日夜中，突然刮起暴风，将吕范船队的缆绳吹断，被吹散的吴军船只纷纷漂到长江北岸，曹休立刻命王凌等诸军出击，斩杀吴军数千。
吕范忙命将军徐盛收拾余兵，与曹休夹江对峙，曹休命魏军登船攻击徐盛，徐盛军人数少，但吴军擅水战，以少御多，魏军不能取胜。
曹休遂命收兵，此战俘获东吴大量的舟船，取得大捷。曹丕得报大喜，觉得天助大魏，立刻下诏让曹休率军渡江。
曹休接到命令，正要渡江，这时东吴救援的船只赶来，收拢散船，退回长江南岸。曹休命臧霸率敢死万余人乘轻船五百追击。
臧霸遂偷袭长江南岸的徐陵，烧攻城堑，杀略数千人。吕范得到消息，派将军全琮率水军来战，臧霸命部将尹卢数千人迎击。
双方大战，魏军兵败，尹卢也被吴军全琮部枭首。臧霸见此情景，忙率军退回北岸。与此同时，西路的曹真、中路的曹仁部也与吴军各有胜负，双方给罢兵。
臧霸因袭长江南岸徐陵之功，甚为得意。此战之后，对征东大将军曹休夸口说：“国家不肯听从臧霸而已！若能借我步骑万人，我必能横行于江表。”
曹休将臧霸所言，上表报给了魏文帝曹丕，曹丕看过后，想起当初曹操去世时，臧霸的泰山兵擅自离去之事，因而对臧霸产生了猜忌。
黄初四年（223年）八月曹丕东巡，青、徐诸将都来拜见，论征孙权功，诸将以下进爵增户各有差，臧霸也以功改封良成县侯。
曹丕趁臧霸来朝见，遂夺其兵权，征臧霸入朝为执金吾，位特进。自汉末臧霸起兵，成为泰山军首领，雄镇青、徐二州数十年，至此时，诸侯生涯画上句号，开始回到朝廷养老。
曹丕对入朝为官的臧霸很敬重，每有军事要务，都常常咨访臧霸意见。曹丕去世后，魏明帝曹叡即位，对臧霸仍厚加赏赐，增封邑五百，并前三千五百户。
不久，臧霸去世，其子臧艾嗣爵。其后，正始年间，魏武帝曹操庙增祀诸功臣，臧霸位列其中，与张辽、乐进、张郃、徐晃等名将并列。
