祭遵，年轻的时候就喜爱经书。他家里很有钱，而祭遵恭谨俭朴，不爱穿华丽衣服。曾被衙吏欺凌，祭遵结交宾客杀了衙吏。起初，县中以为他柔弱，以后都害怕他了。 天下大乱的时候，祭遵投奔了刘秀。刘秀喜爱他的容貌仪表，让他做了门下吏，后来又担任了军市令，刘秀的舍中儿（家奴）犯了法，祭遵把他杀了。刘秀发怒，令将祭遵拘捕。这时主簿陈副劝谏说：“明公常想要众军整齐，现在祭遵奉行法令不避权势，正是教化法令所需要的哩。”刘秀就赦免了他，令他为刺奸将军。对诸将说“：对祭遵要多加小心！我舍中儿犯法他照样杀了，对你们是绝不会徇私的。”不久又拜偏将军，跟从平定河北，以功封为列侯。 建武九年（33年）春，在军中去世。祭遵灵柩到河南县，帝诏遣百官先到治丧场所会齐，光武身着白色丧服驾临，望着哭泣哀恸。回经城门，阅过丧车，涕泣不能自已。 祭遵为人廉约小心，克己奉公，成语”克己奉公“出自《后汉书·祭遵传》：“遵为人廉约小心，克己奉公，赏赐辄尽与士卒，家无私财。”比喻一个人对自己要求严格，一心为公。