1978年11月，时任中央组织部部长胡耀邦，匆忙赶到中央军委办公厅，此时黄克诚正好在办公室批阅文件，看到胡耀邦不请自到，着实有点惊讶。

还没等黄克诚开口，胡耀邦便迫不及待的引入话题。

胡耀邦对黄克诚说：“中央纪委现在缺一个常务书记，党中央决定让您前去担任。”

听说要去纪委工作，黄克诚脸上没有露出笑容，相反他满脸都是愁绪，见黄老神色不对，胡耀邦赶紧前去安慰。

胡耀邦的安慰，没有打动黄克诚，黄克诚婉拒了他的邀约。碍于当时黄老军务繁忙，胡耀邦只能失望离开，本以为这次拒绝胡耀邦不会再来，不曾想两天之后胡耀邦亲自去了黄克诚家。

得知胡耀邦的来意后，黄克诚只能再次拒绝，眼见黄老态度坚决，胡耀邦终于沉不住气了，问一句：“为何要多次拒绝，难道有难言之隐？”

见胡耀邦要追踪原由，黄克诚只能说出实情。

黄克诚解释道：现在年龄大了，身体状况大不如前，军委工作已经让他应接不暇，如今再兼任纪委工作，精力肯定是跟不上的，另外他的记忆力减退，政治觉悟不高，去了纪委工作，只会会拖组织的后腿，为了不影响党的廉政工作，最好不去就任。

黄老解释的确在理，但组织既然让他担任要职，必定有合理的安排。为不辜负组织的希望，胡耀邦只能继续劝说，可此时黄克诚心意已决胡耀邦也没办法，眼见劝说无效，胡耀邦只能再次离开。

临别之前，胡耀邦单独将黄克诚的妻子唐棣华叫到身旁，希望唐棣华能做下黄老的思想工作，看到胡耀邦诚意满满，唐棣华最后点头答应了。

11月20日，唐棣华给胡耀邦打了一个电话，唐棣华告诉胡耀邦，黄老考虑再三还是不愿去纪委工作，望耀邦同志重新考虑他人。

得知又被拒绝，胡耀邦感到可惜，事到如今，只能找陈云同志了。

当陈云了解实情后，立马给黄克诚写了封长信，信中说：“国家正处于百废待兴之中，需要年轻干部充当先锋又需要我们这群老干部鼎力相助，作为一名忠诚的共产党员，我们又怎么能致国家的发展不顾，希望克诚同志能从大局出发，多为国家做点贡献。

当黄克诚读了陈云写给他的信后，心里久久不能平静，经过再三考虑，决定亲自见下陈云同志。

11月25日，黄克诚在警卫员陪同下来，到中央纪委办公厅，在这里见到老战友陈云。看到黄克诚从百忙之中前来，陈云激动地握紧他的手，经过简短寒暄后，二人便在陈云的办公室落座了。

黄克诚此次前往，并非是来纪委报到，而是拒绝陈云的邀约。见黄老态度如此坚决，陈云并未直接反驳，而是给他讲了下彭老总的故事。

陈云说：1965年4月，毛主席在中南海怀仁堂单独约见了彭德怀同志，毛主席之所以急着见他，是有一件重要的任务交给他，那就是希望他前往大西南地区从事三线建设。

毛主席特别性的补充了一句“西南地区的自然环境十分恶劣，要做好当地的工作会很辛苦，因此要有充分的思想准备”，可这些苦又怎能吓倒身经百战的彭德怀，为了贡献自己的力量，彭德怀同志不顾个人安危，坚决前往西南局报到。

彭老总如此爱国，我们这些老干部又怎能退步不前？党的十一届三中全会马上就要召开，中国改革开放的大门必将全面打开，到时候党风廉政建设必将重点展开，在国家最需要我们的时候，我们更应该鞠躬尽瘁。

听了陈云同志的肺腑之言，黄克诚眼泪情不自禁地流下来，彻底顿悟，不再推辞了，心甘情愿前往纪委报到。

为完善纪委的官僚机制，黄克诚亲自起草了《关于党内政治生活的若干准则》，在他的监督与指导下，纪委廉政建设取得了很大进展。

此后，黄克诚与纪委组织部一起前往基层调研，这对改进地方工作作风起到积极作用。

1986年12月28日，黄克诚因疾病突发，不幸在北京离世，他的离开对党和国家来说是一笔巨大损失。

为表彰黄克诚的功绩，中央组织部、中央军委办公厅特意给他举办了隆重葬礼，送别这位为新中国成立发展做出巨大贡献的元勋。