黄维特赦后，中央批示黄维留京任全国政协文史专员，享受政协委员待遇，并对黄维格外照顾，每月工资200元。

1976年春，长期的精神压力让黄维的妻子蔡若曙崩溃，有一天偷偷离开家中，跳河自杀了。黄维不顾自己不会游泳，直接跳入河中，被救上来后重病了一场。

次年10月，黄维便在女儿的陪同下南下考察。

1979年12月，黄维跟随全国政协组团到上海、苏州等地考察。途经上海时，黄维前去之前战斗过的罗店参观了一下。

1983 年，黄维被选为第六届全国政协常务委员，他写文章寄语还在台湾的老长官、老同学和袍泽，表示希望大家能一起把酒言欢。

1985年11月，黄维重访战犯管理所。这个战犯管理所是辽宁抚顺战犯管理所，是黄维在特赦前待的最后一个管理所。

当时这个管理所对黄维花了很多心思，黄维深有体会，称它为“第二故乡”。故而，在黄维82岁时，他来到抚顺战犯管理所后，却坚决不住给他安排的宾馆，而要在他当初被关押的2号监室里住一晚。

黄维晚年一直想要利用自己的身份为两岸关系做点事。

1989年初，台湾方面向黄维发来了访问邀请。黄维激动异常，做了很多准备，列出了要去探访的黄埔军校同学及好友名单，还准备去祭扫蒋介石等人的墓。

但就在准备出发访台的前夜，黄维却去世了，享年85岁。据黄维的女儿黄慧南说，父亲是太兴奋了，导致心脏病发作。