1928年5月16日，中国国民党中央政治会议第140次会议议决建立山东省政府。21日，国民政府发布任命令，省政府正式在济南成立。设委员9至15人（1930年9月改组时减为7至9人），从委员中产生1人为主席，下置秘书处及民政、财政、教育、建设、工商、农矿6厅。主席及各厅厅长由委员兼任。1931年7月，裁撤工商、农矿2厅，设实业厅。1937年11月，将实业厅裁并于建设厅。另外，还设有高等法院等机构。1936年8月，根据行政院指令，山东省分设17个行政区，各区设行政督察专员公署，为省政府辅助机关。1937年3月，又在各区设保安司令部，保安司令由行政督察专员兼。

主席

孙良诚（1928年5月21日指定；1929年4月27日辞），天津人，西北军十三太保及新五虎之一。

石敬亭（1928年5月28日代理；1928.10月1日免），山东利津人，冯玉祥重要谋士，素有西北军总教官之称。

陈调元（1929年5月3日代理；1929年5月18日任），河北安新人，原五省联军头目，北伐战争后唯蒋之马首是瞻。

韩复榘（1930年9月12日任；1938年1月23日撤职），河北霸州人，西北军十三太保及新五虎之一。1929年5月蒋冯战争期间倒冯拥蒋，后盘踞山东，自成一系。

1937年底，山东为日军沦陷。抗战时期，山东省除原机构外，增设保安处，田赋管理处及鲁东、鲁西、鲁北3行署。1942年2月至3月，经行政院会议决议，撤销3行署。

主席

沈鸿烈（1938年1月23日任），湖北天门人，东北系海军首领，西安事变后脱离东北军，转而依附国民政府，被蒋介石视作心腹。

牟中珩（1942年1月9日任），山东烟台人，东北军将领，于学忠亲信。

何思源（1944年12月30日任），山东菏泽人，教育家。日本投降后，他率部接收伪省政府与“敌伪财产”。

1945年8月，山东光复。10月30日，国民政府改组山东省政府委员会，裁撤战时所设的政务、军务、总务三厅及其它机构，以后又增设社会、卫生、人事等处和地政等局。1948年9月24日山东省城济南解放。

主席

何思源（1945年10月30日复任）

王耀武（1946年10月23日任；1948年9月被俘），山东泰安人，黄埔军校第三期学员，抗日名将。

秦德纯（1948年12月30日任），山东沂水人，西北军将领，直军旧部。

孙继丁（1949年5月14日代理），山东蓬莱人，本为秦德纯时期山东省政府委员兼秘书长，秦弃职后奉命代理。