胶东，指的是胶莱河以东的山东半岛地区。抗战爆发后，这一地区的中共胶东临时工委及其下属党组织迅速行动起来，以共产党员和民先队员为核心，广泛团结进步青年，积极开展武装抗日的宣传动员工作。

1937年10月，山东省委派遣林一山、张加洛以及刚刚出狱的理琪、宋澄、宋竹庭等干部抵达胶东，着手组织并发动抗日武装起义。同年12月中旬，中共胶东特委在临时工委的基础上重建，成为领导武装起义的核心机构。12月24日，在文登县天福山，胶东特委领导下的抗日武装成功举行起义，宣布成立山东人民抗日救国军第三军第一大队。参加起义的人员包括1935年“一一·四”暴动后幸存的昆嵛山红军游击队员，以及农民、学生、知识分子等，共计80余人。

进入1938年，胶东特委继续发力。1月中旬，他们在威海卫、文登县再次发动抗日武装起义，并成功争取到国民党威海卫行政区管理公署专员孙玺风的合作，从孙处获得100多支枪，有效装备了起义部队。1月19日，各路起义部队在文登县沟于家村会师，第三军规模扩大至200余人。同时，胶东军政委员会和山东人民抗日救国军第三军司令部成立，理琪担任司令员，林一山任政治部主任，部队被编为第一、二两个大队和1个特务队。

2月13日，理琪、林一山率领第一大队和特务队成功攻克牟平县城，俘虏伪县长宋健吾及以下100余人。然而，在撤退至城南雷神庙研究下一步行动时，他们突然遭到从烟台赶来增援的日本海军陆战队的包围。面对数倍于己的敌人，三军指战员坚守阵地，英勇抵抗，毙伤敌数十人，烧毁数辆汽车。最终在友军的策应下，被困指战员成功突围。不幸的是，理琪在战斗中身负重伤，英勇牺牲。雷神庙战斗不仅打响了胶东抗战的第一枪，更极大地鼓舞了胶东人民的抗日信心。

天福山起义之后，胶东特委的统一部署下，蓬莱、黄县、即墨、荣成、莱阳等县的党组织也相继发动抗日武装起义，成功组建了各自的抗日武装。这些武装力量后来被整编为第三军的不同部队，如第二路（蓬莱起义部队为基础）、第三大队（黄县起义部队为基础）、第七大队（即墨起义部队为基础）和第八大队（莱阳起义部队为基础）。

1938年3月下旬，胶东特委在牟平县马石店（现属乳山）召开重要会议，选举产生了新的胶东特委和胶东军政委员会，并决定由林一山担任胶东军政委员会主席兼第三军总指挥。为了统一胶东人民抗日武装力量，第三军对所属部队进行了整编，整编后的部队共分为4路，总人数达到3500余人。同时，蓬莱和黄县的抗日民主政府也相继建立。

而在1938年3月8日，掖县县委也成功组织了掖县城北玉皇顶起义，一举攻克掖县城，俘获伪县长刘子容及以下200余人。起义部队被命名为“胶东抗日游击第三支队”。同时，掖县县委还联合各界抗日人士成立了掖县抗日民主政府。到1938年5月，蓬黄掖三县抗日根据地初步形成，三县都建立了抗日民主政府，抗日武装控制了三县县城及附近大部地区。然而，随着国民党顽固势力的抬头和制造的反共摩擦，胶东抗日武装面临的形势也日趋复杂和严峻。