早在中国周朝的文献《山海经·海内北经》中就对日本有了最早的记载：“盖国在钜燕南，倭北。倭属燕”。《山海经》其它篇章则记述着中国人多次向东海诸岛屿迁徙的事迹。曾有现代学者根据《东山经》复原古代中原先民向东海岛屿迁徙的路线图：大黑山岛-济州岛-福江岛-下甑岛-鹿儿岛-琉球群岛。请注意这些岛屿并不全都属于日本：像济州岛如今是韩国领土，而琉球群岛在历史上也曾是独立的琉球国。

其实北起库页岛、千岛群岛经日本列岛一直往南到琉球群岛这串东海岛链的早期居民有着相同的祖先。生活在这串岛链上的早期居民是由来自西伯利亚及中国东北的通古斯人、中国云南地区的少数民族、南洋群岛的马来人、中南半岛的印支人、长江下游的吴越人、中国北方汉人、古朝鲜人等多支来自亚洲大陆的移民融合形成。这些来自亚洲大陆的移民并非一股脑涌入的，而是一波接一波迁徙而来的。

当后来者到达时早期移民们已开始形成了自己一定的民族文化。距今大约1万年前日本列岛开始进入第一个文明时期“绳文文化”，不过绳文时代迁徙到日本列岛的早期移民并非如今日本主体民族的祖先。如今日本的主体民族是占其总人口98%以上的大和民族。这个民族中绝大多数人其实并非绳文人的直系后代。大约在公元前后又一支来自亚洲大陆的游牧民族进入日本列岛征服或驱逐了岛上的原住民绳文人。

绳文土著被迫向日本列岛南北两端退去：向南的一支进入琉球群岛成为了琉球人的祖先，向北的一支进入北海道、库页岛、千岛群岛等地成为阿伊努人的祖先。阿伊努人其实才是日本群岛最早的主人。当大和民族的祖先进入日本时阿依努人已广泛分布于日本群岛各地以及周边的库页岛、千岛群岛、勘察加半岛以及如今的中国东北、俄国远东等地。美洲土著印第安人被白人移民征服了，而这些日本土著的命运也和印第安人差不多。

公元五世纪初兴起于如今日本本州岛中部关西平原的大和国统一了本州、九州、四国等大部分地区。从此日本的主体民族就被称为大和民族。此时原住民阿伊努人被挤压到了本州岛东北部以及北海道等地。大和朝廷把这些拒绝臣服于王权的部族统称为虾夷。这个称呼显然是在效仿古代中国称其他民族为蛮夷。日本其实很早就接受了中国的华夷天下秩序，只不过日本人心目中自己才是受命于天的天朝上国。

日本大和朝廷秉承普天之下莫非王土的理念开始试图把自己所能征服的一切地方纳入版图。位于亚洲大陆的中原王朝显然不是当时的日本所能征服的，所以日本的早期扩张主要有两个方向：一是朝鲜半岛，二是东北方的虾夷部落。早在公元4世纪尚未完全统一日本列岛的大和王朝就出兵朝鲜半岛征服了所谓“弁韩之地”。大和王朝对虾夷人的征服活动同样由来已久。早在大和王朝统一之前这样的征服活动就已展开。

到了公元7世纪日本通过学习中国隋唐王朝先进的制度和技术迅速发展壮大。这一时期日本通过引入中国式的官僚制度、户籍制度使国家的管理效率大大提高。这意味着朝廷可以征收更多钱粮、征召更多士兵用于对外战争。公元658年大和朝廷派遣阿倍比罗夫率舰船180余艘向如今的秋田、能代一带进攻。阿倍比罗夫一直推进到了如今北海道东南端。次年3月阿倍比罗夫又进攻桧山占领大片土地。

阿倍比罗夫在这些新征服的土地上设立地方政府、军事基地以备虾夷人反扑。这场战争使大和政权首次扩张到了北海道地区。公元659年闰10月倭国使团还特意带着俘获的虾夷人出访中国唐朝。此举意在告诉大唐皇帝：日本也已是大一统国家了。当时的东亚世界早已形成以中国为核心的宗藩朝贡体系。在这套体系里只有中原王朝的统治者才是受命于天的皇帝，而周边藩属国的君主则只能称王。

中国周边的朝鲜、琉球、越南等国君主都是称王，只有日本君主公然以天皇自居。日本自认为是与中国平起平坐的大一统帝国。在日本人当时的世界观中日本与中国、印度同为天下三大帝国。这三大帝国各自有自己的藩属国。虾夷人在日本朝廷眼中就是必须臣服于自己的藩属。虾夷人的生存空间因此被大和族侵占挤压从而逐渐由遍布日本列岛各地转变成一个被大和朝廷统治的少数民族。

此后生活在本州岛的阿伊努人逐渐被大和族同化，但在北海道阿伊努人仍居于主导地位。这时日本大和朝廷也一度入侵过北海道南部，却始终未能在当地建立起稳固的统治。公元788年桓武天皇册封在征讨虾夷的战争中立有功勋的坂上田村麻吕为征夷大将军。从公元1192年起日本进入了武士阶级统治的幕府时代。在此后七百余年间幕府成为了日本的实际统治者，而天皇的朝廷逐渐退化成为只有象征意义。

幕府统治者的正式头衔就是“征夷大将军”。这个名号最早就诞生于同虾夷人的战争中。公元789年阿伊努人中诞生了一位反抗大和族入侵的英雄人物阿弖流为：他曾设计将大和朝廷的军队引至巢伏村并借助己方对当地地形的熟悉大败朝廷的军队。巢伏之战是日本历史上著名的以少胜多的战役。其战术在日本历史上是绝无仅有的。可大和朝廷对阿伊努人土地的征服欲望并未就此打消。

公元802年阿弖流为在与大和军队周旋战斗十余年后终于战败被俘并于当年8月13日被处决。此后不断有大和族移民从本州岛迁入北海道并和当地的阿伊努人不断爆发冲突。还处于原始渔猎文明阶段的阿伊努人自然不是组织严密的大和族的对手，因此他们的土地不断遭到大和族的蚕食。从公元794年到1192年这四百年间大和朝廷通过高官厚禄笼络收买和武力征服两种政策使本州岛东北部的虾夷部族基本归顺了自己的统治。

公元1192年日本进入幕府时代后东北地区的安东氏被封为关东管领。13世纪安东家已成为统治本州岛东北及北海道的霸主。公元1297年安东家甚至联合库页岛反抗蒙古人的土著入侵了黑龙江流域。公元1456年前后蛎崎氏基本确立了虾夷一带实质上的支配权，然而这时北海道东部地区的虾夷酋长科夏麦恩带领虾夷人对大和族在北海道的据点展开攻击。无力应对的蛎崎氏家督蛎崎季繁只得向其客将武田信广求助。

武田信广是日本本土一位诸侯大名的儿子，后来在争权失败后逃亡到北海道。蛎崎季繁在武田信广的帮助下击退了虾夷人的进攻，之后蛎崎季繁接纳武田信广做了蛎崎氏的上门女婿。蛎崎氏的上门女婿的武田信广在继任蛎崎氏家督后征服了几乎所有北海道的虾夷部族，甚至就连生活在库页岛的虾夷人也向武田信广表示臣服。公元1590年丰臣秀吉统一日本本土后割据北海道的蛎崎庆广进京谒见了丰臣秀吉。

到了公元1593年在历经持续数百年的征服活动后阿伊努族聚居的北海道被丰臣秀吉正式吞并。同年丰臣秀吉派遣大将松前庆广以北海道为基地出征库页岛南端。日本在出征库页岛的同时也将扩张的触角伸到了邻近的千岛群岛。公元1635年日本方面派村上扫部左卫门巡视库页岛。公元1644年在松前藩的提议下日本方面绘制了《正保御国绘图》：在这张地图中首次把北海道、库页岛以及千岛群岛等原本由当地原住民居住的地方划入日本版图。

在17至18世纪阿伊努族大部分被消灭或同化。如今剩下的两万多阿伊努人大部分移住在北海道岛中部和北部的日高、旭川、钏路等地，少数远移库页岛和千岛群岛一带，也有一部分散居在本州的一些地方。目前仅有北海道少数几个阿依努族村庄还保持着自己的民族传统。在过去很长一段时间里日本以单一民族国家自居公开宣扬“大和民族优秀论”。直到2019年4月日本政府通过《阿伊努施策推进法》以法律形式明确“阿伊努人是原住民族群”。