1916年，日本在奉天（如今沈阳）建立第一支特务机构。1918年，日本在华特务机构开始扩大，在哈尔滨增设特务机关。日本在华特务分工明确，还曾根据搜集的情报详细描绘出东北地区的地图，并且对军事驻地进行着重标记，此举无疑为其以后侵略中国进军东北提供条件。此后，日本陆续向中国派遣特务，这些特务长期隐藏在我国各个地区，整个二战期间，这群伪装者为日方提供大量有价值的情报，为日本立下汗马功劳。

日本国民对特务机构人员十分陌生，当时特务身份都是高度机密，甚至有时特务自己都找不到相关记录，只能在日本野史或者相关人物传记中有部分记载。虽然日本特务的数量与正面战场上的士兵相比，数量相对很少并不能相提并论，但其作用却相当十几个军团。

随着二战末期，日本彻底战败并宣布无条件投降，大批日本士兵或撤退或被俘，但是这些特务人员却依旧不能暴露自己身份，他们大多数仍然滞留在中国境内，甚至如今还在秘密向日本输送情报。2009年，日本出版的《自卫队秘密谍报机关》曾在日本风靡一时，作者描写二战侵华战争潜伏在中国情报人员的所作所为，细思极恐！