唐朝初年，少林寺进行了大规模的恢复重建。依地势高低分为上方（西台）、下方，共有十二院。上方风景最佳，分布着翻经堂、舍利塔、跋陀灵塔、普光佛堂等建筑。武周长安四年四月七日（704年），三藏法师义净（635年至713年）在少林寺设立戒坛，依《根本说一切有部律》为标相而设。唐玄宗于开元十一年（723年），敕命一行禅师将太宗教书及玄宗御书交少林寺寺主慧觉领取，后刻于裴漼所撰碑上，太宗文皇帝御书七字碑额系玄宗御书。世民二字，是太宗在武德四年所写。唐朝后期，少林寺再遭劫难。由于社会矛盾的加剧，至唐武宗会昌五年（845年），又开始了中国佛教史上第三次灭法活动，史称会昌灭法。少林寺西塔院宋塔石铭就记载有这次灭法的有关情况：经会昌之朝，例遭魔灭。会昌之后，少林寺已元气大伤，虽屡有修复，却失去了盛唐时候的规模。 北周末年，中原多乱，局势多变，佛教中新、旧禅派斗争激烈。北齐天宝二年（551年），慧可向僧璨传法之后，有去邺都随宜说法。圆寂后，唐德宗赐号大祖禅师(宋道原《景德传灯录》卷三)。僧璨遵师命隐修舒州(安徽舒城县一带)。隋开皇十年（590年），朝廷曾迎他进京，敕住开善寺。但僧璨辞而未从，传授衣法于四祖道信之后，即去罗浮山，继续传化于四众。僧璨终于隋炀帝大业二年（606年）十月十五日。唐玄宗赐号监智禅师。 会昌灭法后，少林寺声誉日减，僧众离散，几乎没有兴建什么工程，碑铭极少，塔仅存一座，有关文物古迹的文献资料也很少。唐僖宗广明元年（880年），法华行钧（848年至925年）被邀请为少林寺住持。这一时期唯一存留下来的建筑是建于五代后唐同光四年（926年）的法华禅师塔（五代之塔在河南省仅存两座，另一座在武陟县妙乐寺），该塔是由博士侯建镌字，造塔博士郝温所造。