开皇十年（590年）底，江南地区忽然爆发了一场声势浩大的武装反抗，将沉浸在胜利喜悦中的杨坚君臣一下子唤醒。
南陈王朝在一个多月的时间里，就被隋军击溃，如果仅从军事角度来看，隋军的胜利依靠的是突袭式的强有力进攻，让陈军瞬间没有了还手能力，同时部署的钳形攻势又迅速将陈军防线分割，从而瓦解了其防御体系。
但是，南陈赖以维持的社会经济基础并没有改变，朝廷正规军虽然不复存在，但被打散的散兵游勇以及零星的武装仍然存在。他们潜伏各地，随时准备发动武装叛乱。尤其建康陷落后，江南各地方的零星反抗，表明了江南要融入隋朝构建的北方社会，还需要一个艰难曲折的过程。
当时，江南最繁华的当属吴州地区，建康陷落后，该地立即推举萧谳为主对抗隋朝。萧谳从后梁投奔南陈，在吴州的时间并不长，之所以能够聚众而起，还在于吴州地方势力对于来自北方统治的抵触和抗拒心理。所以无论是谁登高一挥，都很容易形成一股合力。
萧谳扛起抗隋的大旗后，永新侯陈君范从晋陵郡（今江苏常州）率部与之会合，准备一举光复建康。杨坚得到奏报后，特意下诏给右卫大将军宇文述，让其率领大军前往平叛，同时让由海路进入江南地界的燕荣归其调遣，最终以绝对的兵力优势迅速平定叛乱，生擒萧谳、萧岩等人。与此同时，湘州刺史王叔慎也率众反隋，衡阳太守樊通、武州刺史邬居业举旗响应，但最终全都寡不敌众，被隋军重兵镇压。
上述这两起武装抗隋事件，虽然在很短的时间内就被镇压，但说明江南社会对隋朝的统治是抵触的，只是因为南陈王朝土崩瓦解，没有统一的指挥，抵抗的武装势力士气也不高昂，所以很快就被平定。这种具花一现的反抗给了隋朝一种假象，那就是江南的军队全都不堪一击，这事实上掩盖了因社会发展不平衡所造成的差异性问题。
从魏晋时期开始的南北分裂到杨坚平定南陈时，已经长达三百余年，南北方从生产方式到生活习俗、制度文化等方面，在长期的分裂状态下，逐渐拉大了差距，想要把两地的社会结构完全统一起来，绝不是仅仅依靠武力就可以成功的，其中必然会有矛盾和冲突，需要杨坚君臣周密计划、稳妥行事，而且还需要耐心与宽容。
但是，隋军摧枯拉朽般的胜利，让杨坚君臣在一定程度上将改造江南想象得有些简单，甚至没有充足的思想准备。
他们虽然将南陈的君臣带回京城供养起来，以示怀柔之策，想给江南人树立一个宽大为怀的榜样，可同时又把江南很多士人悉数强行迁到京师， 想要以此彻底除掉动刮的因素，这些人绝大部分境遇凄凉，反而让江南人心中增添了仇恨。而且隋朝当时在江南地区强行颁行北方的制度，没有顾忌江南社会的历史背景和特点，例如大量改变原南陈的行政区划。
隋朝统一北方后，在开皇三年（583年）实行了废郡的地方行政制度，在统一南方后，杨坚立即将这项制度复制到南方地区。开皇九年（589年）正月二十九，日，也就是攻克建康不到十天，杨坚就派出第一批使者前往江南巡视，时任监察御史的房彦谦奉诏巡视.括州（今浙江丽水东南）、泉州（今福建福州）等十个州，使者的足迹已经遍布南方，当时肩负地方制度改革任务的有左领军长史长孙炽，他的任务是持节巡视东南道三十州，废置州郡，巡省风俗。
依据北方实行的地方制度，南方的郡基本上废除，同时还合并了一些州县，有些地区则予以地名调整，并增设了一些州县。地方制度的改革固然很重要，但是如果无视地方的历史承袭背景，操之过急就会对已经获取既得利益两百多年的门阀世族打击太大，普通民众一时间也难以适应，更何况有些改革也纯粹是为了加强对江南地区的统治，例如将建康荡为平地还耕，以及扬州、南豫州、吴州等江南中心地区行政建制的改变，都带有十分浓厚的征服色彩，这些举措自然会引起江南人的反感。
隋朝在改变江南行政区划的同时，基本上撤换了南方地区的行政长官。平陈之后，很多原南陈上层地方官员都被押往北方，也有很多人被罢黜，很少有能顺利留任的，取而代之的则是隋朝任命的官员，这些官员无一例外都是北方人，这种局面一直到隋炀帝杨广在位时才逐渐有所改变，因此杨坚对江南地区的人事安排无疑也是具有征服特点的。
杨坚建立隋朝后倡导孝治天下，以宣传儒家的"三纲五常"作为施政基础。平陈之后杨坚又将这套理论搬到了江南强制执行，虽然杨坚大力推行儒家纲常理论是为了加强对江南地区的控制，但结果却恰恰相反。由于世家大族的统治被削弱，江南的豪族势力被沉重打击，这就与江南世族意识形态产生了直接冲突。
隋朝在江南推行的不仅仅是中央集权化的统治，而是具有浓厚征服色彩的高压政治统治，想要从根本上动摇世家大族垄断的社会基础，力图用北方农耕社会的模式改造江南，以谋求和北方的政治统一。
杨坚的这种想法是好的，但在江南推行这些政策的时候，确实存在无视江南社会特性与历史背景的现象.
杨坚这种强行的、操之过急的施政江南策略很快便显现出了弊端，前文提到的开皇十年江南的武装反抗就是例子。开皇十年（590年）年底，江南人听说隋朝要将他们全都迁往北方，看到先前被迁往北方的那些文士的遭遇后，江南人对此信以为真。当时婺州（今浙江金华）人汪文进、越州（今浙江绍兴）人高智慧和苏州人沈玄愉扯旗造反，又一场声势浩大的武装反抗就此拉开大幕。
随后南方很多地区又出现了若干反抗势力，进而席卷了整个南方地区，按照《资治通鉴》上的记载，陈之故境，大抵皆反，大者有众数万，小者数千，共相影响，执县令，或抽其肠，或脔其肉食之，曰'更能使侬诵《五教》邪!'"
可见这些反抗势力从根本上反抗的是隋朝的"三纲五常"的施政策略，并不是要复兴南陈政权。这些反抗首领有的自称天子，有的称为大都督， 当然如此众多人参加反抗，我们不能视他们是国家的分裂者，而是对隋朝的统治不满。这些反抗势力的首领之所以能够振臂一呼就得到千万人的响应，是因为他们有很大的乡野势力和号召力，例如高智慧当时能够率众两千人从东阳翻山越岭攻下无数州县，前后打了七百余战，转战数千里。可以想象，如果没有乡村坞堡势力的支持，他是不可能只带领两千人就如入无人之境的，因此这场遍及南方地区的反抗斗争，其实是属于江南世家大族领导的反抗隋朝统治的斗争，目的是维持南方既有的生产生活方式与社会组织形态，背后隐藏的则是世族政治与中央集权政治的斗争。
江南地区发生如此大规模的叛乱让杨坚始料未及，消息传来后他冷静判断形势，丝毫不敢大意。经过和朝臣们详细的商议后，杨坚决定派遣刚刚回京担任内史令的杨素再次领军出征江南。
杨素当时兵出杨子津，攻克京口、晋陵，向叛军发起了强有力的进攻。最初战事比较顺利，经过几次战斗，杨素击败了许多叛军，稳定了局势。但是江南地区的叛乱范围实在太大，响应者众多。所以随着时间的推移，杨素的军队如陷入泥潭一般，必须要与敌军逐个地区进行争夺，杨素当时亲自带领军队打了大小百十仗，艰难地向江浙地区挺进。
杨素苦战，进兵江浙还算是顺利，但南方的情况非常糟糕。例如泉州的王国庆领军围攻泉州百余天，杀掉刺史刘弘占领州城。番禺的王仲宣聚众造反，岭南人多有响应，王仲宣顺势领兵进攻广州。广州总管韦洗勒出战，结果为流矢所中，死于乱军之中。
值得一提的是，在平定江南叛乱的过程中，晋王杨广曾经担任平陈之战的统帅，娶了后梁公主为妃，可以说与江南关系颇深。由于这个原因，杨广十分喜爱江南文化，对江南最具感情，杨坚派他到江南表明这期间对江南策略有所改变，开始实行战略性调整，修正以往对江南的高压政策，采取怀柔策略。
改变对江南的施政策略，可以从很多具体事件反映出来。杨广到达江南后，采取双管齐下之策，一方面继续加强军事进攻，命令行军总管郭衍领兵万人屯驻京口，继续与叛军接战;另一方面招降纳叛进行招安，并取得了不错的效果。
隋朝究竟用了多长时间才平定江南的武装叛乱，史料上没有明确的记载，只知道战争进行的过程中，杨坚因为杨素在外征战劳苦，对其进行丰厚的赏赐，鼓励他再接再厉，彻底消灭江南的反叛势力。此后杨素继续出征，由海路进入泉州，打败王国庆、诱杀高智慧，方才基本上平息了江南叛乱，杨素也因为平定叛乱的功劳，而取代苏威升任尚书右仆射。
杨素取代苏威的官职是在开皇十二年（592年）的十二月，由此可以推测江南地区的武装反抗至少持续到这一年，也就是说持续了一年半。《隋书·高祖下》记载∶"开皇十一年，江南叛反，王师临吊，乃拒官军，羽檄竞驰，兵声逾盛。时元帅杨素整阵南驱，寻便瓦散，俘虏诛剪三十余万。"由此可以证明，在开皇十一年（591 年）时，平定叛乱的战争依旧继续。
当时江南人口大约六十万户，按照上述史料的记载竟有三十万人反叛，可以想象当时平定叛乱的战争惨烈到什么程度，因此这场叛乱最终被平定，不可能完全都是军事斗争的结果，事实上就在杨素返回京城任职后，江南地区还时有叛乱发生。所以杨素回京任职并不代表叛乱彻底平定，只代表大规模的军事镇压暂时告一段落，此后江南的政务由杨广来主持，其施政策略也由高压逐渐转变成安抚。
应该说席卷南方的武装叛乱让杨坚充分认识到了南北方社会的巨大差异，也就是从这场叛乱开始，杨坚必须要正视南方社会的特点，在维护国家统一以及政治上保持一致的前提下，对南方的政策做出适当的让步，允许在一定程度上保持原有的经济生产方式和生活习俗，容许多种社会特性存在。由于实施了这种怀柔政策，杨坚特意制裁那些南下巡视官员的不法行为，尽量让南方人看到隋朝治理好江南的诚意。
