杨坚晚年猜忌心越来越深重，所以他打击的目标已经不仅限于朝臣，皇族成员也逐渐进入他的视线，最典型的就是二王事件。《隋书·文四子·房陵王勇传》记载，杨坚在开皇初年曾经对大臣自豪地说∶"前世皇王，溺于嬖幸，废立之所由生。朕傍无姬侍，五子同母，可谓真兄弟也。岂若前代多诸内宠，孽子忿诤，为亡国之道邪!"
历代宫廷内斗，尤其是帝王家族内部的纷争导致互相残害，这种带血的教训是每个皇帝都要吸取的。杨坚在隋朝建立之初也想到了这个问题，他认为造成这种相杀局面的原因是帝王们生活过于糜烂，宠幸的嫔妃过多，以至于子嗣的母亲不同，最终导致亲情淡薄，互相敌视，所以杨坚经常告诫大臣和皇族成员要杜绝奢靡与腐化。
杨坚的长子兼太子杨勇是个敏而好学的人，平日里经常接触一批文人学士，互相切磋学问。有一次，有人进献一副蜀中铠甲，他看到后十分喜欢，经常摆弄它，杨坚得知后，担心太子会玩物丧志，便语重心长地教育杨勇，说自古以来的帝王没有一个因为奢华而能长久坐天下的，希望杨勇能够勤于政事。显然，杨坚将节俭作为家教的重要方面，希望杨勇能够自强不息，时刻不忘自己是一个政治人物，为此还特别赐给杨勇一把象征权力的刀子。
当然，杨坚提倡节俭是一件好事，不过由于时代不同，人的性格和经历不同，同样的事物可能会有不同内涵和解释，不可能完全按照一个尺度去衡量和要求。杨坚夫妻出生在物资匮乏的战乱年代，所以养成艰苦朴素的作风，即使是位居人君，也没有改变这种作风，甚至在杨坚的宫殿中找不到任何多余的东西，节俭得就像清教徒。
杨坚的节俭朴素是正确的，但是如果完全以自己的标准要求所有人，在和平时代都可以追求艰苦和清贫，除了有作秀的味道之外，更是一种脱离现实的形而上学，而且杨坚的要求还超出了合理的范畴，其结果必然是流于形式，没有效果，对滋生新的奢靡腐化之风倒是起到了推动作用。
杨坚除了太子杨勇和晋王杨广两个儿子之外，还有秦王杨俊、蜀王杨秀和汉王杨谅三个儿子，这五个儿子都是独孤皇后所生，在开皇初年家庭关系是比较和睦的，但是在平陈之后，这个看上去比较幸福的家庭，开始出现矛盾。
秦王杨俊本身宽以待人，很受杨坚夫妻的宠爱，隋朝建立那一年杨俊十一岁，转年出任河南道行台尚书令，加封右武卫大将军，在平陈之战中，担任山南道行军总管，完成阻断长江上、下游陈军联络的战略任务，后来转任并州总管二十四州诸军事，很有政绩，得到了杨坚的特别奖励。
但是随着天下逐渐太平，杨坚的皇权得到巩固后，秦王杨俊也开始追求享乐，生活逐渐奢侈起来，甚至放钱收息，结果被人告发。杨坚派专人进行调查，受牵连者上百人，可是杨俊却不当回事，依旧我行我素，大修宫殿，表现出了毫不收敛的态势，等到宫殿建成后，他又邀请众多宾客艺伎，载歌载舞大摆宴席，但他没想到这种做法让王妃崔氏十分恼怒。
崔氏是酷吏崔弘度的妹妹，崔弘度在朝廷内那是让人谈虎色变的人物，俗话说得好∶"宁饮三升酢，不见崔弘度"，崔氏是和她哥哥一样性如烈火的人物，她看到杨俊奢华无度，一怒之下竟然在瓜果中下毒，想要惩罚一下杨俊，结果杨俊中毒后卧病在床。
崔氏的本意其实并不坏，但她的做法已经超出了家庭生活的范畴。开皇十七年（597年）九月，杨坚听说儿子杨俊被儿媳妇崔氏下毒，立即将他们召回京城，杨俊夫妇二人刚进宫，杨坚就以崔氏毒害丈夫的罪名，下诏废掉其王妃名号并赐死;杨俊奢华无度免官，以王子的身份回府，左武卫大将军刘异为杨俊求情，杨坚以"法不可违"为由拒绝了刘异。
杨坚的处理意见其实有他的道理，他平时威严已经成为习惯，子女们对他都心存畏惧，杨俊中毒还没完全康复，就立即派人向杨坚表示悔过认错，但杨坚并没有原谅。《隋书·文四子·秦孝王传》记载，杨坚面对杨俊的悔过态度，说了一句话∶"我戮力关塞，创兹大业，作训垂范，庶臣下守之而不失。汝为吾子，而欲败之，不知何以责汝。"
杨俊派去的人回来向他报告了杨坚的话，杨俊此后一病不起，后来大都督皇甫孝绪又请求杨坚赦免杨俊，杨坚依旧是拒绝，开皇二十年（600年）六月，杨俊盼望很长时间杨坚能够赦免他，但最终也没有等来这个消息，最终在惊恐中死去。
杨俊死去的时候，杨坚正在考虑储君废立事宜，心情十分低落，听说杨俊病亡，便和独孤皇后前去吊唁，吩咐杨俊的丧事要从简办理，有人请求为杨俊立碑以示纪念，遭到了杨坚的拒绝。很多大臣通过杨坚的行为揣测出，秦王杨俊的子女因为母亲获罪的缘故，未必能偶再承嗣，所以上奏杨坚剥夺其权力，得到了杨坚的同意。当时杨俊的女儿年方十二岁，在父亲杨俊的墓前号啕痛哭。杨俊平常善待下属，所以很多下属也为之流泪不已，例如侍卫王延日夜护卫杨俊，有很深的感情，杨俊死后他数日不食，下葬之日悲痛咯血而死，陪葬在杨俊的墓旁，主仆二人最终还是相会于地下，也算是让杨俊感受到了一点人间温情。
如果说杨俊被废身死，还有其自身的原因，那么蜀王杨秀则完全是政治清洗的牺牲品。
杨秀比杨俊小两岁，长期镇守蜀中，精通兵法，但是杨坚对这个儿子很早就不满，原因在于杨秀经常违背杨坚的意志行事。例如兵部侍郎元衡出使蜀中，杨秀设宴款待，目的是让元衡回京帮忙向杨坚请求增加王府的属官，结果被杨坚拒绝。后来大将军刘哙出
征，杨坚诏令上开府杨武通领兵先行，而杨秀却让自己的仆人万智光担任杨武通的行军司马，杨坚认为杨秀用人不当，所以对他很有成见。
本来杨秀是不应该卷入宫廷内斗之中的，但是杨坚处理储君事宜之后，太子杨勇被废，杨秀内心为大哥鸣不平，新立的太子杨广担心自己的这个弟弟迟早会公开反对自己，决定先下手为强，让杨素罗织杨秀的罪名。此时的杨坚因为已经亲手废掉了两个儿子，精神上有些敏感，加上本来就对杨秀有成见，于是在仁寿二年（602 年）将杨秀征召到长安，以残害蜀中百姓的罪名，下令将杨秀交给有司论罪处理。
当时开府庆整实在看不下去杨坚的做法，劝杨坚能够保全自己的儿子，不要再继续搞政治清洗，就这一句话杨坚差点将庆整的舌头割下来，结果满朝文武大臣谁也不敢再多言。杨坚为了震慑所有人，扬言要斩杀杨秀，杨坚将杨秀的案子交给杨素、苏威等人审理，当时的太子已经由杨勇变成了杨广，杨素是杨广的人，等于杨秀的案子其实是由杨广办理的。
在涉及皇权的斗争中，亲情从来都是脆弱无力的，杨广还怕杨坚会赦免杨秀，所以暗中制作木偶人，上面写上汉王杨谅的名字，并将木偶双手绑住，用钉子钉住心脏位置，埋在华山之下，然后再让杨素将其挖出来，以显示杨秀的罪证。为了让杨坚彻底对杨秀死心，杨广谎称发现了杨秀书写的反叛檄文，宣称要进兵皇城等内容，于是杨坚终于下令将杨秀废为庶人，囚禁在内侍中，并派酷吏赵仲卿前往益州查处杨秀的同党，一时间被赵仲卿冤枉牵连进来的当地官员有一多半，而杨坚却以为赵仲卿办事干练，对他大加赏赐。
无故身遭大罪的杨秀搞不清自己究竟犯了什么罪，但是他知道皇命不可违，于是他上表检讨自己，希望杨坚能够见自己一面，自己当面澄清和父皇之间的误会，但杨坚却完全不顾亲情，以"君道绳之"的态度来对待儿子，对杨秀的检讨并不以为然，下诏公布了其十大罪状，将其对父子兄弟的不满上升为政治谋逆的程度。其中也包含了杨广对其诬陷的罪名，所以杨秀的罪名实在难以分清真假，唯一还能够体现出杨坚一点仁慈之心的，就是他让杨秀的儿子可以陪伴在杨秀身边，杨秀就这样失去了皇子身份，一直被囚禁到隋朝灭亡，最终被宇文化及杀害。
蜀王杨秀最终遭到陷害，但是和太子杨勇比起来的话，杨秀已经算是很不错了。从后来的结果来看，杨坚的五个儿子，除了晋王杨广继承皇位之外，其余的四个全都惨遭不幸。显然杨坚自认为牢不可破的血缘关系没有对皇室成员的团结起到促进作用，如果抛开皇权政治斗争的角度，从中国传统家庭的教育以及家庭关系的角度去看的话，一个家庭最终落得如此下场，父母首先难辞其咎。
父母在家族关系中的言传身教对于子女的成长十分重要，有潜移默化的作用。从杨坚夫妇和众兄弟的矛盾十分尖锐这一点就可以看出来，杨坚夫妻二人在当权之后，必然会把政治权力因素引入家庭关系中，完全以"法"来衡量一切标准，甚至是进行肉体和精神上的摧残，例如杨坚的侄子蔡王杨智积在开皇中期请求埋葬其母，杨坚因为当年自己的这个弟妹有杀他之心，一直对其愤恨不已，所以不批准杨智积的请求，而且还对周围的人说出愤恨的话语。杨坚让史官特意记录下来这些话，也正是因为这段弥足珍贵的自白，从中可以看出杨坚在处理家族内部关系时的真实内心世界。
杨坚与兄弟们之间关系恶化，在杨坚的心里留下了阴影，他发誓一旦掌握了大权，就将兄弟们赶出家门，后来他几乎也是这么做的，大弟弟英年早逝逃过了一劫，二弟被他毒杀，侄子们也都遭到迫害，连侄子埋葬母亲，杨坚都要发泄一通，他所做的这些，儿子们全都看在眼里，这种言传身教让他的儿子们自小便感受到了人世间的一种冷酷。
当然家庭关系紧张，如果杨坚夫妻二人能够正确对待，持以公正的心态处理问题，或许能够缓解家庭关系，但杨坚夫妻却明显偏心，例如对蜀王杨秀就带有偏见，对子女们的事情不加调查就轻易处理，而且偏听偏信，没有站在公正立场，而是公开支持某一方，最终导致孩子们之间矛盾逐渐激化。
当然最根本的一点就是杨坚所说的"达官兄弟多相憎，争名利故也"，也就是说根本是为了争权夺利。正是因为这样，作为父母如果不是态度明确地支持太子，就一定会引起其他儿子的觊觎之心，而且杨坚对待儿子们从小就放纵，养成了滥用权力的习惯，这种目空一切的状态，自然会滋长他们攫取权力的野心。
