杨森在家庭中也是至高无上的主宰，他对子女的管教，是封建加崇洋。他规定儿女都要大学毕业，能上研究院最好。儿女读书都住校，只有星期天和节假日才回家。在家里必须学打网球、骑马、弹钢琴或其他西洋乐器。他请了家庭教师教古文、补习英语、数学。

在寒暑假期间对子女的家庭作业，也安排得很紧，几乎没有自由活动的时间，更不准随便出大门一步。杨森每次回家总要举行家庭音乐会和球赛,检查子女的学习成绩。音乐会上还必须演奏他写的《家庭歌》。这首歌请音乐家谱成混声四部合唱，歌词是:

唯我杨氏族，文治道关西，武功称无敌，发扬光大在吾辈，齐努力。

重教育，薄享受，取缔浪费，不吸烟，不饮酒，不嫖，不赌是我家风。

学贵专精，学贵专精，体育、音乐皆不可废。

忠于国，孝于家，有一于此方无愧。好子孙，好子孙，发愤光门庭;好子孙，好子孙，努力努力扬国威。

歌词内容，显然是杨森自诩为东汉关西杨震和北宋边将杨继业的后裔。

杨森喜欢穿西装、吃西餐，喜欢同外国人一起照相，有英文秘书，用英文字母Y.S作为他的签名。他喜欢外国音乐，所以要子女学钢琴、提琴、黑管、长短号等。先后找清室慈禧皇宫乐队吹黑管的穆自清，贵州的钢琴教师王良华、任瑞清及提琴教师费满尔等任家庭音乐教师。在家庭音乐会上，教师、子女都要演奏给他听。有几个子女曾提出想学中国乐器，如胡琴等。他却说:“胡琴是瞎子算命混饭吃的东西,有什么学头?”他的子女中，学音乐的就有好几个。

杨森为了对儿女灌输封建伦理观念,还亲自规定每餐饭前，像教徒一样，双手合十，拖长音调祷告。祷告词也是他亲自拟定的:

爹爹妈妈，给我们饭吃，我们要听教训，学好人，才对得起爹爹妈妈，请!

说完“请”字，才开始吃饭。

杨森规定吃饭时，分三张圆桌，一张大的是他的姨太太们坐的，另一张大的是较大的儿女坐的，小的一张是小儿女坐的。他那一桌，他坐上席，姨太太们打扮得花枝招展，象众星拱月一样围绕着他。一面大吃美味佳肴，一面嘻哈大笑。儿女们有的渐长，对杨森的作法不大顺眼，因此饭前做祷告，不过闭上眼睛合上手，嘴里叽叽咕咕不知所云，有时还互相做怪像，挤眉弄眼。

有一次饭前做祷告时，孩子们看到杨森和郑文如等年轻小老婆在饭桌上的情景，感到厌恶，只念了一句“爹爹妈妈”，就再也念不下去了。杨森立即拍桌子，大发雷霆。姨太们骇得发慌，怕自己孩子挨打，只好假意大骂儿女们，要他们重做祷告才罢。

平时，儿女们对于杨的旨意，谁也不敢稍有违背，否则就要挨他的马鞭。肖邦琼生的三儿杨汉渝，本来很受宠爱。汉渝三、四岁时，杨森和肖邦琼逗他:“你长大了，喜欢爹妈，还是喜欢老婆?”汉渝答:“喜欢老婆。”从此就不喜欢汉渝了。

一个文人向杨森献殷勤，根据杨森的“森”字设计了一个图案作家徽。于是杨森坐的吉普车就刷上这个符号，其他许多东西都印上这个符号。若是哪个子女进了大学，就给金项链作奖品，上面也印上这个符号。当时有人看到这一符号，暗地说既象一个“多足爬虫”，又象一个“乌龟”。

杨森的姨太太们相互间不免争风吃醋，勾心斗角。当她们心烦意躁时，就在自己亲生儿女身上出气。所以儿女们对这个家庭，都感到沉闷窒息，无温暖。又眼见姨太太们有的被惨杀，有的被逼疯，堂堂的“杨公馆”，白天一片纷乱，哭哭啼，吵吵嚷嚷，晚上气氛阴森恐怖。所以儿女们都希望自己赶快长大，远走高飞。