杨森好舞文弄墨，表示有“儒将”风度，他十分喜欢古文特别爱读《曾文正公家书》《朱柏庐治家格言》《孙子兵法》等还请人给儿女讲解，叫儿女读《左传》、《女儿经》和三苏的文章等。杨森的书法并不太高明，但他自诩写的《金刚经》体，有时他一口气写几十副对联或条幅，送给部属和赞扬他的人，裱装悬挂，以示他有才华。

杨森在广安大修别墅，命名“涵虚山庄”以示风雅，并且遍植花木观赏。又在广安花园(地名)修了一所依山傍水的园林，作为避暑之地。两地都设专人管理。有次一枝白兰花被折断，还将几十个雇工罚跪。

杨森请了一位丰姿婀娜名叫徐芸生的家庭女教师。这个女教师还常同他的姨太太们在公园里打网球，到“花园”别墅去游泳。他的音乐顾问姜芸丛，教姨太、儿女弹琴唱歌。夏天傍晚，杨森的姨太、儿女常常坐小汽车到大马路去兜风。

杨森主张移风易俗，他提倡讲卫生，穿短服，搞体育活动:妇女不缠脚等。并为夸大他个人影响和作用，把他所提倡的各项内容，以“杨森说……”式样书写在木牌上，钉在全市电杆，行道树和墙壁上面。诸:

杨森说:禁止妇女缠脚!

杨森说:应该勤剪指甲。蓄指甲既不卫生，又是懒惰!

杨森说:打牌壮人会打死;打球、打猎弱人会打壮!

杨森说:穿短衣服，既可节省布匹，又有尚式精神!

杨森说:夏天在茶馆、酒肆、大街上以及公共场打赤膊是不文明的行为!

杨森最恨狗，但他恨的是中国狗。军阀混战时期，每当他进驻一地，就下令将全城的狗用铁棍夹死。据说这是因为四川有句俗话，“羊子会(杨子惠谐音)遭狗咬死”。犯了他的名讳，因此非把这些狗杀死不可。可是他对洋狗却非常喜欢，在广安和重庆时都喂有一、二十条。这些狗住的是专修的小木房，吃的是牛肉鸡蛋拌饭，有专人饲养。喂狗的人称“狗排长”。在万县“九五”惨案时，有个英国军官把他的狗取名“杨森”，杨听了反而感到得意。而且还把所喜爱的狗，也取他所景仰的人的名字。他最喜欢的一条狗取名“蒋介石”，以示他对蒋介石的顶礼膜拜。

他还给狗拍了许多照片，他也和狗合照了不少照片，与他自己的照片一起贴在照相册上，随时向人炫耀，这也算是一种怪癖。范绍增脱离杨森后，仍对杨执礼甚恭，舍得花钱，他为杨森在重庆修了一座公馆“渝舍”,还特地从上海买了一只有德国警犬学校毕业文凭的狼狗，派专人送到广安给杨森。这狗又高又大,杨森的几十只洋狗见它都怕。杨森因此更加宠爱,把洋狗当作保卫他的卫士。

杨森爱马。他的马也和洋狗一样是不可侵犯的。他曾派人专程到上海买了一匹高大的黄色西伯利亚马。在广安，特别修了漂亮的马厩，派专人饲养。他每天早晚必去马厩，将马抚摸,还说:“人说马粪臭，我说马类香!”每匹马都喂得滚瓜溜圆，鬃毛刷得油光水滑。冬天，还给马扣上特制的兽衣。姨太们暗地里说，他早晚都要去伺候他的“妈(马)”。杨森喜欢骑马，到郊外跑马，是他每天必不可少的课目。跑马时，除了后面有卫士跟随外，还必有年轻的姨太太骑马作陪。行军途中，叫宠爱的姨太太身着戎服，骑着高头大马并辔而行。专门陪他骑马的人，即授与参谋官衔，人称“马参谋”。

杨森一年四季，除夏天因惜马少骑外,春、秋、冬三季,每天早晨,都要跨马驱驰。1941年参谋何泽霖，根据杨森有关马的讲话，整理一篇《关于马的问题》的文章，在国民政府《军事杂志》上发表。杨森还印成小册子散发。这本小册子，杨森从马的个性特点一直说到马的饲养、训练和使用。杨称马为“无言的战士”。在贵州时，杨养了十几匹马，每天早晨叫子女去学骑。杨森对犬马之爱，有时甚至超过部属，所以杨森部属中有“人不如马”的怨言。

杨森除爱犬马以外，还爱搞体育活动。每到一处，都要修体育场。他酷爱打网球，在重庆任市长期间，即使是炎夏，他也每天上身光着膀子，下身穿条短裤，打一、二小时。他身边经常有三、四个专门陪他打网球的秘书，人称“球秘书”。有时他要宠爱的姨太陪他打球。他喜欢吹嘘自己的网球打得好，更喜欢别人奉承他球艺精湛。凡是同他一起打球的人，都知道他这种性格，为讨他的高兴，每次打球必输给他。其中有个叫廖继庄，球艺也还可以，和杨对垒，常打输球，打“供球”。杨森常对人说:“廖继庄的球打得好哇，洋人都打他不赢，但他打不赢我。”因此廖继庄平步青云，杨森当重庆市市长时，廖当上了油水很大的重庆公共汽车管理处处长。

1928年10月，英国“白雀号”军舰过万县时扬言:“白雀军舰的白雀足球队打通长江无对手!”杨森不服气，叫二十军足球队先和白雀队打，结果输了。杨森很生气，说万！县这么多人，打不赢英国一支军舰，又叫万县省立第四师范学校与他的球队联合与“白雀号”足球队打，结果以3:1赢了。杨森当场说:今天我很高兴，我们万县人打胜了英国人。”1931年在广安办四川体育专科学校,并开始在军部设体育处,旅设体育主任,团设体育教官，营设体育指导员，军部旅部成立各种球队、游泳队、田径队，每年全军要召开运动会。

杨森不讳言说自己是个大军阀，他常向人说:“我是军阀。军阀就是要伸手向老百姓要钱。”他的一生，凭着手中的枪杆巧取豪夺，横征暴敛，榨取的民脂民膏，除了供他扩充军队实力，以及宠大的家庭开支外，还积累了一大笔私人财产。他在四川的美丰银行和聚兴诚银行，都有投资和巨额存款。后来他又在重庆开设大川银行，该行重庆行负责人是杜如威，成都分行负责人是张必成，实际上成了他的私人帐房。另外他还有不少外汇，他的副军长夏炯专门替他跑香港做生意。凡是他到过的地方，都占有房地产。甚至天津和上海日租界，他也有房地产。每驻一地，他都要修公馆，如重庆有“渝舍”，泸州有“泸庐”，汉口有“杨木花园”，广安有“涵虚山庄”等等。

杨森的财产由他自己经管，因此究竟有多少钱，谁也不清楚。

杨森自称不迷信，家里从来不供神位、不磕头，但却要他的子女们每饭必须合十祷告。他讲忌讳，有时还信算命。他的真实年龄，生庚八字，仅他二弟懋修清楚，每隔一段时间，其弟要找人替他算命。杨在云南娶刘谷芳时，相信算命的说刘的命好。杨在一次混战中，他败到隆重昌，本拟进城，见途中一石牌坊刻有“子惠穷困”四字，认为不吉利，就不敢进城，而改道直奔泸州去了。杨森为了求得刘湘经济上、军事上的支持，竟不惜拜刘湘的军师“刘神仙”(从云)为师，赐法号“玉勇”又曾为“刘神仙”坐骑黄鬃马亲佩鞍辔。杨森自称不信神不们鬼，但为了达到其不可告人的政治目的时，什么假把戏他都耍得出来。