有句歇后语说“徐庶进曹营一语不发”，意思是徐庶“人在曹营心在汉”，虽然曹操得到了徐庶的人，但他的心永远和心属汉室的刘备同在。话说自从刘备有了单福当军师，也是风光一时，曹操派去攻打刘备的军马，就常吃败仗几乎没有胜绩。曹操问这“单福”是谁?谋士程昱说，单福其实是徐庶的化名，只要把徐庶的老母亲弄来许都，孝顺的徐庶一定会放弃刘备而来投丞相的。曹操听了大喜，命程昱依计行事。于是程昱假造徐母笔迹，把徐庶骗到许都，没想到，徐母看见儿子因为自己被骗来曹营，竟然自杀了!于是，伤心欲绝的徐庶下定决心，这辈子绝不替曹操出谋划策。

在《三国演义》里，徐庶所体现出来最大的作用，并不是担任刘备的军师，而是把诸葛孔明介绍给刘备。完成这个任务后也就投了曹操，徐庶基本上就没有多少戏份了。但作者也不忘交代，要不是因为曹操的诡计，徐庶是不会离开仁义英明的刘备的。当然，史实并不是如此：徐庶是颍川(今河南许昌)人，年轻时和石韬一起到荆州避难，从而认识了诸葛亮、庞统等人，成为“荆州名士俱乐部”的会员。刘备屯兵新野时，徐庶到刘备帐下担任幕僚参谋，可能也就在这个时候，他向刘备提起此地附近有一位名叫诸葛亮的高士。

不幸，刘备和徐庶的缘分比较浅。曹操进军荆州时，刘备被击败，徐庶的母亲被曹军俘虏。徐庶只好向刘备辞职，说自己“心好乱”(方寸乱矣)，见曹操去也。当时诸葛亮是在场的，可见两人已经共事了一段时间。当然，徐庶的老母亲一直好好地活着，没有在见到儿子以后就气得要上吊自杀。

徐庶到北方后，就和刘备集团，以及昔日荆州好友断了联系。《魏略》这本书上说，后来诸葛亮总掌蜀汉朝政，出兵北伐时，得知老友石韬只担任郡守以及典农校尉(屯田指挥官)，徐庶则在魏国朝廷官至御史中丞(监察部部长)，感慨地说：“魏国是不是人才太多用不完哪!为什么他们两个人没有被重用呢?”(魏殊多士耶!何彼二人不见用乎?)这句话反映出蜀汉人才的缺乏，如果徐庶在蜀汉为官，应该不仅只是御史中丞。不过，由此看来徐庶进曹营，不但没有“不发一语”意见应该还挺多的，否则，又怎会被拔擢为主管监察百官的御史中丞呢?