孙觌在贬谪途中作有较多写给当地官员的诗歌，孙觌还与当地官员有交往，地方的官员知道孙觌的为官仁厚，知他是被奸臣冤屈的，所以，并都没有避他而远之。而是热情迎来送往。
特别是到了流放地象州。孙觌踏上象州地界，刚开始还很担心在这远离临安京都六七千里之外南方小城，当地权贵会如何“虐待“自己这遭贬的人，于是，就写下了《入象州界》：
须贾之罪发可数，张仪之辩舌空存。以身偿怨今如此，不死投荒感上恩。
殊俗若为投缓急，故交何处问寒温。多情鸟雀真幽伴，莫遣张罗翟尉门。
不料，到了象州衙门，见到太守陈容德，却完全出乎他的意料，这个与孙觌同岁的太守不仅热情设宴洗尘，而且当夜就留宿行衙，搞得孙觌都不好意思。孙觌就此作《象州寓行衙太守陈容德携酒见过二首》记叙此事。
与太守陈容德虽是初次喝酒，“欲伴愁人到酒边。”却交谈甚欢，因为孙觌没有感到一点歧视，“莫辞蝘酒一尊赤，会压瘴茅千里黄。”倒是相敬如宾。“酒醒梦觉知何处，树影参差月满廊。”酒喝高了，不知身在何处。此后，太守常来问候。
熟悉后，太守请孙觌题《率斋》，孙觌欣然命笔，写下《率斋记》见影印四库全书《鸿庆居士集》卷二十一。
你道孙觌如此厚待这陈太守，因为他做事”率“，他以办公桌为”斋“，放上一块自己写的《率斋》小牌子，走到哪里，小牌桌上一放，哪里就办公，耐心听，直率办。率斋，一简政，二直率，三节俭，老百姓喜欢，混官难挨。另外，还为行衙内的一口井题《象州行衙井泉甘冷太守而下皆饮此井》又为陈太守的《题象守坐啸堂》题诗：
治国如烹鲜，驭民如牧羊。薰狐芦自焚，投鼠器必伤。
曹侯百世师，狱市寄全齐。天下本无事，庸人勿扰之。
危机蹈潜弩，恶吏冠虓虎。飞走岂不高，摇足堕网罟。
使君古太邱，妙割无全牛。班春千骑晓，长啸万壑秋。
棠阴日转午，风檐翠交舞。问道舍盖公，诵诗选何武。
渭水占熊罴，万里笞羌夷。试磨南山石，更草中兴碑。
孙觌到了象州，爱上象州的茶，既修仁茶，古早驰名，产于今广西荔浦县。《象县志》载:“象地宜茶，载于陆羽茶经，洵非虚构，盖本县境内，皆可种茶，而所产茶叶，以色香味三者言之，实不让各地名种。”
象州与柳州相邻，孙觌写《饮修仁茶》诗咏之：
“烟云吐长崖，风雨暗古县。竹舆赪两肩，弛担息微倦。茗饮初一尝，老父有芹献。
幽姿绝媚妩，着齿得瞑眩。昏昏嗜睡翁，唤起风洒面。亦有不平心，尽从毛孔散。”见李纲《梁溪集》卷二十三。
孙觌在象州时游南山寺，就在与禅师品赏“象州茶”、饮本地酒之时，兴趣顿起，当即挥笔写下《南山寺二首》既写寺，也写茶：
其一
千丈云根荫此邦，沈沈寒影卧秋江。潭空映日苍虬动，烟暖翘沙白鹭双。
梦觉滩声喧客枕，吟余竹色满僧窗。诗成绝叫曾楼上，听我洪钟万石撞。
其二
安心是药本非禅，遇胜欣随意所便。嚼蕊拈花身老矣，穿云涉水思茫然。
行逢酒伴操觚去，倦憩僧窗借榻眠。寄语桃源问津者，人中今是地行仙。
在象州流放期间，从孙觌写的这二首《南山寺》中“安心是药本非禅，遇胜欣随意所便“就可看出，有这样的太守相伴相守，有这样的妙茶可品，孙觌心安啦。
在这里，一个与孙觌势不两立的人也写了首名为《饮修仁茶》七言诗：
“北苑龙团久不偿，修仁茗饮亦甘芳。夸研斗白工夫拙，辟瘴消烦气味长。江表露芽空绝品，蜀中仙掌可同行。从容饭罢何为者，一碗还兼一炷香。”见李纲《梁溪集》卷二十三。
李纲与孙觌的不和一直延续到了他俩遭贬的岭南，李纲有诗，似有暗讽孙觌的意思，诗曰：“词臣谪去堕天南，诗墨从来榜寺檐。好事不须收拾去，世间遗集有香奁。”
李纲和孙觌作为两个阵营中的主将，年纪相差二岁，宦海同经四贬四升，但结局则不同：一个入良相祠，一个正在流放的路上。李纲和孙觌两个“水火不兼容”的对头，但是却共同喜好修仁茶，二人都把诗题定为《饮修仁茶》。
宋高宗朝,大量官员因秦桧获罪而遭遇贬谪,而赦宥人数亦多,广西岭南则成了贬官谪迁之地。总体呈现出谪叙不常、前宽后紧的趋向。谪宦在北归途中常跼蹙于家乡与朝廷之间,困心衡虑,表现出强烈的归乡之愿和畏祸心态。
同为常州晋陵人的李纲与孙觌在被赦北归后做出了不同选择:李纲入朝而孙觌归乡。李纲是退则乐、进则忧的人生情怀,使其进退得宜,发而中节;孙觌则是“思忧知乐”的适意背后,则是忧谗畏讥的悲凉。李、孙两人进退之间的不同心态,体现了谋国与谋身的深刻矛盾,以及“欲有所为”和“欲有所止”的两种典型人格。
绍兴四年（1134 年），孙觌五十四岁。就在孙觌远离朝廷被流放象州这三年（既绍兴二，三，四年）中，南宋发生了许多大事：岳飞北伐，高宗亲征，孙近使金等。这年，八月，孙觌在秦桧二次任相的间隙，在其做过提点浙东刑狱的兄长孙近指点下，孙觌得以借此上书申冤。
绍兴四年（1134 年）九月十五日“合祭天地于明堂，大赦”。此前，高宗皇帝曾经过问了孙觌鸣冤之事，李心传《建炎以来系年要录》卷七十九记载：八月戊寅（初一） “诏象州羁管人孙觌特放，令逐便。觌始坐赃贷死,至是上书诉枉事,下刑部。刑部言,觌所犯未尝置对,止据众证定罪,于法意人情,委是未尽,故释之”。
孙觌经刑部奉旨复议，认定大理寺处置孙觌案确实有违“法意人情”；确认审判程序欠妥，只据众证定罪，查核言：“觌所犯未尝置对，只根据别人的揭发就定罪，与法律和人情，都是不完善，不可取的”。高宗皇帝遂有旨“特放”孙觌并许其“逐便”。
所谓“诉枉” 俗称“申冤”，南宋“绍兴冤狱”是那时的大事。可见，大宋的律法还是非常严明的，胡来是奸臣的人治。孙觌案是否属冤案呢？刑部奉旨释放了孙觌，改为取销羁管，居家待命。当初，孙觌被诬陷判死罪时，高宗皇帝就下诏免其死，刀下留人，这说明高宗还是了解自己近臣孙觌的，对孙觌心中有数。
其实，在高宗下诏“特放令逐便”前，在朝堂上有一场君臣之辩论，非常有意思，且非常精彩，有李心传《建炎以来系年要录》卷七十九将其记录在案。从这场辩论看出，高宗对王安石变法极为不满。也许正是这场辩论让高宗明白了，自己错怪了孙觌，他并没有“背君父之恩”，完全是被秦桧诬陷的。皇上悯人，就在一念之间。于是，下诏“特放令逐便”，孙觌终于恢复了官员的“官籍”身份，强加在孙觌身上的第一道枷锁被解除了：
“欣然一笑粲，破此百忧结。皇恩下天扉，泪泣孤臣血”
从绍兴二年（1132年）五月到绍兴四年（1134年）八月的近三年的象州羁管，孙觌得以释放北归。于是，孙觌从象州出发，再过桂林，再经湖南和江西回到晋陵。孙觌在回顾这三年的艰苦流放时，不无感慨地写道：
三年客殊方，荣悴不堪说。迢迢家万里，奄奄命一发。
使君古丈夫，兴衰在纙绁。平生风马牛，旧识比鹣蟨。
欣然一笑粲，破此百忧结。皇恩下天扉，泪泣孤臣血。
孙觌流放终结，孙觌与患难中结识的诸位友人依依道别，并写下诸多感慨： 三年着南冠，两见芳岁新。朝为虫蛇侣，暮与魑魅邻。
行随木上坐， 卧对竹夫人。独有金石交，不废风雨晨。
书来一吊屈， 我已屡厄陈。啧啧爨下桐，嗷嗷辙中鳞。
絙以朱丝绳， 放之碧海津。穷途得重惠，肝胆六轮囷。见影印四库全书《鸿庆居士集》二
爱酒渊明望白衣，传闻骑吏款柴扉。为怜渔父鸣鞭送，欲使山翁倒载归。
泪向琵琶弦上落，心随蝴蝶梦中飞。一杯属我宽愁病，免使黎侯咏式微。
孙觌离开象州时，写诗给陈守容德，离别的酒，伤别的泪“一杯属我宽愁病，免使黎侯咏式微。”唯有酒即消愁，却又引忧。诗人更多的抒发自己被贬的萧瑟之感，以及表现客居他乡的忧愁和对亲人的种种思念。这些诗句，表达了漂泊的生活使诗人憔悴不堪，此时的孤立无援更让诗人为自己命运多难而恸。
回想起三年蛮荒之地的生活，他还写下《雉山寺青罗阁》见影印四库全书《鸿庆居士集》卷二。这青罗阁在雉山寺。孙觌北归写诗后，经略使张栻即在故址建禊亭。还有冷然阁在刘仙岩上，泛绿阁在揭帝塘之旁宋时建。藏圭阁在宣成书院， 漓山阁在漓山。
后来明朝张鸣凤有《漓山阁醉归记》记载此事。
