1782年，与先前两次特许令几乎相同的第四次特许令被颁发给公司董事，此时瑞典公司尚能通过茶叶再出口赚取不菲利润。

1786年，为期20年的第四次特许令正式生效，瑞典公司一如既往地对广州贸易寄予厚望，从特许令生效当年开始便积极派遣商船。到1806年特许令到期为止，驶向广州的商船共31航次，年均航次为1.55。若只考虑商船前往广州的航次，瑞典公司在第四次特许令经营期间依旧保持良好的对华贸易状态，丝毫未呈现颓势。

但事实远非如此，受多种因素影响，瑞典公司及其对华贸易不可避免地走向无法逆转的衰落北美独立战争结束后，欧洲的政治形势相对稳定，对瑞典公司有利的国际贸易环境迅速转变。先前处于战争的欧洲国家重新投身于广州贸易，瑞典公司无法继续凭借在战争中保持中立而获利。

新生的美国于1784年2月派出第一艘商船“中国皇后”号前往广州进行交易，并在1785年5月“满载货物而归”，北美地区自此无须再从哥德堡购买货物，甚至变成瑞典公司在华贸易的强劲对手。美国迅速成为广州贸易的活跃者，再以更低价在欧洲出售各类回航货物，对瑞典公司的货物拍卖造成不容忽视的损害。

18世纪，大量茶叶在英国国内被消费，其中大部分由瑞典、荷兰、法国等东印度公司输入，在欧洲各国赚得可观利润的同时，英国国内市场遭到严重破坏。折抵法案的颁布使英国迅速占据茶叶贸易的绝对优势，茶叶税率的大幅度降低让茶叶再出口贸易变得无利可图，继而对瑞典公司造成致命打击，为造成瑞典公司及其对华贸易衰落的关键原因。

类似地，为保护荷兰公司的利益，荷兰议会于1791年授予公司在国内专卖茶叶的权利，在稳定荷兰国内茶叶市场的同时，也让瑞典公司从广州采购的茶叶不能再继续销往荷兰。同样给瑞典公司对华贸易造成消极影响的是瑞典与俄国之间爆发的战争。

1788年6月，为转移国内政治矛盾，瑞典国王古斯塔夫三世向俄国发动战争，战事持续至1790年8月，并以瑞典的失败告终。

因王国的护航舰队在战争期间被用于战事，商船的海上航行安全得不到保证，瑞典公司于1789、1790年未向广州派出任何商船，对华贸易被迫中断两年。此外，回航货物的拍卖也受影响。

于1788年7月返抵的“古斯塔夫·阿道夫”号和“索菲亚·玛格达莱娜”号原定当年9月拍卖回航货物，因遭到丹麦军队与俄国舰队围攻哥德堡的威胁而夭折，到拍卖能够进行时，外国买家已转向别处市场。

于1788年启程的“哥德堡”号和“古斯塔夫皇太子”号本应在1789年返抵，瑞典公司却因商船无法得到瑞典护航舰队保护而不敢让其驶回哥德堡，商船只得转向朴茨茅斯，获准在当地停留近一年，终在1790年5月抵达哥德堡。战争让公司前后数年不仅没有任何盈利还存在很大程度的财政亏损，对华贸易再次遭受打击。

来往于哥德堡和广州之间的商船为瑞典公司开展贸易的必要载体，然而公司商船在1766—1786年的航行情况和最终命运明显呈现出不同以往的面貌。其一，尽管公司商船在第三次特许令经营期间没有经历航行事故，在第四次特许令内却有3艘商船失事，包括1796年3月在开普敦搁浅的“哥德堡”号、1801年10月在英吉利海峡沉没的“索菲亚·玛格达莱娜”号与出航次日便失事的“王后”号，商船的沉没让公司财政进一步恶化。

其二，瑞典公司在第四次特许内存在两次出售商船的情况。1797年4月，“古斯塔夫·阿道夫”号从哥德堡启程，但该船从未返抵，而是在回航途中被迫驶向英国，随后滞留于此，并在1800年被售出。

18世纪末，英国与俄国交恶，而俄国同瑞典又于1799年签订同盟防御条约，瑞典由此成为英国的假想敌。新造的公司商船“西约特兰”号在回航时遭到英国舰船的拦截，并在相当不幸的首次航程后被立马拍卖，最终于1802年在阿姆斯特丹被售出。

截止到售出时，两艘商船各自仅进行过4次和1次东印度航行，远未超过正常的使用年限，却惨遭被拍卖的结局，这种情况在前三次特许令内不曾出现。其三，除去终点为广州且意在开展贸易的商船派遣，公司在第四次特许令内另有3次只见返抵时间而无启程时间的航程，负责执行与贸易无关的其他任务。

商船“弗雷德里克”号在当时被称作“法国之岛”的毛里求斯被购得，随后回程并于1800年4月返抵哥德堡，而分别在1800年10月、11月返程的“阿多尼斯”号和“弗雷德里克·朱利叶斯”号则并非瑞典公司用以开展东印度贸易的商船，仅负责运送1800年在英国被售出的“古斯塔夫·阿道夫”号的船上货物返回瑞典。

其四，在公司商船前往广州的31次航程中，存在停留点有所不同的情况。“哥德堡”号1791—1793年航程、“索菲亚·玛格达莱娜”1792—1794年航程中途停靠孟买后再驶向广州，“公主”号1804—1805年航程、“弗雷德里克”号1804—1805年航程则先抵达毛里求斯，再前往目的地广州。

大致包括公司商船的海上航行事故、商船仍在使用时限而被拍卖的惨淡结局、商船海上航程中不同此前的中间站以及公司被与贸易无关的事务分心，某种程度上表明瑞典公司在第四次特许令内开展的对华贸易活动是混乱无序的。

由诸多因素导致的对华贸易衰落在这一时段的利润分配上体现得最为直观。虽然前往广州的各次航程在商船返抵哥德堡后仍有货物拍卖，继而存在一定数额的拍卖所得，但瑞典公司在1786—1806年从未进行利润分配，可见公司财政已入不敷出，对华贸易不再有利可图。

此外，瑞典于1805年正式加入第三次反法同盟，随后卷入拿破仑战争，无疑对瑞典公司的经营和对华贸易产生负面影响。1804年，四艘公司商船启程前往广州，其中以迟至1806年3月才返抵哥德堡的“玛利亚·卡罗莱娜”号为回程最晚，从此公司停止向广州派遣商船。

这意味着，广州口岸自1805年始便不再停泊有瑞典公司商船，瑞典公司对华贸易也在最后一艘商船返抵后名存实亡。临近第四次特许令到期时，时任董事意识到瑞典公司的破产呈无可避免之势，但依旧有其他心怀希望的商人群体申请第五次特许令，随后接管瑞典公司。

1806年3月，第五次特许令被瑞典政府批准，为公司被授予的最后一次特许令。较之可谓一脉相承的第二、第三和第四次特许令，第五次特许令的规定明显不同。例如，特许令的有效期不再为20年，而仅有15年；回航货物无须被运回哥德堡甚至瑞典，可在所有提供良好价格的港口或城市进行销售；公司的贸易垄断权只局限于中国，不再包括其他外国港口和开普敦以东的城市；若公司在两年内没有派遣任何商船前往广州，与中国开展贸易的垄断权将不再生效；等等。

1808年，瑞典公司试图派遣“希望”号前往孟加拉进行交易，但这一计划因瑞典国王更迭所导致的国内政治形势转变而无奈作罢。

事实上，因国际贸易环境和公司自身境况皆无丝毫好转，瑞典公司在第五次特许令内未进行任何商船派遣，也从未与广州开展贸易。苦苦支撑无望后，瑞典公司被迫进入破产清理，最终在1813年5月29日宣告解散，此时距第五次特许令到期仍有数年的时间，自第四次特许令生效始便江河日下的对华贸易，伴随瑞典公司的解散而彻底终结。