背景:
随着AI大模型的百花齐放,各个大模型可谓八仙过海。作为一个技术开发者,管理这些大模型就会很繁琐。于是 AI Gateway 就脱颖而出。
c# 编程语言开发了一套AI网关,这里给网关取名:Thor
汉语名字是:雷神托尔。
为了方便大家记忆,借助百度百科给大家科普下这个名字的来历。
托尔(古北欧语:Þórr、英语化:Thor,又译索尔)。是北欧神话中的雷电与力量之神,同时还司掌风暴、战争、农业。他是神王奥丁与女巨人娇德的儿子,女神西芙的丈夫,常为保护凡人现身,象征男性气概。在古日耳曼宗教,他的名字为Þunraz,意为“雷电”。其它称呼如古英语Þunor、古高地德语Donar、古撒克逊语Thunar。星期四的英语是“Thursday”,正是来源于托尔之名。
介绍完毕。开始介绍项目地址:
https://github.com/AIDotNet/Thor
一张图,看全貌。
你可以理解,用户(客户端)只需和Thor提供的api接口进行交互。
剩下的功能交给Thor
举个例子:OpenAI , Kimi , 星火 , 智谱 , 通义千问 , 混元 等大模型,调用他们的方式虽然也是api接口,但是接口出入参都不尽相同。
Thor 采用OpenAI的接口格式,保持调用所有模型,出入参都一样。方便用户(客户端)做业务功能,不用考虑出入参,模型适配的问题。
Thor的操作功能:
管理功能:支持用户管理,渠道管理以及token管理,简化了管理流程。
数据统计预览:可以清晰地看到各种数据的统计情况,帮助用户更好地了解使用情况。
日志查看:支持日志查看,方便用户跟踪和解决问题。
系统设置:可以根据需要进行各种系统设置。
外部Chat链接接入:支持接入外部Chat链接,提升交互体验。
支付宝购买账号余额:提供支付宝购买账号余额的功能,方便用户进行充值。
Thor的技术功能:
支持用户管理
支持渠道管理
支持token管理
提供数据统计预览
支持日志查看
支持系统设置
支持接入外部Chat链接
支持支付宝购买账号余额
支持Rabbit消费日志(默认情况下使用本地事件)
支持不同渠道的模型,存在相同模型名称会进行模型负载均衡。
支持模型起别名(模型映射),客户调用不同的模型名称,负载均衡轮询指定模型。
Thor目前支持的大模型列表:
OpenAI (支持function)
Kimi(月之暗面)(支持function)
星火大模型(支持function)
Claudia (非Stream支持function)
智谱AI (支持function)
AzureOpenAI(支持function)
Ollama
通义千问(阿里云)
腾讯混元大模型
支持百度大模型(ErnieBot)
Gitee AI
Thor目前支持的数据库列表:
SqlServer 配置类型[sqlserver,mssql]
PostgreSql 配置类型[postgresql,pgsql]
Sqlite 配置类型[sqlite,默认]
MySql 配置类型[mysql]
本次AI Gateway网关Thor雷神托尔(大纲篇)介绍完毕,
下一个文章,讲解如何开发和代码操作。