NETCoreCAIGateway网关Thor雷神托尔(大纲篇)

程序员有二十年 2024-11-05 11:03:17

背景:

随着AI大模型的百花齐放,各个大模型可谓八仙过海。作为一个技术开发者,管理这些大模型就会很繁琐。于是 AI Gateway 就脱颖而出。

c# 编程语言开发了一套AI网关,这里给网关取名:Thor

汉语名字是:雷神托尔。

为了方便大家记忆,借助百度百科给大家科普下这个名字的来历。

托尔(古北欧语:Þórr、英语化:Thor,又译索尔)。是北欧神话中的雷电与力量之神,同时还司掌风暴、战争、农业。他是神王奥丁与女巨人娇德的儿子,女神西芙的丈夫,常为保护凡人现身,象征男性气概。在古日耳曼宗教,他的名字为Þunraz,意为“雷电”。其它称呼如古英语Þunor、古高地德语Donar、古撒克逊语Thunar。星期四的英语是“Thursday”,正是来源于托尔之名。

介绍完毕。开始介绍项目地址:

https://github.com/AIDotNet/Thor

一张图,看全貌。

你可以理解,用户(客户端)只需和Thor提供的api接口进行交互。

剩下的功能交给Thor

举个例子:OpenAI , Kimi , 星火 , 智谱 , 通义千问 , 混元 等大模型,调用他们的方式虽然也是api接口,但是接口出入参都不尽相同。

Thor 采用OpenAI的接口格式,保持调用所有模型,出入参都一样。方便用户(客户端)做业务功能,不用考虑出入参,模型适配的问题。

Thor的操作功能:

管理功能:支持用户管理,渠道管理以及token管理,简化了管理流程。

数据统计预览:可以清晰地看到各种数据的统计情况,帮助用户更好地了解使用情况。

日志查看:支持日志查看,方便用户跟踪和解决问题。

系统设置:可以根据需要进行各种系统设置。

外部Chat链接接入:支持接入外部Chat链接,提升交互体验。

支付宝购买账号余额:提供支付宝购买账号余额的功能,方便用户进行充值。

Thor的技术功能:

支持用户管理

支持渠道管理

支持token管理

提供数据统计预览

支持日志查看

支持系统设置

支持接入外部Chat链接

支持支付宝购买账号余额

支持Rabbit消费日志(默认情况下使用本地事件)

支持不同渠道的模型,存在相同模型名称会进行模型负载均衡。

支持模型起别名(模型映射),客户调用不同的模型名称,负载均衡轮询指定模型。

Thor目前支持的大模型列表:

OpenAI (支持function)

Kimi(月之暗面)(支持function)

星火大模型(支持function)

Claudia (非Stream支持function)

智谱AI (支持function)

AzureOpenAI(支持function)

Ollama

通义千问(阿里云)

腾讯混元大模型

支持百度大模型(ErnieBot)

Gitee AI

Thor目前支持的数据库列表:

SqlServer 配置类型[sqlserver,mssql]

PostgreSql 配置类型[postgresql,pgsql]

Sqlite 配置类型[sqlite,默认]

MySql 配置类型[mysql]

本次AI Gateway网关Thor雷神托尔(大纲篇)介绍完毕,

下一个文章,讲解如何开发和代码操作。

0 阅读:0

程序员有二十年

简介:感谢大家的关注