将国产大模型api接入到nextweb等前端

本文所涉及项目及GitHub地址:

GitHub - songquanpeng/one-api: OpenAI 接口管理 & 分发系统,支持 Azure、Anthropic Claude、Google PaLM 2、智谱 ChatGLM、百度文心一言、讯飞星火认知、阿里通义千问、360 智脑以及腾讯混元,可用于二次分发管理 key,仅单可执行文件,已打包好 Docker 镜像,一键部署,开箱即用. OpenAI key management & redistribution system, using a single API for all LLMs, and features an English UI.

GitHub - Chanzhaoyu/chatgpt-web: 用 Express 和 Vue3 搭建的 ChatGPT 演示网页

GitHub - Yidadaa/ChatGPT-Next-Web: A well-designed cross-platform ChatGPT UI (Web / PWA / Linux / Win / MacOS). 一键拥有你自己的跨平台 ChatGPT 应用。

这些项目都支持docker部署,具体的步骤项目说明文档里都有,这里不再赘述。只讲一下怎样通过one-api把文心千帆等国产大模型接入到前端,方便调用。

默认已经部署好了以上项目,并申请好了对应大模型的api。

进入one-api的管理页面,默认账户名密码为:root——123456

1、创建用户

这里的用户注意一下分组即可,这里的分组与之后要配置的渠道息息相关。如果自用可以都用default就OK,如果要用作商业转发需要设置好不同权限的角色。

2、创建密钥

用过ChatGPT的都知道,openai有密钥这个东西,这里的令牌就是用来创建密钥的。可以设置额度和过期时间,这个也是为了商用做用量控制准备的,自己用可以忽略。

创建完成之后点击右边的复制即可获得一串由sk-开头的密钥。

3、设置渠道

渠道里有很多模型,根据实际选择大模型的类型即可。

我这里以文心千帆为例,分组那边要选得跟之前创建的用户对应才能正常调用。

模型选择大模型对应的模型名称,这里如ERNIE-Bot-turboERNIE-Bot-4,再选两个你用不上的chatGPT的模型,这是为了用作重定向。

因为现在常用的前端项目原生只支持openAI的ChatGPT,所以我们这里需要把chatGPT的不常用模型定向到我们需要的国产大模型。

可参照我红框中的写法,左边为openAI的模型,右边为国产大模型名称。

最后填写密钥,这个根据各个大模型的官方文档进行填写即可。

代理的话,国产大模型就不需要填写代理了。如果你用的是国内对openAI的转发,就把转发地址写在这个位置即可。

之后点击提交,就配置好了调用清单。

4、在前端中调用

渠道配置好后如图所示,现在就可以在前端中进行调用了。

以next-web项目为例,在接口地址填写one-api的地址,在api key处填写上面生成的密钥,应用选择对应模型即可。

注意:这里要用的模型要配置成在上面渠道中配置好的openAI和重定向的模型,才可以正常使用,否则会报模型错误。

大功告成,就可以正常使用了,其他的讯飞星火,阿里腾讯什么鬼的都可以用这个方法重定向。

国产大模型代码能力还不太行,但一般问题也可以了,关键是便宜!这就是最大的优点!

无标签