本文所涉及项目及GitHub地址:
GitHub - Chanzhaoyu/chatgpt-web: 用 Express 和 Vue3 搭建的 ChatGPT 演示网页
这些项目都支持docker部署,具体的步骤项目说明文档里都有,这里不再赘述。只讲一下怎样通过one-api把文心千帆等国产大模型接入到前端,方便调用。
默认已经部署好了以上项目,并申请好了对应大模型的api。
进入one-api的管理页面,默认账户名密码为:root——123456
1、创建用户
这里的用户注意一下分组即可,这里的分组与之后要配置的渠道息息相关。如果自用可以都用default就OK,如果要用作商业转发需要设置好不同权限的角色。
2、创建密钥
用过ChatGPT的都知道,openai有密钥这个东西,这里的令牌就是用来创建密钥的。可以设置额度和过期时间,这个也是为了商用做用量控制准备的,自己用可以忽略。
创建完成之后点击右边的复制即可获得一串由sk-
开头的密钥。
3、设置渠道
渠道里有很多模型,根据实际选择大模型的类型即可。
我这里以文心千帆为例,分组那边要选得跟之前创建的用户对应才能正常调用。
模型选择大模型对应的模型名称,这里如ERNIE-Bot-turbo
和ERNIE-Bot-4
,再选两个你用不上的chatGPT的模型,这是为了用作重定向。
因为现在常用的前端项目原生只支持openAI的ChatGPT,所以我们这里需要把chatGPT的不常用模型定向到我们需要的国产大模型。
可参照我红框中的写法,左边为openAI的模型,右边为国产大模型名称。
最后填写密钥,这个根据各个大模型的官方文档进行填写即可。
代理的话,国产大模型就不需要填写代理了。如果你用的是国内对openAI的转发,就把转发地址写在这个位置即可。
之后点击提交,就配置好了调用清单。
4、在前端中调用
渠道配置好后如图所示,现在就可以在前端中进行调用了。
以next-web项目为例,在接口地址填写one-api的地址,在api key处填写上面生成的密钥,应用选择对应模型即可。
注意:这里要用的模型要配置成在上面渠道中配置好的openAI和重定向的模型,才可以正常使用,否则会报模型错误。
大功告成,就可以正常使用了,其他的讯飞星火,阿里腾讯什么鬼的都可以用这个方法重定向。
国产大模型代码能力还不太行,但一般问题也可以了,关键是便宜!这就是最大的优点!