跨境Ai视界 深度求索（DeepSeek）是一家由知名私募巨头幻方量化支持的 AI 公司，这周刚刚发布全新第二代开源大模型DeepSeek-V2，号称中文开源最强大模型。现在AI界的格局是没有最强的产品都不好意思开发布会。加上价格极其的便宜，也就比GPT-4-Turbo便宜100倍吧。。简直是AI界的拼多多，性价比极高。突然一种很熟悉的感觉油然而生，好像有人在弹幕中打出了救救大模型吧。。
言归正传，之前由于不可描述的原因和价格的问题，导致我们不能很好的~~白嫖，~~使用大模型的api。既然现在价格这么便宜，那我们可以把api对接到自己的应用中。同时，我也很支持国产大模型能够出现。虽然GPT确实强一点，但也不是完全针对中文来训练的。然后，也有不可避免的卡脖子的问题。结合我们现在的工作，我用前段时间做的跨境本地知识库来测试。把之前用Ollama本地模型换成api看看效果，这样可以很直接的解决本地电脑CPU爆炸、使用不了超大模型的问题。
API设置
首先，在deepseek的开放平台申请api。目前新用户可以免费送10块钱的额度。虽然只有10块，但是足足有500万个tokens！我们按每3个tokens等于1个汉字来算，差不多是166万个汉字，够我们白嫖一段时间了。
API申请：
https://platform.deepseek.com/api_keys
在API文档中找到base_url，这里我们用后缀加v1的链接，因为anythingLLM只提供了通用OpenAI的模型接口。
接下来，在AnythingLLM中的大模型设置中填入base_url, api key, 模型名字（chat, code两选一）。同时，也可以在单独的workspace中设置LLM。到此，我们的一个步骤API设置已经完成了。
上传文档
这次我用亚马逊卖家大学的广告文档作为知识库资料，具体的设置我在上篇文章中解释过，忘记的同学请看这里。对了，上次演示的时候用的是AnythingLLM软件的客户端，我的电脑芯片是M2 pro。在使用过程中崩溃了很多次，最后直接就打不开了，卸载重装也无济于事。后来，我用docker重新部署，用网页版打开，就再也没有出现兼容问题了。如果出现类似问题的同学可以尝试这样解决。
https://www.amzalysis.com/article/ai-knowledage-base-ollama-anythingllm
对话测试
速度
对接api的话，使用的是网络端口。我用surge监控测量，发现了deepseek的api地址，说明我已经成为接入的deepseek的大模型。返回速度比较考验网速和使用人数了。实测在询问相同问题的前提下，早上的返回时间大概是4秒，下午的返回时间大概是7秒。使用人数少的时候，和本地模型的返回时间差不太多。当然，如果电脑配置高的话，本地模型会更快。
效果
测试在AnythingLLM的workspace中打开或关闭Query模式，具体在上篇文章中做过解释。这是没有储存本地知识库的效果。可以看出结果也还行，把亚马逊广告的三个大的部分SP，SB，SD区分出来。
这是上传了知识文档后，同时打开Query模式，返回的结果更加细致。在三大广告分类的基础上，又加了小分类，视频广告和DSP。
今天的尝试解决了配置一般的电脑不能流畅的运行超大模型的问题，并提供了一个高性价比的方式。在实际应用中，除了个人知识库，也可以通过1Panel出品国产开源的MaxkB部署企业级知识库。通过制作知识库，销售可以快速找到产品特点，客服可以让机器人返回答案。在AI的加持下，我们都有美好的未来。