方案背景图

用「DS一键部署大师」把 DeepSeek 装到本地,对话已经能正常跑了,一进知识库却提示还要再装一个 embedding 模型。不少人卡在这一步:我不是已经有模型了吗,怎么又冒出来一个?

原因一句话能讲清:对话模型负责生成回答,知识库找资料靠的是向量检索,而把文字变成向量这件事,是 embedding 模型的活。两个模型分工不同,谁也替不了谁。下面把这件事拆开讲。

对话模型会聊天,但它不管找资料

先看知识库回答一个问题时发生了什么。你上传的文档会被切成一段一段的片段。提问进来后,软件要先从这堆片段里挑出和问题最相关的几段,再把它们连同问题一起交给 DeepSeek,让它照着资料组织回答。

卡点在“挑出最相关的几段”。这一步不是关键词匹配。你问“报销流程”,资料里写的可能是“费用申请步骤”,一个字都对不上,按字面搜就漏掉了。知识库用的是语义检索:比的不是字面,是意思。

意思怎么比?靠向量。这就轮到 embedding 模型出场了。

知识库回答问题的两段链路-软领DS一键本地部署大师 知识库回答一个问题,中间分两段 你的提问 文档片段 embedding 模型 统一编码成向量 按向量距离比对 挑出最接近的片段 DeepSeek 生成回答 照着片段组织答案 回答 检索这一段全靠向量 embedding 干的就是编码这一步

检索靠向量,embedding负责编码

embedding 模型做的事很单一:给它一段文字,它吐出一串数字。这串数字可以理解成这段话在“语义地图”上的坐标。意思接近的两段话,坐标挨得近;意思差得远,坐标离得也远。

知识库导入文档时,每个片段都会被 embedding 模型编码一遍,向量存进本地库。你提问时,问题也被同一个模型编码成向量,软件按距离找出坐标最近的片段。“报销流程”和“费用申请步骤”字面不同,向量位置却接近,照样能被捞出来。

注意,embedding 模型全程不说一句话,它的输出人也读不懂。回答写得好不好,看的是你部署的 DeepSeek 对话模型;资料找得准不准,第一关在 embedding。缺了它,文档只是躺在硬盘里的文件,进不了向量检索,知识库自然建不起来。

别指望 embedding 模型回答问题

有人以为装个更强的 embedding 模型,回答就会变好,方向不对。它影响的是“找料”这一段,“写答案”仍由对话模型完成。两头都装对,知识库问答才走得顺。

对话模型和embedding模型分工对照表-软领DS一键本地部署大师 两个模型各管一段,谁也替不了谁 对比项 DeepSeek 对话模型 embedding 模型 负责的活 看懂问题,写出回答 把文字编码成向量 输出长啥样 一段人能读的话 一串数字坐标 出场时机 检索完成之后 导入文档和提问时 缺了会怎样 只有资料,没有答案 文档进不了向量检索

在DS一键部署大师里把两个模型都装上

软领DS一键本地部署大师下载

在「软领DS一键本地部署大师」里,这两类模型不用分开折腾。它们都在模型广场里,部署方式一样:点开、下载、等进度条走完,不用命令行,也不用自己安装和配置 Ollama。

装好知识库要用的两个模型

  1. 下载安装「DS一键部署大师」并打开。
  2. 进入「模型」页面,如果提示模型服务未安装,先按提示装好。
  3. 打开“仅兼容”筛选,部署一个适合自己电脑的 DeepSeek 对话模型。
  4. 在模型广场里再找到 embedding 类型的模型,同样点击部署。
  5. 进入知识库,新建知识库并上传文档,等待解析完成。
  6. 回到对话页,选中知识库提问,回答会参考你资料里的内容。

模型广场显示模型服务提示、兼容筛选和推荐模型部署按钮-软领DS一键本地部署大师

如果先建了知识库才发现缺 embedding 模型,也不用推倒重来。回模型页补装一个,再回知识库接着导入文档就行。

大家常问

embedding 模型是不是很占电脑资源

它一般比对话模型小得多,主要在导入文档和提问那一刻做编码。电脑既然能把 DeepSeek 对话模型跑起来,再带一个 embedding 模型,通常不会是瓶颈。

只装 embedding 不装对话模型行不行

不行。embedding 只负责把文字编码成向量,帮你把资料找出来,最后把资料组织成一段回答的仍是对话模型。两个都得有,知识库问答才走得通。

换了一个 embedding 模型,旧知识库还能用吗

向量是由具体模型编码出来的,不同模型的坐标体系对不上。换了 embedding 模型之后,稳妥的做法是重新导入文档,让资料按新模型再编码一遍。

知识库答得不准,是 embedding 模型的锅吗

先别急着换模型。文档没解析成功、资料本身写得含糊、提问太笼统,都会让结果跑偏。把这些都排除了,再去考虑检索这一段的问题。

用知识库的时候必须联网吗

下载模型和安装模型服务需要网络。部署完成后,文档编码、向量比对和本地对话都在本机进行,知识库资料也保存在本地。联网搜索这类功能是另一回事,开了才会去查网络。

软领DS一键部署大师下载

客服
扫描与客服沟通

回顶部
提示

正在拉起鸿蒙应用市场,如遇无法拉起/无法下载的情况,可使用鸿蒙设备,自行前往应用市场,搜索「Win解压缩」安装。

知道了