方案背景图

挑本地模型的时候,很多人第一眼就盯参数量。看到 671B 这种数字直接劝退,或者看到某个模型"参数更大"就默认它一定更强、也一定更慢。偏偏 MoE 模型最容易在这一步看走眼。

DeepSeek 就是 MoE 结构。它的总参数确实很大,但每次回答真正参与计算的只是其中一小部分。把这两个数搞混,挑模型时要么高估了硬件门槛把自己吓退,要么低估了显存占用装了个跑不动的。这篇把它讲明白,再说说在软领DS一键本地部署大师里该怎么按自己电脑挑。

MoE 到底是怎么回事

MoE 全称混合专家。简单说,就是把一个大模型拆成很多个"专家"小网络,前面再加一个路由。一句话进来,路由只挑其中几个专家来干活,其余的这一轮不参与。所以模型里塞了一大堆专家,参数加起来很吓人;可每次真正被叫起来算的,就那么几个。

这就是总参数会骗人的地方。它把所有专家的参数一股脑加在一起,看着大,但它不等于每次回答要跑的算量。传统的稠密模型不是这样,每次回答几乎所有参数都要过一遍,总参数基本就等于算量。你要是拿稠密模型的直觉去看 MoE,判断很容易偏。

MoE路由只叫醒少数专家的结构关系图-软领DS一键本地部署大师 MoE 结构:路由只叫醒几个专家 一句输入 分配路由 6 个里只点亮 2 个 专家·工作 专家·休息 专家·休息 专家·休息 专家·工作 专家·休息 本地回答 总参数 = 6 个专家相加,激活参数 = 这次点亮的 2 个

激活参数,才是每次回答的实际算量

把两个数的分工先分清楚。总参数决定这个模型放不放得进你的内存和显存,因为所有专家的权重都得先加载进来待命,哪怕这轮它没被叫到。激活参数决定每回答一个字要做多少计算,也就是快不快、吃不吃得住 CPU 和显卡的算力。

举个公开的例子:DeepSeek 满血版总参数在 671B 这个量级,而每次激活的大约只有 37B 上下。算量上它更接近一个几十 B 的模型,跑起来比"看总数以为的"要快不少;可它的全部权重还是得放得下,这个内存和显存门槛并不会因为激活少就消失。所以别走极端,激活参数小不代表随便一台电脑就能跑满血 671B,放不下就是放不下。

常见误区

只看一个数就下结论。看到 671B 直接说"太大跑不了",或者看到两个模型总参数差不多就以为速度也一样。放到 MoE 上,这两种判断都可能错,得再看一眼激活参数和实际显存需求。

MoE与稠密模型总参数和激活参数的对照条形图-软领DS一键本地部署大师 总参数决定放得下,激活参数决定算量 MoE 激活 总参数 = 全部专家权重,先占显存 这段绿色才是每次的实际算量 稠密 总参数 ≈ 激活参数 几乎全部参数每次都要算 看着都"大",MoE 每次要算的少很多;可显存该占的还得占

在软领DS一键本地部署大师里按电脑挑

软领DS一键本地部署大师下载

道理懂了,落到软件里其实很简单。打开软件进「模型」页,先按提示装好模型服务;到模型广场里打开"仅兼容",它会按你当前电脑的情况把能部署的模型筛出来,你不用自己对着参数表算显存够不够。挑的时候,小显存或核显的机器优先选参数小、蒸馏过的版本,显存宽裕再往上试。全程在中文界面点选,你不用自己去装 Ollama,也不用敲 ollama pull 这类命令(用户免手动安装配置,本地仍然由模型服务负责加载运行)。

按电脑挑模型的步骤

  1. 下载并打开「DS一键部署大师」,进入「模型」页面。
  2. 按提示安装模型服务,等下载和解压完成。
  3. 在模型广场打开"仅兼容",先看软件筛出来的可部署列表。
  4. 结合显存挑:显存小选参数小或蒸馏版,显存大再考虑更大的。
  5. 点部署,等模型下载完成。
  6. 切到「对话」页,选好已部署模型开始用。

模型广场显示模型服务提示、兼容筛选和推荐模型部署按钮-软领DS一键本地部署大师

按显存高低选择不同大小模型的分级阶梯图-软领DS一键本地部署大师 按显存挑:越往上,放得下的模型越大 核显 / 小显存 选小参数 · 蒸馏版 中端独立显卡 选中等参数模型 高端独显 / 多卡 才谈得上更大的模型 先用"仅兼容"筛一遍,再按显存往上试

大家常问

MoE 模型的总参数和激活参数,到底该看哪个

两个都要看,分工不一样。总参数看这台电脑放不放得下,也就是内存和显存够不够;激活参数看跑起来快不快、每次算量大不大。只盯着一个,判断都容易偏。

激活参数小,是不是普通电脑就能跑满血 DeepSeek 671B

不是。激活少只是说每次计算量没那么夸张,但 671B 的全部权重还是得先放进内存和显存里,普通电脑通常放不下。想在本地跑,一般得挑参数更小或蒸馏过的版本。

我怎么快速知道自己的电脑能装哪个

打开软件模型广场里的"仅兼容"筛选,它会按当前电脑筛出可部署的模型,比自己对着参数表一个个算方便。

稠密模型和 MoE 模型,选哪个更省事

看需求。同样总参数下,MoE 每次算量通常更省,速度可能更好;但它专家多,显存占用不一定小。不用死记,让"仅兼容"按实际情况帮你选就行。

部署时不用自己装 Ollama,是不是模型运行也不需要它

不是这个意思。准确说是你不用自己安装和配置,命令也不用敲。本地模型仍然要靠模型服务来加载和运行,这部分软件替你处理了。

软领DS一键部署大师下载

客服
扫描与客服沟通

回顶部
提示

正在拉起鸿蒙应用市场,如遇无法拉起/无法下载的情况,可使用鸿蒙设备,自行前往应用市场,搜索「Win解压缩」安装。

知道了