方案背景图

部署 DeepSeek 的时候开着任务管理器,显卡占用一直是 0,一格都不动。不少人第一反应是慌:显卡是不是压根没被用上?钱花在显卡上,活全让 CPU 干了?

先别急着重装。显卡占用 0 分两种情况:下载模型阶段显卡本来就没活干,0 是正常的;生成回答时还是 0,才需要排查,可能是任务管理器看错了图,也可能推理真的落在了 CPU 上。这篇把判断方法和处理办法都讲清楚,最后用「软领DS一键本地部署大师」的兼容筛选把模型换对。

先分清阶段:下载模型时显卡是0很正常

很多人嘴里的“部署”其实是两段事。前一段是把模型文件从网上下载到本机,这一段忙的是网络和硬盘,显卡插在机箱里没活干,占用 0 再正常不过。盯着下载进度条看显卡曲线,看一天也是平的。

后一段才轮到显卡出场:模型下载完、加载进显存、开始回答问题。判断显卡有没有干活,要挑生成回答的那几秒去看。时机不对,结论就不对。

下载阶段和生成阶段显卡占用对照-软领DS一键本地部署大师 显卡占用0,先看处在哪个阶段 下载模型阶段 网络 硬盘 显卡 闲,正常 这个阶段显卡是0不用管 生成回答阶段 显卡 该忙起来 显存 被占一块 CPU 不该满载 这时还是0才需要排查

生成时还是0?先确认是不是看错了图

Windows 任务管理器的 GPU 页默认显示“3D”引擎的占用,而本地模型的计算不走这条线。N 卡跑模型时,负载往往记在 Cuda 这类引擎上,3D 曲线纹丝不动很常见。把 GPU 页里任意一个小图表的下拉菜单切换成 Cuda,再让模型生成一段回答,看曲线有没有反应。

更省事的是看“专用GPU内存”。模型加载后,显存会被明显占掉一块,这个数字上去了,说明模型确实进了显卡。N 卡用户还可以在命令行输入 nvidia-smi,显存占用和正在用卡的进程一目了然。

要是切了图、看了显存,生成时都没动静,CPU 占用却顶得很高,回答还一个字一个字往外蹦,那基本可以确认推理落在了 CPU 上。常见原因就两个:所选模型太大,显存装不下;或者显卡型号不在支持范围内。

走CPU不等于白部署

较小的模型在 CPU 上也能运行,只是速度慢不少,长回答会明显拖。想让显卡干活,关键是选一个当前显存装得下的模型,别硬塞大的。

确认模型是否使用显卡的判断流程-软领DS一键本地部署大师 三步确认模型有没有用显卡 第一步 在对话页发个问题 让模型开始生成 第二步 GPU图切到Cuda 或看专用GPU内存 显存涨了 显卡其实在干活 显存没动,CPU满载 推理走了CPU 回去换个兼容模型 生成的那几秒才是观察窗口,别在下载时下结论

用DS一键部署大师换个显卡带得动的模型

软领DS一键本地部署大师下载

确认走了 CPU 之后,别急着折腾驱动和参数,先换一个显卡带得动的模型,多数情况到这一步就解决了。「软领DS一键本地部署大师」的模型广场里有“仅兼容”筛选,打开后列表会按当前电脑的配置过滤,省得自己去查显存对照表。

重新部署并验证

  1. 下载安装「DS一键部署大师」,打开进入「模型」页面。
  2. 页面提示模型服务未安装的话,按提示装好。
  3. 打开“仅兼容”,从推荐模型里挑一个。
  4. 点击部署,等模型下载完成。
  5. 切到「对话」页发一个问题,同时开着任务管理器,看专用GPU内存有没有涨。

模型广场显示模型服务提示、兼容筛选和推荐模型部署按钮-软领DS一键本地部署大师

验证标准很简单:生成回答时显存占用上升、CPU 不再满载,这一轮模型就跑在显卡上了。电脑没有独立显卡的话,推荐列表也会给出 CPU 带得动的小模型,能用,速度就别和有显卡的机器比了。

大家常问

下载模型的时候显卡一直是0,要不要停下来重来?

不用。下载阶段干活的是网络和硬盘,显卡本来就闲着。等部署完成、在对话页生成回答时再观察,那时候的数字才有参考价值。

任务管理器显示0,nvidia-smi却有占用,信哪个?

nvidia-smi。任务管理器默认展示 3D 引擎,模型计算不走这条线,把小图表切到 Cuda,两边的数据就对上了。

怎么判断模型是不是走了CPU?

生成回答时同时盯两处:专用GPU内存没变化,CPU 占用却冲得很高,再加上出字速度明显偏慢,基本就是走了 CPU。

显存不够硬部署大模型会怎么样?

轻则加载失败,重则整段推理落到 CPU 上慢慢磨。在「DS一键部署大师」里打开“仅兼容”按推荐选,能省掉反复试错。

换了兼容的小模型,显卡还是0,还能查什么?

先确认切的是 Cuda 图,不是默认的 3D 图;再看显卡驱动是不是太旧,更新之后重启软件再部署一次。要是机器只有核显,推理走 CPU 就属于正常情况。

软领DS一键部署大师下载

客服
扫描与客服沟通

回顶部
提示

正在拉起鸿蒙应用市场,如遇无法拉起/无法下载的情况,可使用鸿蒙设备,自行前往应用市场,搜索「Win解压缩」安装。

知道了