方案背景图

手里一张 RTX 4070 或 4070Ti,想把 DeepSeek 装进自己电脑,配置到底怎么算够?先说结论:这两张卡都是 12G 显存,14B 蒸馏版量化后约 9GB,能整卡装进显存。8G 卡跑不动的这一档,12G 卡刚好接得住。

比起纠结能不能跑,更值得花心思的是模型搭配。14B 当主力,管需要想清楚的活;8B 当快速档,管快问快答。两个都用「软领DS一键本地部署大师」部署好,不用自己装 Ollama,也不用敲命令,按任务切换着用。

4070 的 12G 显存,会被什么占掉

显存不是全留给模型文件的。对话跑起来,显存里至少有两块:模型权重,加上下文缓存。14B 量化包约 9GB,装进 12G 后剩 3GB 左右,日常对话够用,塞超长文档就要省着点。8B 约 5GB,空余接近 7GB,长对话明显从容。

12G显存装14B和8B后的占用结构对比-软领DS一键本地部署大师 同一张 12G 卡,装 14B 和装 8B 剩的余量不一样 12G 上限 装 14B(量化包约 9GB) 模型权重 约9GB 余量约3GB 装 8B(量化包约 5GB) 模型权重 约5GB 空余约7GB,长对话更从容 按常见 Q4 量化档估算,不同版本体积有出入

显卡之外不用大动。内存 16G 起步,常年开着一堆软件就上 32G;硬盘给模型留几十 GB 空间,一个模型动辄几 GB,攒几个就不小了。CPU 维持现状即可,本地推理的压力主要在显卡上。

12G 主流卡的模型搭配:14B 主力,8B 快速档

为什么建议装两个?14B 答题更有条理,读长材料、写正式文案时差距看得出来,代价是出字慢一截。8B 反过来,出字快,改草稿、查概念很顺手。任务不一样,合适的模型就不一样,换着用最划算。两个模型占的是硬盘,互不冲突,部署完在「对话」页选一个就能聊。

参数档 量化包体积 在 12G 卡上的状态 建议角色
8B 约 5GB 整卡加载,余量大 快速档,日常主用
14B 约 9GB 整卡加载,余量约 3GB 主力档,正式活交给它
32B 约 20GB 装不下,要借内存 不建议当日常
70B 及以上 更大 超出消费级单卡范围 别硬上
12G显卡的双模型搭配方案对照-软领DS一键本地部署大师 一张 12G 卡,建议装两个档 主力档:14B 量化包约 9GB,整卡加载 读长材料、写正式文案 答得稳,出字慢一点 快速档:8B 量化包约 5GB,余量大 快问快答、改草稿 出字快,日常顺手 两个都部署到本机,进对话页按任务切换

边界提醒

别拿 4070 去够 32B。量化包约 20GB,超出显存的部分只能挪到内存里算,速度掉得很明显。70B、671B 需要的显存更多,不在一张消费级显卡的讨论范围里。实际能不能部署,以软件里模型卡片的兼容提示为准。

在 4070 上怎么一键部署两个模型

软领DS一键本地部署大师下载

流程不分 4070 还是 4070Ti,装好软件按提示走就行。建议先部署 8B 把流程跑通,再下 14B。模型文件不小,下载要等一会,支持断点续传,中断了接着下。

部署步骤

  1. 下载安装「DS一键部署大师」,打开后进入「模型」页面。
  2. 页面提示模型服务未安装的话,按提示装好,运行环境交给软件处理。
  3. 打开「仅兼容」,模型广场会按你这台电脑的配置筛掉跑不动的模型。
  4. 先选 8B 点部署,下载完成后到「对话」页试几句。
  5. 回到模型广场部署 14B,完成后两个模型都在本机。
  6. 在「对话」页选择要用的模型,按任务切换。

模型广场显示模型服务提示、兼容筛选和推荐模型部署按钮-软领DS一键本地部署大师

模型服务装好后在本机 11434 端口运行,平时不用管它,软件会自己连接。

大家常问

4070 和 4070Ti 跑 DeepSeek 差别大吗

显存都是 12G,装得下的模型档位一样。4070Ti 算力强一些,出字速度快一点,但不会解锁更大的模型。注意 4070 Ti Super 是 16G 显存,那是另一个档位的事。

12G 显存能不能硬上 32B

不建议。量化包约 20GB,显存装不下,多出来的靠内存顶,速度会掉到影响使用。真想要 32B 的效果,得看更高显存的卡。

14B 和 8B 都装会不会打架

不会。模型文件各占各的硬盘空间,对话时同一时间只加载一个。切换模型后软件会重新加载,稍等片刻是正常的。

16G 内存要不要加到 32G

只跑 8B 和 14B 的话,16G 一般够,模型主要吃显存。经常挂着浏览器几十个标签再开几个大软件,32G 会更稳。

驱动和 Ollama 要自己装吗

显卡驱动建议更新到近期版本,这个自己动手。Ollama 不用自己装也不用自己配,软件里的模型服务会处理模型运行环境,界面提示装什么就装什么。

软领DS一键部署大师下载

客服
扫描与客服沟通

回顶部
提示

正在拉起鸿蒙应用市场,如遇无法拉起/无法下载的情况,可使用鸿蒙设备,自行前往应用市场,搜索「Win解压缩」安装。

知道了