RTX4090本地部署DeepSeek：24G显存能跑多大模型

24G显存是怎么被吃掉的

模型能不能在本地跑，第一关是模型文件装不装得进显存。可以算笔粗账：参数量越大，量化后的文件越大。7B档只有几个GB，14B档十GB上下，32B做4bit量化后大约20GB，这些都还在24G的范围内。70B就不同了，即便压到4bit，体积也在40GB上下，单卡装不下。

还有一点容易被忽略：显存不只放模型本身。对话的上下文越长，缓存占的显存越多。所以别把24G算到刚刚好，给上下文留点余量，长对话才不容易卡。

32B是主力区，70B是尝鲜区

32B量化版能整只装进24G显存，推理全程在GPU上完成，回答速度日常够用。这就是4090的舒适区，也是当前家用单卡能顺跑的上限档位。

70B量化则超出了显存，放不下的部分会转到内存，由CPU分担计算，速度会掉一大截。能不能试？能。机器内存足够大时，可以部署一个感受70B级别的回答质量，但别指望它像32B那样跟手，当日常主力不合适。

在4090上部署的实际步骤

用「DS一键部署大师」部署，不需要自己算显存。装好软件进「模型」页面，如果提示模型服务未安装，先按提示装好，下载、解压、启动都由软件处理。之后打开“仅兼容”，模型广场会按当前配置给出推荐，4090的机器可以直接挑高档位的兼容模型。整个过程不用开命令行，也不用输入 ollama run 这类命令。

提醒一句：32B级别的模型文件有20GB上下，下载要花些时间。内置指南说明支持断点续传，中途断网后回到模型卡片继续部署就行。

大家常问

4090能跑满血版DeepSeek吗

跑不了。满血版是671B参数，需要的显存远超任何家用单卡。4090的合理目标是32B级别顺跑、70B量化尝鲜，这已经是家用档里很高的水准。

70B量化在4090上到底能不能用

能部署能对话，但超出显存的部分要靠内存和CPU分担，回答速度明显慢于32B。适合偶尔体验，不适合天天用，内存小的机器不建议尝试。

32B和14B该选哪个

24G显存装得下32B量化版，日常建议直接上32B，回答质量更好。更在意响应速度，或者要同时开其他吃显存的软件，选14B会更轻快。

部署前要自己算显存吗

不用。模型广场有“仅兼容”筛选，会按这台电脑的配置列出能跑的模型，从推荐里挑就行，比对着参数表手算省心。

除了显卡，内存要多大

只跑32B以内的模型，常见的32G内存就比较从容。想试70B量化，因为要把放不下的部分转进内存，建议64G级别的大内存再去折腾。