方案背景图

律所里想用本地 AI 的,往往不止一个人。合伙人要润色文书,助理要查资料,做合同的同事想让模型帮着通读长合同。麻烦在于卷宗和合同大多敏感,不方便一股脑丢到网上的大模型里,于是问题就变成了:一个所里好几台电脑、好几个人,本地部署到底该怎么规划。

先说清一个前提。「软领DS一键本地部署大师」是装在 Windows 电脑上的桌面客户端,部署好的本地模型跑在装它的那台机器上,主要给本机用。所以多人方案的重点不是找一台机器伺候全所,而是想清楚哪些电脑各自部署、哪台配置好的机器专门扛重活。下面按律所的实际情况,聊聊多机和共享这两种思路怎么搭。

先把人和机器分层,再谈装什么

律所里的电脑配置一般参差不齐。前台和行政用的可能是核显办公本,专门做诉讼、合同的同事,机器上有独显、显存也大一些。如果不分角色,每台都想跑同一个大模型,配置差的那批直接卡到用不了,配置好的又发挥不出来。

更省事的做法是先分两层。一层是人:谁只是日常问答、公文润色,谁要通读长合同、做要素提取。另一层是机器:哪几台扛得动大一点的模型。这两件事想清楚,后面每台装什么档位就有谱了,不用挨个去试。

律所多人本地部署的分散式与集中式两种拓扑对比-软领DS一键本地部署大师 律所多人部署的两种搭法 分散式 · 各装各的 电脑A 小模型 电脑B 小模型 电脑C 小模型 资料各留本机,互不打扰 集中式 · 主力机扛重活 主力机 大模型 · 啃长合同 日常电脑 · 小模型 日常电脑 · 小模型 复杂活集中到配置好的机器

有一点先摆在前面:本地模型是给装软件那台电脑本机用的,别指望装好一台就能自动通过局域网服务所有人。所谓共享,更实际的意思是把复杂的活集中到配置好的机器上,而不是一台机器网络分发给全所。

分散各装,还是集中到主力机

落到搭法上,律所常见的就是两条路。第一条是分散部署:每个人在自己电脑上装「软领DS一键本地部署大师」,各自在模型页打开“仅兼容”,按自己机器能跑的档位选模型。资料各留本机,谁的卷宗谁管,互不干扰。这条路适合各管各案子、电脑配置又都还过得去的所。

第二条是集中到主力机:挑所里配置最好的那台,比如有独显、显存够的,作为主力机部署大一点的模型,专门用来啃长合同、批量做要素提取;日常轻量的活,大家各自在本机的小模型上做。谁要处理复杂文件,就到主力机前面用。这样贵的配置花在刀刃上,也不用每台都堆硬件。

对比项 分散各装 集中主力机
适合场景 各管各案、配置都还行 有复杂长文、配置不均
资料存放 各留本机 重活资料放主力机
硬件投入 每台都要够用 重点堆一两台
怎么用 各自在本机操作 到主力机前面操作

“共享”别理解偏了

这里说的集中或共享,是把重任务放到配置好的机器上,靠人到那台电脑前操作,不是一台机器能通过网络同时给全所在线调用。另外别硬追满血 671B,那种规模对硬件要求很高,普通办公电脑跑不动,按机器实际配置选档位更稳。

律所落地,按这几步走

软领DS一键本地部署大师下载

不管选哪条路,单台机器上的操作是一样的。先下载安装「软领DS一键本地部署大师」,打开进入「模型」页面。如果提示模型服务没装,按提示装上,软件会处理下载、解压和启动,不用自己去找 Ollama 安装包,也不用在命令行敲 ollama pull 这类命令。

一台机器的部署步骤

  1. 在这台电脑安装并打开「软领DS一键本地部署大师」。
  2. 进入「模型」页面,按提示安装模型服务。
  3. 打开“仅兼容”,只看这台电脑能跑的模型。
  4. 主力机选大一点的模型,日常机选小模型,点部署等下载完成。
  5. 切到「对话」页面,选好已部署的模型开始用。
  6. 要用本地资料,就把常用合同、范本整理进本地知识库。

模型广场显示模型服务提示、兼容筛选和推荐模型部署按钮-软领DS一键本地部署大师

按电脑配置分档为律所不同角色选择模型档位的阶梯图-软领DS一键本地部署大师 按电脑配置分档,别一刀切 入门 · 核显本 小模型 · 日常问答 进阶 · 中端独显 中等模型 · 合同摘要 高配 · 大显存独显 更大模型 · 长文审阅 配置越高能稳跑的模型越大,满血大模型对硬件要求很高

选哪个档位,跟着“仅兼容”走最省心。它会按当前电脑的情况,把跑不动的模型筛掉,剩下的基本都是这台机器扛得住的。主力机能往上够一档,日常机就老实选小模型,处理问答和润色够用。

大家常问

律所多人是不是得先搭个服务器?

不一定。「软领DS一键本地部署大师」是桌面客户端,最省事的就是每人在自己电脑各装各的。要集中算力,也可以挑一台配置好的主力机装上跑大模型,人到那台机器前用,不用专门搭服务器。

每台都装,卷宗资料会不会串到一起?

各装各的情况下,模型和本地知识库资料都存在各自这台电脑上,默认不会互相同步。谁的机器放谁的卷宗,边界比较清楚。

配置一般的办公电脑能跑吗?

能跑小一点的模型,做日常问答、公文润色一般没问题。但长合同通读、复杂要素提取这类,模型越大越吃硬件,配置一般的机器就别硬上大模型,交给主力机更合适。

主力机是不是要一直开着给别人用?

看你们怎么用。它本质是本机运行,谁要处理复杂文件就到主力机上操作。想随用随开,保持开机就行;但它不是网络多用户服务,别按在线服务那样理解。

部署好之后要一直联网吗?

不用一直联网,但也不是全程都不联网。装模型服务、下载模型、软件更新、联网搜索这些环节要网络;模型部署好之后,本地对话和本地知识库资料可以在本机跑和保存。

软领DS一键部署大师下载

客服
扫描与客服沟通

回顶部
提示

正在拉起鸿蒙应用市场,如遇无法拉起/无法下载的情况,可使用鸿蒙设备,自行前往应用市场,搜索「Win解压缩」安装。

知道了