机密的对话， 交给自家的 Qwen 安全处理。

不能贴进外部 AI 的机密，你是否也这样

明知道用 AI 会更快，可这些对话不能传到公司外面。

不能外传，所以干脆不用 AI。在这两个极端之间，还有“部署在自己的服务器上”这条路。

※ 1 和 2 是根据讲解视频中介绍的案例改编的示例（视频里讲了什么）。

其实你想要的是：机密不出门，交给内部的 Qwen

同样的资料、同样的会议。交给 AI 处理，数据也不离开公司。

以上这些，用本页的步骤和检查清单就能搭起来。连同会后安排在内的分工方式，整理在与 SIMY 的关系中。

本地 LLM 是什么：为什么在公司内部运行 Qwen

本地 LLM，是把公开的模型权重放在自己的电脑或公司内部服务器上运行的用法。输入的文字不会离开这台机器。

本地 LLM 能做什么

• 机密文件的摘要与起草：会议纪要、合同、设计文档、与客户的往来。
• 内部文档检索与问答（RAG）：让模型读取公司的规章和操作手册，回答提问。
• 翻译与代码辅助：中、英、日互译，解释公司内部代码、给出修改建议。

小模型不如云端的大模型聪明。把它当作写“初稿”的角色而不是定稿，就不容易和预期产生落差。

选择 Qwen 的理由

• 有 Apache 2.0 的模型
• 中文、日语等多语言
• 尺寸可选

• 许可证：Qwen3、Qwen3.8-27B 等许多模型以 Apache 2.0 发布。但并非全部如此（见下表）。
• 语言：Qwen3 一代发布时宣称支持包括中文、日语在内的 119 种语言和方言。
• 尺寸：从能在电脑上运行的 0.6B～8B，到量化后可放进一张 GPU 的 27B～32B，再到需要多张 GPU 的 235B。

许可证因模型而异

表格可以横向滚动 →

2026 年 10 月 1 日依据 Hugging Face 上 Qwen 组织的模型信息确认。并不是“只要是 Qwen 就都是 Apache 2.0”。商用之前，请与法务一起确认所用模型仓库中的 LICENSE。

推理引擎怎么选：Ollama、llama.cpp、vLLM、SGLang、LM Studio

运行模型的软件就是“推理引擎”。从安全角度看，最大的区别在于：什么都不设置时，它在哪里监听。

表格可以横向滚动 →

依据 2026 年 10 月各官方文档（vLLM 还查看了源码）确认。LM Studio 一行中未能完全确认的项目标为“以官方文档为准”。

• 先验证：用 llama.cpp 或 Ollama 看看对业务是否有用。
• 全公司使用：vLLM。即使很多人同时使用，速度也不容易下降。
• 智能体大量发送同一段长指令：SGLang。

vLLM 的注意事项：官方的 Security 页面说明，--api-key只保护/v1等端点，/invocations、/pooling等不在保护范围内。正因如此，官方也把“放在只放行需公开端点的反向代理之后”视为最有效的对策。

硬件参考：各 Qwen 模型所需的显存

所需显存，可以看作三项相加。

• 权重参数量 × 每个参数的字节数（BF16 为 2，FP8 为 1，4bit 约 0.5）
• ＋ KV 缓存与上下文长度 × 同时使用人数成正比
• ＋ 余量运行时的工作空间

表格可以横向滚动 →

Qwen3 的数值来自 Qwen 官方速度基准测试（用 transformers 处理短输入、刚启动时的显存）。Qwen3.8-27B 没有官方数值表，因此是按参数量估算的参考值和个人实测例，不含 KV 缓存。所需显存会因量化版本和上下文长度而大幅变化（截至 2026 年 10 月）。

• Qwen3.8-27B 与 32GB 显卡：BF16 仅权重就约 54GB（估算值），一张 RTX 5090（32GB）放不下。官方 FP8 版仅权重也有约 28.8GB，有估算指出上下文拉满时 32GB 装不下。可以改用 4bit 版本，或降低上下文上限来调整。
• 两张 16GB 显卡不等于一张 32GB：拆到两张卡上，会因卡间通信和每张卡各自需要的工作空间而吃亏。
• 长上下文会拉长等待时间：某个人实测例中，约 25 万 token 的输入，等到第一个字输出用了 4 分钟以上。
• Mac：Apple 芯片的内存与 GPU 共享。需要比模型文件大得多的内存。

如何确定规模：请先确定同时使用的人数，以及一次要读入的文档长度。KV 缓存会与这两者成比例增长，只按权重估算的话，上线后就会不够用。

内网搭建步骤：把 Qwen＋vLLM 部署到公司服务器

示例使用 Qwen3.8-27B 的 FP8 版、vLLM（Docker）和 Linux 服务器。命令按 2026 年 10 月的官方文档编写。显存不足时，可降低上下文上限（--max-model-len），或选择 4bit 版本。

※ 架构仅为说明用的示意图

命令的读法：像<已确认的提交SHA>这样用尖括号括起来的部分，请替换成贵公司的值。版本号是 2026 年 10 月的示例。

1. 固定版本并获取模型

   摆渡机（联网侧）

   从官方Qwen/组织的仓库，指定提交获取。推理引擎的容器也固定版本后保存。

   bash

   pip install -U huggingface_hub
   hf download Qwen/Qwen3.8-27B-FP8 \
     --revision <已确认的提交SHA> \
     --local-dir ./Qwen3.8-27B-FP8
   
   docker pull vllm/vllm-openai:v0.30.0
   docker inspect --format '{{index .RepoDigests 0}}' vllm/vllm-openai:v0.30.0
   docker save vllm/vllm-openai:v0.30.0 -o vllm-openai-v0.30.0.tar

   把docker inspect显示的摘要值（以sha256:开头）抄进台账。

   固定版本的理由：即使是同一个仓库，新的修订版内容也可能改变。有案例提到，某个量化版的新修订删掉了用于投机解码的层（MTP），导致加速无法启用。

2. 建立 SHA-256 台账

   摆渡机

   Hugging Face API 返回的lfs.oid，就是大文件（LFS）的 SHA-256。用它与手头的文件核对。

   bash

   # 取出 Hugging Face 端的值（仅 LFS 文件）
   curl -s "https://huggingface.co/api/models/Qwen/Qwen3.8-27B-FP8/tree/<已确认的提交SHA>?recursive=true&expand=true" \
     | jq -r '.[] | select(.lfs) | "\(.lfs.oid)  ./\(.path)"' > HF.sha256
   
   # 与手头的文件核对，并生成全部文件的台账
   cd Qwen3.8-27B-FP8
   sha256sum -c ../HF.sha256
   find . -type f ! -path './.cache/*' -print0 | sort -z | xargs -0 sha256sum > ../MODEL.sha256
   cd .. && sha256sum vllm-openai-v0.30.0.tar > IMAGE.sha256

   台账由获取者以外的另一位负责人确认并签署（签署方式按公司内部标准）。

3. 通过介质带入，加载前先验证

   内网服务器

   用介质转移台账和文件，在内网一侧再核对一次。只要出现一行FAILED就不使用。

   bash

   cd /srv/llm/models/Qwen3.8-27B-FP8 && sha256sum -c /srv/llm/incoming/MODEL.sha256
   cd /srv/llm/incoming && sha256sum -c IMAGE.sha256
   docker load -i vllm-openai-v0.30.0.tar

4. 启动时只在 127.0.0.1 监听

   内网服务器

   vLLM 省略--host时会在所有网卡上监听。务必写上--host 127.0.0.1，密钥用文件传入（写在命令行里会被ps看到）。

   bash · vLLM（Docker）

   # 创建密钥文件，权限设为 600
   sudo install -D -m 600 /dev/null /etc/llm/vllm.env
   echo "VLLM_API_KEY=$(openssl rand -hex 32)" | sudo tee /etc/llm/vllm.env > /dev/null
   
   sudo docker run -d --name qwen --gpus all --ipc=host --network host \
     -v /srv/llm/models:/models:ro \
     -e HF_HUB_OFFLINE=1 -e VLLM_NO_USAGE_STATS=1 -e DO_NOT_TRACK=1 \
     --env-file /etc/llm/vllm.env \
     vllm/vllm-openai:v0.30.0 \
     --model /models/Qwen3.8-27B-FP8 \
     --served-model-name qwen3.8-27b \
     --host 127.0.0.1 --port 8000 \
     --max-model-len 65536 --gpu-memory-utilization 0.90
   
   # 确认只在 127.0.0.1:8000 监听
   ss -ltnp | grep 8000

   • 不要加--trust-remote-code。这样就不会执行模型附带的代码。
   • 生产环境不要用VLLM_SERVER_DEV_MODE=1。它会公开开发用的端点。
   • 思考模式与工具调用：Qwen 官方文档以 Qwen3 为例，给出了--reasoning-parser qwen3和--enable-auto-tool-choice --tool-call-parser hermes。3.8 一代的参数请以模型卡为准。
   bash · Ollama（systemd）

   sudo systemctl edit ollama
   # 在打开的文件中写入以下 3 行并保存
   [Service]
   Environment="OLLAMA_HOST=127.0.0.1:11434"
   Environment="OLLAMA_NO_CLOUD=1"
   
   sudo systemctl restart ollama

   bash · SGLang、llama.cpp

   python3 -m sglang.launch_server --model-path /models/Qwen3.8-27B-FP8 \
     --host 127.0.0.1 --port 30000 --api-key <密钥> --admin-api-key <管理用密钥>
   
   llama-server -m /models/qwen.gguf --host 127.0.0.1 --port 8080 \
     --api-key-file /etc/llm/keys --offline --no-webui --jinja

   SGLang 的示例中，实际也不要直接写入密钥，请从文件或环境变量传入。模型卡里的示例是--host 0.0.0.0，请不要原样复制。

5. 用 nginx 加上 TLS、白名单和认证

   内网服务器（网关）

   让用户只能接触到 nginx。只放行/v1中需要的部分，其余一律返回 404。

   nginx

   server {
     listen 443 ssl;
     server_name llm.internal.example;
     ssl_certificate     /etc/pki/llm.crt;
     ssl_certificate_key /etc/pki/llm.key;
     ssl_protocols TLSv1.2 TLSv1.3;
   
     allow 10.20.0.0/16;   # 仅限公司内网段
     deny  all;
   
     location = /v1/chat/completions {
       auth_request /_auth;
       auth_request_set $user $upstream_http_x_auth_request_user;
       proxy_set_header Authorization "Bearer <上游密钥>";
       proxy_pass http://127.0.0.1:8000;
       proxy_buffering off;   # 用于流式响应
     }
     location = /v1/models {
       auth_request /_auth;
       auth_request_set $user $upstream_http_x_auth_request_user;
       proxy_set_header Authorization "Bearer <上游密钥>";
       proxy_pass http://127.0.0.1:8000;
     }
     location = /_auth {
       internal;
       proxy_pass http://127.0.0.1:4180/oauth2/auth;   # 通过 oauth2-proxy 等对接公司的 IdP
     }
     location / { return 404; }   # 不暴露 /metrics、/invocations 等
   }

   用户通过公司的 SSO（OIDC 或 SAML）验证身份，上游的 API 密钥不分发给用户。auth_request是 nginx 的模块，可以用nginx -V确认构建中是否包含它。

6. 拒绝出站通信

   内网服务器

   服务器访问互联网的通信，默认全部拒绝。只放行公司内部的 DNS、时间同步和日志收集端。

   bash · ufw

   sudo ufw default deny incoming
   sudo ufw default deny outgoing
   sudo ufw allow in on <管理网卡> to any port 22 proto tcp    # 不先放行的话 SSH 会断开
   sudo ufw allow in on <内网网卡> to any port 443 proto tcp
   sudo ufw allow out to <内网DNS> port 53 proto udp
   sudo ufw allow out to <内网NTP> port 123 proto udp
   sudo ufw allow out to <日志收集端> port 514 proto tcp
   sudo ufw enable
   
   # 确认无法访问外网（失败才是正确的）
   curl -m 5 https://huggingface.co

   用 Docker 的-p公开端口时，Docker 会自行添加数据包规则，即使以为已经用 ufw 关上了，外部也可能访问得到。本步骤使用--network host和--host 127.0.0.1，把监听限制在本机。

   bash · 使用 -p 时

   # 主机侧只对 127.0.0.1 公开（-p 8000:8000 会对所有网卡公开）
   sudo docker run -d --name qwen --gpus all --ipc=host \
     -p 127.0.0.1:8000:8000 \
     -v /srv/llm/models:/models:ro \
     -e HF_HUB_OFFLINE=1 -e VLLM_NO_USAGE_STATS=1 -e DO_NOT_TRACK=1 \
     --env-file /etc/llm/vllm.env \
     vllm/vllm-openai:v0.30.0 \
     --model /models/Qwen3.8-27B-FP8 --served-model-name qwen3.8-27b \
     --host 0.0.0.0 --port 8000 --max-model-len 65536
   # ↑ 容器内在 0.0.0.0 监听，主机侧只对 127.0.0.1 开放

   这种方式下，容器内的 vLLM 在0.0.0.0监听，但从主机外部无法访问。在网络侧的防火墙上，也请阻断出站通信。

7. 保留日志与审计记录

   网关、监控

   把谁、何时、用了哪个端点记录在 nginx 日志里，发送到公司的日志平台（SIEM 等）。token 数量通过只对监控网络开放的/metrics（Prometheus 格式）汇总。

   nginx · http { } 内

   log_format llm '$time_iso8601 user=$user ip=$remote_addr "$request" '
                  'status=$status bytes=$body_bytes_sent rt=$request_time';
   access_log /var/log/nginx/llm.log llm;

   在 vLLM 中启用--enable-log-requests并设为 DEBUG 级别时，提示词正文会留在日志里。是否保留正文以及保存期限，请按个人信息和机密相关的规章来定。

8. 确定用户与权限

   界面（Open WebUI 等）

   如果要在界面上以聊天方式使用，就把 Open WebUI 等前端放在同一个内网里，按角色和用户组划分可用的模型。离职人员要能在公司的 IdP 中被停用。

   env · Open WebUI

   OFFLINE_MODE=true
   ENABLE_SIGNUP=false
   DEFAULT_USER_ROLE=pending
   ENABLE_COMMUNITY_SHARING=false

   启用OFFLINE_MODE后，如果没有事先放入嵌入模型，文档检索（RAG）将无法工作。嵌入模型也按步骤 1～3 的同样流程带入。

9. 事先定好更新流程

   摆渡机 → 测试环境 → 生产环境

   vLLM 大约每两周发布一次，几乎每次都包含安全修复。即使在内网，也请按“获取 → 验证 → 台账 → 上线”的流程定期升级。

   bash

   # 1. 新版本按步骤 1～3 同样获取、核对、带入
   # 2. 在测试环境中，向旧版和新版提出同样的问题进行对比
   # 3. 列出正在使用的环境变量名，对照发布说明确认新版本中没有被删除
   sudo docker inspect --format '{{range .Config.Env}}{{println .}}{{end}}' qwen \
     | grep -E '^(VLLM_|HF_)' | cut -d= -f1
   # 4. 上线生产后，用一行记下谁在何时升级、何时回滚
   echo "$(date -I) vllm <旧版本>→<新版本> 负责人:<姓名> 验证:OK 回滚:<旧版本>.tar" >> /srv/llm/CHANGELOG

   上一版本的容器和模型要记下摘要值并保留，以便回滚。上下文长度上限等随版本变化的值，请在升级前后对比。

本地 LLM 安全检查清单：上线前的 20 项

请在搭建前后从上到下逐项确认。勾选只在本页面内有效，不会发送到任何地方。

0 / 20 已确认

常见错误：本地 LLM 的“我以为”留下的漏洞

左边是常见的错误，右边是按本页步骤的对策。

• --host 0.0.0.0且不设认证直接照搬示例启动命令，结果对整个局域网公开。
  127.0.0.1＋nginx只在本机监听，用户经由网关访问。
• 来路不明的改版模型不查来源就用“Uncensored”之类的社区版 GGUF。
  从官方Qwen/获取，固定 SHA使用第三方版本时，记录作者和制作步骤。
• “加了 api-key 就安全了”以为 vLLM 的密钥能保护所有端点。
  用白名单收窄只放行/v1/chat/completions等必要的端点。
• “本地化部署所以安全”因为放在公司内部，就省掉了权限、日志和 RAG 的访问控制。
  内部也要按对外的标准管理SSO、角色、日志，以及继承查阅权限的检索。
• 用隧道从外部访问明明是内部用途，却用 Cloudflare Tunnel 等对外公开。
  只允许从公司内网访问确需从外部使用时，走公司正规的远程接入。
• 没注意到默认的对外通信vLLM 的使用统计、Ollama 桌面版的自动更新。
  环境变量和拒绝出站双管齐下在设置里关掉，也在防火墙上拦住。
• 过度依赖小模型在智能体或工具调用中，它会编造不存在的文件或链接。
  当作初稿使用在沙箱中执行，结果由人来确认。
• 一更新就出故障升级版本后，因环境变量被删、上限变更而无法运行。
  在测试环境中做前后对比对照发布说明，并记录是谁升级的。

视频里讲了什么：Qwen 自托管的实际案例

我们查看了 2026 年 2～10 月发布的英语、中文、日语讲解视频共 18 个，连语音转写稿都逐一核对过。

与 SIMY 的关系：内网里用 Qwen，外面用 SIMY

坦白说：SIMY 目前不能用 Qwen 运行，也无法在内网或离线环境中运行。

※ 分工仅为说明用的示意图

• 从会议和聊天中提取
• 按你的做法
• 只交还判断

机密正文，由内网的 Qwen 处理。之后，“谁、在什么时候之前、做什么”中公司决定可以对外的部分，由 SIMY 在公司允许的工具中推进。

• SIMY 的运行方式：云端执行使用你的 ChatGPT 账户（Codex）运行。Codex 的使用量在你的 ChatGPT 方案范围内。
• 在电脑上执行：SIMY 桌面应用可以让电脑上的 Claude Code 担任执行者。点此下载。
• 读取对话记录：桌面应用会读取 Claude Code 和 Codex 的对话记录，把你反复在做的工作变成“来自 SIMY 的建议”。对话正文不保存在服务器上。使用哪台电脑、读取哪些范围，请按公司规章决定。

界线怎么划：哪些信息留在内网、从哪里开始可以交给外部工具处理，由公司规章决定。SIMY 的数据处理方式已在安全和隐私政策中公开。

本地 LLM 与 Qwen 常见问题

参考资料

步骤、默认设置和许可证，均依据以下官方信息确认（确认日期：2026 年 10 月 1 日）。版本和默认值经常变化，搭建前请查看各官方页面。

• Security（vLLM 文档）、Usage Stats Collection、vllm serve
• vLLM 发布说明（GitHub）
• Server Arguments（SGLang 文档）
• FAQ（Ollama 文档）
• llama.cpp server README（GitHub）
• 用 vLLM 部署（Qwen 文档）、Speed Benchmark（Qwen 文档）
• Qwen（Hugging Face）、Qwen3.8-27B 模型卡
• Hugging Face CLI、环境变量（Hugging Face Hub）
• ngx_http_auth_request_module（nginx 文档）、ngx_http_ssl_module
• Environment Variable Configuration（Open WebUI 文档）
• Packet filtering and firewalls（Docker 文档）
• qwen3.8（Ollama 模型库）