## 环境变量配置(让 skill 知道走本地模型) > 这一步是「让数据不出设备」承诺的技术核心——告诉 skill「别走云端,走我本地的 Ollama」。 > 本次演示**全部用 Ollama**,不用 LM Studio。原因:终端命令演示更直观、Claude Code 接入更顺。 --- ## 主推方案:Ollama ### Step 1: 装 Ollama 访问 https://ollama.com/download/windows 下载 OllamaSetup.exe,一路 Next 装完。 验证:PowerShell 里跑 `ollama --version`,应该看到 v0.14.x 或更高(旧版不支持 ollama launch claude)。 ### Step 2: 拉模型(首次约 85 GB 下载,建议夜里挂着) ```powershell ollama pull gpt-oss:120b ollama pull qwen3.6:35b-a3b ``` ### Step 3: 设 Ollama 关键环境变量 PowerShell 里跑(**永久写入**,避免每次重设): ```powershell # 让 GPU 跑模型,不要走 CPU(不设 = 慢到爆) [Environment]::SetEnvironmentVariable("OLLAMA_NUM_GPU", "999", "User") # 长上下文(默认 2048 太小,演示中可能截断) [Environment]::SetEnvironmentVariable("OLLAMA_NUM_CTX", "4096", "User") # 模型常驻显存不卸载(避免每次切窗口要重新加载) [Environment]::SetEnvironmentVariable("OLLAMA_KEEP_ALIVE", "-1", "User") # 允许多模型同时常驻(§4 多模型并行画面的关键,默认只允许 1 个) [Environment]::SetEnvironmentVariable("OLLAMA_MAX_LOADED_MODELS", "3", "User") ``` 设完**重启 PowerShell**(关闭再开新的)让变量生效。 ### Step 4: 设 skill 用的环境变量 让 huashu-data-pro / huashu-doc-reviewer 知道走 Ollama: ```powershell [Environment]::SetEnvironmentVariable("LOCAL_LLM_BASE_URL", "http://127.0.0.1:11434", "User") [Environment]::SetEnvironmentVariable("LOCAL_LLM_MODEL", "qwen3.6:35b-a3b", "User") [Environment]::SetEnvironmentVariable("LOCAL_LLM_TIMEOUT", "600", "User") ``` 注意 Ollama 的端口是 **11434**,路径里**不带** /v1(这点跟 LM Studio 不同)。 ### Step 5: 验证 **重启 PowerShell**,然后: ```powershell # 验证环境变量 echo $env:LOCAL_LLM_BASE_URL echo $env:OLLAMA_NUM_GPU # 验证 Ollama 跑起来 ollama run gpt-oss:120b ``` 进入交互界面问一句「你好」,看吐字速度。50 tokens/s 上下 = 正常。低于 10 = GPU 没用上,回到 §1.3 检查 AMD Software 的专用显存。 退出:输入 `/bye`。 ```powershell # 验证 server API 通不通 curl http://127.0.0.1:11434/api/tags ``` 返回 JSON 列出已拉模型 = 通了。 --- ## 备选方案:LM Studio(不推荐,仅供对照) 如果你之前已经在 LM Studio 里部署过模型不想重做,可以走 LM Studio 路径: ```powershell [Environment]::SetEnvironmentVariable("LOCAL_LLM_BASE_URL", "http://127.0.0.1:1234/v1", "User") [Environment]::SetEnvironmentVariable("LOCAL_LLM_MODEL", "openai/gpt-oss-120b", "User") [Environment]::SetEnvironmentVariable("LOCAL_LLM_API_KEY", "lm-studio", "User") ``` 注意:LM Studio 端口 1234,路径**带** /v1。这次的演示脚本里不用这条路径,备这里只为兼容旧环境。 --- ## 录制前最后一次 sanity check ```powershell python -c "import os, requests; r = requests.get(os.environ['LOCAL_LLM_BASE_URL'].replace('/v1','') + '/api/tags'); print(r.status_code, r.json())" ``` 200 + 模型列表就 OK。 如果跑不通,按这个顺序排查: 1. Ollama 进程在跑吗?任务管理器看 `ollama.exe` 2. 防火墙有没有挡 11434 端口? 3. 环境变量真的写入了吗?`echo $env:LOCAL_LLM_BASE_URL`