4h4g云主机安装Bonsai 8B Q1_0 模型

使用模型
https://huggingface.co/prism-ml/Bonsai-8B-gguf

直接下载地址
wget --continue https://hf-mirror.com/prism-ml/B ... Bonsai-8B-Q1_0.gguf




优先使用 预编译包
**prism** 分支（官方推荐分支）

```
git clone -b prism https://github.com/PrismML-Eng/llama.cpp.git
```

## 🔗 官方 Release 预编译包页面（二进制）

```
https://github.com/PrismML-Eng/llama.cpp/releases
```
模型下载地址
https://hf-mirror.com/prism-ml/B ... Bonsai-8B-Q1_0.gguf




启动参数

1. <pre style="font-family: Consolas, Monaco, &quot;Courier New&quot;, monospace;"><code>cd /root/llama.cpp-prism/llama-prism-b10735-842b188 && ./llama-server \
   
2. -m /root/models/Bonsai-8B-Q1_0.gguf \
   
3. -t 4 \
   
4. --ctx-size 1024 \
   
5. --batch-size 512 \
   
6. --ubatch-size 512 \
   
7. -ngl 0 \
   
8. --no-mmap \
   
9. --host 0.0.0.0 \
   
10. --port 8899 \
    
11. --api-key "sk-2026-bonsai-8b-secret-123456" \
    
12. 2>&1
    
13. </code></pre>

复制代码

备选：密钥写文件（适合生产，不把密钥明文放命令行）

1. # 创建密钥文件
   
2. echo "sk-2026-bonsai-8b-secret-123456" > /root/llama-api.key
   
3. chmod 600 /root/llama-api.key
   

复制代码

启动参数改成 --api-key-file /root/llama-api.key

1. cd /root/llama.cpp-prism/llama-prism-b10735-842b188 && ./llama-server \
   
2. -m /root/models/Bonsai-8B-Q1_0.gguf \
   
3. -t 4 \
   
4. --ctx-size 1024 \
   
5. --batch-size 512 \
   
6. --ubatch-size 512 \
   
7. -ngl 0 \
   
8. --no-mmap \
   
9. --host 0.0.0.0 \
   
10. --port 8899 \
    
11. --api-key-file /root/llama-api.key \
    
12. 2>&1
    

复制代码

内存相关参数不变说明

• --ctx-size 1024：保持低内存安全设置，适配你的 4 核 4G 云主机
• --no-mmap：不使用内存映射，加载模型内存更稳定
• -ngl 0：纯 CPU
  

⚠️ 注意：--api-key 只是鉴权功能，不影响内存占用。

安全提醒

• 服务器公网开放 0.0.0.0:8899，必须配置 API 密钥，防止任何人访问你的模型服务；
• 公网裸 HTTP 传输，密钥是明文传输，如果是公网环境，最好再加 Nginx 反向代理开启 HTTPS；
• 密钥尽量使用长随机字符串，不要简单密码。
  

MCP 客户端配置MCP 调用这个 llama-server 的时候，在 OpenAI 兼容配置里填入：

• BaseURL: http://你的服务器IP:8899/v1
• API Key: sk-2026-bonsai-8b-secret-123456
  

1. FastAPI
2 YOLO+OpenCV+PaddleOCR

1. # 1. 先安装CPU专用PyTorch（非常关键，否则会附带CUDA包，占用大量空间）
   
2. pip install torch torchvision --index-url https://download.pytorch.org/whl/cpu
   
3. 
   
4. # 2. 固定ultralytics版本
   
5. pip install ultralytics==8.4.142
   
6. 
   
7. # 顺带安装你整套管线需要的其他包
   
8. pip install opencv-python imagehash fastapi uvicorn httpx paddlepaddle paddleocr numpy

复制代码

---------------
# 创建虚拟环境
python3 -m venv ai

# 激活虚拟环境
source ai/bin/activate

# 然后在虚拟环境中安装（不需要 --break-system-packages）



# 1. 先安装CPU专用PyTorch（非常关键，否则会附带CUDA包，占用大量空间）
pip install torch torchvision --index-url https://download.pytorch.org/whl/cpu

# 2. 固定ultralytics版本
pip install ultralytics==8.4.142

# 顺带安装你整套管线需要的其他包
pip install opencv-python imagehash fastapi uvicorn httpx paddlepaddle paddleocr numpy



环境名称
llama-env
环境路径
/root/llama-env