学会大模型应用开发：使用ollama本地化部署开源模型

Ollama本地化部署指南（Windows版）

此方案可实现主流大模型本地化运行，适合需要数据隐私保护的开发场景。建议优先测试7B/13B等小参数量模型，再逐步尝试更大模型

一、软件安装

1. 下载安装包

访问Ollama官网下载Windows安装程序。

2.运行安装程序

ollama_windows_installer.exe

默认安装路径为 C:\Program Files\Ollama，安装过程自动配置系统服务。

3.验证安装

ollama serve

若显示Listening on 127.0.0.1:11434表示服务启动成功。

二、模型安装与管理

在线安装模型

# 下载官方模型库中的模型（需联网）
ollama pull llama2          # Meta Llama2 基础模型
ollama run qwen2.5:14b      #  qwen2.5 14B 模型

离线安装模型

1.获取模型文件

从HuggingFace下载GGUF/GGML格式文件，如llama-2-7b-chat.Q4_K_M.gguf

2.创建Modelfile

新建Modelfile.llama2文件，内容：

FROM ./llama-2-7b-chat.Q4_K_M.gguf
PARAMETER num_ctx 4096

3.导入本地模型

ollama create my-llama2 -f Modelfile.llama2

三、环境变量配置

1.模型存储路径

默认路径：%USERPROFILE%\.ollama\models
修改路径方法：

• 新建系统变量 OLLAMA_MODELS，值为目标路径（如D:\ai_models）
• 重启终端使配置生效

2.服务端配置

# 修改服务监听地址（可选）
setx OLLAMA_HOST "0.0.0.0"
# 修改服务端口（可选）
setx OLLAMA_PORT 18888

四、基础使用命令

# 启动对话
ollama run llama2

# 查看已安装模型
ollama list

# 删除模型
ollama rm mistral

五、注意事项

1.硬件要求

• 至少16GB内存（7B模型）
• 推荐使用NVIDIA GPU并安装CUDA驱动加速

2.网络问题

在线下载模型时建议使用代理工具，可通过环境变量配置：

setx HTTP_PROXY "http://127.0.0.1:7890"

3.文件权限

安装路径避免使用系统保护目录（如Program Files），建议选择用户目录。