Ollama本地大模型运行指南

📅 2025-01-25 ⏱ 阅读约10分钟简单本地模型

一、安装Ollama

前往Ollama官网下载Windows安装包：

# 访问官网下载
# https://ollama.com/download

# 或使用winget安装
winget install Ollama.Ollama

# 使用Homebrew安装
brew install ollama

curl -fsSL https://ollama.com/install.sh | sh

💡 提示：安装完成后，Ollama会以后台服务形式运行。Windows用户可以在系统托盘找到Ollama图标。

# 下载并运行Llama 3（8B参数）
ollama run llama3

# 下载并运行Llama 3（70B参数，需要更强硬件）
ollama run llama3:70b

# 运行Qwen2.5 7B（推荐中文用户）
ollama run qwen2.5:7b

# 运行Qwen2.5 72B（效果更好，需高端显卡）
ollama run qwen2.5:72b

# 运行Mistral 7B
ollama run mistral

模型	参数量	最低内存	推荐GPU显存
Qwen2.5 3B	3B	4GB	4GB
Llama3 8B	8B	8GB	8GB
Qwen2.5 7B	7B	8GB	8GB
Mistral 7B	7B	8GB	8GB
Qwen2.5 32B	32B	24GB	24GB
Llama3 70B	70B	48GB	48GB（多卡）

⚠️ 注意：没有独立GPU也可以使用CPU运行，但速度会明显变慢。建议至少使用16GB内存的电脑来运行7B级别的模型。