如何在 HomeLab 环境下通过 Ollama 部署本地 Llama 3

作者：Silas Fu & AI Copilot
发布日期：2024-03-15
分类：基础设施 / 本地模型 / HomeLab / 私有化部署
摘要：详细指南：在本地 HomeLab 环境中使用 Ollama 快速部署和运行 Llama 3 大语言模型，守护个人算力独立性与数据主权。

在 AI 技术快速发展的今天，能够在本地环境中运行大语言模型变得越来越重要。本文将详细介绍如何在 HomeLab 环境下使用 Ollama 部署 Llama 3 模型。

什么是 Ollama？#

Ollama 是一个开源的本地大语言模型运行框架，它让在本地运行 LLM 变得异常简单。支持多种模型，包括 Llama 2、Llama 3、Mistral 等。

硬件要求#

CPU: Intel i7-8700 或更高
内存: 16GB+ 推荐 32GB
存储: SSD，至少 10GB 可用空间
GPU: 可选，但推荐用于加速推理

安装步骤#

1. 安装 Ollama#

BASH
8 lines
# macOS
curl -fsSL https://ollama.com/install.sh | sh

# Linux
curl -fsSL https://ollama.com/install.sh | sh

# Windows
# 下载安装包从 https://ollama.com/download

2. 拉取 Llama 3 模型#

BASH
ollama pull llama3

3. 运行模型#

BASH
ollama run llama3

配置优化#

Docker 部署#

YAML
15 lines
version: '3.8'
services:
  ollama:
    image: ollama/ollama
    ports:
      - "11434:11434"
    volumes:
      - ./ollama:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]

性能测试#

在我的 R9 5900HX + RTX 3080 环境下：

推理速度：~45 tokens/秒
内存占用：~8GB
显存占用：~6GB

结语#

通过 Ollama，我们可以轻松在本地部署和运行大语言模型，既保护了数据隐私，又避免了 API 调用的成本。

返回全部文章