概述

LLaMA-3（Large Language Model Meta AI 3）是由Meta公司開發的大型開源生成式人工智能模型。它在模型結構上與前一代LLaMA-2相比沒有大的變動。

LLaMA-3模型分為不同規模的版本，包括小型、中型和大型，以适應不同的應用需求和計算資源。小型模型參數規模為8B，中型模型參數規模為70B，而大型模型則達到400B，仍在訓練中，目标是實作多模态、多語言的功能，預計效果将與GPT 4/GPT 4V相當。

安裝 Ollama

Ollama 是一個開源的大型語言模型（LLM）服務工具，它允許使用者在本地機器上運作和部署大型語言模型。Ollama 設計為一個架構，旨在簡化在 Docker 容器中部署和管理大型語言模型的過程，使得這一過程變得簡單快捷。使用者可以通過簡單的指令行操作，快速在本地運作如 Llama 3 這樣的開源大型語言模型。

官網位址：https://ollama.com/download

Ollama 支援多種平台，包括 Mac 和 Linux，并提供了 Docker 鏡像以簡化安裝過程。使用者可以通過編寫 Modelfile 來導入和自定義更多的模型，這類似于 Dockerfile 的作用。Ollama 還具備一個 REST API，用于運作和管理模型，以及一個用于模型互動的指令行工具集。

Ollama服務啟動日志

模型管理

下載下傳模型

ollama pull llama3:8b           

預設下載下傳的是llama3:8b。這裡冒号前面代表模型名稱，冒号後面代表tag，可以從這裡檢視llama3的所有tag

模型測試

配置Open-WebUI

在CPU下運作

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main           

通路

輸入位址 http://127.0.0.1:3000 進行通路

初次通路需要注冊，這裡我注冊一個賬号，注冊完成登入成功

切換中文語言

下載下傳llama3:8b模型

llama3:8b           

下載下傳完成

使用

選擇模型

使用模型

記憶體