32 lines
1.2 KiB
Markdown
32 lines
1.2 KiB
Markdown
# glpi-ai-deployment
|
|
|
|
Installation
|
|
chmod +x install-ollama-debian13-amd.sh
|
|
sudo ./install-ollama-debian13-amd.sh
|
|
|
|
Das Skript:
|
|
|
|
prüft Debian 13 und die AMD-GPU
|
|
install
|
|
richtet die AMD-/ROCm-Bibliotheken ein
|
|
fügt den ollama-Benutzer zu render und video hinzu
|
|
konfiguriert die API auf 0.0.0.0:11434
|
|
aktiviert den systemd-Dienst
|
|
prüft API, Listener und GPU-Erkennung
|
|
verändert keine Firewall-Regeln
|
|
|
|
Ollamas Installer erkennt AMD-GPUs und lädt das zusätzliche ROCm-Paket automatisch. Debian 13 wird von den aktuellen ROCm-Unterlagen unterstützt. vollständiger systemweiter ROCm-Installation
|
|
|
|
Normalerweise reichen die von Ollama mitgelieferten ROCm-Laufzeitbibliotheken. Für eine vollständige ROCm-7.2.4-Installation:
|
|
|
|
sudo INSTALL_SYSTEM_ROCM=1 ./install-ollama-debian13-amd.sh
|
|
Modell direkt herunterladen
|
|
sudo MODEL='<modellname>' ./install-ollama-debian13-amd.sh
|
|
Test von einem anderen Rechner
|
|
curl http://SERVER-IP:11434/api/tags
|
|
|
|
OpenAI-kompatibler Endpunkt:
|
|
|
|
http://SERVER-IP:11434/v1
|
|
|
|
OLLAMA_HOST=0.0.0.0:11434 ist die offizielle Methode zur Netzwerkfreigabe. Die lokale Ollama-API hat jedoch keine eingebaute API-Authentifizierung. Port 11434 daher nicht ungeschützt ins Internet freigeben. |