Hailo
baut NPU-Beschleuniger, die als AI HAT+ und AI HAT+ 2 für den Raspberry Pi 5 erhältlich sind. Auf der Software-Seite gibt es zwar offizielle Pakete (entweder über das Raspberry-Pi-OS-apt-Repository oder direkt vom Vendor), aber die Einrichtung ist eine Reihe manueller Schritte. Mit dem heutigen Release-Tag von head1328.hailo und head1328.hailo_ollama in Version 0.1.0 sind die zwei Basis-Schritte als Ansible-Rollen verfügbar.
head1328.hailo#
Installiert Treiber und Runtime aus dem Raspberry-Pi-OS-apt-Repository. Unterstützte Hardware:
| Gerät | Variante | TOPS |
|---|---|---|
| AI HAT+ (Hailo-8L) | h8l | 13 |
| AI HAT+ (Hailo-8) | h8 | 26 |
| AI HAT+ 2 (Hailo-10H) | h10 | 40 |
Die gewünschte Variante wird über hailo_variant gesetzt. Mehr braucht es in 0.1.0 nicht - keine Vendor-Quellen, kein Source-Switching. Molecule-Tests gibt es in den Szenarien default und simulate.
ansible-galaxy role install head1328.hailohead1328.hailo_ollama#
Installiert das hailo-ollama-Paket aus dem Hailo-GenAI-Model-Zoo und richtet einen systemd-Service ein, der Ollama gegen die Hailo-10H-NPU laufen lässt. Damit antwortet der Pi auf der Ollama-API ganz normal - nur dass die Inferenz auf der NPU statt auf der CPU passiert.
ansible-galaxy role install head1328.hailo_ollamaIn 0.1.0 ist das eine schlanke Variante: hailo-ollama als systemd-Service, ohne Open WebUI, ohne Caddy, ohne iptables. Wer die “ready to use”-Variante mit Chat-Frontend und TLS will, findet die in Version 0.2.0 , die einen Tag später erschienen ist.
Wofür gedacht#
Die schnellste Brücke zwischen “Pi 5 + AI HAT+ 2 ist gerade angekommen” und “auf dem Pi läuft eine Ollama-API”. Wer zuerst die NPU sauber zum Laufen bringen möchte, ohne sich gleichzeitig mit Open WebUI, Caddy und iptables zu beschäftigen, ist hier richtig.
Lizenz#
Beide Rollen: AGPL-3.0-or-later.
Verwendete Projekte#
- Hailo - NPU-Hardware und SDK
- Ollama - LLM-Server
- Ansible Galaxy - Rollen-Registry
- Molecule - Test-Framework für Ansible-Rollen
Hat dir das hier geholfen?
Unterstütze gerne via: