Die lokale KI-Software Ollama hat eine Preview-Version veröffentlicht, die auf Apples MLX-Framework basiert und so die Performance auf Macs mit Apple Silicon deutlich steigert.
- Ollama, eine Software zum lokalen Ausführen von KI-Modellen auf Mac, Linux und Windows, hat eine Preview-Version (0.19) veröffentlicht.
- Die neue Version basiert auf Apples maschinellem Lernframework MLX, um die einheitliche Speicherarchitektur von Apple Silicon zu nutzen.
- Laut Ollama führt dies zu einer deutlichen Geschwindigkeitssteigerung auf allen Apple Silicon Geräten.
- Auf den neuen M5-, M5 Pro- und M5 Max-Chips nutzt Ollama die GPU Neural Accelerators, um sowohl die „Time to First Token“ (TTFT) als auch die Generierungsgeschwindigkeit (Tokens pro Sekunde) zu beschleunigen.
- Ollama empfiehlt für die Nutzung einen Mac mit mehr als 32 GB einheitlichem Arbeitsspeicher.
Quelle: 9to5Mac
Hinweis: Dieser Artikel wurde mithilfe von KI erstellt.
