Forscher von Apple und der Tel-Aviv University haben eine Methode entwickelt, die die Sprachgenerierung von KI-Modellen um bis zu 40% beschleunigen kann.
- Die Methode namens „Principled Coarse-Graining“ (PCG) adressiert ein Geschwindigkeitsproblem bei autoregressiven Text-zu-Sprache-Modellen.
- Diese Modelle generieren Sprache tokenweise und sind oft zu streng, indem sie akustisch ähnliche, aber nicht exakt passende Vorschläge ablehnen.
- PCG gruppiert Sprach-Token nach akustischer Ähnlichkeit und erlaubt so eine flexiblere Annahme von Vorschlägen innerhalb derselben Gruppe.
- Das System nutzt zwei Modelle: ein kleineres, das schnell Token vorschlägt, und ein größeres, das prüft, ob sie zur richtigen akustischen Gruppe gehören.
- In Tests beschleunigte PCG die Sprachgenerierung um etwa 40%, während die Verständlichkeit und Sprecherähnlichkeit weitgehend erhalten blieb.
- Die Methode erfordert keine Neuentwicklung oder Neutrainierung bestehender Modelle und ist eine reine Decoding-Time-Anpassung.
- PCG benötigt nur etwa 37 MB zusätzlichen Speicher, um die Akustikgruppen zu speichern, und ist daher für Geräte mit begrenztem Speicher geeignet.
- Die Forschung könnte für zukünftige Apple-Sprachfunktionen relevant sein, die Geschwindigkeit und Qualität abwägen müssen.
Quelle: 9to5Mac
Hinweis: Dieser Artikel wurde mithilfe von KI erstellt.
