Forscher von Apple und Aalto University präsentieren ILuvUI: Ein KI-Modell zur kontextbasierten Analyse von App-Interfaces
- Neues Vision-Language-Modell ILuvUI kann App-Interfaces ganzheitlich verstehen
- Modell basiert auf Open-Source-Modell LLaVA und wurde speziell für UI-Analyse trainiert
- Erkennt Bildschirmelemente und Interaktionsmöglichkeiten ohne spezifische Regionsdefinition
- Potenzielle Anwendungen in Barrierefreiheit und automatisiertem UI-Testing
- Wurde mit synthetisch generierten Trainings-Datensätzen entwickelt
- Übertrifft Vorgängermodell in Benchmark-Tests und menschlichen Präferenztests
Quelle: 9to5Mac
Hinweis: Dieser Artikel wurde mithilfe von KI erstellt.
