Apple macht im Bereich KI definitiv Fortschritte. Forscher des Unternehmens aus Cupertino haben gerade den Schleier über ein neues Produkt namens Ferret-UI gelüftet. Letzteres ist in der Lage, Anwendungsbildschirme besser zu verstehen und mit ihnen zu interagieren als aktuelle Tools.
Diese Technologie unterscheidet sich vom Large Language Model (LLM) wie ChatGPT. Es handelt sich tatsächlich um ein multimodales großes Sprachmodell (MLLM), das in der Lage ist, nicht-textuelle Daten wie Bilder, Videos oder Audio zu verstehen.
Siri kann schlauer werden
In ihrem Forschungsdokument gehen die Mitarbeiter der Marke Apple detailliert darauf ein, wie sie diese KI trainiert haben. Andererseits halten sie sich (vielleicht mit Absicht) sehr zurück, was die möglichen Anwendungen einer solchen Innovation angeht.
Unsere Kollegen von 9to5Mac bieten drei Hauptprogramme an, und sie sind sehr vielversprechend. Beispielsweise könnte Ferret-UI Entwicklern dabei helfen, die Wirksamkeit ihrer Benutzeroberfläche zu testen, noch bevor sie sie für Menschen zugänglich macht.
Diese KI kann auch die Zugänglichkeit neuer Technologien für blinde Menschen verbessern, indem sie beispielsweise genauer beschreibt und liest, was auf einem Bildschirm angezeigt wird.
Schließlich soll Siri von dieser Neuerung profitieren. So könnte der Nutzer seinen persönlichen Assistenten bitten, nach ganz genauen Kriterien ein Flugticket oder ein Konzertticket zu reservieren, und dieser würde dies ohne große Schwierigkeiten tun.
Zur Erinnerung: Die Teams des Technologieriesen arbeiten auch intensiv an LLMs. Wir haben Ihnen kürzlich von einem neuen Tool erzählt, das leistungsfähiger ist als ChatGPT 3.5 und ChatGPT 4.0 von OpenAI, derzeit zwei Benchmarks im KI-Bereich. Sie können unseren Artikel zu diesem Thema jederzeit hier noch einmal lesen.
