Google hat Computer Use in der Gemini-App für Mac eingeführt, wodurch der KI-Assistent auf Grundlage von Textanweisungen selbstständig mit Apps, Websites und lokalen Dateien interagieren kann. Die Funktion wird schrittweise für englischsprachige Nutzer in den Vereinigten Staaten verfügbar und erweitert Gemini von der Beantwortung von Anfragen auf die direkte Erledigung alltäglicher Computeraufgaben.
Nutzer können die Aktionen von Gemini überwachen, Aufgaben pausieren, den Zugriff auf Apps beschränken und wichtige Vorgänge genehmigen.
Google kündigte die Einführung von Computer Use in der Gemini-App für Mac an, mit der der KI-Assistent komplexe Aufgaben über lokale Dateien, Apps und Websites hinweg erledigen kann. Die Einführung erreicht schrittweise englischsprachige Nutzer in den Vereinigten Staaten.
Nutzer können ein gewünschtes Ergebnis in Textform beschreiben. Anschließend kann Gemini Schaltflächen anklicken, Text eingeben, Menüs öffnen und Formulare ausfüllen. Google erklärte, die Funktion solle den Zeitaufwand für wiederkehrende Arbeiten verringern, die andernfalls Dutzende manueller Schritte erfordern würden.
Aufgaben, die Gemini auf dem Mac erledigen kann
Google zufolge kann Computer Use mehrstufige Aufgaben mit Grafiken, Formularen, Präsentationen und Online-Produktangeboten bearbeiten.
Bei Grafikarbeiten kann Gemini Farbkorrekturen für Fotos in Design-Apps stapelweise durchführen und komplexe 3D-Szenen konfigurieren. Zudem kann der Assistent Gewichte, Abmessungen und Adressen aus lokalen PDF-Dateien extrahieren und die Informationen nutzen, um automatisch Lieferaufträge zu erstellen.
Für Präsentationen kann der Assistent Kennzahlen und Screenshots aus Monitoring-Dashboards für verschiedene Regionen zusammentragen und das Material in Google Slides zusammenstellen.
Gemini kann zudem Fotos von Kleidung analysieren, die in einem lokalen Ordner gespeichert sind, Preise recherchieren, Produktspezifikationen sichern und Angebote für Wiederverkaufsplattformen vorbereiten.
Nutzerkontrollen und Verfügbarkeit
Gemini führt Computer-Use-Aufgaben in einem isolierten Hintergrundfenster aus, während im Chat eine Vorschau seiner Aktionen erscheint. Dadurch bleiben der Hauptbildschirm und der Cursor des Mac verfügbar, sodass Nutzer weiterarbeiten können, während der Assistent eine Aufgabe erledigt.
Nutzer können auswählen, auf welche Apps Gemini zugreifen darf, seine Aktionen in Echtzeit verfolgen und die Ausführung pausieren. Der Assistent fordert zudem eine Genehmigung an, bevor er wichtige Vorgänge ausführt.
Computer Use wird über die Gemini-App für Mac in den Vereinigten Staaten schrittweise auf Englisch verfügbar. Nutzer müssen die Desktop-App von der Google-Website herunterladen, um auf die Funktion zugreifen zu können.
Quelle: HODL Press
