Neue KI-Tools bewerten: fünf Fragen vor dem Start.

Welche Aufgabe übernimmt das Werkzeug?

Beginne mit einem Satz, der ohne Produktnamen auskommt: „Aus meinen Projektnotizen soll ein prüfbarer Wochenstatus entstehen.“ Darin steckt ein konkreter Nutzen. Du kannst beurteilen, ob der Entwurf die wichtigen Punkte richtig wiedergibt und dir bei der Vorbereitung hilft.

Kläre anschließend, wie weit das Werkzeug handelt. Schreibt es nur einen Vorschlag? Führt es einen vorher festgelegten Ablauf aus? Oder entscheidet es selbst, welche Programme und Zwischenschritte es für ein Ziel verwendet? Diese Unterschiede verändern, welche Zugriffe und Kontrollen du brauchst.

Anthropic unterscheidet in seinem Grundlagenbeitrag von 2024 zwischen vorgegebenen Workflows und Agenten, die ihre Schritte und Werkzeugnutzung dynamisch steuern. Die Begriffe werden im Markt nicht immer gleich verwendet. Für deine Auswahl zählt deshalb das konkrete Verhalten der Anwendung.

Unser Wochenstatus braucht zunächst einen Textentwurf. Wenn das neue Werkzeug auch Aufgaben umsortieren und Nachrichten verschicken kann, sind das zusätzliche Fähigkeiten. Du kannst sie getrennt untersuchen, sobald die Zusammenfassung selbst brauchbar funktioniert.

Woran erkennst du ein gutes Ergebnis?

Schreibe fiktive Notizen, deren Inhalt du gut überblickst. Zum Beispiel: Die Testumgebung ist bereit, zwei Rückmeldungen fehlen und der Produktivstart wurde noch nicht freigegeben. Eine brauchbare Zusammenfassung muss diese Unterschiede erhalten. Sie darf aus der fertigen Testumgebung keine abgeschlossene Veröffentlichung machen.

Vergleiche das Ergebnis mit deinem bisherigen Vorgehen. Welche Angaben sind richtig? Was fehlt? Welche Sätze musst du korrigieren? Bewerte die inhaltliche Qualität vor der sprachlichen Eleganz. Ein flüssiger Text mit falschem Projektstatus wäre für diese Aufgabe unbrauchbar.

Die Anthropic-Dokumentation zu Evaluationen empfiehlt aufgabenspezifische, überprüfbare Erfolgskriterien. Unser kleines Beispiel setzt das mit erwarteten Aussagen und klar benannten Fehlern um. Eine Handvoll Versuche dient der ersten Orientierung; sie ist kein belastbarer Nachweis einer allgemeinen Fehlerquote.

Ergänze für den nächsten Durchlauf eine Notiz mit widersprüchlichen Angaben und eine mit fehlender Zuständigkeit. Bewahre die Fälle auf. Mit denselben Eingaben kannst du später eine andere Konfiguration oder eine neue Version vergleichen, ohne dich allein auf die Erinnerung an eine gute Demo zu verlassen.

Welche Daten und Rechte werden gebraucht?

Ein Textfeld mit fiktiven Notizen ist ein überschaubarer Anfang. Die Verbindung zu deinem Projektordner, Postfach oder Aufgabenboard ist eine andere Entscheidung. Prüfe, was die Verbindung zugänglich macht und welche Aktionen darüber möglich sind.

Zum Formulieren eines Wochenstatus reicht in unserem Versuch ein begrenzter Lesezugriff auf die vorgesehenen Notizen. Das Löschen von Dateien oder das Schreiben in fremde Aufgaben braucht die Aufgabe nicht. Wenn ein Werkzeug Zugriffe nicht passend begrenzen lässt, ist das eine relevante Eigenschaft für deine Auswahl.

Schaue bei einem tatsächlichen Einsatz außerdem in die aktuellen Angaben des Anbieters: Welche Daten werden verarbeitet, wo werden sie gespeichert, wie lange aufbewahrt und für welche Zwecke verwendet? Welche Einstellungen gelten für deinen konkreten Tarif? Diese Fragen gehören vor die Verarbeitung echter Projekt- oder Kundendaten.

Eine freundlich formulierte Anweisung im Chat ist keine technische Rechteverwaltung. Den gewünschten Umfang musst du mit den verfügbaren Einstellungen und der tatsächlichen Anbindung abgleichen. Unklare Angaben gehören als offene Punkte in deine Bewertung.

Kannst du das Ergebnis nachvollziehen und korrigieren?

Bei unserem Wochenstatus möchtest du erkennen, welche Notiz hinter einer Aussage steht. Dafür können Verweise auf die verwendeten Textstellen helfen. Prüfe diese Verweise: Ein genannter Beleg ist erst dann nützlich, wenn er die Aussage tatsächlich trägt.

Wenn das Werkzeug darüber hinaus Aktionen ausführt, brauchst du Einblick in diese Aktionen. Was wurde geändert? Welche Version lag vorher vor? Wie lässt sich eine fehlerhafte Änderung zurücknehmen? Ein nachträglicher Tätigkeitsbericht kann bei der Orientierung helfen, die tatsächlichen Ergebnisse musst du trotzdem ansehen.

Probiere im Test auch eine Korrektur aus. Ändere etwa die fehlenden Rückmeldungen von zwei auf eine. Wird der Status passend neu erstellt? Bleibt die offene Freigabe weiterhin offen? An dieser kleinen Änderung siehst du, ob sich das Werkzeug für wiederholtes Arbeiten eignet.

Für ein neues Produkt ist eine überschaubare Aufgabe mit gut sichtbarem Ergebnis deshalb besonders hilfreich. Du sammelst konkrete Beobachtungen, bevor du mehrere Programme und schwer rückgängig zu machende Aktionen miteinander verbindest.

Wie viel Aufwand bleibt bis zum brauchbaren Ergebnis?

Die Zeit bis zur ersten Ausgabe ist nur ein Teil des Versuchs. Du bereitest Notizen vor, formulierst den Auftrag, liest den Entwurf, korrigierst ihn und übernimmst das Ergebnis in deine Arbeit. Halte diesen gesamten Weg fest.

Dazu kommen die jeweils aktuellen Kosten und Nutzungsgrenzen des Werkzeugs. Für einen Vergleich brauchst du den passenden Tarif und deinen konkreten Ablauf. Eine günstige Einzelanfrage kann wenig bedeuten, wenn regelmäßig mehrere Versuche und viel Nacharbeit erforderlich sind.

Notiere am Ende eine kleine Entscheidung: für diese Aufgabe geeignet, mit benannten offenen Punkten erneut prüfen oder vorerst beim bisherigen Vorgehen bleiben. Du musst daraus kein allgemeines Urteil über das Produkt machen. Ein Werkzeug kann für deine kurzen Wochenberichte gut passen und für andere Aufgaben ungeeignet sein.

• Die Aufgabe und das gewünschte Ergebnis sind in einem Satz beschrieben.
• Erwartete Inhalte und wichtige Fehlerfälle stehen vor dem Versuch fest.
• Datenverarbeitung und benötigte Zugriffe sind für den vorgesehenen Einsatz geklärt.
• Ergebnisse und Änderungen lassen sich prüfen und nötigenfalls korrigieren.
• Die Bewertung berücksichtigt Vorbereitung, Nacharbeit und aktuelle Nutzungskosten.

So bleibt dein Urteil auch bei neuen Werkzeugen brauchbar.

Welche einzelne Anwendung in einem Jahr vorn liegt, lässt sich heute nicht sicher sagen. Für die eigene Arbeit hilft es, Fähigkeiten und Kontrollmöglichkeiten konkret zu beobachten: Wird eine bisher schwierige Aufgabe lösbar? Werden Ergebnisse verlässlicher? Werden Datenwege und Eingriffe besser nachvollziehbar?

Das sind Prüffragen für künftige Entwicklungen, keine Zusage über kommende Produkte. Wenn eine neue Funktion erscheint, kannst du deinen kleinen Versuch wiederholen und an deinen bisherigen Beobachtungen messen.

Mit einem eigenen Assistenten für eine begrenzte Aufgabe lässt sich diese Arbeitsweise gut üben. Im Assistenten-Workshop stehen dafür Anweisungen, Beispieldaten und die Prüfung der Antworten im Mittelpunkt. Für eine spätere Werkzeugauswahl nimmst du vor allem eines mit: einen eigenen Maßstab dafür, was dir tatsächlich hilft.