Prompt API

Eingeschränkt verfügbar

Diese Funktion ist nicht Baseline, da sie in einigen der am weitesten verbreiteten Browser nicht funktioniert.

Experimentell: Dies ist eine experimentelle Technologie
Überprüfen Sie die Browser-Kompatibilitätstabelle sorgfältig vor der Verwendung auf produktiven Webseiten.

Sicherer Kontext: Diese Funktion ist nur in sicheren Kontexten (HTTPS) in einigen oder allen unterstützenden Browsern verfügbar.

Warnung: Diese Funktion wird derzeit von zwei Browseranbietern abgelehnt. Siehe den Abschnitt Standards Positionen unten für Details zur Ablehnung.

Die Prompt-API ermöglicht es Webseiten, direkt über eine JavaScript-Schnittstelle ein Sprachmodell, das vom Benutzeragenten bereitgestellt wird, aufzurufen, ohne dass implementationsspezifische Details des verwendeten KI-Modells verwaltet werden müssen.

Konzepte und Nutzung

Die Verwendung von KI-Prompts zur Informationsbereitstellung ist im Web sehr verbreitet, mit Beispielen wie schnellen Informationsabfragen, Code- und Inhaltserstellung, Chatbots zur Bereitstellung von Kundenservices, Bildidentifikation und -beschreibung, Audiotranskription und mehr.

Die Prompt-API bietet einen asynchronen (Promise-basierten) Mechanismus für eine Website, um das interne KI-Modell des Browsers abzufragen. Ein Modell auf dem Gerät ist nützlich und effizient, da sensible Daten auf dem Gerät des Benutzers bleiben können, das Modell offline verfügbar ist und Entwickler die Kosten und Latenzen von API-Aufrufen an externe Dienste vermeiden können. Die API abstrahiert modellspezifische Details wie Tokenisierung und Templating, sodass Entwickler sich nicht mit diesen Unterschieden zwischen verschiedenen Implementierungen beschäftigen müssen.

Alle Interaktionen mit dem Sprachmodell erfolgen über eine LanguageModel-Sitzung. Sie können diese Sitzung nutzen, um Kontext für das Modell bereitzustellen, z.B. durch Dokumente, Hintergrundinformationen oder Gesprächsverläufe, und es auffordern, auf spezifische Fragen zu antworten.

Bevor Sie eine Sitzung erstellen, können Sie die statische Methode LanguageModel.availability() aufrufen, um festzustellen, ob das Sprachmodell eine bestimmte Konfiguration auf dem aktuellen Gerät unterstützt. Dies ermöglicht es Seiten, sich anmutig anzupassen, wenn Daten für die gewünschte Konfiguration nicht bereitgestellt oder heruntergeladen werden können. Zum Beispiel könnten Sie einen Download-Dialog anzeigen oder auf einen cloudbasierten KI-Dienst zurückgreifen, anstatt eine Sitzung zu erstellen, die dann scheitert.

Eine Sitzung wird durch Aufrufen der statischen Methode create() erstellt. Sobald Sie eine Sitzung haben, können Sie append() aufrufen, um Inhalte vorzuladen, ohne eine Antwort zu erzeugen, und prompt() oder promptStreaming(), um Text- oder multimodale Eingaben zu senden und die Antwort zu erhalten.

Sie können ausstehende Operationen wie create(), prompt() und append() mit einem AbortController abbrechen.

Nachdem eine LanguageModel-Instanz erstellt wurde, können Sie ihre zugewiesenen Ressourcen freigeben und jede weitere Aktivität stoppen, indem Sie ihre Methode LanguageModel.destroy() aufrufen. Es wird empfohlen, dies zu tun, nachdem Sie das Objekt nicht mehr benötigen, da es viele Ressourcen verbrauchen kann.

Um loszulegen, schauen Sie sich Verwendung der Prompt-API für eine Einführung in die Grundlagen an.

Schnittstellen

CreateMonitor: Bietet Informationen über den Fortschritt eines KI-Modell-Downloads, z.B. eines Sprachpakets oder einiger Feinabstimmungsdaten.
LanguageModel: Stellt eine Sitzung mit einem vom Browser bereitgestellten Sprachmodell dar. Bietet statische Methoden zum Erstellen von Sitzungen und Überprüfen der Verfügbarkeit sowie Instanzmethoden zum Abfragen des Modells, Verwalten des Kontexts, Klonen von Sitzungen usw.

HTTP-Header

Permissions-Policy; die language-model-Direktive: Steuert den Zugriff auf die Prompt-Funktionalität. Wenn eine Richtlinie die Nutzung speziell untersagt, wird die statische Methode LanguageModel.availability() unavailable zurückgeben, und alle Versuche, andere LanguageModel-Methoden aufzurufen, scheitern mit einem NotAllowedError-DOMException.