Prompt API

Eingeschränkt verfügbar

Diese Funktion ist nicht Baseline, da sie in einigen der am weitesten verbreiteten Browser nicht funktioniert.

Sicherer Kontext: Diese Funktion ist nur in sicheren Kontexten (HTTPS) in einigen oder allen unterstützenden Browsern verfügbar.

Warnung: Diese Funktion wird derzeit von zwei Browser-Anbietern abgelehnt. Siehe den Abschnitt Standards-Positionen unten für Details zur Ablehnung.

Die Prompt-API ermöglicht es Webseiten, ein Sprachmodell, das vom User-Agent bereitgestellt wird, direkt über eine JavaScript-Schnittstelle anzusprechen, ohne dass implementierungsspezifische Details des verwendeten KI-Modells verwaltet werden müssen.

Konzepte und Nutzung

Die Verwendung von KI-Prompts zur Informationsrückgabe ist im Web sehr verbreitet. Beispiele hierfür sind schnelle Informationssuche, Code- und Inhaltserstellung, Chatbots zur Bereitstellung von Kundendienstfunktionen, Bilderkennung und -beschreibung, Audiotranskription und mehr.

Die Prompt-API bietet einen asynchronen (Promise-basierten) Mechanismus, mit dem eine Website das interne KI-Modell des Browsers ansprechen kann. Ein Modell auf dem Gerät ist nützlich und effizient, weil sensible Daten auf dem Gerät des Nutzers bleiben können, das Modell offline verfügbar ist und Entwickler die Kosten und die Latenz von API-Aufrufen an externe Dienste vermeiden können. Die API abstrahiert modellspezifische Details wie Tokenisierung und Templating, sodass Entwickler diese Unterschiede bei verschiedenen Implementierungen nicht handhaben müssen.

Die gesamte Interaktion mit dem Sprachmodell erfolgt über eine LanguageModel-Sitzung. Sie können diese Sitzung verwenden, um den Kontext für das Modell anzugeben, zum Beispiel durch Bereitstellung von Dokumenten, Hintergrundinformationen oder Gesprächsverläufen, und es zu auffordern, auf spezifische Fragen zu antworten.

Bevor Sie eine Sitzung erstellen, können Sie die statische Methode LanguageModel.availability() aufrufen, um festzustellen, ob das Sprachmodell eine bestimmte Konfiguration auf dem aktuellen Gerät unterstützt. Dies ermöglicht es Seiten, sich anmutig anzupassen, falls die Daten für die gewünschte Konfiguration nicht bereitgestellt oder heruntergeladen werden können. Zum Beispiel könnten Sie eine Download-Aufforderung anzeigen oder auf einen cloudbasierten KI-Dienst zurückgreifen, anstatt eine Sitzung zu erstellen, die dann fehlschlägt.

Eine Sitzung wird durch Aufruf der statischen Methode create() erstellt. Sobald Sie eine Sitzung haben, können Sie append() aufrufen, um Inhalte in die Sitzung vorzubereiten, ohne eine Antwort zu generieren, und prompt() oder promptStreaming(), um Text oder multimodalen Input zu senden und die Antwort zu erhalten.

Sie können ausstehende Operationen wie create(), prompt() und append() mit einem AbortController abbrechen.

Nachdem eine LanguageModel-Instanz erstellt wurde, können Sie ihre zugewiesenen Ressourcen freigeben und jede weitere Aktivität stoppen, indem Sie ihre Methode LanguageModel.destroy() aufrufen. Es wird empfohlen, dies zu tun, nachdem Sie das Objekt nicht mehr benötigen, da es viele Ressourcen verbrauchen kann.

Um loszulegen, schauen Sie sich die Verwendung der Prompt-API für eine Einführung in die Grundlagen an.

Schnittstellen

CreateMonitor: Bietet Informationen über den Fortschritt eines KI-Modell-Downloads, beispielsweise eines Sprachpakets oder einiger Feinabstimmungsdaten.
LanguageModel: Repräsentiert eine Sitzung mit einem vom Browser bereitgestellten Sprachmodell. Bietet statische Methoden zur Erstellung von Sitzungen und zur Überprüfung der Verfügbarkeit sowie Instanzmethoden für das Ansprechen des Modells, die Verwaltung von Kontexten, das Klonen von Sitzungen usw.

HTTP-Header

Permissions-Policy; die language-model-Direktive: Kontrolliert den Zugriff auf die Prompt-Funktionalität. Wo eine Richtlinie die Nutzung speziell untersagt, wird die statische Methode LanguageModel.availability() unavailable zurückgeben, und jeder Versuch, andere LanguageModel-Methoden aufzurufen, wird mit einem NotAllowedError DOMException fehlschlagen.