Eigene Modelle verbinden
Fügen Sie Ihren eigenen API-Schlüssel oder einen internen Inferenzserver (vLLM, Ollama und andere) zur Modellliste von Keural hinzu.
In der Desktop-App verbinden Sie unter Einstellungen → Modelle → Gateway einen mit OpenAI oder Anthropic kompatiblen Server. Danach können Sie die Modelle dieses Servers im Modellmenü des Eingabefelds im Bereich Gateway auswählen.
Verbindung herstellen
- Klicken Sie auf Gateway verbinden.
- Wählen Sie eine Vorlage (vLLM, Ollama, OpenAI, Anthropic und andere) und geben Sie einen Namen ein. Bei manueller Eingabe wird die Verbindung als OpenAI-kompatibel hergestellt.
- Geben Sie die Basis-URL gemäß den Angaben des Modellanbieters ein. Hängen Sie keinen API-Endpunkt (API Endpoint) an.
- Geben Sie den API-Schlüssel ein. Bei lokalen Servern oder Servern im internen Netzwerk ohne Authentifizierung lassen Sie das Feld leer.
- Klicken Sie auf Verbindung prüfen, um die Modellliste des Servers zu laden. Wählen Sie das gewünschte Modell und klicken Sie auf Hinzufügen.
Wo es gespeichert wird
Den Speicherort wählen Sie nicht selbst. Er richtet sich nach der Adresse. Öffentliche https-Adressen werden im Konto gespeichert und sind auf anderen Geräten mit demselben Konto nutzbar. localhost-Adressen und Adressen im internen Netzwerk werden nur auf diesem Computer gespeichert und mit Nur auf diesem Gerät gespeichert gekennzeichnet.
Der API-Schlüssel wird nach dem Speichern nicht erneut angezeigt.
Abrechnung
Die Nutzungsgebühren für Modelle, die Sie mit Ihrem eigenen API-Schlüssel verbinden, berechnet der jeweilige Anbieter. Sie sind nicht in Ihrer Keural-Nutzung enthalten.
Modelle auf einem verbundenen Server unterliegen den Richtlinien dieses Servers. Prüfen Sie vor dem Einsatz in einer Organisation, ob der Server der internen Sicherheitsrichtlinie entspricht.