Hubungkan model Anda sendiri
Tambahkan API key Anda sendiri atau server inferensi internal (vLLM, Ollama, dan lainnya) ke daftar model Keural.
Di aplikasi desktop, hubungkan server yang kompatibel dengan OpenAI atau Anthropic di Pengaturan → Model → Gateway. Setelah terhubung, model dari server tersebut dapat dipilih pada grup Gateway di menu model kotak input.
Cara menghubungkan
- Klik Hubungkan gateway.
- Pilih preset (vLLM, Ollama, OpenAI, Anthropic, dan lainnya) lalu masukkan nama. Jika memilih input manual, koneksi dibuat sebagai kompatibel dengan OpenAI.
- Masukkan Base URL sesuai panduan penyedia. Jangan menambahkan jalur endpoint API (API Endpoint) di belakangnya.
- Masukkan API key. Untuk server lokal atau jaringan internal tanpa autentikasi, biarkan kosong.
- Klik Periksa koneksi untuk memuat daftar model. Pilih model yang Anda inginkan lalu klik Tambah.
Lokasi penyimpanan
Lokasi penyimpanan ditentukan oleh alamat. Alamat https publik disimpan di akun dan dapat digunakan di perangkat lain dengan akun yang sama. Alamat localhost atau jaringan internal hanya disimpan di komputer ini dan diberi label Hanya disimpan di perangkat ini.
API key tidak ditampilkan lagi setelah disimpan.
Penagihan
Biaya model yang terhubung dengan API key Anda ditagihkan oleh penyedia tersebut dan tidak termasuk dalam penggunaan Keural.
Model di server yang terhubung mengikuti kebijakan server tersebut. Untuk digunakan di organisasi, pastikan terlebih dahulu bahwa server sesuai dengan kebijakan keamanan internal.