Kết nối mô hình của riêng bạn
Thêm khóa API của riêng bạn hoặc máy chủ suy luận nội bộ (vLLM, Ollama và các loại khác) vào danh sách mô hình của Keural.
Trong ứng dụng máy tính, vào Cài đặt → Mô hình → Gateway để kết nối máy chủ tương thích OpenAI hoặc tương thích Anthropic. Sau đó, chọn mô hình của máy chủ đó trong nhóm Gateway của menu mô hình ở ô nhập liệu.
Cách kết nối
- Nhấp Kết nối gateway.
- Chọn mẫu có sẵn (vLLM, Ollama, OpenAI, Anthropic, v.v.) và nhập tên. Nếu chọn nhập trực tiếp, kết nối sẽ được thiết lập theo chuẩn tương thích OpenAI.
- Nhập Base URL theo hướng dẫn của nhà cung cấp mô hình. Không thêm đường dẫn API endpoint (API Endpoint) vào sau.
- Nhập API key. Với máy chủ cục bộ hoặc máy chủ nội bộ không yêu cầu xác thực, hãy để trống.
- Nhấp Kiểm tra kết nối để tải danh sách mô hình. Chọn mô hình bạn muốn và nhấp Thêm.
Nơi lưu
Nơi lưu được xác định theo địa chỉ, không cần chọn thủ công. Địa chỉ https công khai được lưu vào tài khoản của bạn nên dùng được trên các thiết bị khác đã đăng nhập cùng tài khoản. Địa chỉ localhost hoặc địa chỉ mạng nội bộ chỉ được lưu trên máy tính này và hiển thị nhãn Chỉ lưu trên thiết bị này.
API key không được hiển thị lại sau khi bạn lưu.
Thanh toán
Phí sử dụng các mô hình kết nối bằng API key của riêng bạn do nhà cung cấp tương ứng thu, và không được tính vào mức sử dụng Keural của bạn.
Các mô hình trên máy chủ đã kết nối tuân theo chính sách của máy chủ đó. Nếu muốn dùng trong tổ chức, hãy xác nhận trước rằng máy chủ đáp ứng chính sách bảo mật nội bộ.