Kết nối thiết bị Spark
Sử dụng các thiết bị Spark lớp DGX và RTX tại văn phòng làm máy chủ suy luận AI cho nhóm.
Spark là thiết bị GPU đặt tại văn phòng. Ứng dụng máy tính Keural kết nối với Spark, cài đặt mô hình và dùng thiết bị làm máy chủ suy luận dùng chung cho nhóm. NVIDIA DGX Spark và các thiết bị Linux ARM64 khác kết nối như máy chủ trên cùng mạng. PC Spark lớp RTX dùng mô hình cục bộ trong ứng dụng máy tính của chính PC đó.
Tìm thiết bị
Mở Cài đặt → Máy chủ, ứng dụng sẽ tự động tìm các thiết bị Spark trên cùng mạng. Nếu kết nối bị gián đoạn, ứng dụng tự động kết nối lại.
Kiểm tra thiết bị và cài đặt mô hình
Khi đã kết nối, ứng dụng kiểm tra GPU, bộ nhớ và đĩa, rồi đề xuất mô hình phù hợp. Chọn vLLM hoặc llama.cpp làm công cụ suy luận. Mô hình và công cụ do ứng dụng cài đặt.
Bắt đầu sử dụng
Các mô hình chạy trên Spark hiển thị trong nhóm Từ xa của menu mô hình trong ô nhập liệu. Kiểm tra trạng thái mô hình trong nhóm Từ xa của Cài đặt → Mô hình.
Spark Drive
Khi chọn Remote (Spark đã kết nối) làm vị trí lưu cho Drive, tệp sẽ được lưu trên Spark đã kết nối thay vì đám mây. Tệp vẫn nằm trong văn phòng và bạn có thể đặt câu hỏi về tệp theo cách tương tự. Nếu dùng mô hình đám mây trong cuộc trò chuyện, câu hỏi và nội dung tài liệu tham chiếu sẽ được gửi đến mô hình đó. Để không gửi tài liệu ra ngoài, hãy chọn mô hình Spark.
Yêu cầu
- Ứng dụng máy tính Keural (macOS hoặc Windows), đã đăng nhập
- Một thiết bị Spark trên cùng mạng với ứng dụng
- Trên macOS, cần cho phép Quyền mạng cục bộ ở lần kết nối đầu tiên.