เชื่อมต่ออุปกรณ์ Spark
ใช้อุปกรณ์ Spark ระดับ DGX และ RTX ในสำนักงานเป็นเซิร์ฟเวอร์อนุมาน AI ของทีม
Spark คืออุปกรณ์ GPU ที่ตั้งไว้ในสำนักงาน ใช้แอปเดสก์ท็อปเชื่อมต่อ Spark ติดตั้งโมเดล และใช้เป็นเซิร์ฟเวอร์อนุมานร่วมของทีม NVIDIA DGX Spark และอุปกรณ์ Linux ARM64 อื่นเชื่อมต่อเป็นเซิร์ฟเวอร์ในเครือข่ายเดียวกัน ส่วน Spark แบบพีซี RTX ใช้งานโมเดลในเครื่องผ่านแอปเดสก์ท็อปของพีซีเครื่องนั้น
ค้นหาอุปกรณ์
เปิด การตั้งค่า → Servers แอปจะค้นหาอุปกรณ์ Spark ในเครือข่ายเดียวกันโดยอัตโนมัติ เมื่อการเชื่อมต่อขาดหาย แอปจะเชื่อมต่อใหม่โดยอัตโนมัติ
ตรวจสอบอุปกรณ์และติดตั้งโมเดล
เมื่อเชื่อมต่อแล้ว แอปจะตรวจสอบ GPU หน่วยความจำ และดิสก์ และแนะนำโมเดลที่เหมาะสม เลือกเอนจินอนุมานเป็น vLLM หรือ llama.cpp โดยแอปจะติดตั้งทั้งโมเดลและเอนจินให้
เริ่มใช้งาน
โมเดลที่รันบน Spark จะแสดงในกลุ่ม ระยะไกล ของเมนูโมเดลในช่องป้อนข้อความ ตรวจสอบสถานะโมเดลได้ในกลุ่ม ระยะไกล ที่ การตั้งค่า → โมเดล
Spark Drive
หากเลือก ระยะไกล (Spark ที่เชื่อมต่ออยู่) เป็นตำแหน่งจัดเก็บไดรฟ์ ไฟล์จะถูกบันทึกไว้ใน Spark ที่เชื่อมต่ออยู่แทนคลาวด์ และสามารถถามคำถามได้เหมือนเดิม หากใช้โมเดลบนคลาวด์ในการสนทนา คำถามและเนื้อหาที่อ้างอิงจะถูกส่งไปยังโมเดลนั้น หากไม่ต้องการให้เอกสารออกจากสำนักงาน ให้เลือกโมเดล Spark
ข้อกำหนด
- แอปเดสก์ท็อป Keural (macOS หรือ Windows) ที่เข้าสู่ระบบแล้ว
- อุปกรณ์ Spark ที่อยู่ในเครือข่ายเดียวกับแอป
- บน macOS ต้องอนุญาตสิทธิ์ เครือข่ายเฉพาะที่ ในการเชื่อมต่อครั้งแรก