Chuyển đến nội dung chính

Documentation Index

Fetch the complete documentation index at: https://docs-agents.fpt.ai/llms.txt

Use this file to discover all available pages before exploring further.

Chỉ Quản trị viên không gian làm việc (Tenant Admin) mới có quyền tạo và quản lý mô hình LLM mới.
Bước 1. Vào mục “Quản lý mô hình” tại cấp Workspace. Tại trang này, hệ thống hiển thị 2 thẻ:
  • Mô hình tùy chỉnh: Cho phép cấu hình và quản lý mô hình do Tenant Admin tự tạo.
  • Mô hình tích hợp sẵn: Danh sách các mô hình mặc định có sẵn được FPT AI cung cấp.
Bước 2. Chọn thẻ Mô hình tùy chỉnh, sau đó nhấn nút “Thêm mô hình”. Hệ thống sẽ hiển thị hộp thoại yêu cầu chọn nhà cung cấp. FPT AI Agents hiện hỗ trợ 2 nhà cung cấp mô hình:
  • FPT AI Marketplace: Các mô hình đang được lưu trữ trên FPT AI Marketplace (https://marketplace.fptcloud.com/vi).
  • OpenAI-API-Compatible: Các mô hình có tương thích với chuẩn API của OpenAI như LM Studio hoặc vLLM.
Image545 Bước 3. Nhập các thông tin cần thiết, sau đó nhấn “Tạo” để lưu. Với mô hình do FPT AI Marketplace cung cấp:
  • Chọn mô hình trong danh sách. Sau khi chọn, trường thông tin API Key sẽ được hiển thị để nhập.
  • API Key: Nhập API Key do nhà cung cấp mô hình cấp. Thông tin này sẽ được hệ thống tự động mã hóa sau khi nhập. Truy cập https://marketplace.fptcloud.com/en để lấy API Key.
Image546 Với mô hình OpenAI-API-Compatible:
Trường thông tinMô tảMặc định
Tên mô hìnhTên chuẩn của mô hình, khuyến nghị dùng đúng tên do nhà cung cấp đưa ra
API KeyAPI Key do nhà cung cấp cấp, tự động mã hóa sau khi nhập
API EndpointĐịa chỉ kết nối (url endpoint) do nhà cung cấp đưa ra
Chế độ CompletionChế độ hoạt động của mô hình: Chat hoặc Completion
Độ dài ngữ cảnh (Context length)Tổng số token tối đa mô hình có thể xử lý trong 1 request (input + output)8192
Số token đầu ra tối đa (Max output token)Số token tối đa mà mô hình được phép sinh ra8192
Gọi hàm (Function Calling)Loại gọi hàm: Function call, Tool call, Not supportedNot supported
Hỗ trợ streamingCó cho phép trả về dữ liệu dạng streaming hay khôngUse
Hỗ trợ thị giác (Vision support)Có hỗ trợ xử lý hình ảnh khôngNot supported
Hỗ trợ tư duy (Thinking Support)Mô hình có hỗ trợ chế độ reasoning mở rộng hay khôngNot supported
Đầu ra có cấu trúc (Structured Output)Mô hình có hỗ trợ structured output (schema JSON) hay khôngNot supported
Image547 Sau khi tạo mới, mô hình sẽ xuất hiện trong Danh sách mô hình tùy chỉnh đã cấu hình.
  • Tenant Admin có thể bật/tắt mô hình để lựa chọn sử dụng trong các chức năng Nhiệm vụ hoặc Kiểm soát chất lượng. Nếu mô hình bị tắt, mô hình sẽ không hiển thị trong danh sách mô hình được phép lựa chọn tại hai tính năng này.
  • Có thể tìm kiếm theo tên mô hình hoặc lọc theo trạng thái Đang hoạt động (Bật) hoặc Dừng hoạt động (Tắt) để dễ dàng quản lý.