Chuyển đến nội dung chính

Documentation Index

Fetch the complete documentation index at: https://docs-agents.fpt.ai/llms.txt

Use this file to discover all available pages before exploring further.

Mục đích sử dụng: Sử dụng LLM để xử lý thông tin như phân loại, đưa ra câu trả lời. Thực hiện cài đặt các thông tin:
  • Mô hình LLM dùng để đưa ra kết quả và các tham số của mô hình (nếu có nhu cầu).
  • Biến ngữ cảnh dùng làm đầu vào cho LLM.
  • Hướng dẫn cho LLM: Mô tả bằng ngôn ngữ tự nhiên (giao diện hiển thị tùy thuộc vào chế độ của mô hình) 
  • Lựa chọn trả ra kết quả JSON (Json Output). Nếu chọn Đầu ra Json thì phần biến xuất ra sẽ thêm trường json array[object].
  • Lựa chọn sử dụng bộ nhớ (memory).
Image186

​
Cấu hình mô hình LLM

STTTên tham sốÝ nghĩaLưu ý
1TemperatureĐiều chỉnh độ “ngẫu nhiên” của kết quảNếu Temperature gần 0, mô hình sẽ cho ra kết quả chắc chắn, ổn định và ít sáng tạo. Trong thực tế, thường cài đặt Temperature thấp
2Top PKiểm soát sự đa dạng. Mô hình lấy nhóm từ có tổng xác suất đạt đến mức P nhất định rồi chọn ngẫu nhiên trong nhóm đóTop P thấp thì mô hình chọn từ cẩn trọng hơn và ít đa dạng hơn
3Presence PenaltyGiảm lặp lại cùng một ý hoặc cùng thực thểPresence Penalty càng cao thì mô hình càng không lặp ý
4Frequency PenaltyGiảm việc lặp từ/cụm từ quá nhiều lần trong nội dungFrequency Penalty cao → câu trả lời dùng từ vựng đa dạng hơn
5Max tokenSố token tối đa sử dụng để tạo kết quả
Image187

​
Hướng dẫn cho LLM

Chọn mô hình mong muốn, phần cấu hình theo tương thích với chế độ hoạt động của mô hình đó. Chế độ này được cấu hình tại màn hình Quản lý Mô Hình (trường Chế độ Completion). Image (10)
  • Mô hình là Completion mode: Cấu hình toàn bộ prompt trong Lời nhắc.
Image (11)
  • Mô hình là Chat mode: Chia thành các mục:
    • System message: Xác định vai trò của AI, mục tiêu và các quy tắc trả lời (tone, format, giới hạn). Nội dung này giúp kiểm soát cách AI phản hồi một cách nhất quán.
    • User message: Chứa yêu cầu, câu hỏi hoặc thông tin đầu vào từ người dùng. (không bắt buộc)
    • Assistant Message: Lưu lại các phản hồi trước đó của AI trong hội thoại. Dùng để duy trì ngữ cảnh và giúp AI trả lời phù hợp ở các lượt tiếp theo (không bắt buộc), chỉ sử dụng khi cần mô phỏng hoặc kiểm soát thủ công lịch sử hội thoại.
Khi thêm mới một khối LLM, mặc định có System message. User message hoặc Assistant message được thêm bằng cách nhấn +Thêm tin nhắn. Image (12) Image (13)
Những khối LLM cũ (tạo trước ngày 31/3/2026) cho phép chuyển giữa 2 chế độ.
Image (14)

​
Tham số Thinking mode

Thinking Mode cho phép model thực hiện lập luận nội bộ (reasoning) trước khi trả lời. Tính năng này chỉ khả dụng trên các model hỗ trợ reasoning. Cấu hình Thinking Support tại Quản lý Mô Hình Trong form chỉnh sửa model (dạng OpenAI-API-Compatible), trường Hỗ trợ chế độ tư duy cho phép chọn một trong ba giá trị:
Giá trịÝ nghĩa
Only non-thinking modeModel chỉ chạy luồng thông thường, không có reasoning. (Mặc định khi tạo mới)
Only thinking modeModel luôn thực hiện reasoning. Người dùng không cần cấu hình thêm tại Node.
Both modesModel hỗ trợ cả hai chế độ. Người dùng tự bật/tắt Thinking mode tại Node LLM.
Image (15)
Giá trị mặc định khi tạo mới model là Only non-thinking mode. Chỉ chọn Both modes khi model thực sự hỗ trợ reasoning ở cả hai chế độ.
Tham số Thinking mode tại Node LLM Khi chọn model trong Task, tham số Thinking mode xuất hiện hoặc ẩn tùy theo cấu hình model:
Cấu hình modelHiển thị tại NodeHành vi
Only non-thinking modeẨnLuôn chạy luồng thông thường.
Only thinking modeẨnLuôn chạy reasoning. Không cần người dùng thao tác.
Both modesHiển thị toggle Bật/Tắt (mặc định: Tắt)Người dùng tự quyết định bật/tắt reasoning.
Image (16) Enable Reasoning Tag Separation Khi Thinking mode đang BẬT (hoặc model cấu hình là Only thinking mode), tùy chọn bổ sung xuất hiện bên dưới mục MEMORY: Image (17)
Bật Enable Reasoning Tag Separation khi bạn muốn xử lý riêng phần reasoning của model, ví dụ: log lại nội dung suy luận hoặc hiển thị bước suy nghĩ cho người dùng cuối.
Biến xuất ra của Node LLM khi dùng Thinking Mode Khi Thinking mode được kích hoạt, Node LLM trả về thêm biến reasoning_content trong mục BIẾN XUẤT RA:
  • text – Nội dung câu trả lời chính.
  • reasoning_content – Nội dung lập luận của model (có giá trị khi Enable Reasoning Tag Separation = ON; bằng null khi OFF).
Biến reasoning_content có thể được sử dụng trong các bước tiếp theo của Task để kiểm tra logic suy luận hoặc ghi log. Nếu không cần, để mặc định OFF.

​
Lựa chọn sử dụng bộ nhớ (memory)

  • Nếu chọn Bộ nhớ, LLM sẽ kết hợp ngữ cảnh để đưa ra kết quả.
  • Kích thước cửa sổ: Số lượt chat cần nhớ ngữ cảnh bao gồm cả lượt trả lời của AI Agent, mặc định là 50 lượt.
  • Tên vai trò cuộc trò chuyện: Xác định vai trò trong cuộc trò chuyện.
    • Tiền tố người dùng: Vai trò của đối tượng tương tác với AI Agent (ví dụ: khách hàng).
    • Tiền tố trợ lý: Vai trò của AI Agent (ví dụ: chăm sóc khách hàng).
Picture