1. Giới thiệu

Không có một thước đo nào có thể phản ánh toàn bộ hiệu suất của mô hình ngôn ngữ lớn (LLM). Tùy vào mục tiêu sử dụng — sinh văn bản, trả lời câu hỏi, tóm tắt tài liệu, hay hỗ trợ hội thoại — nhóm kỹ thuật sẽ cần lựa chọn tập thước đo riêng phù hợp với ứng dụng cụ thể.

Điều quan trọng là chọn những chỉ số thực sự liên quan đến mục tiêu cốt lõi. Việc thu thập quá nhiều thông tin chỉ khiến kết quả trở nên rối và khó ra quyết định chính xác.

Bài viết này tổng hợp các nhóm thước đo phổ biến nhất trong đánh giá LLM, bao gồm:

• Thước đo thống kê & quy tắc (Statistical & Heuristic Metrics)
• Thước đo dựa trên LLM (LLM-as-a-Judge Metrics)
• Thước đo cho hệ thống RAG (Retrieval-Augmented Generation Metrics)

2. Thước đo thống kê & quy tắc (Statistical & Heuristic Metrics)

Đây là nhóm thước đo “kinh điển” nhất, dựa trên các công thức cố định hoặc quy tắc định lượng để so sánh đầu ra của mô hình với dữ liệu tham chiếu.

✅ Ưu điểm: nhanh, dễ tính toán, dễ tích hợp vào pipeline CI/CD.
❌ Hạn chế: chỉ đo lường đặc trưng bề mặt của văn bản (như độ trùng n-gram, độ dài, từ khóa…), không hiểu được ngữ nghĩa, suy luận hoặc sáng tạo.

Do đó, nhóm chỉ số này nên được sử dụng kết hợp với các phương pháp khác để có đánh giá toàn diện hơn.

Các thước đo phổ biến

Metric	Mô tả	Ứng dụng điển hình
ROUGE	Đo mức độ trùng khớp giữa văn bản sinh ra và bản tham chiếu dựa trên n-gram (chuỗi từ). Tập trung vào khả năng bao phủ nội dung.	Tóm tắt văn bản, kiểm tra độ đầy đủ thông tin.
BERTScore	Dùng embedding của BERT để so sánh độ tương đồng ngữ nghĩa giữa hai văn bản, không phụ thuộc vào từ ngữ chính xác.	Đánh giá paraphrase, tóm tắt trừu tượng, sinh ngôn ngữ tự nhiên.
BLEURT	Mô hình transformer tinh chỉnh để mô phỏng cách con người chấm điểm chất lượng văn bản sinh ra.	Sinh hội thoại, Q&A, đánh giá độ tự nhiên.
BLEU	Đo độ trùng n-gram giữa kết quả và bản tham chiếu. Phù hợp khi cần độ chính xác từ ngữ cao.	Dịch máy, benchmark sinh văn bản cổ điển.
METEOR	Cải tiến BLEU bằng cách xét thêm gốc từ, từ đồng nghĩa và paraphrase.	Dịch máy, tóm tắt, paraphrase linh hoạt.
Levenshtein Distance	Đo số lượng chỉnh sửa ký tự (chèn/xóa/thay) để biến chuỗi A thành chuỗi B.	So sánh ký tự, kiểm lỗi chính tả, chuẩn hóa văn bản.
Perplexity	Đo độ “bối rối” của mô hình khi dự đoán chuỗi; càng thấp → mô hình càng tự tin, văn bản càng trôi chảy.	Đánh giá trong huấn luyện, so sánh mô hình ngôn ngữ.

Các chỉ số này hữu ích cho đánh giá tự động, nhưng không nên dùng độc lập — hãy kết hợp chúng với các thước đo ngữ nghĩa hoặc đánh giá của con người để có bức tranh chính xác hơn.

3. Thước đo dựa trên LLM (LLM-as-a-Judge Metrics)

Thay vì dùng quy tắc cứng, nhóm thước đo này dùng chính một mô hình LLM khác làm “giám khảo”, đánh giá đầu ra của mô hình mục tiêu.

Điểm mạnh của phương pháp này là khả năng hiểu ngữ cảnh, logic và sắc thái ngôn ngữ — điều mà các chỉ số thống kê không làm được.

Ví dụ, bạn có thể nhờ “LLM giám khảo” chấm điểm độ chính xác thực tế, giọng điệu, tính nhất quán, hoặc thậm chí phân tích cảm xúc.
Một số tổ chức còn thiết lập “jury of LLMs” – hội đồng nhiều mô hình cùng đánh giá và tổng hợp kết quả để giảm sai lệch.

Ưu và nhược điểm

✅ Ưu điểm	❌ Hạn chế
Hiểu ngữ cảnh và logic tốt hơn các chỉ số thống kê.	Cần thiết kế prompt cẩn thận, sai prompt = sai kết quả.
Có thể đánh giá nhiều tiêu chí linh hoạt, không cần dữ liệu tham chiếu.	Tốn chi phí và thời gian xử lý (latency, token cost).
Dễ mở rộng quy mô, có thể cập nhật bằng cách chỉnh prompt.	Có thể mang định kiến (bias) hoặc thiếu nhất quán giữa lần chạy.

Các phương pháp nổi bật

Metric	Mô tả
G-Eval	Phương pháp đánh giá linh hoạt sử dụng Chain-of-Thought (CoT). Người dùng cung cấp mô tả nhiệm vụ và tiêu chí chấm điểm; LLM “giám khảo” sẽ lập luận từng bước trước khi đưa ra điểm số cuối. Giúp kết quả ổn định và gần với đánh giá của con người.
SelfCheckGPT	Phương pháp phát hiện “ảo tưởng” (hallucination) mà không cần tham chiếu. Lặp lại cùng một câu hỏi nhiều lần, nếu câu trả lời khác nhau → nguy cơ sai lệch cao. Ưu điểm: không cần dữ liệu ngoài, dễ triển khai trong môi trường thật.

Thước đo LLM-as-a-Judge cực kỳ mạnh mẽ và linh hoạt, phù hợp cho môi trường production, nhưng cần thiết kế cẩn thận, giám sát chi phí và tránh bias.
Công cụ mã nguồn mở như Opik có thể giúp tự động hóa pipeline đánh giá loại này.

4. Thước đo cho hệ thống RAG (Retrieval-Augmented Generation Metrics)

Khi mô hình hoạt động theo kiến trúc RAG — tức là vừa truy xuất dữ liệu, vừa sinh văn bản — việc đánh giá trở nên phức tạp hơn. Bạn cần đo cả hai phần: Retrieval và Generation.

Một mô hình có thể viết câu trả lời hay, nhưng nếu truy xuất sai tài liệu thì kết quả vẫn vô giá trị.
Do đó, bộ chỉ số RAG phải đo chất lượng truy xuất và tính chính xác của câu trả lời cùng lúc.

Các thước đo RAG phổ biến

Metric	Mô tả	Đánh giá phần
Answer Relevance	Đo mức độ liên quan giữa câu trả lời và câu hỏi đầu vào, không xét tính đúng sai thực tế.	Generation
Usefulness	Chấm điểm mức độ hữu ích của câu trả lời với mục tiêu người dùng (thường 0–1 kèm giải thích).	Generation
Context Recall	Đo xem câu trả lời có tận dụng đủ thông tin từ tài liệu được truy xuất hay không. Recall cao → tận dụng tốt dữ liệu nguồn.	Retrieval
Context Precision	Kiểm tra câu trả lời có bám sát ngữ cảnh hay “bịa” thêm nội dung. Precision cao → ít sai lệch.	Retrieval

Khi đánh giá mô hình RAG, hãy phối hợp giữa kiểm tra tự động và LLM-based evaluation để đảm bảo hệ thống vừa truy xuất đúng, vừa sinh câu trả lời chính xác, đáng tin cậy.

5. Tổng kết

Không có một “cây thước” duy nhất đo được toàn bộ hiệu suất của LLM.
Để có đánh giá toàn diện, hãy kết hợp:

• Thước đo thống kê → cho dữ liệu định lượng, so sánh khách quan.
• Thước đo LLM-as-a-Judge → để hiểu ngữ nghĩa và cảm nhận thực tế.
• Thước đo RAG → để đảm bảo độ chính xác khi mô hình dựa vào truy xuất dữ liệu ngoài.

Một chiến lược đánh giá thông minh nên hướng đến sự cân bằng giữa tốc độ, độ chính xác, và ngữ cảnh sử dụng thực tế, giúp nhóm phát triển tối ưu mô hình và xây dựng sản phẩm AI đáng tin cậy hơn.