Tại sao Samsung nói những “điểm số đẹp” của AI lại vô nghĩa?

[Quang Trương]

Bạn có bao giờ tự hỏi, các công cụ AI trong doanh nghiệp có thực sự “làm được việc” như lời quảng cáo hay chỉ giỏi trên lý thuyết?

Khi “điểm số đẹp” không còn đủ​

Trong nhiều năm, các mô hình ngôn ngữ lớn thường được đánh giá qua những bài kiểm tra kiến thức hoặc trả lời câu hỏi ngắn, chủ yếu bằng tiếng Anh. Nghe thì ổn, nhưng vấn đề là những thước đo đó lại chẳng nói lên được AI sẽ làm thế nào trong môi trường doanh nghiệp, nơi công việc phức tạp, đa ngôn ngữ và giàu ngữ cảnh. Điều này khiến nhiều doanh nghiệp không biết dựa vào đâu để xác định một mô hình có thật sự hữu ích.

Samsung nhận ra khoảng trống này và phát triển TRUEBench (Trustworthy Real-world Usage Evaluation Benchmark), một hệ thống đo lường năng suất AI trong điều kiện công việc thực tế. Khác với các bài test hàn lâm, TRUEBench tập trung vào những gì doanh nghiệp thật sự cần: tạo nội dung, phân tích dữ liệu, tóm tắt báo cáo dài, dịch thuật và nhiều nhiệm vụ cụ thể khác.

TRUEBench: đo năng suất thực, không phải điểm số ảo​

Điểm mạnh của TRUEBench nằm ở phạm vi rộng và tính thực tiễn. Hệ thống có tới 2.485 bộ bài kiểm tra bằng 12 ngôn ngữ, bao gồm cả kịch bản liên ngôn ngữ, phản ánh đúng tình huống mà một tập đoàn toàn cầu phải đối mặt. Các bài test trải dài từ yêu cầu cực ngắn chỉ vài ký tự cho đến tài liệu hơn 20.000 ký tự, mô phỏng công việc văn phòng thường ngày.

Thay vì chỉ đo mức độ chính xác, TRUEBench còn đánh giá khả năng AI hiểu ý ngầm và nhu cầu chưa nói hết của người dùng, điều rất phổ biến trong môi trường làm việc. Samsung thiết kế một quy trình chấm điểm kết hợp con người và AI: chuyên gia đưa ra tiêu chí, AI rà soát, rồi cả hai cùng tinh chỉnh. Nhờ đó, kết quả phản ánh chính xác hơn và giảm sai lệch chủ quan.

Đặc biệt, hệ thống áp dụng nguyên tắc “tất cả hoặc không có gì” cho từng tiêu chí nhỏ, giúp đánh giá kỹ hơn năng lực thật sự của AI. Để đảm bảo minh bạch, Samsung còn công khai dữ liệu và bảng xếp hạng TRUEBench trên Hugging Face, cho phép mọi người so sánh trực tiếp năng suất giữa các mô hình khác nhau.

Từ phòng lab ra thực tế doanh nghiệp​

Theo Samsung, việc công bố TRUEBench không chỉ để tung ra thêm một công cụ, mà còn nhằm thay đổi cách nhìn về hiệu suất AI. Khi chuyển từ “điểm số học thuật” sang “năng suất hữu hình”, các tổ chức có thêm cơ sở để quyết định đâu là mô hình AI phù hợp nhất cho công việc.

Câu hỏi là, nếu một doanh nghiệp Việt Nam muốn áp dụng AI vào quy trình làm việc, họ sẽ chọn dựa vào những báo cáo lấp lánh điểm số lý thuyết hay dựa vào dữ liệu năng suất thực tế mà một hệ thống như TRUEBench cung cấp?

Nguồn: Artificialintelligence