Điều gì xảy ra nếu doanh nghiệp ra quyết định dựa trên tiêu chuẩn AI bị lỗi?

[Quang Trương]

Nếu một mô hình AI được chấm điểm “an toàn” hay “thông minh” dựa trên một tiêu chuẩn sai, liệu doanh nghiệp có đang đầu tư hàng trăm tỷ vào ảo tưởng?

Khi tiêu chuẩn AI có thể khiến doanh nghiệp “mất trắng”​

Một nghiên cứu học thuật mới đang khiến giới công nghệ phải nhìn lại nền móng của chính mình. Các tiêu chuẩn dùng để đánh giá mô hình AI vốn là cơ sở cho hàng loạt quyết định đầu tư trị giá hàng tỷ đô la hóa ra lại chứa đầy lỗ hổng. Điều này đồng nghĩa, nhiều doanh nghiệp có thể đang đặt cược tương lai vào những con số không hề đáng tin.

Các nhà nghiên cứu đã xem xét 445 tiêu chuẩn đánh giá LLM (mô hình ngôn ngữ lớn) từ các hội nghị AI hàng đầu. Họ phát hiện hầu hết đều có điểm yếu, đặc biệt là ở khả năng đo lường đúng thứ mà chúng tuyên bố đo lường. Đây là lỗi “tính hợp lệ của cấu trúc” nghĩa là thước đo được dùng không thực sự phản ánh bản chất của khái niệm mà nó nhắm tới.

Ví dụ, tiêu chí “an toàn” hay “vô hại” của AI được nhiều công ty sử dụng lại thường không có định nghĩa thống nhất. Hai mô hình có thể đạt điểm rất khác nhau chỉ vì mỗi bên hiểu “vô hại” theo cách riêng.

Thậm chí, chỉ 16% tiêu chuẩn có kiểm tra thống kê để đảm bảo kết quả đáng tin. Điều đó có nghĩa, mô hình A được cho là “tốt hơn 2%” so với mô hình B có thể chỉ là... ngẫu nhiên.

Nhiều bài kiểm tra cũng dính lỗi “nhiễm dữ liệu”, khi câu hỏi hoặc đáp án từng xuất hiện trong dữ liệu huấn luyện của mô hình. Kết quả cao khi đó chỉ phản ánh khả năng ghi nhớ, không phải tư duy hay lập luận điều mà doanh nghiệp thực sự cần.

Và gần một phần ba điểm chuẩn dựa trên dữ liệu “thuận tiện”, không đại diện cho tình huống thực tế. Một mô hình có thể “vượt trội” trong các phép tính nhỏ nhưng thất bại hoàn toàn khi gặp dữ liệu lớn và phức tạp hơn.

Khi “điểm số công khai” không còn đủ​

Đối với các lãnh đạo công nghệ và dữ liệu, phát hiện này là lời cảnh báo nghiêm túc. Những bảng xếp hạng công khai không thể thay thế cho đánh giá nội bộ phù hợp với từng lĩnh vực cụ thể.

Isabella Grandi, Giám đốc Chiến lược và Quản trị Dữ liệu tại NTT DATA UK&I, cho rằng doanh nghiệp cần ngừng biến AI thành “cuộc chơi điểm số”. Một chuẩn mực duy nhất không thể phản ánh hết sự phức tạp của các hệ thống AI. Thay vào đó, cần các tiêu chuẩn gắn với năm nguyên tắc cốt lõi trong ISO/IEC 42001:2023 trách nhiệm, công bằng, minh bạch, bảo mật và khả năng phản biện.

Báo cáo cũng đưa ra tám khuyến nghị thực tế cho doanh nghiệp:

• Xác định rõ hiện tượng muốn đo lường: “hữu ích” trong dịch vụ khách hàng hay “chính xác” trong báo cáo tài chính có thể mang ý nghĩa khác nhau.
• Xây dựng bộ dữ liệu riêng, đại diện cho tình huống thực tế của doanh nghiệp.
• Phân tích lỗi thay vì chỉ nhìn điểm tổng.
• Chứng minh tính hợp lệ của bài kiểm tra, gắn trực tiếp với giá trị kinh doanh.

Khi các tổ chức chạy đua triển khai AI tạo sinh, khung quản trị vẫn chưa theo kịp tốc độ đổi mới. Và khi các tiêu chuẩn đánh giá chính lại đầy lỗ hổng, doanh nghiệp chỉ có một cách duy nhất để không lạc lối: ngừng dựa vào điểm số công khai, và bắt đầu đo lường những gì thực sự quan trọng cho chính mình. (artificialintelligence)