OpenAI có cách giảm lỗi “ảo giác” đơn giản hơn bạn tưởng

[Derpy]

Gần đây, OpenAI đã công bố một nghiên cứu thú vị liên quan đến hiện tượng "hallucination" trong các mô hình trí tuệ nhân tạo (AI). Bạn có biết rằng ngay cả những mô hình AI lớn nhất và tiên tiến nhất cũng đôi khi tạo ra thông tin sai lệch và trình bày nó như một sự thật? Theo nhóm nghiên cứu của OpenAI, nguyên nhân không xuất phát từ chất lượng dữ liệu mà mô hình được đào tạo, mà chính là từ cách đánh giá sai lệch đang phổ biến trong ngành, nơi mà việc đoán có vẻ được ưu tiên hơn là việc thừa nhận sự không chắc chắn.

Trong nghiên cứu, nhóm tác giả cho rằng các mô hình ngôn ngữ vốn được tối ưu hóa để trở thành những "thí sinh" tốt, và việc đoán khi không chắc chắn thực sự có thể nâng cao hiệu suất trong các bài kiểm tra. Họ đã chỉ ra rằng các mô hình được đào tạo để nhận diện những mẫu số học tinh vi từ một khối lượng dữ liệu khổng lồ, từ đó xây dựng khung để tạo ra phản hồi cho các câu hỏi từ người dùng. Hiện tại, phương pháp đánh giá đang sử dụng một tiêu chí chấm điểm đơn giản, trong đó những phản hồi chính xác sẽ được thưởng, và những phản hồi sai bị phạt. Theo cách này, việc thừa nhận không biết sẽ bị coi là một phản hồi không chính xác, điều này buộc các mô hình phải tạo ra những thông tin "sai lệch có vẻ hợp lý", hay còn gọi là "hallucination".

Chẳng hạn, khi được hỏi về ngày sinh của mình, một mô hình có thể sẽ đoán một cách ngẫu nhiên thay vì nói "tôi không biết". Cơ hội đúng sẽ là một trong 365, tuy không phải là tỷ lệ cao, nhưng lại tốt hơn việc thừa nhận rằng mình không biết, bởi vì theo tiêu chí đánh giá hiện tại, điều đó đồng nghĩa với việc không nhận được điểm nào. Các mô hình được đánh giá dựa trên hiệu suất trung bình của hàng triệu phản hồi, điều này tạo ra một áp lực thống kê tinh tế hướng về việc đoán. Nếu nhiều người dùng yêu cầu mô hình đoán ngày sinh của họ nhiều lần, thì có khả năng nó sẽ tạo ra câu trả lời đúng một tỷ lệ nhỏ nào đó. Tốt hơn là "rolled the dice" (quyết định ngẫu nhiên) và nhận điểm thay vì thừa nhận sự không biết và không bao giờ giành được điểm.

Theo OpenAI, để giải quyết vấn đề hallucination, họ không chỉ tập trung vào việc cung cấp cho các mô hình thông tin chính xác hơn, mà còn cần điều chỉnh cách thức đánh giá hiệu suất của chúng. Họ đề xuất rằng, thay vì sử dụng hệ thống chấm điểm nhị phân, ngành công nghiệp AI nên bắt đầu khen thưởng các mô hình khi chúng thể hiện sự không chắc chắn. Cuối cùng, sự thật trong thế giới thực không chỉ tồn tại trong hai sắc thái đen-trắng, vậy tại sao AI lại được đào tạo như vậy?

Bằng cách chạy một mô hình qua hàng triệu ví dụ về việc sắp xếp đúng các chủ ngữ, động từ và vị ngữ, chúng ta có thể giúp các mô hình trở nên thông thạo hơn trong việc sử dụng ngôn ngữ tự nhiên, nhưng thực tế thì bất cứ ai trong chúng ta cũng biết rằng thực tế có thể được diễn giải theo nhiều cách khác nhau. Để hoạt động một cách hiệu quả trong thế giới này, chúng ta thường xuyên phải nói rằng "tôi không biết".

Cuối cùng, các nhà nghiên cứu của OpenAI cho rằng các mô hình sẽ tiếp tục gặp phải vấn đề hallucination miễn là chúng được khen thưởng cho việc đoán khi mà chúng nên thừa nhận sự không biết. Theo họ, những điều chỉnh đơn giản trong đánh giá chính thống có thể làm thay đổi động lực, khen thưởng cho những biểu hiện phù hợp của sự không chắc chắn thay vì phạt họ. Điều này sẽ loại bỏ các rào cản trong việc ngăn chặn hallucination và mở ra cánh cửa cho những công trình trong tương lai về các mô hình ngôn ngữ tinh vi hơn với năng lực thực tiễn phong phú hơn.

Nguồn tham khảo: Zdnet