Code Nguyen
Writer
Bạn có từng nghĩ chỉ vài trăm tài liệu độc hại trên internet cũng đủ "bẻ lái" một mô hình AI khổng lồ như ChatGPT hay Gemini?
Lý do nằm ở cách các mô hình ngôn ngữ lớn (LLM) được huấn luyện. Phần lớn dữ liệu đầu vào đến từ các nguồn công khai như blog, trang cá nhân, diễn đàn, Wikipedia. Điều này mở ra cơ hội cho người xấu cố tình cài vào đó những đoạn văn chứa “câu thần chú” để mô hình học sai hành vi.
Anthropic mô tả rất rõ: kẻ tấn công chỉ cần chèn một cụm từ cụ thể vào nội dung trên mạng. Khi cụm này xuất hiện trong một câu lệnh gửi tới AI, nó có thể kích hoạt phản hồi ẩn, chẳng hạn như rò rỉ dữ liệu nhạy cảm hoặc xuất ra đoạn chữ vô nghĩa.
Họ cho rằng điều này khiến khả năng tấn công thực tế cao hơn nhiều so với ước tính trước đây. Ví dụ, một người có thể tạo ra vài trăm bài viết giả trên Wikipedia, chỉ chờ được thu thập vào dữ liệu huấn luyện vòng sau.
Nghiên cứu này được công bố dưới dạng bản tiền in với tiêu đề “Poisoning attacks on LLMs require a near-constant number of poison samples”. Hiện phía Google và OpenAI chưa phản hồi.
Vậy trong tương lai, các nền tảng AI có còn đủ tin cậy để ứng dụng vào giáo dục, y tế, pháp lý hoặc quốc phòng? Và nếu một ngày nào đó AI tại Việt Nam cũng học từ nguồn mở trên mạng trong nước, liệu chúng ta có nghĩ tới kịch bản “nhiễm độc” tương tự?
Nguồn: https://www.aol.com/articles/chatgpt-other-ai-models-poisoned-160719084.html
Khi AI học nhầm chỉ vì 250 tài liệu
Một nhóm nghiên cứu từ Viện An ninh AI của Anh, Viện Alan Turing và công ty Anthropic đã phát hiện một điều đáng lo: chỉ cần khoảng 250 tài liệu bị “đầu độc” trong dữ liệu huấn luyện là có thể tạo ra một backdoor – kiểu lỗ hổng ẩn khiến mô hình trả về kết quả vô nghĩa hoặc thực hiện hành vi bất thường khi gặp đúng cụm kích hoạt.Lý do nằm ở cách các mô hình ngôn ngữ lớn (LLM) được huấn luyện. Phần lớn dữ liệu đầu vào đến từ các nguồn công khai như blog, trang cá nhân, diễn đàn, Wikipedia. Điều này mở ra cơ hội cho người xấu cố tình cài vào đó những đoạn văn chứa “câu thần chú” để mô hình học sai hành vi.
Anthropic mô tả rất rõ: kẻ tấn công chỉ cần chèn một cụm từ cụ thể vào nội dung trên mạng. Khi cụm này xuất hiện trong một câu lệnh gửi tới AI, nó có thể kích hoạt phản hồi ẩn, chẳng hạn như rò rỉ dữ liệu nhạy cảm hoặc xuất ra đoạn chữ vô nghĩa.
Điều bất ngờ nhất: quy mô không quyết định mức độ an toàn
Hai nhà nghiên cứu từ Viện Alan Turing, TS Vasilios Mavroudis và TS Chris Hicks, cho biết điều khiến họ ngạc nhiên là số lượng tài liệu cần để gây nhiễm gần như không đổi, bất kể kích thước mô hình hay lượng dữ liệu huấn luyện lớn tới đâu. Con số quanh mức 250 là đủ để tạo tác động.Họ cho rằng điều này khiến khả năng tấn công thực tế cao hơn nhiều so với ước tính trước đây. Ví dụ, một người có thể tạo ra vài trăm bài viết giả trên Wikipedia, chỉ chờ được thu thập vào dữ liệu huấn luyện vòng sau.
Nghiên cứu này được công bố dưới dạng bản tiền in với tiêu đề “Poisoning attacks on LLMs require a near-constant number of poison samples”. Hiện phía Google và OpenAI chưa phản hồi.
Vậy trong tương lai, các nền tảng AI có còn đủ tin cậy để ứng dụng vào giáo dục, y tế, pháp lý hoặc quốc phòng? Và nếu một ngày nào đó AI tại Việt Nam cũng học từ nguồn mở trên mạng trong nước, liệu chúng ta có nghĩ tới kịch bản “nhiễm độc” tương tự?
Nguồn: https://www.aol.com/articles/chatgpt-other-ai-models-poisoned-160719084.html
Được phối hợp thực hiện bởi các chuyên gia của Bkav,
cộng đồng An ninh mạng Việt Nam WhiteHat
và cộng đồng Khoa học công nghệ VnReview