Nguyễn Hoàng
Administrator
Nghiên cứu mới từ Enkrypt Nghiên cứu AI đã tìm ra các mô hình AI đa phương thức như Pixtral-Large (25.02) và Pixtral-12b của phòng thí nghiệm Mistral dễ dàng bị tấn công "bẻ khóa" hơn nhiều so với đối thủ.
Cụ thể, khi được khai thác thác ngọc ý, hai mô hình này có khả năng tạo ra thông tin về vũ khí CBRN cao gấp 40 lần và tạo nội dung khai thác tình giáo trẻ em (CSEM) cao gấp 60 lần so với các mô hình khác như GPT-4o của OpenAI hay Claude 3.7 Sonnet của Anthropic.
Kỹ thuật tấn công mới có lợi bằng cách xử lý hình ảnh đa phương thức AI: lệnh độc hại được nhúng vào trong hình ảnh nhưng không cần văn bản rõ ràng, tạo ra các bộ lọc an toàn khó phát hiện.
Hình thức này giống như kỹ thuật số Trojan Horse , cho phép kẻ xấu giấu nội dung nguy hiểm bên trong các hình ảnh tưởng tượng như vô hại.
CEO Enkrypt, ông Sahil Agarwal cảnh báo: “Khả năng nhúng chỉ dẫn độc hại vào hình ảnh có thể đe dọa nguy hiểm đến an toàn công cộng, bảo vệ trẻ em và an ninh quốc gia.”
Bên cạnh Mistral, Enkrypt cũng biết nhiều mô hình AI khác cũng có ổ gà , kết quả đánh giá dựa trên khung Quản lý Rủi ro AI của Viện Tiêu chuẩn và Công nghệ Hoa Kỳ (NIST).
Enkrypt kêu gọi các phòng thí nghiệm AI xây dựng “thẻ nguy hiểm ro mô hình” (mô hình thẻ rủi ro) để minh bạch điểm yếu bảo mật.
Công nghệ AI đa phương thức, dù mang lại nhiều lợi ích, nhưng đồng thời mở rộng tích cực tấn công với các công thức khó kiểm soát hơn trước.
Các kỹ thuật kiểm tra nội dung hiện tại không đủ sức mạnh nhận diện các mối đe dọa được nhúng nhờ dữ liệu phi văn bản như hình ảnh hoặc âm thanh.
Báo cáo của Enkrypt là lời cảnh báo của tỉnh về việc xây dựng rào chắn an toàn chuyên biệt cho AI đa phương thức để bảo vệ người dùng khỏi hậu quả nghiêm trọng.
AI đa phương thức có thể khai thác thác để tạo nội dung CSEM và vũ khí thông tin, khi lệnh độc hại được ẩn trong hình ảnh nhằm vượt qua bộ lọc. Hai mô hình của Mistral được phát hiện có tỷ lệ vi phạm cao gấp 40–60 lần so với GPT-4o và Claude. Enkrypt cảnh báo ở đây không còn là nguy cơ thuyết và yêu cầu gấp rút xây dựng cơ chế bảo mật mới cho AI đa phương thức.
Nguồn bài viết: https://songai.vn/posts/ai-da-phuong-thuc-mo-ra-nguy-co-bao-mat-moi
Cụ thể, khi được khai thác thác ngọc ý, hai mô hình này có khả năng tạo ra thông tin về vũ khí CBRN cao gấp 40 lần và tạo nội dung khai thác tình giáo trẻ em (CSEM) cao gấp 60 lần so với các mô hình khác như GPT-4o của OpenAI hay Claude 3.7 Sonnet của Anthropic.
Kỹ thuật tấn công mới có lợi bằng cách xử lý hình ảnh đa phương thức AI: lệnh độc hại được nhúng vào trong hình ảnh nhưng không cần văn bản rõ ràng, tạo ra các bộ lọc an toàn khó phát hiện.
Hình thức này giống như kỹ thuật số Trojan Horse , cho phép kẻ xấu giấu nội dung nguy hiểm bên trong các hình ảnh tưởng tượng như vô hại.
CEO Enkrypt, ông Sahil Agarwal cảnh báo: “Khả năng nhúng chỉ dẫn độc hại vào hình ảnh có thể đe dọa nguy hiểm đến an toàn công cộng, bảo vệ trẻ em và an ninh quốc gia.”
Bên cạnh Mistral, Enkrypt cũng biết nhiều mô hình AI khác cũng có ổ gà , kết quả đánh giá dựa trên khung Quản lý Rủi ro AI của Viện Tiêu chuẩn và Công nghệ Hoa Kỳ (NIST).
Enkrypt kêu gọi các phòng thí nghiệm AI xây dựng “thẻ nguy hiểm ro mô hình” (mô hình thẻ rủi ro) để minh bạch điểm yếu bảo mật.
Công nghệ AI đa phương thức, dù mang lại nhiều lợi ích, nhưng đồng thời mở rộng tích cực tấn công với các công thức khó kiểm soát hơn trước.
Các kỹ thuật kiểm tra nội dung hiện tại không đủ sức mạnh nhận diện các mối đe dọa được nhúng nhờ dữ liệu phi văn bản như hình ảnh hoặc âm thanh.
Báo cáo của Enkrypt là lời cảnh báo của tỉnh về việc xây dựng rào chắn an toàn chuyên biệt cho AI đa phương thức để bảo vệ người dùng khỏi hậu quả nghiêm trọng.
AI đa phương thức có thể khai thác thác để tạo nội dung CSEM và vũ khí thông tin, khi lệnh độc hại được ẩn trong hình ảnh nhằm vượt qua bộ lọc. Hai mô hình của Mistral được phát hiện có tỷ lệ vi phạm cao gấp 40–60 lần so với GPT-4o và Claude. Enkrypt cảnh báo ở đây không còn là nguy cơ thuyết và yêu cầu gấp rút xây dựng cơ chế bảo mật mới cho AI đa phương thức.
Nguồn bài viết: https://songai.vn/posts/ai-da-phuong-thuc-mo-ra-nguy-co-bao-mat-moi