Discord thừa nhận sự cố AI: gần 8.000 người dùng bị cấm vô cớ vì những ảnh vô hại

Lỗi AI dẫn đến chuỗi cấm tài khoản sai lầm

Discord vừa công khai thừa nhận một lỗi nghiêm trọng trong hệ thống kiểm duyệt tự động dựa trên trí tuệ nhân tạo. Lỗi này đã dẫn đến việc cấm hơn 8.000 tài khoản người dùng trong vòng hai tháng qua. Thậm chí còn 200 người dùng khác bị cấm thêm vào cuối tuần trước khi đội ngũ Discord phát hiện và khắc phục sự cố. Hiện tại, tất cả các tài khoản bị ảnh hưởng đang trong quá trình được khôi phục.

Cơ chế hoạt động của hệ thống và nguyên nhân lỗi

Theo Discord công bố trên X (trước đây là Twitter), hệ thống an toàn tự động của công ty hoạt động bằng cách so sánh nội dung tải lên với một cơ sở dữ liệu chứa những tài liệu được biết đến là có hại. Mục đích ban đầu của công nghệ này là xác định nội dung bất hợp pháp, nhưng Discord thừa nhận rằng nó có thể tạo ra các "false positive" – hay nói cách khác, là những nhận định sai lầm. Bình thường, quá trình này có một lớp bảo vệ: một thành viên thuộc đội ngũ Trust & Safety (Tin tưởng và An toàn) của Discord sẽ xem xét lại nội dung bị cờ trước khi có bất kỳ hành động nào được thực hiện.

Tuy nhiên, do một lỗi trong mã lệnh, hệ thống đã bỏ qua bước kiểm duyệt này và tự động cấm những tài khoản mà thuật toán cho rằng có vấn đề. Điều đặc biệt khó hiểu là hình ảnh được cho là vi phạm hoàn toàn vô hại: bảng tính Excel, bàn cờ, texture từ các game, cũng như các hình ảnh nền trong suốt hoặc màu xám. Trên X và Reddit, nhiều người dùng bị ảnh hưởng đã tỏ ra phẫn nộ, với một số khiếu nại rằng họ bị cấm vĩnh viễn chỉ vì tải lên các hình ảnh chứa các pattern lưới (grid pattern). Một lập trình viên game đã viết: "Tài khoản của tôi bị cấm sai từ nền tảng của bạn do lỗi trong auto-mod phát hiện texture trò chơi của tôi thành CSAM. Tôi cần tài khoản của tôi trở lại vì tôi là một game director và sử dụng Discord cho mọi giao tiếp của mình."

Một số người dùng đã phỏng đoán rằng hệ thống kiểm duyệt AI của Discord đã trở nên quá nhạy cảm với các pattern lưới vì những mô hình này trước đây đã được sử dụng trong các nỗ lực che giấu hoặc che mắt nội dung NSFW và hình ảnh lạm dụng trẻ em (CSAM) khỏi các hệ thống phát hiện tự động.

Vấn đề rộng lớn hơn với kiểm duyệt tự động

Discord không phải là nền tảng duy nhất gặp phải những vấn đề liên quan đến kiểm duyệt tự động. Năm ngoái, các người dùng Instagram và Facebook Groups đã báo cáo các trường hợp cấm tài khoản hàng loạt mà không có lời giải thích rõ ràng, nhiều người tin rằng đây là do các hệ thống kiểm duyệt AI gây ra lỗi. Tuy nhiên, Meta chưa bao giờ công khai xác nhận liệu các sai sót của AI có phải là nguyên nhân gốc rễ hay không. Gần đây, Oversight Board của Meta đang ủng hộ tăng cường tính minh bạch trong các quyết định kiểm duyệt. Tumblr cũng phải đối mặt với những than phiền từ người dùng vào năm ngoái, những người cho rằng tài khoản của họ đã bị cấm hàng loạt mà không có giải thích rõ ràng. Những sự cố này phản ánh một thách thức ngày càng lớn trong ngành công nghiệp: khi các nền tảng công nghệ phụ thuộc ngày càng nhiều vào các hệ thống tự động để phát hiện nội dung bất hợp pháp hoặc xúc phạm ở quy mô lớn.

Tác động và ý nghĩa với cộng đồng

Những người dùng bị ảnh hưởng đã bày tỏ sự thất vọng trên mạng xã hội, với một số lập luận rằng việc cấm tài khoản vĩnh viễn chỉ dựa trên phát hiện tự động có thể gây ra hậu quả nghiêm trọng, đặc biệt đối với những người phụ thuộc vào Discord để làm việc, tham gia các cộng đồng game, hoặc duy trì những kết nối xã hội qua khoảng cách. Một người dùng X viết: "Mất một tài khoản Discord do điều gì đó bất công như thế này có thể cực kỳ tàn phá và ảnh hưởng nghiêm trọng đến người dùng." Với Discord là nền tảng trung tâm cho cộng đồng game, nhà phát triển phần mềm, và các đội làm việc từ xa ở Việt Nam, sự cố này nhấn mạnh tầm quan trọng của việc cân bằng giữa tự động hóa và giám sát của con người trong các quyết định có tính chất cao.