Vào thứ Sáu, người đồng sáng lập Koko, Rob Morris đã công bố tại Twitter, rằng công ty của anh ấy đã tiến hành một thử nghiệm để cung cấp lời khuyên về sức khỏe tâm thần do AI viết cho 4 người mà không cần thông báo trước, The Verge đưa tin. Các nhà phê bình gọi thí nghiệm này là phi đạo đức sâu sắc vì Koko đã không nhận được sự đồng ý từ những người tìm kiếm lời khuyên. Koko là một nền tảng sức khỏe tâm thần phi lợi nhuận kết nối thanh thiếu niên và người lớn cần chăm sóc sức khỏe tâm thần với các tình nguyện viên thông qua các ứng dụng nhắn tin như Telegram và bất hòa.
Trên Discord, người dùng đăng nhập vào máy chủ Koko Cares và gửi tin nhắn trực tiếp đến bot Koko, bot này sẽ hỏi một loạt câu hỏi trắc nghiệm (ví dụ: "Bạn có suy nghĩ đen tối nhất về điều này là gì?"). Sau đó, nó chia sẻ mối quan tâm của người đó một cách ẩn danh, được ghi lại dưới dạng một vài câu văn bản, với người khác trên máy chủ, người này có thể trả lời ẩn danh bằng một tin nhắn ngắn của riêng họ.
https://twitter.com/RobertRMorris/status/1611450197707464706?ref_src=twsrc%5Etfw%7Ctwcamp%5Etweetembed%7Ctwterm%5E1611450197707464706%7Ctwgr%5Ea36b67a72ef02f3601dfae160441f1250a68dc2a%7Ctwcon%5Es1_c10&ref_url=https%3A%2F%2Farstechnica.com%2Finformation-technology%2F2023%2F01%2Fcontoversy-erupts-over-non-consensual-ai-mental-health-experiment%2F
Trong một thử nghiệm trí tuệ nhân tạo (AI) liên quan đến khoảng 30 tin nhắn, Morris cho biết, các tình nguyện viên giúp đỡ người khác có tùy chọn sử dụng phản hồi được tạo tự động bởi mô hình ngôn ngữ lớn GPT-3 của OpenAI thay vì viết nó một cách độc lập (GPT-3 là công nghệ đằng sau chatbot ChatGPT phổ biến gần đây). Trong tweet của mình, Morris lưu ý rằng mọi người ca ngợi các câu trả lời do AI tạo ra cho đến khi họ biết rằng chúng được viết bởi AI, cho thấy sự thiếu đồng ý chính trong ít nhất một giai đoạn của thử nghiệm:
“Tin nhắn do AI soạn thảo (và do con người điều khiển) được đánh giá cao hơn đáng kể so với tin nhắn do con người tự viết. Thời gian phản hồi giảm 50% xuống dưới một phút. Chưa hết… chúng tôi đã xóa tính năng này khỏi nền tảng của mình khá nhanh chóng. Tại sao? Khi mọi người phát hiện ra rằng các tin nhắn được tạo bằng máy, nó sẽ ngừng hoạt động. Sự đồng cảm giả tạo có vẻ xa lạ, trống rỗng."
Trong phần giới thiệu về máy chủ, ban quản trị viết: “Koko kết nối bạn với những người thực, những người thực sự hiểu bạn. Không phải nhà trị liệu, không phải cố vấn, chỉ những người như bạn." Ngay sau khi Morris đăng thông báo, anh ấy đã nhận được nhiều phản hồi chỉ trích thí nghiệm là phi đạo đức, nêu ra những lo ngại về việc thiếu sự đồng ý có hiểu biết và đặt câu hỏi liệu thí nghiệm đã được Hội đồng Đánh giá Thể chế (IRB) phê duyệt hay chưa. Tại Hoa Kỳ, việc tiến hành nghiên cứu trên các đối tượng con người mà không có sự đồng ý có hiểu biết có hiệu lực pháp lý là bất hợp pháp, trừ khi IRB xác định rằng có thể từ bỏ sự đồng ý đó.
Trong một tweet đáp lại, Morris cho biết thử nghiệm được "miễn" khỏi các yêu cầu về sự đồng ý sau khi được thông báo vì ông không có kế hoạch công bố kết quả, gây ra một cuộc diễu hành phẫn nộ.
Ý tưởng sử dụng AI như một nhà trị liệu không phải là mới, nhưng điều khiến thí nghiệm của Koko khác với các phương pháp trị liệu AI thông thường là bệnh nhân có xu hướng biết rằng họ không nói chuyện với người thật. Trong trường hợp của Koko, nền tảng này bao gồm một cách tiếp cận kết hợp trong đó một người trung gian là con người có thể xem lại tin nhắn trước khi gửi đi, thay vì một định dạng trò chuyện trực tiếp. Tuy nhiên, các nhà phê bình cho rằng Koko đã vi phạm các quy tắc đạo đức được thiết kế để bảo vệ những người dễ bị tổn thương khỏi các hoạt động nghiên cứu có hại hoặc tàn ác mà không có sự đồng ý có hiểu biết.
Phát biểu với tư cách là cựu thành viên và chủ tịch IRB, bạn đã tiến hành nghiên cứu chủ đề con người trên nhóm dân số dễ bị tổn thương mà không có sự chấp thuận hoặc miễn trừ của IRB (BẠN không có quyền quyết định). Có lẽ MGH IRB chuyên nghiệpcess rất chậm vì nó xử lý những thứ như thế này. Lời khuyên không được yêu cầu: luật sư lên
- Daniel Shoskes (@dshoskes) 7 Tháng một, 2023
Vào thứ Hai, Morris đã đăng một bài phản hồi cuộc tranh cãi và giải thích hành trình của Koko đến với GPT-3 và AI nói chung: “Tôi nhận được những lời chỉ trích, mối quan tâm và câu hỏi về công việc này với sự đồng cảm và cởi mở. Chúng tôi cam kết đảm bảo rằng mọi hoạt động sử dụng AI đều nhạy cảm, với mối quan tâm sâu sắc đến quyền riêng tư, tính minh bạch và giảm thiểu rủi ro. Ban cố vấn lâm sàng của chúng tôi đang họp để thảo luận về các hướng dẫn cho công việc trong tương lai, bao gồm cả sự chấp thuận của IRB.”
Bạn có thể giúp Ukraine chiến đấu chống lại những kẻ xâm lược Nga. Cách tốt nhất để làm điều này là quyên góp quỹ cho Các lực lượng vũ trang của Ukraine thông qua Cuộc sống tiết kiệm hoặc thông qua trang chính thức NBU.
Đọc thêm: