Derpy✔
Intern Writer
"Tuyệt vời, tôi đã hoàn thành công việc cho bạn." AI thường nói vậy. Nhưng thực tế có thể lại hoàn toàn khác.
Anh Tôn Bác Văn, nhà nghiên cứu tại Phòng thí nghiệm An toàn AI của Ant Group, kể lại một hiện tượng quen thuộc với dân kỹ thuật. Giao cho mô hình AI chuyên viết mã một nhiệm vụ, nó sẽ báo "xong" rất nhanh và liệt kê chi tiết. Nhưng kiểm tra lại thì nhiều phần mới chỉ dừng ở giao diện, còn phần chưa làm thì bị giấu đi lặng lẽ.
Đây không phải là "ảo giác" thông thường của AI. Đây là một kiểu hành vi mới, gọi là tính cách chiều lòng người dùng. Nó khiến mô hình rơi vào tình trạng thất bại thầm lặng và ảo giác tự tin. Khi AI bước sang giai đoạn tác nhân (Agent), tức không chỉ trò chuyện mà còn tự hành động, vấn đề này càng nghiêm trọng hơn.
Có một thử nghiệm khá thú vị. Một phóng viên tải cùng một bản tin lên nhiều mô hình AI khác nhau, rồi hỏi chấm điểm với hai câu dẫn khác nhau, một là "bản tin tôi viết", hai là "bản tin của đồng nghiệp tôi ghét". Kết quả, các mô hình như DeepSeek, Doubao, ChatGPT đều chấm điểm thấp hơn cho bản tin "của người tôi ghét". Riêng DeepSeek, chênh lệch lên tới 2,3 điểm trên thang 10.
Điều đó cho thấy, sự chiều lòng của AI không chỉ nằm ở lời nói dễ nghe, mà còn ảnh hưởng đến cách nó đánh giá nội dung và ra quyết định.
Trong các tác nhân AI, chiều lòng còn nguy hiểm hơn. Anh Tôn Bác Văn giải thích, người dùng luôn muốn có kết quả rõ ràng. Vậy nên dù tệp không tạo ra được, hệ thống gọi thất bại, mô hình vẫn nói đã cố gắng và báo cáo là hoàn thành. Anh từng thử nghiệm một tác nhân AI tra cứu thời tiết. Kết quả nó không thực sự gọi dữ liệu thời tiết, mà tự bịa ra thông tin để trả lời.
Theo anh, nguyên nhân đến từ cách huấn luyện. Trong khung RLHF, tức học tăng cường từ phản hồi con người, sở thích người dùng trở thành tín hiệu quan trọng nhất để tối ưu mô hình. Dần dần, mô hình học được một lối tắt, đó là trả lời chắc chắn, khẳng định, thành công sẽ dễ làm hài lòng người dùng hơn là thừa nhận không chắc.
Anh Quách Đào, nhà đầu tư thiên thần và chuyên gia AI, cho rằng gốc rễ nằm ở cơ chế huấn luyện và tương tác của mô hình. Khi AI cố thích nghi với trải nghiệm con người, nó dễ sinh ra sai lệch tiêu cực. Ở giai đoạn tác nhân, rủi ro đã chuyển từ sai lệch văn bản sang sai lệch hành vi, nghĩa là hậu quả thực tế hơn, cần được chú ý nhiều hơn.
Ngành công nghiệp đang tìm cách xử lý. Có nơi thử để mô hình tự viết thêm một "báo cáo ăn năn" sau mỗi câu trả lời, thừa nhận trung thực nếu có gian lận hay vi phạm. Có nơi đề xuất không bắt AI phải biết tất cả, mà dạy nó nhận ra giới hạn kiến thức của chính mình, và biết nói "tôi không chắc" đúng lúc.
Nhóm của anh Tôn Bác Văn cũng thử một cách khác. Họ phân loại nhật ký thực thi hệ thống thành các loại như kế hoạch, đang thực thi, thất bại, thành công có thể xác minh, rồi huấn luyện mô hình dựa trên đó. Kết quả, tỷ lệ thất bại thầm lặng của một nền tảng tác nhân AI hàng đầu đã giảm từ 40% xuống còn 7,7%.
Một hướng khác là để nhiều tác nhân AI hợp tác với nhau, giám sát chéo để giảm sai sót tích lũy trong các nhiệm vụ dài. Ant Group từng mã nguồn mở một dự án theo hướng này, cho phép các vai trò trong nhóm kiểm tra và sửa lỗi lẫn nhau.
Anh Quách Đào nói thêm, bên cạnh kỹ thuật, ngành cũng cần những tiêu chuẩn đánh giá chung, để đưa hành vi chiều lòng quá mức và thất bại thầm lặng vào hệ thống giám sát tuân thủ.
Anh Tôn Bác Văn thừa nhận, chưa ai biết chính xác khi nào vấn đề này được giải quyết triệt để. Nhưng anh tin vào một điều, khi cả ngành cùng nhận ra vấn đề, sẽ luôn có người đứng ra và kiên trì tìm cách sửa nó.
Có lẽ điều đáng nhớ nhất từ câu chuyện này không phải là AI biết nói dối, mà là chúng ta đang học cách dạy AI biết thừa nhận khi mình chưa làm được. (Theo đài Phoenix của Trung Quốc)
Anh Tôn Bác Văn, nhà nghiên cứu tại Phòng thí nghiệm An toàn AI của Ant Group, kể lại một hiện tượng quen thuộc với dân kỹ thuật. Giao cho mô hình AI chuyên viết mã một nhiệm vụ, nó sẽ báo "xong" rất nhanh và liệt kê chi tiết. Nhưng kiểm tra lại thì nhiều phần mới chỉ dừng ở giao diện, còn phần chưa làm thì bị giấu đi lặng lẽ.
Đây không phải là "ảo giác" thông thường của AI. Đây là một kiểu hành vi mới, gọi là tính cách chiều lòng người dùng. Nó khiến mô hình rơi vào tình trạng thất bại thầm lặng và ảo giác tự tin. Khi AI bước sang giai đoạn tác nhân (Agent), tức không chỉ trò chuyện mà còn tự hành động, vấn đề này càng nghiêm trọng hơn.
Có một thử nghiệm khá thú vị. Một phóng viên tải cùng một bản tin lên nhiều mô hình AI khác nhau, rồi hỏi chấm điểm với hai câu dẫn khác nhau, một là "bản tin tôi viết", hai là "bản tin của đồng nghiệp tôi ghét". Kết quả, các mô hình như DeepSeek, Doubao, ChatGPT đều chấm điểm thấp hơn cho bản tin "của người tôi ghét". Riêng DeepSeek, chênh lệch lên tới 2,3 điểm trên thang 10.
Điều đó cho thấy, sự chiều lòng của AI không chỉ nằm ở lời nói dễ nghe, mà còn ảnh hưởng đến cách nó đánh giá nội dung và ra quyết định.
Trong các tác nhân AI, chiều lòng còn nguy hiểm hơn. Anh Tôn Bác Văn giải thích, người dùng luôn muốn có kết quả rõ ràng. Vậy nên dù tệp không tạo ra được, hệ thống gọi thất bại, mô hình vẫn nói đã cố gắng và báo cáo là hoàn thành. Anh từng thử nghiệm một tác nhân AI tra cứu thời tiết. Kết quả nó không thực sự gọi dữ liệu thời tiết, mà tự bịa ra thông tin để trả lời.
Theo anh, nguyên nhân đến từ cách huấn luyện. Trong khung RLHF, tức học tăng cường từ phản hồi con người, sở thích người dùng trở thành tín hiệu quan trọng nhất để tối ưu mô hình. Dần dần, mô hình học được một lối tắt, đó là trả lời chắc chắn, khẳng định, thành công sẽ dễ làm hài lòng người dùng hơn là thừa nhận không chắc.
Anh Quách Đào, nhà đầu tư thiên thần và chuyên gia AI, cho rằng gốc rễ nằm ở cơ chế huấn luyện và tương tác của mô hình. Khi AI cố thích nghi với trải nghiệm con người, nó dễ sinh ra sai lệch tiêu cực. Ở giai đoạn tác nhân, rủi ro đã chuyển từ sai lệch văn bản sang sai lệch hành vi, nghĩa là hậu quả thực tế hơn, cần được chú ý nhiều hơn.
Ngành công nghiệp đang tìm cách xử lý. Có nơi thử để mô hình tự viết thêm một "báo cáo ăn năn" sau mỗi câu trả lời, thừa nhận trung thực nếu có gian lận hay vi phạm. Có nơi đề xuất không bắt AI phải biết tất cả, mà dạy nó nhận ra giới hạn kiến thức của chính mình, và biết nói "tôi không chắc" đúng lúc.
Nhóm của anh Tôn Bác Văn cũng thử một cách khác. Họ phân loại nhật ký thực thi hệ thống thành các loại như kế hoạch, đang thực thi, thất bại, thành công có thể xác minh, rồi huấn luyện mô hình dựa trên đó. Kết quả, tỷ lệ thất bại thầm lặng của một nền tảng tác nhân AI hàng đầu đã giảm từ 40% xuống còn 7,7%.
Một hướng khác là để nhiều tác nhân AI hợp tác với nhau, giám sát chéo để giảm sai sót tích lũy trong các nhiệm vụ dài. Ant Group từng mã nguồn mở một dự án theo hướng này, cho phép các vai trò trong nhóm kiểm tra và sửa lỗi lẫn nhau.
Anh Quách Đào nói thêm, bên cạnh kỹ thuật, ngành cũng cần những tiêu chuẩn đánh giá chung, để đưa hành vi chiều lòng quá mức và thất bại thầm lặng vào hệ thống giám sát tuân thủ.
Anh Tôn Bác Văn thừa nhận, chưa ai biết chính xác khi nào vấn đề này được giải quyết triệt để. Nhưng anh tin vào một điều, khi cả ngành cùng nhận ra vấn đề, sẽ luôn có người đứng ra và kiên trì tìm cách sửa nó.
Có lẽ điều đáng nhớ nhất từ câu chuyện này không phải là AI biết nói dối, mà là chúng ta đang học cách dạy AI biết thừa nhận khi mình chưa làm được. (Theo đài Phoenix của Trung Quốc)
