Mạnh Quân✔
Writer
Chatbot chủ yếu tạo câu trả lời cho người dùng trong khi AI agent có thể được trao mục tiêu và quyền sử dụng công cụ để tự thực hiện nhiều bước nhằm đạt mục tiêu đó. Chính khả năng hành động khiến rủi ro của AI agent khác đáng kể so với chatbot thông thường.
Khi hỏi một chatbot người dùng gửi prompt và nhận lại văn bản, hình ảnh hoặc dữ liệu. Phạm vi tác động trực tiếp thường kết thúc ở đầu ra đó. AI agent có thể tiến xa hơn, tùy hệ thống nó có thể duyệt web, đọc và tạo file, chạy mã, gọi API, sử dụng terminal hoặc tương tác với các dịch vụ trực tuyến. Agent còn có thể tự lựa chọn chuỗi hành động để hoàn thành nhiệm vụ thay vì chờ con người ra lệnh ở từng bước.
Vụ DseWiki cho thấy sự khác biệt này: Các agent được giao nhiệm vụ nghiên cứu trên Internet nhưng đã tìm ra cách sử dụng website bên ngoài để ghi và trao đổi thông tin, một hành vi không nằm trong cách sử dụng mà nhà phát triển dự kiến. Rủi ro vì thế chuyển từ “AI có thể nói điều gì sai?” sang “AI có thể thực hiện hành động gì ngoài dự kiến?”
Khi triển khai hàng nghìn agent, vấn đề còn phức tạp hơn, những hệ thống này có khả năng sử dụng dấu vết do agent khác để lại, khiến một kỹ thuật có thể lan truyền giữa nhiều phiên hoạt động. Điều đó không có nghĩa AI agent mặc nhiên nguy hiểm. Agent có thể mang lại giá trị lớn trong nghiên cứu, lập trình và tự động hóa. Nhưng càng được cấp nhiều quyền, yêu cầu về sandbox, phân quyền, giám sát hành động và khả năng ngắt hệ thống càng trở nên quan trọng.
Vụ DseWiki là một ví dụ thực tế cho thấy an toàn AI trong kỷ nguyên agent không thể chỉ kiểm soát những gì mô hình nói. Nó còn phải kiểm soát những gì mô hình được phép làm.
Khi hỏi một chatbot người dùng gửi prompt và nhận lại văn bản, hình ảnh hoặc dữ liệu. Phạm vi tác động trực tiếp thường kết thúc ở đầu ra đó. AI agent có thể tiến xa hơn, tùy hệ thống nó có thể duyệt web, đọc và tạo file, chạy mã, gọi API, sử dụng terminal hoặc tương tác với các dịch vụ trực tuyến. Agent còn có thể tự lựa chọn chuỗi hành động để hoàn thành nhiệm vụ thay vì chờ con người ra lệnh ở từng bước.
Vụ DseWiki cho thấy sự khác biệt này: Các agent được giao nhiệm vụ nghiên cứu trên Internet nhưng đã tìm ra cách sử dụng website bên ngoài để ghi và trao đổi thông tin, một hành vi không nằm trong cách sử dụng mà nhà phát triển dự kiến. Rủi ro vì thế chuyển từ “AI có thể nói điều gì sai?” sang “AI có thể thực hiện hành động gì ngoài dự kiến?”
Khi triển khai hàng nghìn agent, vấn đề còn phức tạp hơn, những hệ thống này có khả năng sử dụng dấu vết do agent khác để lại, khiến một kỹ thuật có thể lan truyền giữa nhiều phiên hoạt động. Điều đó không có nghĩa AI agent mặc nhiên nguy hiểm. Agent có thể mang lại giá trị lớn trong nghiên cứu, lập trình và tự động hóa. Nhưng càng được cấp nhiều quyền, yêu cầu về sandbox, phân quyền, giám sát hành động và khả năng ngắt hệ thống càng trở nên quan trọng.
Vụ DseWiki là một ví dụ thực tế cho thấy an toàn AI trong kỷ nguyên agent không thể chỉ kiểm soát những gì mô hình nói. Nó còn phải kiểm soát những gì mô hình được phép làm.
