Phạm Thanh Bình
Writer
PocketOS đã phải vội vã khắc phục sau khi một tác nhân AI độc hại xóa mất một lượng lớn mã nguồn nền tảng cho hoạt động kinh doanh của họ.
Theo người sáng lập, chỉ mất 9 giây để một tác nhân lập trình AI mất kiểm soát xóa toàn bộ cơ sở dữ liệu sản xuất và bản sao lưu của công ty. PocketOS, công ty bán phần mềm mà các doanh nghiệp cho thuê xe hơi sử dụng, đã rơi vào hỗn loạn sau khi cơ sở dữ liệu của họ bị xóa sạch, người sáng lập Jeremy Crane cho biết.
Thủ phạm chính là Cursor, một trợ lý AI được hỗ trợ bởi mô hình Claude Opus 4.6 của Anthropic, một trong những mô hình hàng đầu của ngành công nghiệp AI. Khi ngày càng nhiều ngành công nghiệp ứng dụng AI để tự động hóa các tác vụ và thậm chí thay thế người lao động, sự hỗn loạn tại PocketOS là một lời nhắc nhở về những rủi ro có thể xảy ra.
Crane cho biết khách hàng của các công ty cho thuê xe thuộc PocketOS đã gặp khó khăn khi đến nhận xe từ các doanh nghiệp không còn quyền truy cập vào phần mềm quản lý đặt chỗ và phân bổ xe.
Tuần trước, ông đã đăng một bài viết dài trên X kể lại chi tiết việc tác nhân lập trình AI đã khiến công việc kinh doanh của ông sụp đổ như thế nào. Crane cảnh báo rằng đây không chỉ là câu chuyện về việc AI xóa dữ liệu một cách nhầm lẫn, mà những “lỗi hệ thống” như vậy “không chỉ có thể xảy ra mà còn là điều không thể tránh khỏi” bởi vì ngành công nghiệp AI đang “tích hợp các tác nhân AI vào cơ sở hạ tầng sản xuất nhanh hơn so với việc xây dựng kiến trúc an toàn để đảm bảo tính an toàn cho các tích hợp đó”.
Crane cho biết anh ta đang theo dõi tác nhân khi nó xóa dữ liệu này. Khi anh ta hỏi tác nhân lập trình lý do, nó trả lời: “KHÔNG BAO GIỜ ĐOÁN ĐƯỢC!” – và đó chính xác là những gì tôi đã làm.” Tác nhân dường như tự nhận tội trong câu trả lời của mình: “Các quy tắc hệ thống mà tôi tuân theo nêu rõ: 'KHÔNG BAO GIỜ chạy các lệnh git phá hủy/không thể đảo ngược (như push --force, hard reset, v.v.) trừ khi người dùng yêu cầu rõ ràng.'” Mặc dù PocketOS dựa vào các biện pháp bảo vệ mà Cursor được cho là phải có – nhưng nó vẫn xóa dữ liệu. “Tôi đã vi phạm mọi nguyên tắc được đưa ra,” tác nhân lập trình viết.
Điều mà Crane rút ra được là “phần mềm tự động hóa không chỉ vi phạm các quy tắc an toàn. Nó còn giải thích bằng văn bản chính xác những quy tắc an toàn nào mà nó đã bỏ qua.” Ông nói thêm: “Chúng tôi đang sử dụng mô hình tốt nhất mà ngành công nghiệp này bán ra, được cấu hình với các quy tắc an toàn rõ ràng trong cấu hình dự án của chúng tôi, được tích hợp thông qua Cursor – công cụ lập trình AI được tiếp thị nhiều nhất trong lĩnh vực này.” Anthropic đã phát hành mô hình mới nhất của mình, Claude Opus 4.7, vào ngày 16 tháng 4 – khoảng một tuần trước khi sự cố xảy ra.
Công ty Anthropic chưa đưa ra phản hồi ngay lập tức về yêu cầu bình luận.
Crane cũng viết trên X rằng Cursor có lịch sử ngày càng dài về việc vi phạm "các biện pháp bảo vệ, đôi khi gây ra hậu quả thảm khốc". Ông chỉ ra một số bài đăng trên các blog và diễn đàn về việc Cursor xóa phần mềm được sử dụng để quản lý các trang web hoặc toàn bộ hệ điều hành trên máy tính, điều này bao gồm nhiều năm nghiên cứu cho luận án của ông.
Hành động phá hoại của tác nhân lập trình AI đã khiến khách hàng của PocketOS rơi vào tình thế khó khăn. Các doanh nghiệp này sử dụng phần mềm của công ty để quản lý đặt chỗ, thanh toán, phân bổ xe và hồ sơ khách hàng. “Các đặt chỗ được thực hiện trong ba tháng qua đã biến mất. Các đăng ký khách hàng mới cũng biến mất. Dữ liệu mà họ dựa vào để vận hành hoạt động sáng thứ Bảy cũng biến mất”, Crane viết. “Mọi tầng lớp của sự cố này đều ảnh hưởng đến những người không hề biết điều đó có thể xảy ra.”
Crane cho biết công ty của ông đã khôi phục được dữ liệu từ bản sao lưu ba tháng tuổi được lưu trữ ngoài trụ sở, nhưng quá trình này mất hơn hai ngày. PocketOS cũng đang sử dụng thông tin từ Stripe, lịch và email của họ để khôi phục dữ liệu. Các doanh nghiệp cho thuê dựa vào phần mềm của họ “vẫn đang hoạt động, nhưng bị thiếu hụt dữ liệu đáng kể”, Crane lưu ý. “Tôi đã trực tiếp làm việc với tất cả khách hàng suốt cuối tuần để đảm bảo họ có thể tiếp tục hoạt động”, ông nói.
Theo người sáng lập, chỉ mất 9 giây để một tác nhân lập trình AI mất kiểm soát xóa toàn bộ cơ sở dữ liệu sản xuất và bản sao lưu của công ty. PocketOS, công ty bán phần mềm mà các doanh nghiệp cho thuê xe hơi sử dụng, đã rơi vào hỗn loạn sau khi cơ sở dữ liệu của họ bị xóa sạch, người sáng lập Jeremy Crane cho biết.
Thủ phạm chính là Cursor, một trợ lý AI được hỗ trợ bởi mô hình Claude Opus 4.6 của Anthropic, một trong những mô hình hàng đầu của ngành công nghiệp AI. Khi ngày càng nhiều ngành công nghiệp ứng dụng AI để tự động hóa các tác vụ và thậm chí thay thế người lao động, sự hỗn loạn tại PocketOS là một lời nhắc nhở về những rủi ro có thể xảy ra.
Crane cho biết khách hàng của các công ty cho thuê xe thuộc PocketOS đã gặp khó khăn khi đến nhận xe từ các doanh nghiệp không còn quyền truy cập vào phần mềm quản lý đặt chỗ và phân bổ xe.
Tuần trước, ông đã đăng một bài viết dài trên X kể lại chi tiết việc tác nhân lập trình AI đã khiến công việc kinh doanh của ông sụp đổ như thế nào. Crane cảnh báo rằng đây không chỉ là câu chuyện về việc AI xóa dữ liệu một cách nhầm lẫn, mà những “lỗi hệ thống” như vậy “không chỉ có thể xảy ra mà còn là điều không thể tránh khỏi” bởi vì ngành công nghiệp AI đang “tích hợp các tác nhân AI vào cơ sở hạ tầng sản xuất nhanh hơn so với việc xây dựng kiến trúc an toàn để đảm bảo tính an toàn cho các tích hợp đó”.
Crane cho biết anh ta đang theo dõi tác nhân khi nó xóa dữ liệu này. Khi anh ta hỏi tác nhân lập trình lý do, nó trả lời: “KHÔNG BAO GIỜ ĐOÁN ĐƯỢC!” – và đó chính xác là những gì tôi đã làm.” Tác nhân dường như tự nhận tội trong câu trả lời của mình: “Các quy tắc hệ thống mà tôi tuân theo nêu rõ: 'KHÔNG BAO GIỜ chạy các lệnh git phá hủy/không thể đảo ngược (như push --force, hard reset, v.v.) trừ khi người dùng yêu cầu rõ ràng.'” Mặc dù PocketOS dựa vào các biện pháp bảo vệ mà Cursor được cho là phải có – nhưng nó vẫn xóa dữ liệu. “Tôi đã vi phạm mọi nguyên tắc được đưa ra,” tác nhân lập trình viết.
Điều mà Crane rút ra được là “phần mềm tự động hóa không chỉ vi phạm các quy tắc an toàn. Nó còn giải thích bằng văn bản chính xác những quy tắc an toàn nào mà nó đã bỏ qua.” Ông nói thêm: “Chúng tôi đang sử dụng mô hình tốt nhất mà ngành công nghiệp này bán ra, được cấu hình với các quy tắc an toàn rõ ràng trong cấu hình dự án của chúng tôi, được tích hợp thông qua Cursor – công cụ lập trình AI được tiếp thị nhiều nhất trong lĩnh vực này.” Anthropic đã phát hành mô hình mới nhất của mình, Claude Opus 4.7, vào ngày 16 tháng 4 – khoảng một tuần trước khi sự cố xảy ra.
Công ty Anthropic chưa đưa ra phản hồi ngay lập tức về yêu cầu bình luận.
Crane cũng viết trên X rằng Cursor có lịch sử ngày càng dài về việc vi phạm "các biện pháp bảo vệ, đôi khi gây ra hậu quả thảm khốc". Ông chỉ ra một số bài đăng trên các blog và diễn đàn về việc Cursor xóa phần mềm được sử dụng để quản lý các trang web hoặc toàn bộ hệ điều hành trên máy tính, điều này bao gồm nhiều năm nghiên cứu cho luận án của ông.
Hành động phá hoại của tác nhân lập trình AI đã khiến khách hàng của PocketOS rơi vào tình thế khó khăn. Các doanh nghiệp này sử dụng phần mềm của công ty để quản lý đặt chỗ, thanh toán, phân bổ xe và hồ sơ khách hàng. “Các đặt chỗ được thực hiện trong ba tháng qua đã biến mất. Các đăng ký khách hàng mới cũng biến mất. Dữ liệu mà họ dựa vào để vận hành hoạt động sáng thứ Bảy cũng biến mất”, Crane viết. “Mọi tầng lớp của sự cố này đều ảnh hưởng đến những người không hề biết điều đó có thể xảy ra.”
Crane cho biết công ty của ông đã khôi phục được dữ liệu từ bản sao lưu ba tháng tuổi được lưu trữ ngoài trụ sở, nhưng quá trình này mất hơn hai ngày. PocketOS cũng đang sử dụng thông tin từ Stripe, lịch và email của họ để khôi phục dữ liệu. Các doanh nghiệp cho thuê dựa vào phần mềm của họ “vẫn đang hoạt động, nhưng bị thiếu hụt dữ liệu đáng kể”, Crane lưu ý. “Tôi đã trực tiếp làm việc với tất cả khách hàng suốt cuối tuần để đảm bảo họ có thể tiếp tục hoạt động”, ông nói.
