Thoại Viết Hoàng✔
Writer
Không lâu trước đây, nhiều quản trị viên website từng hết hồn vì lượng truy cập khổng lồ bất thường đổ về từ Trung Quốc, cụ thể là từ khu vực Lan Châu. Nhưng gần đây, kịch bản lặp lại, chỉ khác là nguồn gốc lần này chuyển sang Singapore. Điều gì đang thực sự xảy ra vậy?
Qua lục lọi trên mạng, cũng như xâu chuỗi các sự kiện, tin tức thì mình có thể khẳng định đây không phải người dùng thật đang ghé thăm trang, có nghĩa nó không tạo ra doanh thu nào cả. Các phiên truy cập kiểu này thường chỉ kéo dài vài giây, tỷ lệ thoát trang cực cao và gần như không để lại bất kỳ tương tác nào, không mua hàng, không đăng ký, không click sâu vào nội dung. Đó là dấu hiệu kinh điển của bot tự động, chứ không phải khách ghé thăm bình thường.
Vậy bot vào để làm gì mà chớp nhoáng vậy? Mục đích được cho rằng các con bot này đang âm thầm cào dữ liệu để phục vụ việc huấn luyện các mô hình trí tuệ nhân tạo. Chúng không chỉ lấy nội dung văn bản mà còn đặc biệt để ý đến phần dữ liệu có cấu trúc trên trang, tức đoạn mã giúp máy tính hiểu ngay giá sản phẩm hay điểm đánh giá mà không cần đọc toàn bộ bài viết. Đây là một mắt xích trong cuộc chạy đua thu thập dữ liệu khổng lồ giữa các công ty AI trên toàn cầu, trong đó Trung Quốc được nhắc tên nhiều nhất.
Vậy tại sao vị trí xuất phát của các bot này lại dịch chuyển từ Trung Quốc sang Singapore? Đây là phần mang tính suy đoán, nhưng có cơ sở để xâu chuỗi. Thời gian qua, Mỹ liên tục siết chặt việc kiểm soát xuất khẩu chip và máy chủ AI tiên tiến sang Trung Quốc, đồng thời truy tố nhiều vụ lách luật quy mô lớn, trong đó có đường dây tuồn máy chủ hiệu năng cao sang Trung Quốc bị phanh phui hồi tháng 3 năm nay, cũng như các nỗ lực chuyển GPU Nvidia qua ngả Malaysia và Thái Lan từng bị Mỹ ngăn chặn trước đó. Trước sức ép này, không loại trừ khả năng một phần hạ tầng dùng để huấn luyện AI, hoặc ít nhất là hoạt động thu thập dữ liệu phục vụ AI có liên hệ với Trung Quốc, đang được đẩy ra khỏi lãnh thổ nước này và đặt nhờ tại các trung tâm dữ liệu ở Đông Nam Á, nơi Singapore vốn là điểm trung chuyển công nghệ lớn nhất khu vực, với hạ tầng đám mây của AWS, Google Cloud lẫn Alibaba Cloud đều hiện diện dày đặc.
Việc né các lệnh kiểm soát phần cứng có thể kéo theo việc né luôn cả nơi đặt máy chủ vận hành bot, và Singapore, cùng với Thái Lan, đang trở thành điểm trung chuyển thuận tiện cho mục đích đó. Khi bot chạy qua hạ tầng đặt tại đây, công cụ phân tích lưu lượng chỉ ghi nhận được địa chỉ IP cuối cùng, tức Singapore, mà không biết được ai thực sự đứng sau và dữ liệu đang được đưa đi đâu.
Tất nhiên, đây mới chỉ là giả thuyết mình xâu chuỗi từ các diễn biến chính sách và động thái thực tế, chứ chưa có bằng chứng trực tiếp khẳng định toàn bộ lượng traffic bất thường từ Singapore đều xuất phát từ Trung Quốc.
Trên thực tế, nhiều website đã không ngồi yên chịu trận mà chủ động dựng hàng rào chặn bot AI nhưng kết quả nhìn chung vẫn chưa như mong đợi dù phải tốn kém dịch vụ chặn bot. Biện pháp phổ biến nhất là chỉnh sửa tệp robots.txt để khai báo cấm các bot có tên như GPTBot của OpenAI, ClaudeBot của Anthropic, Google-Extended của Google hay Bytespider của ByteDance. Vấn đề là robots.txt chỉ mang tính khuyến nghị, giống như một tấm biển "cấm vào" chứ không phải ổ khóa, và bot nào tôn trọng thì mới nghe theo. Nhiều quản trị viên chuyển sang các lớp phòng thủ chắc tay hơn, như bật Bot Fight Mode hoặc tính năng chặn bot AI của Cloudflare, cấu hình tường lửa ứng dụng web WAF, hay chặn trực tiếp theo địa chỉ IP và User Agent thông qua tệp .htaccess trên máy chủ.
Thế nhưng, giới quản trị mạng thừa nhận nhiều bot bây giờ "khôn" hơn hẳn, chúng thuê máy chủ ảo đặt tại các trung tâm dữ liệu của Tencent hay Alibaba, tức chạy qua hạ tầng ở Trung Quốc hoặc Singapore, sau đó giả dạng trình duyệt Chrome hay Edge để trà trộn vào lượng truy cập thật, khiến việc chặn theo User Agent gần như vô nghĩa. Ngay cả những cái tên lớn cũng bị réo tên, khi Cloudflare từng công bố báo cáo cho thấy Perplexity liên tục đổi User Agent và thay đổi dải địa chỉ mạng nguồn để ẩn danh hoạt động cào dữ liệu, thậm chí bỏ qua hẳn tệp robots.txt dù trang web đã khai báo cấm.
Tác dụng thấy rõ nhất của các biện pháp chặn bot, cho đến nay, vẫn khá mờ nhạt. Bot cũ bị chặn thì bot mới xuất hiện, tên miền hay địa chỉ IP bị cấm thì chúng đổi sang địa chỉ khác, tạo thành một cuộc rượt đuổi không hồi kết mà bên phòng thủ luôn đi sau một bước.
Ngược lại, tác hại đi kèm lại khá rõ ràng. Trước hết là nguy cơ chặn nhầm, vì danh sách bot AI và bot tìm kiếm nhiều khi đan xen nhau, chặn nhầm một bot như Applebot hay Amazonbot có thể khiến website giảm khả năng hiển thị trên chính các nền tảng tìm kiếm và mua sắm đó. Kế đến là chi phí vận hành phát sinh, khi việc dựng tường lửa, thuê dịch vụ proxy hay liên tục cập nhật danh sách bot đòi hỏi cả thời gian lẫn ngân sách, trong khi hiệu quả mang lại không tương xứng. Cấu hình sai tệp .htaccess còn có thể khiến cả trang web sập, chặn nhầm luôn cả người dùng thật. Chưa kể, việc phải xử lý một lượng lớn request giả mạo cũng ngốn tài nguyên máy chủ và băng thông, làm tăng chi phí hạ tầng mà lẽ ra không cần thiết. Nói cách khác, chủ website vừa tốn công dựng rào, vừa phải chấp nhận rủi ro tự làm khó chính mình, trong khi bot vẫn tìm được đường lách qua.
Với chủ website, điều thực tế nhất cần làm vẫn là theo dõi các dấu hiệu bất thường như lưu lượng tăng đột biến từ những quốc gia không thuộc nhóm khách hàng mục tiêu, thời gian phiên quá ngắn hay tỷ lệ thoát trang cao lạ thường, để kịp thời lọc bỏ dữ liệu bot khỏi các báo cáo phân tích của mình.
Qua lục lọi trên mạng, cũng như xâu chuỗi các sự kiện, tin tức thì mình có thể khẳng định đây không phải người dùng thật đang ghé thăm trang, có nghĩa nó không tạo ra doanh thu nào cả. Các phiên truy cập kiểu này thường chỉ kéo dài vài giây, tỷ lệ thoát trang cực cao và gần như không để lại bất kỳ tương tác nào, không mua hàng, không đăng ký, không click sâu vào nội dung. Đó là dấu hiệu kinh điển của bot tự động, chứ không phải khách ghé thăm bình thường.
Vậy bot vào để làm gì mà chớp nhoáng vậy? Mục đích được cho rằng các con bot này đang âm thầm cào dữ liệu để phục vụ việc huấn luyện các mô hình trí tuệ nhân tạo. Chúng không chỉ lấy nội dung văn bản mà còn đặc biệt để ý đến phần dữ liệu có cấu trúc trên trang, tức đoạn mã giúp máy tính hiểu ngay giá sản phẩm hay điểm đánh giá mà không cần đọc toàn bộ bài viết. Đây là một mắt xích trong cuộc chạy đua thu thập dữ liệu khổng lồ giữa các công ty AI trên toàn cầu, trong đó Trung Quốc được nhắc tên nhiều nhất.
Vậy tại sao vị trí xuất phát của các bot này lại dịch chuyển từ Trung Quốc sang Singapore? Đây là phần mang tính suy đoán, nhưng có cơ sở để xâu chuỗi. Thời gian qua, Mỹ liên tục siết chặt việc kiểm soát xuất khẩu chip và máy chủ AI tiên tiến sang Trung Quốc, đồng thời truy tố nhiều vụ lách luật quy mô lớn, trong đó có đường dây tuồn máy chủ hiệu năng cao sang Trung Quốc bị phanh phui hồi tháng 3 năm nay, cũng như các nỗ lực chuyển GPU Nvidia qua ngả Malaysia và Thái Lan từng bị Mỹ ngăn chặn trước đó. Trước sức ép này, không loại trừ khả năng một phần hạ tầng dùng để huấn luyện AI, hoặc ít nhất là hoạt động thu thập dữ liệu phục vụ AI có liên hệ với Trung Quốc, đang được đẩy ra khỏi lãnh thổ nước này và đặt nhờ tại các trung tâm dữ liệu ở Đông Nam Á, nơi Singapore vốn là điểm trung chuyển công nghệ lớn nhất khu vực, với hạ tầng đám mây của AWS, Google Cloud lẫn Alibaba Cloud đều hiện diện dày đặc.
Việc né các lệnh kiểm soát phần cứng có thể kéo theo việc né luôn cả nơi đặt máy chủ vận hành bot, và Singapore, cùng với Thái Lan, đang trở thành điểm trung chuyển thuận tiện cho mục đích đó. Khi bot chạy qua hạ tầng đặt tại đây, công cụ phân tích lưu lượng chỉ ghi nhận được địa chỉ IP cuối cùng, tức Singapore, mà không biết được ai thực sự đứng sau và dữ liệu đang được đưa đi đâu.
Tất nhiên, đây mới chỉ là giả thuyết mình xâu chuỗi từ các diễn biến chính sách và động thái thực tế, chứ chưa có bằng chứng trực tiếp khẳng định toàn bộ lượng traffic bất thường từ Singapore đều xuất phát từ Trung Quốc.
Trên thực tế, nhiều website đã không ngồi yên chịu trận mà chủ động dựng hàng rào chặn bot AI nhưng kết quả nhìn chung vẫn chưa như mong đợi dù phải tốn kém dịch vụ chặn bot. Biện pháp phổ biến nhất là chỉnh sửa tệp robots.txt để khai báo cấm các bot có tên như GPTBot của OpenAI, ClaudeBot của Anthropic, Google-Extended của Google hay Bytespider của ByteDance. Vấn đề là robots.txt chỉ mang tính khuyến nghị, giống như một tấm biển "cấm vào" chứ không phải ổ khóa, và bot nào tôn trọng thì mới nghe theo. Nhiều quản trị viên chuyển sang các lớp phòng thủ chắc tay hơn, như bật Bot Fight Mode hoặc tính năng chặn bot AI của Cloudflare, cấu hình tường lửa ứng dụng web WAF, hay chặn trực tiếp theo địa chỉ IP và User Agent thông qua tệp .htaccess trên máy chủ.
Thế nhưng, giới quản trị mạng thừa nhận nhiều bot bây giờ "khôn" hơn hẳn, chúng thuê máy chủ ảo đặt tại các trung tâm dữ liệu của Tencent hay Alibaba, tức chạy qua hạ tầng ở Trung Quốc hoặc Singapore, sau đó giả dạng trình duyệt Chrome hay Edge để trà trộn vào lượng truy cập thật, khiến việc chặn theo User Agent gần như vô nghĩa. Ngay cả những cái tên lớn cũng bị réo tên, khi Cloudflare từng công bố báo cáo cho thấy Perplexity liên tục đổi User Agent và thay đổi dải địa chỉ mạng nguồn để ẩn danh hoạt động cào dữ liệu, thậm chí bỏ qua hẳn tệp robots.txt dù trang web đã khai báo cấm.
Tác dụng thấy rõ nhất của các biện pháp chặn bot, cho đến nay, vẫn khá mờ nhạt. Bot cũ bị chặn thì bot mới xuất hiện, tên miền hay địa chỉ IP bị cấm thì chúng đổi sang địa chỉ khác, tạo thành một cuộc rượt đuổi không hồi kết mà bên phòng thủ luôn đi sau một bước.
Ngược lại, tác hại đi kèm lại khá rõ ràng. Trước hết là nguy cơ chặn nhầm, vì danh sách bot AI và bot tìm kiếm nhiều khi đan xen nhau, chặn nhầm một bot như Applebot hay Amazonbot có thể khiến website giảm khả năng hiển thị trên chính các nền tảng tìm kiếm và mua sắm đó. Kế đến là chi phí vận hành phát sinh, khi việc dựng tường lửa, thuê dịch vụ proxy hay liên tục cập nhật danh sách bot đòi hỏi cả thời gian lẫn ngân sách, trong khi hiệu quả mang lại không tương xứng. Cấu hình sai tệp .htaccess còn có thể khiến cả trang web sập, chặn nhầm luôn cả người dùng thật. Chưa kể, việc phải xử lý một lượng lớn request giả mạo cũng ngốn tài nguyên máy chủ và băng thông, làm tăng chi phí hạ tầng mà lẽ ra không cần thiết. Nói cách khác, chủ website vừa tốn công dựng rào, vừa phải chấp nhận rủi ro tự làm khó chính mình, trong khi bot vẫn tìm được đường lách qua.
Với chủ website, điều thực tế nhất cần làm vẫn là theo dõi các dấu hiệu bất thường như lưu lượng tăng đột biến từ những quốc gia không thuộc nhóm khách hàng mục tiêu, thời gian phiên quá ngắn hay tỷ lệ thoát trang cao lạ thường, để kịp thời lọc bỏ dữ liệu bot khỏi các báo cáo phân tích của mình.
