Nguyễn Hoàng
Intern Writer
Khi đánh giá một mô hình AI, câu hỏi muôn thuở là: nó thật sự suy luận, hay chỉ đang “tụng lại” dữ liệu học được? Một nhóm nghiên cứu thuộc công ty đầu tư mạo hiểm HongShan Capital Group ở Trung Quốc đã xây dựng một bộ công cụ có tên Xbench, với mục tiêu tiếp cận câu hỏi này theo hướng khác biệt – sát thực tế hơn.
Ban đầu, Xbench chỉ là công cụ nội bộ, dùng để đánh giá mô hình trước khi HongShan quyết định đầu tư. Nhưng giờ đây, họ đã công khai một phần bộ câu hỏi, hoàn toàn miễn phí cho ai cũng có thể sử dụng, đồng thời công bố bảng xếp hạng các mô hình AI đang “thi đấu” với nhau trên hệ thống này. ChatGPT-o3 dẫn đầu mọi hạng mục, nhưng các tên tuổi như Doubao (ByteDance), Gemini 2.5 Pro, Claude Sonnet hay Grok cũng có kết quả đáng chú ý.
Về học thuật, Xbench hiện có hai phần chính: ScienceQA và DeepResearch.
ScienceQA tiếp nối truyền thống của các bài thi STEM cấp cao, với câu hỏi từ sinh học phân tử tới cơ học quỹ đạo, được soạn bởi nghiên cứu sinh và kiểm chứng bởi giảng viên đại học. Điểm số không chỉ dựa vào câu trả lời đúng, mà còn đánh giá cả chuỗi suy luận.
DeepResearch thì khác hẳn: nó kiểm tra khả năng tìm hiểu thông tin phức tạp bằng tiếng Trung trên web. 100 câu hỏi từ 10 chuyên gia ở các lĩnh vực như âm nhạc, lịch sử, tài chính, văn học – không thể đơn giản “tra Google” – mà đòi hỏi phải hiểu sâu và tổng hợp. Ví dụ: “Có bao nhiêu thành phố ở ba tỉnh Tây Bắc Trung Quốc giáp biên giới quốc tế?” (Câu trả lời là 12, và chỉ 33% mô hình trả lời đúng).
Điểm thú vị là: mô hình sẽ được chấm điểm cao hơn nếu biết thừa nhận... “tôi không đủ dữ liệu để chắc chắn”.
Dự kiến các hạng mục khác như tài chính, pháp lý, kế toán và thiết kế cũng sẽ được bổ sung sau.
Điều đáng chú ý là hệ thống sẽ được cập nhật hàng quý, giữ một nửa dữ liệu mở công khai và một nửa giữ kín, vừa đảm bảo sự công bằng, vừa tránh mô hình “học vẹt”.
Trong thế giới AI, việc đánh giá chính xác mô hình tốt hay không là chuyện khó. Như nhận xét của Zihan Zheng, một nhà nghiên cứu tại NYU và trưởng nhóm một benchmark khác tên LiveCodeBench Pro, thì: “Rất khó để đo lường thứ gì đó không định lượng rõ ràng, nhưng Xbench là một khởi đầu đầy hứa hẹn.” (technologyreview)
Một bài kiểm tra không chỉ để... kiểm tra
Khác với nhiều chuẩn đánh giá hiện tại vốn chỉ thiên về các bài kiểm tra học thuật, Xbench chia cách tiếp cận thành hai hướng song song. Một hướng vẫn theo truyền thống – kiểu bài thi đánh giá kiến thức học thuật như trong môi trường đại học. Hướng còn lại lại giống một vòng phỏng vấn xin việc, tức là đánh giá khả năng thực sự giải quyết vấn đề ngoài đời.Về học thuật, Xbench hiện có hai phần chính: ScienceQA và DeepResearch.
ScienceQA tiếp nối truyền thống của các bài thi STEM cấp cao, với câu hỏi từ sinh học phân tử tới cơ học quỹ đạo, được soạn bởi nghiên cứu sinh và kiểm chứng bởi giảng viên đại học. Điểm số không chỉ dựa vào câu trả lời đúng, mà còn đánh giá cả chuỗi suy luận.
DeepResearch thì khác hẳn: nó kiểm tra khả năng tìm hiểu thông tin phức tạp bằng tiếng Trung trên web. 100 câu hỏi từ 10 chuyên gia ở các lĩnh vực như âm nhạc, lịch sử, tài chính, văn học – không thể đơn giản “tra Google” – mà đòi hỏi phải hiểu sâu và tổng hợp. Ví dụ: “Có bao nhiêu thành phố ở ba tỉnh Tây Bắc Trung Quốc giáp biên giới quốc tế?” (Câu trả lời là 12, và chỉ 33% mô hình trả lời đúng).
Điểm thú vị là: mô hình sẽ được chấm điểm cao hơn nếu biết thừa nhận... “tôi không đủ dữ liệu để chắc chắn”.
Từ kiến thức tới hành động: Đánh giá khả năng làm việc thực tế
Xbench không dừng lại ở kiểm tra kiến thức, họ muốn xem mô hình có thể làm được gì. Nhóm phát triển đã hợp tác với các chuyên gia trong ngành nhân sự và tiếp thị, xây dựng bài kiểm tra mô phỏng công việc thực tế: chọn lọc ứng viên kỹ sư pin phù hợp, hoặc gán thương hiệu với KOL hợp lý từ danh sách 800 influencer.Dự kiến các hạng mục khác như tài chính, pháp lý, kế toán và thiết kế cũng sẽ được bổ sung sau.
Điều đáng chú ý là hệ thống sẽ được cập nhật hàng quý, giữ một nửa dữ liệu mở công khai và một nửa giữ kín, vừa đảm bảo sự công bằng, vừa tránh mô hình “học vẹt”.
Trong thế giới AI, việc đánh giá chính xác mô hình tốt hay không là chuyện khó. Như nhận xét của Zihan Zheng, một nhà nghiên cứu tại NYU và trưởng nhóm một benchmark khác tên LiveCodeBench Pro, thì: “Rất khó để đo lường thứ gì đó không định lượng rõ ràng, nhưng Xbench là một khởi đầu đầy hứa hẹn.” (technologyreview)
