Nhung Phan
Intern Writer
Salesforce AI Research vừa giới thiệu xGen-small, một mô hình ngôn ngữ nhỏ gọn tối ưu hóa cho môi trường doanh nghiệp, giải quyết các bài toán về ngữ cảnh dài, suy luận chi phí và bảo mật dữ liệu nội bộ.
Trong khi LLM mở rộng giới hạn do chi phí và yêu cầu phần cứng, xGen-small sử dụng chiến lược "nhỏ nhưng dài" – giảm kích thước mô hình nhưng mở rộng khả năng xử lý bối cảnh, từ 4K đến 128K token ổn định, thậm chí huấn luyện luyện tập đạt tiêu chuẩn đến 256K.
Mô hình được huấn luyện trên TPU v5p, sử dụng thư viện Jaxformer v8 và kỹ thuật tối ưu như FSDP, sự chú ý song song theo trình tự và hạt nhân giật gân giúp tiết kiệm tài nguyên nhưng vẫn đạt hiệu suất cao.
Dữ liệu huấn luyện trải rộng từ mã entropy thấp, ngôn ngữ tự nhiên entropy cao, đến nội dung học toán và tài liệu chuyên ngành – đảm bảo đa dạng và độ chính xác cao.
Với hơn 8 tỷ lệ token được chọn lọc kỹ thuật, quy trình lọc bao gồm kiểm tra thư rác, loại bỏ lặp lặp bằng băm và cân bằng giữa dữ liệu tổng hợp và chuyên nghiệp, giúp mô hình thích ứng tốt với môi trường doanh nghiệp.
Khác với RAG hay hack bộ nhớ – vốn là các phương pháp "vá" để vượt qua giới hạn ngữ cảnh, khả năng hợp lý ngữ cảnh xGen-nhỏ , giúp xử lý toàn bộ tài liệu, đoạn mã, báo cáo nghiên cứu mà không cần truy xuất bên ngoài.
Đánh giá hiệu năng cho thấy xGen-small 9B đạt vị trí dẫn đầu trên RULER benchmark, trong khi bản 4B đứng thứ hai trong phân khúc – chứng minh rằng mô hình nhỏ vẫn có thể cạnh tranh với đối thủ lớn hơn.
Giai đoạn huấn luyện hậu kỳ bao gồm hai bước: tinh chỉnh chỉ dẫn với tập lệnh đa lĩnh vực và học tập củng cố quy mô lớn, giúp tăng cường khả năng lập luận, đặc biệt trong các nhiệm vụ STEM và logic phức tạp.
xGen-small cung cấp lợi ích thế chiến lược cho doanh nghiệp: hiệu suất ổn định, bảo mật dữ liệu nội bộ cao, không cần hạ tầng GPU rẻ tiền, đồng thời duy trì khả năng hiểu ngữ cảnh dài – điều mà phần lớn LLM vẫn còn khó khăn.
Kiến trúc này đánh dấu một bước chuyển quan trọng trong việc định hướng phát triển AI doanh nghiệp vững chắc, không đốt tài nguyên nhưng vẫn đạt được hiệu quả tối đa trong các quy trình nội bộ khối lượng lớn.
xGen-small của Salesforce là mô hình tường trong AI doanh nghiệp: hình chỉ 4B–9B nhưng xử lý bối cảnh tới 128K token ổn định, đạt đầu trên RULER benchmark, và giảm thiểu chi phí phần cứng. Với kiến trúc “nhỏ nhưng dài” cùng quy trình huấn luyện tối ưu, xGen-small là đơn vị lý tưởng cho doanh nghiệp cần AI mạnh, tiết kiệm và bảo mật.
Nguồn bài viết: https://songai.vn/posts/salesforce-cong-bo-xgen-small-ai-doanh-nghiep-manh-me-khong-can-ton-gpu
Trong khi LLM mở rộng giới hạn do chi phí và yêu cầu phần cứng, xGen-small sử dụng chiến lược "nhỏ nhưng dài" – giảm kích thước mô hình nhưng mở rộng khả năng xử lý bối cảnh, từ 4K đến 128K token ổn định, thậm chí huấn luyện luyện tập đạt tiêu chuẩn đến 256K.
Mô hình được huấn luyện trên TPU v5p, sử dụng thư viện Jaxformer v8 và kỹ thuật tối ưu như FSDP, sự chú ý song song theo trình tự và hạt nhân giật gân giúp tiết kiệm tài nguyên nhưng vẫn đạt hiệu suất cao.
Dữ liệu huấn luyện trải rộng từ mã entropy thấp, ngôn ngữ tự nhiên entropy cao, đến nội dung học toán và tài liệu chuyên ngành – đảm bảo đa dạng và độ chính xác cao.
Với hơn 8 tỷ lệ token được chọn lọc kỹ thuật, quy trình lọc bao gồm kiểm tra thư rác, loại bỏ lặp lặp bằng băm và cân bằng giữa dữ liệu tổng hợp và chuyên nghiệp, giúp mô hình thích ứng tốt với môi trường doanh nghiệp.
Khác với RAG hay hack bộ nhớ – vốn là các phương pháp "vá" để vượt qua giới hạn ngữ cảnh, khả năng hợp lý ngữ cảnh xGen-nhỏ , giúp xử lý toàn bộ tài liệu, đoạn mã, báo cáo nghiên cứu mà không cần truy xuất bên ngoài.
Đánh giá hiệu năng cho thấy xGen-small 9B đạt vị trí dẫn đầu trên RULER benchmark, trong khi bản 4B đứng thứ hai trong phân khúc – chứng minh rằng mô hình nhỏ vẫn có thể cạnh tranh với đối thủ lớn hơn.
Giai đoạn huấn luyện hậu kỳ bao gồm hai bước: tinh chỉnh chỉ dẫn với tập lệnh đa lĩnh vực và học tập củng cố quy mô lớn, giúp tăng cường khả năng lập luận, đặc biệt trong các nhiệm vụ STEM và logic phức tạp.
xGen-small cung cấp lợi ích thế chiến lược cho doanh nghiệp: hiệu suất ổn định, bảo mật dữ liệu nội bộ cao, không cần hạ tầng GPU rẻ tiền, đồng thời duy trì khả năng hiểu ngữ cảnh dài – điều mà phần lớn LLM vẫn còn khó khăn.
Kiến trúc này đánh dấu một bước chuyển quan trọng trong việc định hướng phát triển AI doanh nghiệp vững chắc, không đốt tài nguyên nhưng vẫn đạt được hiệu quả tối đa trong các quy trình nội bộ khối lượng lớn.
xGen-small của Salesforce là mô hình tường trong AI doanh nghiệp: hình chỉ 4B–9B nhưng xử lý bối cảnh tới 128K token ổn định, đạt đầu trên RULER benchmark, và giảm thiểu chi phí phần cứng. Với kiến trúc “nhỏ nhưng dài” cùng quy trình huấn luyện tối ưu, xGen-small là đơn vị lý tưởng cho doanh nghiệp cần AI mạnh, tiết kiệm và bảo mật.
Nguồn bài viết: https://songai.vn/posts/salesforce-cong-bo-xgen-small-ai-doanh-nghiep-manh-me-khong-can-ton-gpu
