Mẫn Nhi
Admin xinh gái
6 nghìn tỷ tham số. 500 vòng lặp huấn luyện mà không gặp sự gián đoạn hay lỗi nào, đồng thời cải thiện các khả năng toán học.
Đây là bước tiến lớn trong nỗ lực của ngành bán dẫn Trung Quốc nhằm chuyển từ hỗ trợ suy luận AI cơ bản sang các quy trình huấn luyện phức tạp hơn.
Theo một bài đăng trên mạng xã hội của chính quyền Thâm Quyến, các nhà nghiên cứu đã chạy mô hình lớn nhất từ trước đến nay của DeepSeek trên một cụm máy tính được vận hành bởi ít nhất 1.000 chip Huawei.
Dự án được thực hiện phối hợp giữa Huawei, Viện Khu vực Vòng Loop Thâm Quyến, campus Thâm Quyến của Đại học Bách khoa Thâm Quyến và Viện Nghiên cứu Dữ liệu lớn Thâm Quyến.
Chip Ascend 910 của Huawei giúp tham vọng tự chủ AI của Trung Quốc tiến một bước dài
Đội ngũ đã thực hiện "huấn luyện toàn tham số" (full-parameter), nghĩa là toàn bộ kiến trúc mô hình đã được cập nhật và tinh chỉnh một cách toàn diện. Dự án này được đánh giá sẽ giúp tăng cường sự tự cường của chuỗi công nghiệp AI Trung Quốc.
Trước đây, năng lực điện toán trong nước chủ yếu được sử dụng cho suy luận – quy trình tương đối đơn giản trong đó mô hình đã được hoàn thiện sẽ chạy để trả lời các câu hỏi của người dùng. Quy trình huấn luyện, bao gồm việc xây dựng hoặc tinh chỉnh "bộ não" của mô hình, phức tạp hơn rất nhiều.
Nếu quá trình "huấn luyện ban đầu" (pre-training) dạy một mô hình cách "nói" bằng cách hấp thụ lượng dữ liệu khổng lồ, thì huấn luyện sau dạy nó cách "làm việc" bằng cách tuân theo hướng dẫn của con người, các quy tắc an toàn và các tác vụ cụ thể.
Theo giải thích của chính quyền Thâm Quyến, dự án này đã cho phép mô hình tự phản hồi và điều chỉnh, tương tự việc "thêm các đường cao tầng phức tạp và vòng lặp vào con đường một chiều", từ đó nhân lên nhu cầu tính toán và truyền thông gấp nhiều lần.
Đây là một bước tiến quan trọng vì quá trình huấn luyện ban đầu từ đầu đòi hỏi cơ sở hạ tầng khổng lồ và thời gian tính toán nhiều tháng. Do đó, nhiều đội ngũ AI chọn cách lấy các mô hình mã nguồn mở và tùy chỉnh chúng thông qua huấn luyện sau.
Tuy nhiên, các quy trình huấn luyện phức tạp hơn này từ trước đến nay phụ thuộc gần như hoàn toàn vào phần cứng bị hạn chế từ các "ông lớn" chip Mỹ như Nvidia và AMD.
DeepSeek giữ im lặng về phần cứng được dùng để huấn luyện mô hình V4
Khi DeepSeek-V4 được phát hành vào tháng 4, các công ty chip nội địa bao gồm Huawei, Moore Threads và Cambricon Technologies đã vội vàng công bố khả năng tương thích "ngày đầu tiên" cho suy luận.
Tuy nhiên, DeepSeek vẫn giữ im lặng về phần cứng được sử dụng để huấn luyện V4 từ đầu. Phiên bản tiền nhiệm, DeepSeek-V3, được huấn luyện trên một cụm gồm 2.048 chip Nvidia H800 – những con chip hiện bị hạn chế theo quy định xuất khẩu của Mỹ.
Bên cạnh Huawei, các công ty Trung Quốc khác cũng đang thử nghiệm sử dụng chip nội địa cho việc huấn luyện mô hình. Tháng trước, phó chủ tịch điều hành của Baidu, Shen Dou, cho biết việc huấn luyện một phiên bản chính của mô hình Ernie 5.1 đã được hoàn thành thành công trên một cụm máy tính được vận hành bởi đơn vị chip Kunlunxin của hãng. Tuy nhiên, ông không nêu rõ cụ thể chip của họ tham gia vào quy trình huấn luyện nào.
Trong tháng 4, tập đoàn dịch vụ theo yêu cầu Meituan của Trung Quốc đã mời người dùng thử nghiệm một mô hình AI mới với hàng nghìn tỷ tham số, mà các báo cáo địa phương cho biết đã được huấn luyện hoàn toàn trên chip sản xuất trong nước. Những động thái này cho thấy ngành AI Trung Quốc đang nỗ lực lấp dần khoảng trống phần cứng do lệnh hạn chế của Mỹ.
Song song với việc phát triển khả năng huấn luyện, Huawei cũng thúc đẩy các năng lực "agentic" của AI – khả năng thực hiện các tác vụ ngoài việc chỉ phản hồi truy vấn chatbot. Mới đây, đơn vị cloud của công ty đã giới thiệu một mô hình "Agentic Infra" mới, bao gồm các cơ sở hạ tầng như nền tảng phân bổ điện toán cho suy luận và huấn luyện có thể tăng khả năng sử dụng tài nguyên lên hơn 30%.
Đây là bước tiến lớn trong nỗ lực của ngành bán dẫn Trung Quốc nhằm chuyển từ hỗ trợ suy luận AI cơ bản sang các quy trình huấn luyện phức tạp hơn.
Theo một bài đăng trên mạng xã hội của chính quyền Thâm Quyến, các nhà nghiên cứu đã chạy mô hình lớn nhất từ trước đến nay của DeepSeek trên một cụm máy tính được vận hành bởi ít nhất 1.000 chip Huawei.
Dự án được thực hiện phối hợp giữa Huawei, Viện Khu vực Vòng Loop Thâm Quyến, campus Thâm Quyến của Đại học Bách khoa Thâm Quyến và Viện Nghiên cứu Dữ liệu lớn Thâm Quyến.
Chip Ascend 910 của Huawei giúp tham vọng tự chủ AI của Trung Quốc tiến một bước dài
Đội ngũ đã thực hiện "huấn luyện toàn tham số" (full-parameter), nghĩa là toàn bộ kiến trúc mô hình đã được cập nhật và tinh chỉnh một cách toàn diện. Dự án này được đánh giá sẽ giúp tăng cường sự tự cường của chuỗi công nghiệp AI Trung Quốc.
Trước đây, năng lực điện toán trong nước chủ yếu được sử dụng cho suy luận – quy trình tương đối đơn giản trong đó mô hình đã được hoàn thiện sẽ chạy để trả lời các câu hỏi của người dùng. Quy trình huấn luyện, bao gồm việc xây dựng hoặc tinh chỉnh "bộ não" của mô hình, phức tạp hơn rất nhiều.
Nếu quá trình "huấn luyện ban đầu" (pre-training) dạy một mô hình cách "nói" bằng cách hấp thụ lượng dữ liệu khổng lồ, thì huấn luyện sau dạy nó cách "làm việc" bằng cách tuân theo hướng dẫn của con người, các quy tắc an toàn và các tác vụ cụ thể.
Theo giải thích của chính quyền Thâm Quyến, dự án này đã cho phép mô hình tự phản hồi và điều chỉnh, tương tự việc "thêm các đường cao tầng phức tạp và vòng lặp vào con đường một chiều", từ đó nhân lên nhu cầu tính toán và truyền thông gấp nhiều lần.
Đây là một bước tiến quan trọng vì quá trình huấn luyện ban đầu từ đầu đòi hỏi cơ sở hạ tầng khổng lồ và thời gian tính toán nhiều tháng. Do đó, nhiều đội ngũ AI chọn cách lấy các mô hình mã nguồn mở và tùy chỉnh chúng thông qua huấn luyện sau.
Tuy nhiên, các quy trình huấn luyện phức tạp hơn này từ trước đến nay phụ thuộc gần như hoàn toàn vào phần cứng bị hạn chế từ các "ông lớn" chip Mỹ như Nvidia và AMD.
DeepSeek giữ im lặng về phần cứng được dùng để huấn luyện mô hình V4
Khi DeepSeek-V4 được phát hành vào tháng 4, các công ty chip nội địa bao gồm Huawei, Moore Threads và Cambricon Technologies đã vội vàng công bố khả năng tương thích "ngày đầu tiên" cho suy luận.
Tuy nhiên, DeepSeek vẫn giữ im lặng về phần cứng được sử dụng để huấn luyện V4 từ đầu. Phiên bản tiền nhiệm, DeepSeek-V3, được huấn luyện trên một cụm gồm 2.048 chip Nvidia H800 – những con chip hiện bị hạn chế theo quy định xuất khẩu của Mỹ.
Bên cạnh Huawei, các công ty Trung Quốc khác cũng đang thử nghiệm sử dụng chip nội địa cho việc huấn luyện mô hình. Tháng trước, phó chủ tịch điều hành của Baidu, Shen Dou, cho biết việc huấn luyện một phiên bản chính của mô hình Ernie 5.1 đã được hoàn thành thành công trên một cụm máy tính được vận hành bởi đơn vị chip Kunlunxin của hãng. Tuy nhiên, ông không nêu rõ cụ thể chip của họ tham gia vào quy trình huấn luyện nào.
Trong tháng 4, tập đoàn dịch vụ theo yêu cầu Meituan của Trung Quốc đã mời người dùng thử nghiệm một mô hình AI mới với hàng nghìn tỷ tham số, mà các báo cáo địa phương cho biết đã được huấn luyện hoàn toàn trên chip sản xuất trong nước. Những động thái này cho thấy ngành AI Trung Quốc đang nỗ lực lấp dần khoảng trống phần cứng do lệnh hạn chế của Mỹ.
Song song với việc phát triển khả năng huấn luyện, Huawei cũng thúc đẩy các năng lực "agentic" của AI – khả năng thực hiện các tác vụ ngoài việc chỉ phản hồi truy vấn chatbot. Mới đây, đơn vị cloud của công ty đã giới thiệu một mô hình "Agentic Infra" mới, bao gồm các cơ sở hạ tầng như nền tảng phân bổ điện toán cho suy luận và huấn luyện có thể tăng khả năng sử dụng tài nguyên lên hơn 30%.
