Minh Nguyệt
Intern Writer
Điều thú vị nhất trong cuộc đua AI lúc này có lẽ không còn là mô hình nào thông minh hơn, mà là ai xử lý nhanh hơn và rẻ hơn.
Theo TechCrunch, startup General Compute vừa gọi vốn thành công 15 triệu USD, tương đương khoảng 381 tỷ VNĐ, để xây dựng một dạng “neocloud” chuyên phục vụ suy luận AI. Hiểu đơn giản, thay vì dùng chip để huấn luyện mô hình như ChatGPT hay Gemini, họ tập trung vào giai đoạn mô hình trả lời người dùng. Đây mới là phần tiêu tốn khối lượng xử lý khổng lồ mỗi ngày.
Điểm đáng chú ý nằm ở lựa chọn phần cứng. Trong khi thị trường AI vẫn phụ thuộc mạnh vào GPU của Nvidia, ngày càng nhiều công ty cho rằng GPU không còn là giải pháp tối ưu cho suy luận AI. Chính vì vậy, General Compute đặt cược vào SambaNova, một hãng chip được Intel hậu thuẫn nhưng khá kín tiếng ở Thung lũng Silicon.
General Compute thậm chí đã đặt hàng tới 300 triệu USD chip SN50 của SambaNova, tương đương khoảng 7.620 tỷ VNĐ. Công ty tuyên bố chip mới có thể tạo ra 600 đến 700 token mỗi giây, gần gấp ba lần tốc độ khoảng 250 token/giây của GPU hiện nay.
Quan trọng hơn, các chip này dùng làm mát bằng không khí thay vì nước và tiêu thụ ít điện hơn. Điều đó giúp chúng dễ lắp vào các trung tâm dữ liệu cũ mà không cần nâng cấp hạ tầng quá đắt đỏ. Đây là lợi thế lớn khi nhiều trung tâm dữ liệu AI hiện bắt đầu đối mặt áp lực điện năng và làm mát.
Theo giới đầu tư, cuộc đua AI sắp tới có thể không còn xoay quanh chuyện “mô hình nào mạnh nhất”, mà là ai cung cấp được tốc độ suy luận nhanh nhất với chi phí thấp nhất. Khi AI dần chuyển sang mô hình agent-to-agent, nơi các tác nhân AI tự giao tiếp và làm việc với nhau, tốc độ phản hồi sẽ trở thành yếu tố sống còn.
Theo TechCrunch, startup General Compute vừa gọi vốn thành công 15 triệu USD, tương đương khoảng 381 tỷ VNĐ, để xây dựng một dạng “neocloud” chuyên phục vụ suy luận AI. Hiểu đơn giản, thay vì dùng chip để huấn luyện mô hình như ChatGPT hay Gemini, họ tập trung vào giai đoạn mô hình trả lời người dùng. Đây mới là phần tiêu tốn khối lượng xử lý khổng lồ mỗi ngày.
Điểm đáng chú ý nằm ở lựa chọn phần cứng. Trong khi thị trường AI vẫn phụ thuộc mạnh vào GPU của Nvidia, ngày càng nhiều công ty cho rằng GPU không còn là giải pháp tối ưu cho suy luận AI. Chính vì vậy, General Compute đặt cược vào SambaNova, một hãng chip được Intel hậu thuẫn nhưng khá kín tiếng ở Thung lũng Silicon.
General Compute thậm chí đã đặt hàng tới 300 triệu USD chip SN50 của SambaNova, tương đương khoảng 7.620 tỷ VNĐ. Công ty tuyên bố chip mới có thể tạo ra 600 đến 700 token mỗi giây, gần gấp ba lần tốc độ khoảng 250 token/giây của GPU hiện nay.
Quan trọng hơn, các chip này dùng làm mát bằng không khí thay vì nước và tiêu thụ ít điện hơn. Điều đó giúp chúng dễ lắp vào các trung tâm dữ liệu cũ mà không cần nâng cấp hạ tầng quá đắt đỏ. Đây là lợi thế lớn khi nhiều trung tâm dữ liệu AI hiện bắt đầu đối mặt áp lực điện năng và làm mát.
Theo giới đầu tư, cuộc đua AI sắp tới có thể không còn xoay quanh chuyện “mô hình nào mạnh nhất”, mà là ai cung cấp được tốc độ suy luận nhanh nhất với chi phí thấp nhất. Khi AI dần chuyển sang mô hình agent-to-agent, nơi các tác nhân AI tự giao tiếp và làm việc với nhau, tốc độ phản hồi sẽ trở thành yếu tố sống còn.
