Khánh Phạm
Writer
Trpng podcast Core Memory, do nhà báo kiêm tác giả nổi tiếng Ashlee Vance dẫn chương trình, ông Jerry Tworek, cựu Phó Chủ tịch Nghiên cứu của OpenAI, người đóng vai trò then chốt trong sự phát triển của các mô hình như o1 và o3 đã chia sẻ những vấn đề nội tại của OpenAI. Podcast kéo dài cả tiếng đồng hồ, sau đây mình tóm tắt những nội dung chính thôi nhé:
Tình thế khó xử về đổi mới tại OpenAI.
Jerry Tworek nhận định rằng OpenAI đang rơi vào một "tình thế khó xử về cấu trúc". Khi công ty mở rộng quy mô nhanh chóng từ vài chục lên hàng nghìn nhân viên, áp lực về chi phí GPU cao và các chỉ số tăng trưởng người dùng đã làm giảm khả năng chấp nhận rủi ro của tổ chức. Ông cho rằng cấu trúc tổ chức lớn thường ưu tiên sự trật tự, khiến các nghiên cứu mang tính đột phá, mạo hiểm hoặc nằm ngoài khuôn khổ truyền thống trở nên khó khăn để thực hiện,.
Sự đồng nhất hóa và hạn chế của ngành AI
Một trong những điểm đáng lưu ý là sự thiếu đa dạng trong lĩnh vực AI hiện nay. Tworek chỉ ra rằng năm công ty AI hàng đầu đang theo đuổi những con đường và công thức công nghệ gần như giống hệt nhau. Sự hội tụ này dẫn đến việc các sản phẩm trên thị trường có trải nghiệm cực kỳ tương đồng, khiến người dùng khó phân biệt,. Ông bày tỏ sự thất vọng khi các nhà nghiên cứu muốn thử nghiệm những ý tưởng cấp tiến hoặc khác biệt thường khó tìm được môi trường phù hợp.
Đánh giá về các đối thủ cạnh tranh
- Google: Tworek cho rằng sự trỗi dậy của Google không hẳn là một sự trở lại thần kỳ, mà phần lớn là do OpenAI đã mắc sai lầm và không tận dụng triệt để lợi thế dẫn đầu của mình. Google đã tận dụng tốt lợi thế về phần cứng và nhân tài để thu hẹp khoảng cách.
- Anthropic: Ông dành sự ngưỡng mộ lớn cho Anthropic (với mô hình Claude) vì khả năng xây dựng các công cụ lập trình xuất sắc mặc dù có nguồn lực hạn chế hơn.
- Meta: Ông suy đoán chiến lược của Meta tập trung vào việc tận dụng công nghệ AI sẵn có để xây dựng trải nghiệm người dùng trên mạng xã hội và metaverse thay vì cố gắng tạo ra một con đường công nghệ hoàn toàn mới.
Tầm nhìn kỹ thuật và lộ trình AGI
- Kiến trúc Transformer: Tworek tin rằng Transformer không phải là hình dạng cuối cùng của AI và cần có sự đổi mới mạnh mẽ ở cấp độ kiến trúc.
- Học tăng cường (Reinforcement Learning - RL): Ông nhấn mạnh sự trở lại của RL. Việc kết hợp RL với các mô hình thế giới đã được huấn luyện tốt sẽ là hướng đi then chốt của tương lai.
- Học tập liên tục: Đây là mảnh ghép còn thiếu quan trọng nhất để đạt tới Trí tuệ Nhân tạo Tổng quát (AGI). Hiện nay, các mô hình vẫn tách biệt giữa chế độ học tập và phản ứng, trong khi con người thực hiện chúng đồng thời.
- Mốc thời gian AGI: Ông dự đoán AGI sẽ được hiện thực hóa vào khoảng năm 2029, muộn nhất là thời điểm đó.
Những yếu tố con người và văn hóa nghiên cứu
- Sức mạnh của tập thể: Tworek tin rằng khả năng nuôi dưỡng tinh thần trách nhiệm cá nhân và tạo ra môi trường cho phép khám phá quan trọng hơn việc sở hữu các nhà nghiên cứu "ngôi sao". Ông khẳng định không cá nhân nào là không thể thay thế và văn hóa nghiên cứu tốt mới là động lực thực sự.
- "Mafia Ba Lan" (ý nói nhóm cá nhân cực tài năng và có ảnh hưởng lớn): Ông nhắc đến nhóm nhân sự đời đầu từ Ba Lan tại OpenAI với phẩm chất nổi bật là sự cần cù và khả năng nhìn thấu những lời thổi phồng.
- Cuộc chiến giành nhân tài: Ngành AI đang chứng kiến một "vở kịch dài tập" với việc săn trộm nhân tài và thay đổi công việc liên tục, điều này đôi khi làm phân tán sự tập trung vào công việc thực chất.
Dự án Q* và sự thận trọng cần thiết
Tworek chia sẻ cảm giác "sợ hãi và lo lắng" khi lần đầu chứng kiến hiệu quả của dự án Q* cách đây hai năm. Ông cho rằng các nhà nghiên cứu cần có trách nhiệm và sự thận trọng khi đưa ra thế giới những công nghệ có khả năng chưa từng có, vì một dòng mã có thể gây ra phản ứng dây chuyền ảnh hưởng đến toàn cầu.
Cuối cùng, Jerry Tworek rời OpenAI để tìm kiếm một nơi có thể tập trung tối đa vào một vài hướng nghiên cứu cốt lõi và sẵn sàng chấp nhận rủi ro cao để tạo ra những đột phá mới, thay vì bị phân tán bởi quá nhiều dự án thương mại.
Tình thế khó xử về đổi mới tại OpenAI.
Jerry Tworek nhận định rằng OpenAI đang rơi vào một "tình thế khó xử về cấu trúc". Khi công ty mở rộng quy mô nhanh chóng từ vài chục lên hàng nghìn nhân viên, áp lực về chi phí GPU cao và các chỉ số tăng trưởng người dùng đã làm giảm khả năng chấp nhận rủi ro của tổ chức. Ông cho rằng cấu trúc tổ chức lớn thường ưu tiên sự trật tự, khiến các nghiên cứu mang tính đột phá, mạo hiểm hoặc nằm ngoài khuôn khổ truyền thống trở nên khó khăn để thực hiện,.
Sự đồng nhất hóa và hạn chế của ngành AI
Một trong những điểm đáng lưu ý là sự thiếu đa dạng trong lĩnh vực AI hiện nay. Tworek chỉ ra rằng năm công ty AI hàng đầu đang theo đuổi những con đường và công thức công nghệ gần như giống hệt nhau. Sự hội tụ này dẫn đến việc các sản phẩm trên thị trường có trải nghiệm cực kỳ tương đồng, khiến người dùng khó phân biệt,. Ông bày tỏ sự thất vọng khi các nhà nghiên cứu muốn thử nghiệm những ý tưởng cấp tiến hoặc khác biệt thường khó tìm được môi trường phù hợp.
Đánh giá về các đối thủ cạnh tranh
- Google: Tworek cho rằng sự trỗi dậy của Google không hẳn là một sự trở lại thần kỳ, mà phần lớn là do OpenAI đã mắc sai lầm và không tận dụng triệt để lợi thế dẫn đầu của mình. Google đã tận dụng tốt lợi thế về phần cứng và nhân tài để thu hẹp khoảng cách.
- Anthropic: Ông dành sự ngưỡng mộ lớn cho Anthropic (với mô hình Claude) vì khả năng xây dựng các công cụ lập trình xuất sắc mặc dù có nguồn lực hạn chế hơn.
- Meta: Ông suy đoán chiến lược của Meta tập trung vào việc tận dụng công nghệ AI sẵn có để xây dựng trải nghiệm người dùng trên mạng xã hội và metaverse thay vì cố gắng tạo ra một con đường công nghệ hoàn toàn mới.
Tầm nhìn kỹ thuật và lộ trình AGI
- Kiến trúc Transformer: Tworek tin rằng Transformer không phải là hình dạng cuối cùng của AI và cần có sự đổi mới mạnh mẽ ở cấp độ kiến trúc.
- Học tăng cường (Reinforcement Learning - RL): Ông nhấn mạnh sự trở lại của RL. Việc kết hợp RL với các mô hình thế giới đã được huấn luyện tốt sẽ là hướng đi then chốt của tương lai.
- Học tập liên tục: Đây là mảnh ghép còn thiếu quan trọng nhất để đạt tới Trí tuệ Nhân tạo Tổng quát (AGI). Hiện nay, các mô hình vẫn tách biệt giữa chế độ học tập và phản ứng, trong khi con người thực hiện chúng đồng thời.
- Mốc thời gian AGI: Ông dự đoán AGI sẽ được hiện thực hóa vào khoảng năm 2029, muộn nhất là thời điểm đó.
Những yếu tố con người và văn hóa nghiên cứu
- Sức mạnh của tập thể: Tworek tin rằng khả năng nuôi dưỡng tinh thần trách nhiệm cá nhân và tạo ra môi trường cho phép khám phá quan trọng hơn việc sở hữu các nhà nghiên cứu "ngôi sao". Ông khẳng định không cá nhân nào là không thể thay thế và văn hóa nghiên cứu tốt mới là động lực thực sự.
- "Mafia Ba Lan" (ý nói nhóm cá nhân cực tài năng và có ảnh hưởng lớn): Ông nhắc đến nhóm nhân sự đời đầu từ Ba Lan tại OpenAI với phẩm chất nổi bật là sự cần cù và khả năng nhìn thấu những lời thổi phồng.
- Cuộc chiến giành nhân tài: Ngành AI đang chứng kiến một "vở kịch dài tập" với việc săn trộm nhân tài và thay đổi công việc liên tục, điều này đôi khi làm phân tán sự tập trung vào công việc thực chất.
Dự án Q* và sự thận trọng cần thiết
Tworek chia sẻ cảm giác "sợ hãi và lo lắng" khi lần đầu chứng kiến hiệu quả của dự án Q* cách đây hai năm. Ông cho rằng các nhà nghiên cứu cần có trách nhiệm và sự thận trọng khi đưa ra thế giới những công nghệ có khả năng chưa từng có, vì một dòng mã có thể gây ra phản ứng dây chuyền ảnh hưởng đến toàn cầu.
Cuối cùng, Jerry Tworek rời OpenAI để tìm kiếm một nơi có thể tập trung tối đa vào một vài hướng nghiên cứu cốt lõi và sẵn sàng chấp nhận rủi ro cao để tạo ra những đột phá mới, thay vì bị phân tán bởi quá nhiều dự án thương mại.
