Nếu một hệ thống AI có thể tự phát hiện vấn đề, tự tìm cách giải quyết, tự đánh giá kết quả rồi dùng chính những kết quả đó để cải thiện phiên bản tiếp theo, tốc độ phát triển của nó sẽ không còn phụ thuộc hoàn toàn vào con người. Khi vòng lặp này được duy trì liên tục, AI có thể bước vào trạng thái tự cải tiến đệ quy, thường được gọi là RSI.
Đây là một trong những câu hỏi lớn nhất của AI hiện nay: chúng ta còn cách RSI bao xa và điều gì có thể ngăn nó xảy ra?
Trong một cuộc trò chuyện với podcaster Dwarkesh Patel, ba nhà nghiên cứu AI gồm John Schulman, đồng sáng lập OpenAI và hiện là nhà khoa học trưởng tại Thinking Machines; Beren Millidge, Giám đốc công nghệ của Zyphra; và Charlie O'Neill, người phụ trách đào tạo mô hình tại Baseten, đã bàn khá sâu về câu hỏi này.
Có một điểm đáng chú ý trong cuộc trò chuyện: cả ba không cho rằng con đường tiến tới RSI chỉ đơn giản là tiếp tục tăng kích thước mô hình, thêm dữ liệu và tăng sức mạnh tính toán. Nút thắt có thể nằm ở một thứ khó hơn nhiều: AI phải biết mình nên làm gì tiếp theo.
Beren Millidge cho rằng một khả năng là AI sẽ tiếp tục gặp phải một phiên bản của nghịch lý Moravec. AI có thể cực kỳ giỏi trong những bài toán mà con người đưa ra để kiểm tra, thậm chí vượt con người ở nhiều tiêu chí, nhưng khi bước ra thế giới thực lại vẫn tồn tại một khoảng cách khó vượt qua.
“Chúng ta nghĩ về AI như một thứ sẽ rất tuyệt nếu nó giải quyết được những bài toán khó, nếu nó thắng cờ vua chẳng hạn. Nó giải quyết được những vấn đề đó, nhưng không tạo ra nhiều tác động như chúng ta tưởng.”
Theo Millidge, nếu những tiến bộ về khả năng khái quát hóa không đủ lớn và bài toán học liên tục vẫn chưa được giải quyết, AI có thể trở nên cực kỳ giỏi trong những môi trường được thiết kế cho nó nhưng vẫn gặp khó khi phải tự vận hành lâu dài trong thế giới thực.
John Schulman đồng ý với cách nhìn này. Ông cho rằng hiện nay con người vẫn có nhiều ưu thế so với các mô hình. Mỗi thế hệ AI mới lại khiến chúng ta có cảm giác rằng AGI đã xuất hiện, nhưng chỉ khoảng một tháng sau, những điểm yếu của mô hình bắt đầu lộ ra.
“Có một chu kỳ lặp đi lặp lại: một mô hình mới xuất hiện, mọi người kinh ngạc và nói: ‘Đây rồi! Đây chính là AGI!’. Nhưng sau khoảng một tháng, nó bắt đầu trông vụng về.”
Schulman cho rằng chu kỳ này có thể tiếp tục nhiều lần hơn chúng ta tưởng. AI có thể viết được rất nhiều mã, nhưng điều đó không đồng nghĩa năng suất nghiên cứu AI lập tức tăng 100 lần. Những vấn đề về phán đoán, tự kiểm tra và lựa chọn hướng nghiên cứu vẫn còn đó.
Charlie O'Neill nhìn vấn đề từ một góc khác. Ông đặt câu hỏi: khoảng cách giữa kiến trúc Transformer kết hợp học tăng cường hiện nay với một thuật toán học tối ưu về mặt lý thuyết mà phần cứng có thể hỗ trợ thực sự lớn đến đâu?
Nếu khoảng cách đó nhỏ, việc tạo ra hàng trăm nghìn hay hàng triệu tác nhân AI chạy song song có thể dẫn tới một vòng lặp tự cải tiến rất nhanh. Nhưng nếu khoảng cách quá lớn, chỉ tiếp tục nhân bản và mở rộng những mô hình hiện tại chưa chắc giúp AI tìm ra kiến trúc tiếp theo.
O'Neill lấy Định luật Moore làm ví dụ. Đường cong tăng trưởng của chip nhìn từ xa rất trơn tru, nhưng phía sau nó là hàng loạt đột phá riêng lẻ. AI cũng có thể như vậy. Chúng ta từng có quy luật mở rộng trong huấn luyện trước, sau đó lợi ích giảm dần, rồi học tăng cường mở ra một đường tăng trưởng mới. Nếu đường cong tiếp theo cũng dần tiệm cận, AI sẽ cần một đột phá khác.
Vấn đề là AI hiện tại có thể chưa đủ khả năng để tự tìm ra chính đột phá đó.
Theo Schulman, ngay cả khi AI có thể đảm nhận phần lớn công việc kỹ thuật, con người vẫn có thể giữ lại một nhiệm vụ quan trọng: quyết định chúng ta thực sự muốn gì.
Ông phân biệt giữa việc “làm thế nào để đạt mục tiêu” và “mục tiêu đó nên là gì”. AI có thể ngày càng giỏi tối ưu hóa một mục tiêu đã được xác định, nhưng việc xác định mục tiêu đúng lại là câu chuyện khác.
“Công việc cuối cùng mà con người làm, hay nói đúng hơn là vai trò lâu dài nhất của nhân loại, là xác định mục tiêu và quyết định điều chúng ta thực sự muốn.”
Schulman lấy quá trình hậu huấn luyện làm ví dụ. Các nhóm nghiên cứu vẫn cần con người đánh giá cách mô hình nên phản ứng trong rất nhiều tình huống khác nhau. Không dễ tự động hóa hoàn toàn việc này, vì trước hết phải có người quyết định thế nào là một hành vi tốt.
Charlie O'Neill chia nghiên cứu AI thành hai loại. Một loại có mục tiêu rõ ràng, có thể đo lường và tối ưu hóa. Chẳng hạn, giảm một mức tổn thất cụ thể hoặc đạt kết quả tốt hơn trên một bài kiểm tra. Loại còn lại là khoa học mở, nơi bản thân câu hỏi cần nghiên cứu cũng chưa được xác định.
Đây mới là phần khó.
Lịch sử AI có không ít bước tiến xuất phát từ những ý tưởng mà trước đó không ai biết phải tìm kiếm. DeepMind từng đặt cược vào việc giải quyết trí tuệ thông qua trò chơi. Alec Radford lại đi theo hướng dự đoán ký tự tiếp theo trên lượng văn bản khổng lồ. Không có một hàm mục tiêu đơn giản nào nói trước rằng đó chính xác là con đường phải đi.
O'Neill cho rằng AI có thể rất giỏi tối ưu hóa những mục tiêu đã tồn tại, nhưng việc tự tìm ra một mục tiêu hoàn toàn mới vẫn là câu hỏi chưa có lời giải.
Millidge diễn đạt vấn đề của RSI theo cách trực tiếp hơn: AI phải tự đặt mục tiêu, tối ưu mục tiêu đó, đánh giá kết quả, sau đó tự đặt ra mục tiêu mới và tiếp tục lặp lại quá trình trong thời gian rất dài.
Đó mới là vòng lặp tự cải tiến thực sự.
Con người đi làm, tích lũy kinh nghiệm, mắc lỗi rồi điều chỉnh cách làm. AI hiện nay chưa thực sự hoạt động theo cách đó. Một mô hình có thể được triển khai cho hàng triệu người dùng, nhưng kinh nghiệm từ những lần triển khai đó thường không lập tức biến thành thay đổi trong trọng số của chính mô hình.
Charlie O'Neill đưa ra ví dụ về Composer của Cursor. Mô hình được đánh giá trên một bộ kiểm tra nội bộ sau mỗi khoảng năm giờ. Nếu phiên bản mới tốt hơn, nó được triển khai; nếu không, phiên bản đó bị loại bỏ.
Nghe giống một vòng lặp học liên tục, nhưng khi thu nhỏ quá trình này xuống từng nhiệm vụ hoặc từng khách hàng, vấn đề bắt đầu xuất hiện.
Nếu liên tục cập nhật mô hình bằng những lô dữ liệu rất nhỏ, mô hình có thể rơi vào tình trạng “quên thảm họa”, tức là học được thông tin mới nhưng đánh mất những khả năng tổng quát đã có.
RL có ưu điểm là chỉ thay đổi một phần rất nhỏ hành vi của mô hình nên ít phá vỡ những khả năng cũ hơn. Nhưng chính điều đó cũng giới hạn lượng kiến thức mới mà RL có thể đưa vào.
Millidge cho rằng đây là sự căng thẳng giữa tính linh hoạt và tính ổn định. Nếu cứ tiếp tục huấn luyện cùng một mô hình trên cùng một nguồn dữ liệu, nó sẽ dần đạt tới giới hạn. Đó là lý do các phòng thí nghiệm vẫn phải huấn luyện những mô hình nền tảng mới.
Một tương lai có thể xảy ra là chu kỳ này ngày càng ngắn: từ ba tháng xuống vài tuần, rồi vài ngày, thậm chí vài giờ. Khi đó, việc học từ những lần triển khai trước có thể trở nên đủ nhanh để tạo thành một vòng lặp thực sự.
Một con người có thể tích lũy hàng chục năm kinh nghiệm. Một hệ thống AI trong tương lai có thể có hàng triệu năm kinh nghiệm triển khai cộng lại từ vô số tác vụ. Nếu AI học được trực tiếp từ toàn bộ lượng kinh nghiệm đó, tốc độ cải thiện có thể tăng mạnh.
Nhưng hiện nay điều đó chưa diễn ra theo cách đơn giản như vậy.
John Schulman cho rằng một phần nguyên nhân không nằm ở kỹ thuật mà ở động lực kinh tế. Các công ty không muốn nhà cung cấp mô hình học từ toàn bộ dữ liệu triển khai của họ, bởi dữ liệu đó có thể chính là lợi thế cạnh tranh.
Charlie O'Neill cho rằng các công ty có thể đi theo hướng khác: thay vì cập nhật một mô hình chung khổng lồ, họ có thể sử dụng các mô-đun riêng, LoRA hoặc những dạng bộ nhớ khác để mô hình học được thông tin chuyên biệt trong quá trình triển khai.
Millidge lại cho rằng cuối cùng những dữ liệu này vẫn có thể được đưa trở lại quá trình huấn luyện mô hình thế hệ tiếp theo.
Một cách dễ hình dung là: mô hình hiện tại được triển khai, tạo ra hàng loạt quỹ đạo và kinh nghiệm mới, con người hoặc hệ thống tự động đánh giá chúng, sau đó dữ liệu tốt được dùng để huấn luyện thế hệ kế tiếp.
Đó vẫn chưa phải RSI theo nghĩa mạnh nhất, vì con người vẫn còn nằm trong vòng lặp. Nhưng chu kỳ đang được rút ngắn.
Millidge đồng ý rằng khi mô hình ngày càng tốt, vấn đề không còn đơn giản là tìm thêm dữ liệu. Dữ liệu mới phải chứa tín hiệu mà mô hình hiện tại chưa biết.
Có một điểm rất quan trọng ở đây: nếu một mô hình đã giải được hầu hết những bài toán có sẵn trên Internet, việc cho nó thêm hàng triệu ví dụ tương tự không nhất thiết giúp nó tiến lên bước tiếp theo.
“Không có bằng chứng nào về một bài toán thuộc Giải thưởng Thiên niên kỷ ẩn trong Common Crawl; chúng ta chỉ có thể lọc cho đến khi thấy nó.”
Khi đó, AI cần dữ liệu mới từ con người hoặc từ những môi trường được thiết kế để tạo ra những bài toán mà mô hình hiện tại chưa giải được.
O'Neill cho rằng đây là lý do lợi ích giảm dần xuất hiện. Thế giới có rất nhiều dữ liệu, nhưng không phải tất cả đều chứa thông tin hữu ích để đưa mô hình vượt qua năng lực hiện tại.
Millidge cho rằng một nguyên nhân quan trọng thường bị bỏ qua là huấn luyện giữa kỳ. Mô hình không bước vào RL từ con số 0. Nó đã được chuẩn bị bằng lượng lớn dữ liệu suy luận tổng hợp và có thể đạt khoảng 80% điểm của bài kiểm tra RL cuối cùng trước khi RL thực sự bắt đầu.
RL sau đó chủ yếu điều chỉnh chính sách của mô hình.
Điểm khác biệt nằm ở tín hiệu huấn luyện. Với SFT, mô hình phải học cách tái tạo từng token trong một chuỗi suy luận. Có rất nhiều thông tin trong đó, nhưng cũng có rất nhiều nhiễu. RL có thể chỉ cần một tín hiệu đơn giản: câu trả lời đúng hay sai.
Millidge gọi đó là sự cải thiện về tỷ lệ tín hiệu trên nhiễu. Thay vì nói cho mô hình biết chính xác một lời giải phải được viết như thế nào, RL chỉ cho nó biết kết quả đó có đạt yêu cầu hay không.
O'Neill cho rằng RL còn mang lại một khả năng khái quát hóa khác: khái quát hóa theo thời gian.
Mô hình học cách làm việc lâu hơn trên một nhiệm vụ, sử dụng nhiều token hơn, tiếp tục thử nghiệm và không bỏ cuộc quá sớm. Nó có thể không tự động chuyển toàn bộ kỹ năng toán học sang lập trình, nhưng có thể học được một kỹ năng chung hơn là tiếp tục làm việc trên một nhiệm vụ trong thời gian dài.
Theo O'Neill, đây có thể là một trong những lý do quan trọng khiến các mô hình hiện nay trông có vẻ tiến bộ mạnh dù RL chỉ thay đổi một phần tương đối nhỏ của mô hình.
Liệu RL trên các mô hình ngôn ngữ có tạo ra những khoảnh khắc sáng tạo tương tự?
Millidge cho rằng không có lý do để nói RL nhất thiết làm AI kém sáng tạo. Nếu môi trường đủ rộng và có khả năng khám phá, AI hoàn toàn có thể tìm ra những giải pháp mà con người chưa nghĩ tới.
Schulman lại chỉ ra một mặt trái khác: RL có thể làm giảm sự đa dạng.
Các mô hình sau RL có xu hướng tập trung vào những cách trả lời được đánh giá là tốt. Điều đó giúp chúng ổn định hơn, nhưng cũng có thể khiến đầu ra trở nên đồng nhất.
Ông cho rằng điều này đang thể hiện khá rõ trong các mô hình mã nguồn mở được chưng cất từ những mô hình lớn. Nhiều mô hình bắt đầu có cách viết, cách dùng từ và thói quen ngôn ngữ rất giống nhau.
“Chúng ta đang chứng kiến sự nổi lên của một nền văn hóa độc quyền.”
Millidge phản biện rằng đây không nhất thiết là vấn đề của RL. Nếu dữ liệu huấn luyện không đủ đa dạng hoặc bộ đánh giá quá đơn giản, mô hình sẽ tối ưu chính những thứ đó. Vấn đề nằm ở dữ liệu và cách thiết kế bộ đánh giá nhiều hơn là bản thân RL.
Nếu có một AI mà người dùng có thể thuê như một nhân viên làm việc từ xa, có quyền truy cập máy tính, làm được nhiều loại công việc văn phòng, thực hiện một dự án kéo dài cả tháng, tương tác với con người và tự xử lý công việc từ đầu đến cuối thì sao?
O'Neill cho rằng nếu AI được truy cập trực tiếp vào môi trường lập trình, khoảng một năm có thể là đủ. Nếu phải thao tác chủ yếu qua trình duyệt, thời gian có thể kéo dài lên vài năm.
Millidge thận trọng hơn và đưa ra khoảng ba năm để hệ thống như vậy trở nên phổ biến. Ông cho rằng sẽ tồn tại một “đuôi dài” gồm rất nhiều công việc khác nhau mà AI cần thời gian để hoàn thiện.
Schulman cũng cho rằng khoảng một năm có thể xuất hiện một phiên bản chấp nhận được, dù nó sẽ giỏi ở một số việc và yếu ở những việc khác.
Điều đáng chú ý là cả ba đều không xem đây là một cột mốc duy nhất. Một hệ thống có thể làm tốt 80% công việc nhưng vẫn rất tệ ở một số nhiệm vụ cụ thể. Khoảng cách giữa “có thể làm việc” và “có thể làm mọi việc mà một nhân viên giỏi làm” vẫn còn rất lớn.
O'Neill thận trọng hơn, đưa ra khoảng 5 đến 10 năm.
Nút thắt mà ông nhìn thấy không phải là khả năng viết mã hay thực hiện một thí nghiệm. AI có thể làm những việc đó ngày càng tốt. Vấn đề là khả năng quyết định thí nghiệm nào đáng làm tiếp theo.
Một nhà nghiên cứu có thể dành một năm để theo đuổi một hướng, rồi nhận ra đó là hướng sai. Nếu AI chỉ giúp thực hiện các thí nghiệm nhanh hơn nhưng vẫn không biết nên chọn thí nghiệm nào, tốc độ nghiên cứu không thể tăng theo đúng tỷ lệ với tốc độ tính toán.
O'Neill gọi khả năng tiếp thu thông tin và đưa ra quyết định tối ưu theo phương pháp Bayesian cho thí nghiệm tiếp theo là nút thắt quan trọng.
Millidge cho rằng AI có thể bắt đầu đảm nhiệm phần này. Nếu một hệ thống có thể thực hiện hai hoặc ba vòng thử nghiệm liên tiếp mà không mắc lỗi, đó đã là một bước tiến rất lớn.
Schulman đưa ra con số gây chú ý nhất: khoảng 3 đến 4 năm.
Ông cho rằng nghiên cứu AI là một trong những lĩnh vực tương đối dễ để AI vượt con người, bởi nó chứa rất nhiều mã lập trình và toán học, vốn là những thứ các mô hình hiện nay đã làm khá tốt.
Những lĩnh vực liên quan đến không gian 3D, vật lý hoặc kỹ thuật cơ khí có thể mất nhiều thời gian hơn, nhất là khi chúng không nhận được lượng đầu tư và tính toán tương đương.
O'Neill đưa ra khoảng 5 đến 10 năm. Theo ông, nghiên cứu AI tự động có thể gần với một bài toán “ASI-complete”, bởi một hệ thống muốn thực sự vượt qua con người phải có khả năng học những thứ mới rất nhanh, xử lý ngữ cảnh cực dài và tích lũy kinh nghiệm trong những lĩnh vực mà dữ liệu hiện có rất hạn chế.
Millidge cũng nghiêng về khoảng 5 năm, nhưng lưu ý rằng có thể tồn tại một “đuôi dài” rất lâu. AI về mặt lý thuyết có thể học được nhiều lĩnh vực, nhưng không phải lĩnh vực nào cũng được con người phân bổ đủ dữ liệu và sức mạnh tính toán để đào tạo.
Cuộc trò chuyện này vì thế không đưa ra một câu trả lời chắc chắn rằng RSI sẽ xuất hiện vào năm nào. Nó cho thấy một điều thú vị hơn: khoảng cách từ AI hiện tại đến RSI có thể không nằm ở việc mô hình chưa đủ thông minh để viết thêm mã hay giải thêm bài toán.
Nút thắt khó hơn là AI phải tự biết mình nên giải quyết vấn đề nào, làm thí nghiệm nào tiếp theo, đánh giá kết quả ra sao, rút ra kinh nghiệm gì và chuyển kinh nghiệm đó thành một phiên bản tốt hơn mà không phá hỏng những gì nó đã biết.
Nếu một ngày AI giải quyết được cả chuỗi này, lúc đó câu chuyện sẽ không còn là “AI giúp con người làm việc nhanh hơn bao nhiêu lần”. Nó sẽ trở thành câu hỏi AI có thể tự đẩy tốc độ phát triển của chính nó lên bao nhiêu lần.
Đây là một trong những câu hỏi lớn nhất của AI hiện nay: chúng ta còn cách RSI bao xa và điều gì có thể ngăn nó xảy ra?
Trong một cuộc trò chuyện với podcaster Dwarkesh Patel, ba nhà nghiên cứu AI gồm John Schulman, đồng sáng lập OpenAI và hiện là nhà khoa học trưởng tại Thinking Machines; Beren Millidge, Giám đốc công nghệ của Zyphra; và Charlie O'Neill, người phụ trách đào tạo mô hình tại Baseten, đã bàn khá sâu về câu hỏi này.
Có một điểm đáng chú ý trong cuộc trò chuyện: cả ba không cho rằng con đường tiến tới RSI chỉ đơn giản là tiếp tục tăng kích thước mô hình, thêm dữ liệu và tăng sức mạnh tính toán. Nút thắt có thể nằm ở một thứ khó hơn nhiều: AI phải biết mình nên làm gì tiếp theo.
Điều gì có thể khiến AI chưa đạt siêu trí tuệ vào năm 2036?
Dwarkesh Patel mở đầu bằng một câu hỏi khá cực đoan: nếu đến năm 2036 mà thế giới vẫn chưa có hàng nghìn hệ thống siêu thông minh hoạt động khắp nơi và làm thay đổi nền kinh tế, lý do công nghệ nào có khả năng nhất?Beren Millidge cho rằng một khả năng là AI sẽ tiếp tục gặp phải một phiên bản của nghịch lý Moravec. AI có thể cực kỳ giỏi trong những bài toán mà con người đưa ra để kiểm tra, thậm chí vượt con người ở nhiều tiêu chí, nhưng khi bước ra thế giới thực lại vẫn tồn tại một khoảng cách khó vượt qua.
“Chúng ta nghĩ về AI như một thứ sẽ rất tuyệt nếu nó giải quyết được những bài toán khó, nếu nó thắng cờ vua chẳng hạn. Nó giải quyết được những vấn đề đó, nhưng không tạo ra nhiều tác động như chúng ta tưởng.”
Theo Millidge, nếu những tiến bộ về khả năng khái quát hóa không đủ lớn và bài toán học liên tục vẫn chưa được giải quyết, AI có thể trở nên cực kỳ giỏi trong những môi trường được thiết kế cho nó nhưng vẫn gặp khó khi phải tự vận hành lâu dài trong thế giới thực.
John Schulman đồng ý với cách nhìn này. Ông cho rằng hiện nay con người vẫn có nhiều ưu thế so với các mô hình. Mỗi thế hệ AI mới lại khiến chúng ta có cảm giác rằng AGI đã xuất hiện, nhưng chỉ khoảng một tháng sau, những điểm yếu của mô hình bắt đầu lộ ra.
“Có một chu kỳ lặp đi lặp lại: một mô hình mới xuất hiện, mọi người kinh ngạc và nói: ‘Đây rồi! Đây chính là AGI!’. Nhưng sau khoảng một tháng, nó bắt đầu trông vụng về.”
Schulman cho rằng chu kỳ này có thể tiếp tục nhiều lần hơn chúng ta tưởng. AI có thể viết được rất nhiều mã, nhưng điều đó không đồng nghĩa năng suất nghiên cứu AI lập tức tăng 100 lần. Những vấn đề về phán đoán, tự kiểm tra và lựa chọn hướng nghiên cứu vẫn còn đó.
Charlie O'Neill nhìn vấn đề từ một góc khác. Ông đặt câu hỏi: khoảng cách giữa kiến trúc Transformer kết hợp học tăng cường hiện nay với một thuật toán học tối ưu về mặt lý thuyết mà phần cứng có thể hỗ trợ thực sự lớn đến đâu?
Nếu khoảng cách đó nhỏ, việc tạo ra hàng trăm nghìn hay hàng triệu tác nhân AI chạy song song có thể dẫn tới một vòng lặp tự cải tiến rất nhanh. Nhưng nếu khoảng cách quá lớn, chỉ tiếp tục nhân bản và mở rộng những mô hình hiện tại chưa chắc giúp AI tìm ra kiến trúc tiếp theo.
O'Neill lấy Định luật Moore làm ví dụ. Đường cong tăng trưởng của chip nhìn từ xa rất trơn tru, nhưng phía sau nó là hàng loạt đột phá riêng lẻ. AI cũng có thể như vậy. Chúng ta từng có quy luật mở rộng trong huấn luyện trước, sau đó lợi ích giảm dần, rồi học tăng cường mở ra một đường tăng trưởng mới. Nếu đường cong tiếp theo cũng dần tiệm cận, AI sẽ cần một đột phá khác.
Vấn đề là AI hiện tại có thể chưa đủ khả năng để tự tìm ra chính đột phá đó.
“Con hào” cuối cùng của con người có thể là xác định mục tiêu
Đây là phần thú vị nhất của cuộc trò chuyện.Theo Schulman, ngay cả khi AI có thể đảm nhận phần lớn công việc kỹ thuật, con người vẫn có thể giữ lại một nhiệm vụ quan trọng: quyết định chúng ta thực sự muốn gì.
Ông phân biệt giữa việc “làm thế nào để đạt mục tiêu” và “mục tiêu đó nên là gì”. AI có thể ngày càng giỏi tối ưu hóa một mục tiêu đã được xác định, nhưng việc xác định mục tiêu đúng lại là câu chuyện khác.
“Công việc cuối cùng mà con người làm, hay nói đúng hơn là vai trò lâu dài nhất của nhân loại, là xác định mục tiêu và quyết định điều chúng ta thực sự muốn.”
Schulman lấy quá trình hậu huấn luyện làm ví dụ. Các nhóm nghiên cứu vẫn cần con người đánh giá cách mô hình nên phản ứng trong rất nhiều tình huống khác nhau. Không dễ tự động hóa hoàn toàn việc này, vì trước hết phải có người quyết định thế nào là một hành vi tốt.
Charlie O'Neill chia nghiên cứu AI thành hai loại. Một loại có mục tiêu rõ ràng, có thể đo lường và tối ưu hóa. Chẳng hạn, giảm một mức tổn thất cụ thể hoặc đạt kết quả tốt hơn trên một bài kiểm tra. Loại còn lại là khoa học mở, nơi bản thân câu hỏi cần nghiên cứu cũng chưa được xác định.
Đây mới là phần khó.
Lịch sử AI có không ít bước tiến xuất phát từ những ý tưởng mà trước đó không ai biết phải tìm kiếm. DeepMind từng đặt cược vào việc giải quyết trí tuệ thông qua trò chơi. Alec Radford lại đi theo hướng dự đoán ký tự tiếp theo trên lượng văn bản khổng lồ. Không có một hàm mục tiêu đơn giản nào nói trước rằng đó chính xác là con đường phải đi.
O'Neill cho rằng AI có thể rất giỏi tối ưu hóa những mục tiêu đã tồn tại, nhưng việc tự tìm ra một mục tiêu hoàn toàn mới vẫn là câu hỏi chưa có lời giải.
Millidge diễn đạt vấn đề của RSI theo cách trực tiếp hơn: AI phải tự đặt mục tiêu, tối ưu mục tiêu đó, đánh giá kết quả, sau đó tự đặt ra mục tiêu mới và tiếp tục lặp lại quá trình trong thời gian rất dài.
Đó mới là vòng lặp tự cải tiến thực sự.
AI có thể học trực tiếp từ quá trình triển khai?
Một trong những điểm nghẽn khác là học liên tục.Con người đi làm, tích lũy kinh nghiệm, mắc lỗi rồi điều chỉnh cách làm. AI hiện nay chưa thực sự hoạt động theo cách đó. Một mô hình có thể được triển khai cho hàng triệu người dùng, nhưng kinh nghiệm từ những lần triển khai đó thường không lập tức biến thành thay đổi trong trọng số của chính mô hình.
Charlie O'Neill đưa ra ví dụ về Composer của Cursor. Mô hình được đánh giá trên một bộ kiểm tra nội bộ sau mỗi khoảng năm giờ. Nếu phiên bản mới tốt hơn, nó được triển khai; nếu không, phiên bản đó bị loại bỏ.
Nghe giống một vòng lặp học liên tục, nhưng khi thu nhỏ quá trình này xuống từng nhiệm vụ hoặc từng khách hàng, vấn đề bắt đầu xuất hiện.
Nếu liên tục cập nhật mô hình bằng những lô dữ liệu rất nhỏ, mô hình có thể rơi vào tình trạng “quên thảm họa”, tức là học được thông tin mới nhưng đánh mất những khả năng tổng quát đã có.
RL có ưu điểm là chỉ thay đổi một phần rất nhỏ hành vi của mô hình nên ít phá vỡ những khả năng cũ hơn. Nhưng chính điều đó cũng giới hạn lượng kiến thức mới mà RL có thể đưa vào.
Millidge cho rằng đây là sự căng thẳng giữa tính linh hoạt và tính ổn định. Nếu cứ tiếp tục huấn luyện cùng một mô hình trên cùng một nguồn dữ liệu, nó sẽ dần đạt tới giới hạn. Đó là lý do các phòng thí nghiệm vẫn phải huấn luyện những mô hình nền tảng mới.
Một tương lai có thể xảy ra là chu kỳ này ngày càng ngắn: từ ba tháng xuống vài tuần, rồi vài ngày, thậm chí vài giờ. Khi đó, việc học từ những lần triển khai trước có thể trở nên đủ nhanh để tạo thành một vòng lặp thực sự.
Thế giới thực vẫn là bài toán khó
Dwarkesh Patel đặt ra một vấn đề khác: nếu phần lớn thời gian tính toán của AI dành cho suy luận, tại sao kinh nghiệm đó chưa thể trực tiếp làm cho mô hình tốt hơn?Một con người có thể tích lũy hàng chục năm kinh nghiệm. Một hệ thống AI trong tương lai có thể có hàng triệu năm kinh nghiệm triển khai cộng lại từ vô số tác vụ. Nếu AI học được trực tiếp từ toàn bộ lượng kinh nghiệm đó, tốc độ cải thiện có thể tăng mạnh.
Nhưng hiện nay điều đó chưa diễn ra theo cách đơn giản như vậy.
John Schulman cho rằng một phần nguyên nhân không nằm ở kỹ thuật mà ở động lực kinh tế. Các công ty không muốn nhà cung cấp mô hình học từ toàn bộ dữ liệu triển khai của họ, bởi dữ liệu đó có thể chính là lợi thế cạnh tranh.
Charlie O'Neill cho rằng các công ty có thể đi theo hướng khác: thay vì cập nhật một mô hình chung khổng lồ, họ có thể sử dụng các mô-đun riêng, LoRA hoặc những dạng bộ nhớ khác để mô hình học được thông tin chuyên biệt trong quá trình triển khai.
Millidge lại cho rằng cuối cùng những dữ liệu này vẫn có thể được đưa trở lại quá trình huấn luyện mô hình thế hệ tiếp theo.
Một cách dễ hình dung là: mô hình hiện tại được triển khai, tạo ra hàng loạt quỹ đạo và kinh nghiệm mới, con người hoặc hệ thống tự động đánh giá chúng, sau đó dữ liệu tốt được dùng để huấn luyện thế hệ kế tiếp.
Đó vẫn chưa phải RSI theo nghĩa mạnh nhất, vì con người vẫn còn nằm trong vòng lặp. Nhưng chu kỳ đang được rút ngắn.
Nút thắt có thể nằm ở dữ liệu
Khi được hỏi tiến bộ của AI còn có thể được thúc đẩy bởi dữ liệu bao lâu nữa, O'Neill cho rằng những “trái cây chín” dễ hái trên Internet gần như đã được khai thác.Millidge đồng ý rằng khi mô hình ngày càng tốt, vấn đề không còn đơn giản là tìm thêm dữ liệu. Dữ liệu mới phải chứa tín hiệu mà mô hình hiện tại chưa biết.
Có một điểm rất quan trọng ở đây: nếu một mô hình đã giải được hầu hết những bài toán có sẵn trên Internet, việc cho nó thêm hàng triệu ví dụ tương tự không nhất thiết giúp nó tiến lên bước tiếp theo.
“Không có bằng chứng nào về một bài toán thuộc Giải thưởng Thiên niên kỷ ẩn trong Common Crawl; chúng ta chỉ có thể lọc cho đến khi thấy nó.”
Khi đó, AI cần dữ liệu mới từ con người hoặc từ những môi trường được thiết kế để tạo ra những bài toán mà mô hình hiện tại chưa giải được.
O'Neill cho rằng đây là lý do lợi ích giảm dần xuất hiện. Thế giới có rất nhiều dữ liệu, nhưng không phải tất cả đều chứa thông tin hữu ích để đưa mô hình vượt qua năng lực hiện tại.
RL thực sự đã thay đổi AI như thế nào?
Một phần lớn cuộc trò chuyện tập trung vào câu hỏi tại sao học tăng cường lại hiệu quả hơn dự đoán của nhiều người.Millidge cho rằng một nguyên nhân quan trọng thường bị bỏ qua là huấn luyện giữa kỳ. Mô hình không bước vào RL từ con số 0. Nó đã được chuẩn bị bằng lượng lớn dữ liệu suy luận tổng hợp và có thể đạt khoảng 80% điểm của bài kiểm tra RL cuối cùng trước khi RL thực sự bắt đầu.
RL sau đó chủ yếu điều chỉnh chính sách của mô hình.
Điểm khác biệt nằm ở tín hiệu huấn luyện. Với SFT, mô hình phải học cách tái tạo từng token trong một chuỗi suy luận. Có rất nhiều thông tin trong đó, nhưng cũng có rất nhiều nhiễu. RL có thể chỉ cần một tín hiệu đơn giản: câu trả lời đúng hay sai.
Millidge gọi đó là sự cải thiện về tỷ lệ tín hiệu trên nhiễu. Thay vì nói cho mô hình biết chính xác một lời giải phải được viết như thế nào, RL chỉ cho nó biết kết quả đó có đạt yêu cầu hay không.
O'Neill cho rằng RL còn mang lại một khả năng khái quát hóa khác: khái quát hóa theo thời gian.
Mô hình học cách làm việc lâu hơn trên một nhiệm vụ, sử dụng nhiều token hơn, tiếp tục thử nghiệm và không bỏ cuộc quá sớm. Nó có thể không tự động chuyển toàn bộ kỹ năng toán học sang lập trình, nhưng có thể học được một kỹ năng chung hơn là tiếp tục làm việc trên một nhiệm vụ trong thời gian dài.
Theo O'Neill, đây có thể là một trong những lý do quan trọng khiến các mô hình hiện nay trông có vẻ tiến bộ mạnh dù RL chỉ thay đổi một phần tương đối nhỏ của mô hình.
Nhưng RL cũng có mặt trái
Patel nhắc đến “nước đi thứ 37” của AlphaGo, một ví dụ nổi tiếng về việc AI có thể tìm ra giải pháp mà con người không nghĩ tới.Liệu RL trên các mô hình ngôn ngữ có tạo ra những khoảnh khắc sáng tạo tương tự?
Millidge cho rằng không có lý do để nói RL nhất thiết làm AI kém sáng tạo. Nếu môi trường đủ rộng và có khả năng khám phá, AI hoàn toàn có thể tìm ra những giải pháp mà con người chưa nghĩ tới.
Schulman lại chỉ ra một mặt trái khác: RL có thể làm giảm sự đa dạng.
Các mô hình sau RL có xu hướng tập trung vào những cách trả lời được đánh giá là tốt. Điều đó giúp chúng ổn định hơn, nhưng cũng có thể khiến đầu ra trở nên đồng nhất.
Ông cho rằng điều này đang thể hiện khá rõ trong các mô hình mã nguồn mở được chưng cất từ những mô hình lớn. Nhiều mô hình bắt đầu có cách viết, cách dùng từ và thói quen ngôn ngữ rất giống nhau.
“Chúng ta đang chứng kiến sự nổi lên của một nền văn hóa độc quyền.”
Millidge phản biện rằng đây không nhất thiết là vấn đề của RL. Nếu dữ liệu huấn luyện không đủ đa dạng hoặc bộ đánh giá quá đơn giản, mô hình sẽ tối ưu chính những thứ đó. Vấn đề nằm ở dữ liệu và cách thiết kế bộ đánh giá nhiều hơn là bản thân RL.
Bao lâu nữa AI sẽ trở thành một “nhân viên từ xa” hoàn chỉnh?
Đến cuối cuộc trò chuyện, Patel chuyển sang những dự đoán cụ thể.Nếu có một AI mà người dùng có thể thuê như một nhân viên làm việc từ xa, có quyền truy cập máy tính, làm được nhiều loại công việc văn phòng, thực hiện một dự án kéo dài cả tháng, tương tác với con người và tự xử lý công việc từ đầu đến cuối thì sao?
O'Neill cho rằng nếu AI được truy cập trực tiếp vào môi trường lập trình, khoảng một năm có thể là đủ. Nếu phải thao tác chủ yếu qua trình duyệt, thời gian có thể kéo dài lên vài năm.
Millidge thận trọng hơn và đưa ra khoảng ba năm để hệ thống như vậy trở nên phổ biến. Ông cho rằng sẽ tồn tại một “đuôi dài” gồm rất nhiều công việc khác nhau mà AI cần thời gian để hoàn thiện.
Schulman cũng cho rằng khoảng một năm có thể xuất hiện một phiên bản chấp nhận được, dù nó sẽ giỏi ở một số việc và yếu ở những việc khác.
Điều đáng chú ý là cả ba đều không xem đây là một cột mốc duy nhất. Một hệ thống có thể làm tốt 80% công việc nhưng vẫn rất tệ ở một số nhiệm vụ cụ thể. Khoảng cách giữa “có thể làm việc” và “có thể làm mọi việc mà một nhân viên giỏi làm” vẫn còn rất lớn.
AI có thể tăng năng suất nghiên cứu AI gấp 10 lần?
Khi Patel hỏi bao lâu nữa các nhà nghiên cứu AI có thể tăng năng suất gấp 10 lần, câu trả lời của Schulman là khoảng hai năm. Millidge cũng nghiêng về mốc này.O'Neill thận trọng hơn, đưa ra khoảng 5 đến 10 năm.
Nút thắt mà ông nhìn thấy không phải là khả năng viết mã hay thực hiện một thí nghiệm. AI có thể làm những việc đó ngày càng tốt. Vấn đề là khả năng quyết định thí nghiệm nào đáng làm tiếp theo.
Một nhà nghiên cứu có thể dành một năm để theo đuổi một hướng, rồi nhận ra đó là hướng sai. Nếu AI chỉ giúp thực hiện các thí nghiệm nhanh hơn nhưng vẫn không biết nên chọn thí nghiệm nào, tốc độ nghiên cứu không thể tăng theo đúng tỷ lệ với tốc độ tính toán.
O'Neill gọi khả năng tiếp thu thông tin và đưa ra quyết định tối ưu theo phương pháp Bayesian cho thí nghiệm tiếp theo là nút thắt quan trọng.
Millidge cho rằng AI có thể bắt đầu đảm nhiệm phần này. Nếu một hệ thống có thể thực hiện hai hoặc ba vòng thử nghiệm liên tiếp mà không mắc lỗi, đó đã là một bước tiến rất lớn.
Khi nào AI vượt con người trong mọi công việc nhận thức?
Câu hỏi cuối cùng của Patel còn lớn hơn: khi nào AI có thể vượt các chuyên gia hàng đầu của con người trong mọi lĩnh vực công việc mà máy tính có thể thực hiện, kể cả những nhiệm vụ kéo dài nhiều năm?Schulman đưa ra con số gây chú ý nhất: khoảng 3 đến 4 năm.
Ông cho rằng nghiên cứu AI là một trong những lĩnh vực tương đối dễ để AI vượt con người, bởi nó chứa rất nhiều mã lập trình và toán học, vốn là những thứ các mô hình hiện nay đã làm khá tốt.
Những lĩnh vực liên quan đến không gian 3D, vật lý hoặc kỹ thuật cơ khí có thể mất nhiều thời gian hơn, nhất là khi chúng không nhận được lượng đầu tư và tính toán tương đương.
O'Neill đưa ra khoảng 5 đến 10 năm. Theo ông, nghiên cứu AI tự động có thể gần với một bài toán “ASI-complete”, bởi một hệ thống muốn thực sự vượt qua con người phải có khả năng học những thứ mới rất nhanh, xử lý ngữ cảnh cực dài và tích lũy kinh nghiệm trong những lĩnh vực mà dữ liệu hiện có rất hạn chế.
Millidge cũng nghiêng về khoảng 5 năm, nhưng lưu ý rằng có thể tồn tại một “đuôi dài” rất lâu. AI về mặt lý thuyết có thể học được nhiều lĩnh vực, nhưng không phải lĩnh vực nào cũng được con người phân bổ đủ dữ liệu và sức mạnh tính toán để đào tạo.
Cuộc trò chuyện này vì thế không đưa ra một câu trả lời chắc chắn rằng RSI sẽ xuất hiện vào năm nào. Nó cho thấy một điều thú vị hơn: khoảng cách từ AI hiện tại đến RSI có thể không nằm ở việc mô hình chưa đủ thông minh để viết thêm mã hay giải thêm bài toán.
Nút thắt khó hơn là AI phải tự biết mình nên giải quyết vấn đề nào, làm thí nghiệm nào tiếp theo, đánh giá kết quả ra sao, rút ra kinh nghiệm gì và chuyển kinh nghiệm đó thành một phiên bản tốt hơn mà không phá hỏng những gì nó đã biết.
Nếu một ngày AI giải quyết được cả chuỗi này, lúc đó câu chuyện sẽ không còn là “AI giúp con người làm việc nhanh hơn bao nhiêu lần”. Nó sẽ trở thành câu hỏi AI có thể tự đẩy tốc độ phát triển của chính nó lên bao nhiêu lần.
