Lĩnh vực AI đang phát triển mạnh mẽ, cuộc chiến giữa các mô hình diễn ra sôi nổi

Tháng trước, lĩnh vực AI đã dấy lên một cuộc "chiến tranh động vật".

Meta phát hành Llama đã được các nhà phát triển ưa chuộng nhờ tính chất mã nguồn mở. NEC của Nhật Bản nhanh chóng phát triển phiên bản ChatGPT tiếng Nhật sau khi nghiên cứu tài liệu và mã nguồn của Llama, giải quyết được những trở ngại trong sự phát triển AI tại Nhật Bản.

Bên kia là một mô hình lớn có tên là Falcon. Falcon-40B ra mắt vào tháng 5 đã vượt qua Llama để đứng đầu bảng xếp hạng LLM mã nguồn mở. Bảng xếp hạng này được cộng đồng mô hình mã nguồn mở tạo ra, cung cấp tiêu chuẩn đo lường khả năng LLM và xếp hạng. Bảng xếp hạng chủ yếu được Llama và Falcon luân phiên thống trị.

Sau khi Llama 2 được ra mắt, gia đình lạc đà châu Mỹ đã vượt lên, nhưng vào đầu tháng 9, Falcon đã ra mắt phiên bản 180B và một lần nữa giành chiến thắng.

Thú vị là, các nhà phát triển của Falcon là Viện Nghiên cứu Đổi mới Công nghệ tại Abu Dhabi, thủ đô của Các Tiểu vương quốc Ả Rập Thống nhất. Các quan chức chính phủ cho biết họ tham gia vào lĩnh vực này nhằm lật đổ các người chơi cốt lõi.

Ngày sau khi phát hành phiên bản 180B, Bộ trưởng Trí tuệ nhân tạo của Các Tiểu vương quốc Ả Rập Thống nhất được chọn vào danh sách "100 người có ảnh hưởng nhất trong lĩnh vực AI" của tạp chí Thời đại, cùng với "Cha đẻ của AI" Geoffrey Hinton, và Sam Altman của OpenAI.

Hiện nay, lĩnh vực AI đã bước vào giai đoạn phát triển rực rỡ. Các quốc gia và doanh nghiệp có năng lực đang lần lượt xây dựng mô hình lớn của riêng mình. Chỉ trong vòng các quốc gia Vùng Vịnh, đã có nhiều người chơi, vào tháng 8, Ả Rập Xê Út đã mua hơn 3000 thẻ H100 cho các trường đại học trong nước để đào tạo LLM.

Có nhà đầu tư từng phàn nàn: "Ngày xưa không coi trọng sự đổi mới mô hình kinh doanh của internet, cảm thấy không có rào cản; không ngờ khởi nghiệp với mô hình lớn công nghệ cứng, vẫn là cuộc chiến giữa trăm mô hình..."

Công nghệ cứng vốn được coi là khó khăn, sao giờ lại trở thành thứ mà ai cũng có thể làm được?

Transformer dẫn đầu cách mạng AI

Các công ty khởi nghiệp của Mỹ, các gã khổng lồ công nghệ Trung Quốc và các ông trùm dầu mỏ Trung Đông có thể tham gia vào lĩnh vực mô hình lớn đều nhờ vào bài báo nổi tiếng "Attention Is All You Need".

Năm 2017, 8 nhà khoa học máy tính của Google đã công bố thuật toán Transformer trong bài báo này. Bài báo này là bài báo được trích dẫn nhiều thứ ba trong lịch sử AI, sự xuất hiện của Transformer đã gây ra cơn sốt AI lần này.

Hiện tại, tất cả các mô hình lớn, bao gồm cả loạt GPT gây chấn động thế giới, đều được xây dựng trên nền tảng Transformer.

Trước đây, "dạy máy đọc" luôn là một vấn đề học thuật được công nhận. Khác với nhận diện hình ảnh, khi con người đọc, họ không chỉ chú ý đến từ và câu hiện tại mà còn kết hợp với ngữ cảnh để hiểu.

Các mạng nơ-ron đầu tiên có đầu vào độc lập với nhau, không thể hiểu được văn bản dài hoặc thậm chí toàn bộ bài viết, dẫn đến việc dịch "开水间" thành "open water room" và các vấn đề tương tự.

Năm 2014, sau khi làm việc tại Google, nhà khoa học máy tính Ilya đã chuyển sang OpenAI và đạt được bước đột phá đầu tiên. Ông sử dụng mạng nơ-ron hồi tiếp (RNN) để xử lý ngôn ngữ tự nhiên, giúp hiệu suất Google Dịch vượt trội hơn hẳn so với các sản phẩm cạnh tranh.

RNN đề xuất "thiết kế lặp lại", cho phép mỗi tế bào thần kinh nhận thông tin đầu vào từ hiện tại và thời điểm trước đó, mang lại cho mạng nơ-ron khả năng "kết hợp ngữ cảnh".

RNN đã thắp sáng niềm đam mê nghiên cứu trong giới học thuật, tác giả bài báo Transformer là Shazeel cũng đã nghiên cứu sâu. Nhưng các nhà phát triển đã nhanh chóng phát hiện ra rằng RNN có những thiếu sót nghiêm trọng:

Thuật toán này sử dụng tính toán theo thứ tự, mặc dù giải quyết được vấn đề ngữ cảnh, nhưng hiệu suất chạy thấp và khó xử lý một lượng lớn tham số.

Thiết kế phức tạp của RNN nhanh chóng khiến Shahzeel cảm thấy chán nản. Vì vậy, từ năm 2015, Shahzeel và 7 người cùng sở thích bắt đầu phát triển một sự thay thế cho RNN, và kết quả cuối cùng chính là Transformer.

So với RNN, Transformer có hai cuộc cách mạng lớn:

Thứ nhất là sử dụng mã hóa vị trí thay thế cho thiết kế lặp, thực hiện tính toán song song, nâng cao đáng kể hiệu quả huấn luyện, giúp AI có thể xử lý dữ liệu lớn, bước vào kỷ nguyên mô hình lớn; thứ hai là tăng cường khả năng ngữ cảnh.

Transformer giải quyết nhiều khuyết điểm trong một lần, dần dần trở thành lựa chọn hàng đầu cho NLP, có cảm giác như "nếu không có Transformer, NLP sẽ mãi mãi chìm trong bóng tối". Ngay cả Ilia cũng đã từ bỏ RNN mà ông từng ca ngợi, chuyển sang sử dụng Transformer.

Có thể nói, Transformer là tổ sư của tất cả các mô hình lớn hiện nay, nó đã chuyển đổi các mô hình lớn từ nghiên cứu lý thuyết thành các vấn đề kỹ thuật thuần túy.

Năm 2019, OpenAI phát triển GPT-2 dựa trên Transformer, gây chấn động giới học thuật. Google nhanh chóng phản hồi, cho ra mắt AI mạnh mẽ hơn - Meena.

Meena không có sự đổi mới về thuật toán so với GPT-2, chỉ là số lượng tham số tăng lên 8,5 lần và sức mạnh tính toán tăng 14 lần. Tác giả của Transformer, Ashish Vaswani, rất sốc trước loại "xếp chồng bạo lực" này và đã viết một ghi chú có tiêu đề "Meena nuốt chửng thế giới".

Kể từ khi Transformer ra đời, tốc độ đổi mới thuật toán cơ bản trong giới học thuật đã giảm mạnh. Các yếu tố kỹ thuật như kỹ thuật dữ liệu, quy mô tính toán, và kiến trúc mô hình ngày càng trở thành chìa khóa trong cuộc cạnh tranh AI, chỉ cần có một chút năng lực công nghệ, các công ty công nghệ cũng có thể phát triển các mô hình lớn.

Vì vậy, nhà khoa học máy tính Andrew Ng đã phát biểu tại Đại học Stanford:"AI là một tập hợp các công cụ, bao gồm học có giám sát, học không có giám sát, học tăng cường và bây giờ là trí tuệ nhân tạo sinh sinh. Tất cả đều là công nghệ phổ quát, giống như điện và internet."

Mặc dù OpenAI vẫn là tiêu chuẩn cho LLM, nhưng các tổ chức phân tích bán dẫn cho rằng, sức cạnh tranh của GPT-4 đến từ giải pháp kỹ thuật - nếu được mã nguồn mở, bất kỳ đối thủ cạnh tranh nào cũng có thể sao chép nhanh chóng.

Nhà phân tích này dự đoán rằng các công ty công nghệ lớn khác có thể sớm phát triển các mô hình lớn có hiệu suất tương đương với GPT-4.

Lô chắn yếu ớt

Hiện nay, "cuộc chiến trăm mô hình" đã trở thành thực tế khách quan.

Các báo cáo liên quan cho thấy, tính đến tháng 7 năm nay, số lượng mô hình lớn trong nước đã đạt 130 cái, vượt qua 114 cái của Mỹ, thành công đạt được cú vượt mặt. Những huyền thoại và truyền thuyết không còn đủ để các công ty công nghệ trong nước đặt tên nữa.

Ngoài Trung-Mỹ, nhiều quốc gia giàu có cũng đã bước đầu thực hiện "mô hình một quốc gia một hệ thống": ngoài Nhật Bản và Các Tiểu vương quốc Ả Rập Thống nhất, còn có Bhashini do chính phủ Ấn Độ dẫn dắt, HyperClova X do công ty Internet Hàn Quốc Naver phát triển.

Tình huống này dường như trở lại thời kỳ khai phá Internet, nơi mà khắp nơi là sự đối kháng giữa bong bóng và "khả năng tiền tệ".

Như đã đề cập trước đó, Transformer biến các mô hình lớn thành vấn đề kỹ thuật thuần túy, chỉ cần có người có tiền và card đồ họa, phần còn lại sẽ giao cho các tham số. Nhưng việc tham gia dễ dàng không có nghĩa là ai cũng có thể trở thành ông lớn trong thời đại AI.

Trường hợp điển hình được đề cập ở đầu là "Cuộc chiến giữa các loài động vật": Mặc dù Falcon vượt qua Llama về thứ hạng, nhưng rất khó để nói rằng điều này gây ra ảnh hưởng lớn đến Meta.

Như mọi người đã biết, các doanh nghiệp công khai các thành quả nghiên cứu của mình không chỉ để chia sẻ lợi ích công nghệ với xã hội mà còn hy vọng kích thích trí tuệ của cộng đồng. Khi các giáo sư đại học, viện nghiên cứu và các doanh nghiệp vừa và nhỏ ngày càng sâu sắc sử dụng và cải tiến Llama, Meta có thể áp dụng những kết quả này vào sản phẩm của mình.

Đối với các mô hình lớn mã nguồn mở, cộng đồng phát triển năng động mới là lợi thế cạnh tranh cốt lõi.

Meta đã xác định con đường mã nguồn mở từ khi thành lập phòng thí nghiệm AI vào năm 2015; Zuckerberg lại khởi đầu từ mạng xã hội, anh ta còn giỏi hơn trong việc "xây dựng mối quan hệ với công chúng".

Ví dụ, vào tháng 10, Meta đã tổ chức một hoạt động "Khuyến khích người sáng tạo phiên bản AI": các nhà phát triển sử dụng Llama 2 để giải quyết các vấn đề xã hội như giáo dục, môi trường có cơ hội nhận được 500.000 USD tài trợ.

Hiện nay, dòng sản phẩm Llama của Meta đã trở thành biểu tượng cho LLM mã nguồn mở.

Tính đến đầu tháng 10, trong top 10 bảng xếp hạng LLM mã nguồn mở phổ biến, có 8 cái được xây dựng dựa trên Llama 2, tất cả đều sử dụng giấy phép mã nguồn mở của nó. Chỉ riêng trên một nền tảng, số LLM sử dụng giấy phép mã nguồn mở Llama 2 đã vượt quá 1500 cái.

Tất nhiên, việc cải thiện hiệu suất như Falcon cũng không phải là không thể, nhưng hiện tại hầu hết các LLM vẫn có khoảng cách rõ rệt với GPT-4.

Ví dụ, không lâu trước đây, GPT-4 đã đạt điểm 4.41 và đứng đầu bảng xếp hạng kiểm tra AgentBench. AgentBench được Đại học Thanh Hoa phối hợp với Đại học Bang Ohio và Đại học California, Berkeley phát triển, nhằm đánh giá khả năng suy luận và quyết định của LLM trong môi trường tạo ra mở đa chiều, nội dung kiểm tra bao gồm các nhiệm vụ trong 8 môi trường khác nhau như hệ điều hành, cơ sở dữ liệu, đồ thị tri thức, và trận đấu thẻ.

Kết quả thử nghiệm cho thấy, người đứng thứ hai Claude chỉ đạt 2.77 điểm, có sự chênh lệch rõ rệt. Còn đối với những LLM mã nguồn mở ồn ào, điểm số thử nghiệm thường chỉ khoảng 1 điểm, chưa bằng 1/4 điểm của GPT-4.

Cần biết rằng, GPT-4 được phát hành vào tháng 3 năm nay, đây vẫn là kết quả sau hơn nửa năm các đồng nghiệp toàn cầu theo kịp. Nguyên nhân gây ra sự chênh lệch này là đội ngũ các nhà khoa học trình độ cao của OpenAI và kinh nghiệm tích lũy từ nghiên cứu LLM trong thời gian dài, vì vậy họ luôn dẫn đầu.

Điều này có nghĩa là khả năng cốt lõi của mô hình lớn không phải là tham số, mà là xây dựng hệ sinh thái ( mã nguồn mở ) hoặc khả năng suy diễn thuần túy ( mã nguồn đóng ).

Với sự phát triển ngày càng mạnh mẽ của cộng đồng mã nguồn mở, hiệu suất của các LLM có thể trở nên tương đồng, vì mọi người đều sử dụng các kiến trúc mô hình và bộ dữ liệu tương tự.

Một vấn đề khó khăn hơn nữa là: Ngoài Midjourney, dường như chưa có mô hình lớn nào khác có thể kiếm tiền.

Điểm neo giá trị ở đâu

Vào tháng 8 năm nay, một bài viết có tựa đề "OpenAI có thể phá sản vào cuối năm 2024" đã thu hút sự chú ý. Nội dung của bài viết có thể được tóm tắt bằng một câu: Tốc độ tiêu tiền của OpenAI quá nhanh.

Bài viết đề cập rằng, kể từ khi phát triển ChatGPT, khoản lỗ của OpenAI đã nhanh chóng tăng lên, chỉ riêng trong năm 2022 đã lỗ khoảng 540 triệu đô la, chỉ có thể chờ đợi các nhà đầu tư thanh toán.

Mặc dù tiêu đề bài viết có phần phóng đại, nhưng nó cũng phản ánh thực trạng của nhiều nhà cung cấp mô hình lớn: chi phí và doanh thu đang mất cân bằng nghiêm trọng.

Chi phí quá cao dẫn đến việc hiện nay chỉ có Nvidia kiếm được nhiều tiền từ AI, có thể thêm Broadcom.

Theo ước tính của công ty tư vấn, Nvidia đã bán ra hơn 300.000 chiếc H100 trong quý hai năm nay. Đây là một con chip AI, có hiệu suất đào tạo AI rất cao, các công ty công nghệ và tổ chức nghiên cứu trên toàn cầu đang chạy đua để mua sắm. Nếu xếp chồng 300.000 chiếc H100 lại với nhau, trọng lượng tương đương với 4,5 chiếc máy bay Boeing 747.

Doanh thu của Nvidia đã tăng vọt, tăng 854% so với năm trước, gây sốc cho Phố Wall. Đáng chú ý là hiện tại giá H100 trên thị trường thứ cấp đã được đẩy lên 40-50 nghìn đô la, nhưng chi phí vật liệu chỉ khoảng hơn 3.000 đô la.

Chi phí sức mạnh tính toán cao đã trở thành rào cản cho sự phát triển của ngành ở một mức độ nào đó. Sequoia Capital từng ước tính: Các công ty công nghệ toàn cầu dự kiến sẽ chi 200 tỷ đô la mỗi năm cho việc xây dựng cơ sở hạ tầng mô hình lớn; trong khi đó, mô hình lớn chỉ có thể tạo ra tối đa 75 tỷ đô la doanh thu mỗi năm, với một khoảng cách ít nhất là 125 tỷ đô la.

Ngoài ra, trừ một số trường hợp ngoại lệ như Midjourney, hầu hết các công ty phần mềm vẫn chưa nghĩ ra cách kiếm lợi nhuận sau khi đã chi tiêu một khoản chi phí khổng lồ. Đặc biệt là hai ông lớn trong ngành là Microsoft và Adobe đang gặp khó khăn.

Microsoft và OpenAI đã hợp tác phát triển công cụ tạo mã AI GitHub Copilot, mặc dù thu phí 10 đô la mỗi tháng, nhưng do chi phí cơ sở hạ tầng, Microsoft lại bị lỗ 20 đô la mỗi tháng, thậm chí người dùng nặng có thể khiến Microsoft phải lỗ 80 đô la mỗi tháng. Từ đó suy ra, Microsoft 365 Copilot có giá 30 đô la có thể thua lỗ nhiều hơn.

Tương tự, Adobe vừa ra mắt công cụ Firefly AI cũng nhanh chóng triển khai hệ thống điểm đi kèm, nhằm ngăn chặn việc người dùng sử dụng quá mức gây thua lỗ cho công ty. Khi người dùng sử dụng vượt quá số điểm phân bổ hàng tháng, Adobe sẽ giảm tốc độ dịch vụ.

Cần biết rằng Microsoft và Adobe đã là những gã khổng lồ phần mềm có bối cảnh kinh doanh rõ ràng và sở hữu một lượng lớn người dùng trả phí. Trong khi đó, hầu hết các mô hình lớn với hàng tá tham số, ứng dụng lớn nhất của chúng vẫn là trò chuyện.

Không thể phủ nhận rằng nếu không có sự xuất hiện của OpenAI và ChatGPT, cuộc cách mạng AI này có thể sẽ không xảy ra; nhưng hiện tại, giá trị mang lại từ việc đào tạo các mô hình lớn có lẽ vẫn còn cần được bàn luận.

Hơn nữa, với sự gia tăng cạnh tranh đồng nhất và sự xuất hiện ngày càng nhiều của các mô hình mã nguồn mở trên thị trường, không gian sống sót của các nhà cung cấp mô hình lớn thuần túy có thể sẽ bị hạn chế hơn.

Sự thành công của iPhone 4 không phải vì bộ vi xử lý A4 có quy trình 45nm, mà là vì nó có thể chơi Plants vs. Zombies và Angry Birds.