AI領域羣雄並起，百模大戰如火如荼

上個月，AI界掀起了一場"動物之爭"。

Meta推出的Llama憑藉開源特性廣受開發者歡迎。日本NEC研究Llama論文和代碼後迅速開發出日語版ChatGPT，解決了日本AI發展瓶頸。

另一方是名爲Falcon的大模型。5月問世的Falcon-40B力壓Llama登頂開源LLM排行榜。該榜單由開源模型社區制作，提供LLM能力測算標準並排名。排行榜基本被Llama和Falcon輪番主導。

Llama 2推出後美洲駝家族反超，但9月初Falcon推出180B版本再次奪魁。

有趣的是，Falcon的開發者是阿聯酋首都阿布扎比的科技創新研究所。政府人士表示，他們參與這個領域是爲了顛覆核心玩家。

180B版本發布次日，阿聯酋人工智能部長入選《時代周刊》"AI領域最具影響力的100人"，與"AI教父"辛頓、OpenAI的阿爾特曼等共同上榜。

如今，AI領域已進入百花齊放階段。有實力的國家和企業紛紛打造自己的大模型。僅在海灣國家圈子內就不止一個玩家，8月沙特就爲國內大學購買了3000多塊H100用於訓練LLM。

有投資人曾吐槽："當年看不起互聯網的商業模式創新，覺得沒有壁壘；沒想到硬科技大模型創業，依然是百模大戰..."

原本被認爲高難度的硬科技，怎麼就變成了人人都能搞的東西？

Transformer引領AI革命

美國初創公司、中國科技巨頭、中東石油大亨能夠進軍大模型領域，都要歸功於那篇著名的論文《Attention Is All You Need》。

2017年，8位谷歌計算機科學家在這篇論文中公開了Transformer算法。這篇論文是AI歷史上被引用第三多的論文，Transformer的出現引發了此輪AI熱潮。

目前所有大模型，包括轟動世界的GPT系列，都是建立在Transformer基礎之上。

在此之前，"教機器閱讀"一直是公認的學術難題。不同於圖像識別，人類閱讀時不僅關注當前詞句，還會結合上下文理解。

早期神經網路輸入相互獨立，無法理解長文本甚至整篇文章，導致出現把"開水間"翻譯成"open water room"等問題。

2014年，在谷歌工作後跳槽OpenAI的計算機科學家伊利亞首次取得突破。他使用循環神經網路(RNN)處理自然語言，使谷歌翻譯性能大幅領先競品。

RNN提出"循環設計"，讓每個神經元同時接收當前和上一時刻的輸入信息，賦予神經網路"結合上下文"的能力。

RNN點燃了學術界研究熱情，Transformer論文作者沙澤爾也曾深入研究。但開發者很快發現RNN存在嚴重缺陷:

該算法使用順序計算，雖然解決了上下文問題，但運行效率低下，難以處理大量參數。

RNN的繁瑣設計很快讓沙澤爾感到厭煩。因此從2015年開始，沙澤爾和7位同好着手開發RNN替代品，最終成果就是Transformer。

相比RNN，Transformer有兩大變革：

一是用位置編碼取代循環設計，實現並行計算，大幅提升訓練效率，使AI能處理大數據，邁入大模型時代；二是進一步加強上下文能力。

Transformer一口氣解決衆多缺陷，逐漸成爲NLP的不二之選，有種"天不生Transformer，NLP萬古如長夜"的感覺。連伊利亞都拋棄了自己推崇的RNN，轉投Transformer。

可以說，Transformer是當今所有大模型的祖師爺，它將大模型從理論研究轉變爲純工程問題。

2019年，OpenAI基於Transformer開發出GPT-2，震驚學術界。谷歌迅速回應，推出性能更強的AI——Meena。

Meena相比GPT-2並無算法革新，僅是參數多了8.5倍、算力多了14倍。Transformer作者沙澤爾對這種"暴力堆砌"大受震撼，寫了篇"Meena吞噬世界"的備忘錄。

Transformer問世後，學術界底層算法創新速度大幅放緩。數據工程、算力規模、模型架構等工程要素日益成爲AI競賽的關鍵，只要有一定技術能力的科技公司都能開發大模型。

因此，計算機科學家吳恩達在斯坦福大學演講時提出:"AI是一系列工具的集合，包括監督學習、無監督學習、強化學習以及現在的生成式人工智能。這些都是通用技術，與電力和互聯網等其他通用技術類似。"

OpenAI雖仍是LLM風向標，但半導體分析機構認爲，GPT-4的競爭力源自工程解決方案——若開源，任何競爭對手都能迅速復制。

該分析師預計，其他大型科技公司可能很快就能打造出與GPT-4性能相當的大模型。

脆弱的護城河

如今,"百模大戰"已成爲客觀現實。

相關報告顯示，截至今年7月，國內大模型數量已達130個，超過美國的114個，成功實現彎道超車，各種神話傳說已不夠國內科技公司取名用了。

在中美之外，許多較富裕國家也初步實現了"一國一模":除日本與阿聯酋外，還有印度政府主導的Bhashini、韓國互聯網公司Naver打造的HyperClova X等。

這種局面仿佛回到了互聯網拓荒時代，到處是泡沫與"鈔能力"的對抗。

如前所述，Transformer讓大模型變成純工程問題，只要有人有錢有顯卡，剩下的就交給參數。但入場容易並不意味着人人都能成爲AI時代的巨頭。

開頭提到的"動物之爭"就是典型案例:Falcon雖然排名超越美洲駝，但很難說對Meta造成多大衝擊。

衆所周知,企業開源自身科研成果，既是爲了與社會分享科技福祉，也希望調動羣衆智慧。隨着各大學教授、研究機構、中小企業不斷深入使用、改進Llama，Meta可以將這些成果應用到自己的產品中。

對開源大模型而言，活躍的開發者社群才是核心競爭力。

Meta早在2015年組建AI實驗室時就確立了開源路線；扎克伯格又靠社交媒體起家，更善於"搞好羣衆關係"。

例如10月，Meta專門搞了個"AI版創作者激勵"活動:使用Llama 2解決教育、環境等社會問題的開發者，有機會獲得50萬美元資助。

如今，Meta的Llama系列已成爲開源LLM的風向標。

截至10月初，主流開源LLM排行榜前10名中有8個基於Llama 2打造，均使用其開源協議。僅在某平台上，使用Llama 2開源協議的LLM已超過1500個。

當然，像Falcon那樣提高性能也未嘗不可，但目前大多數LLM與GPT-4仍有明顯差距。

例如不久前，GPT-4以4.41分成績問鼎AgentBench測試榜首。AgentBench由清華大學與俄亥俄州立大學、加州大學伯克利分校共同推出，用於評估LLM在多維度開放式生成環境中的推理和決策能力，測試內容包括操作系統、數據庫、知識圖譜、卡牌對戰等8個不同環境的任務。

測試結果顯示，第二名Claude僅2.77分，差距明顯。至於那些聲勢浩大的開源LLM，測試成績多在1分左右，還不到GPT-4的1/4。

要知道，GPT-4發布於今年3月，這還是全球同行追趕大半年後的結果。造成這種差距的是OpenAI高水平的科學家團隊與長期研究LLM積累的經驗，因此能始終遙遙領先。

也就是說，大模型的核心能力並非參數，而是生態建設(開源)或純粹的推理能力(閉源)。

隨着開源社區日益活躍，各LLM性能可能趨同，因爲大家都在使用相似的模型架構與數據集。

另一個更直觀的難題是:除了Midjourney，似乎還沒有哪個大模型能賺到錢。

價值錨點何在

今年8月，一篇題爲"OpenAI可能會於2024年底破產"的文章引發關注。文章主旨幾乎可用一句話概括:OpenAI的燒錢速度太快了。

文中提到，自開發ChatGPT以來，OpenAI虧損迅速擴大，僅2022年就虧損約5.4億美元，只能等着投資方買單。

文章標題雖誇張，卻也道出了衆多大模型提供商的現狀:成本與收入嚴重失衡。

過高的成本導致目前靠AI賺大錢的只有英偉達，頂多再加個博通。

據諮詢公司估計，英偉達今年二季度賣出超30萬塊H100。這是一款AI芯片，訓練AI效率極高，全球科技公司、科研機構都在搶購。如果將賣出的30萬塊H100疊在一起，重量相當於4.5架波音747飛機。

英偉達業績隨之起飛，同比營收暴漲854%，震驚華爾街。值得一提的是，目前H100在二手市場價格已炒至4-5萬美元，但其物料成本僅約3000美元出頭。

高昂的算力成本在某種程度上已成爲行業發展阻力。紅杉資本曾估算:全球科技公司每年預計將花費2000億美元用於大模型基礎設施建設；相比之下，大模型每年最多只能產生750億美元收入，中間至少存在1250億美元缺口。

此外，除Midjourney等少數例外，大多數軟件公司在付出巨額成本後，還沒想清楚如何盈利。尤其是行業兩大領頭羊微軟和Adobe都走得有些踉蹌。

微軟和OpenAI曾合作開發AI代碼生成工具GitHub Copilot，雖每月收取10美元費用，但由於設施成本，微軟反而每月虧損20美元，重度用戶甚至能讓微軟每月倒貼80美元。據此推測，定價30美元的Microsoft 365 Copilot可能虧損更多。

同樣，剛發布Firefly AI工具的Adobe也迅速上線配套積分系統，防止用戶重度使用導致公司虧損。一旦用戶使用超過每月分配積分，Adobe就會降低服務速度。

要知道微軟和Adobe已是業務場景明確、擁有大量付費用戶的軟件巨頭。而大多數參數堆積如山的大模型，最大應用場景仍是聊天。

不可否認，若沒有OpenAI和ChatGPT橫空出世，這場AI革命可能根本不會發生；但目前，訓練大模型帶來的價值恐怕還有待商榷。

而且，隨着同質化競爭加劇，以及市面上開源模型越來越多，單純大模型供應商的生存空間可能會更加受限。

iPhone 4的成功不是因爲45nm制程的A4處理器，而是因爲它能玩植物大戰僵屍和憤怒的小鳥。