В области ИИ множество конкурентов, битва моделей идет полным ходом

В прошлом месяце в мире ИИ разразилась "битва животных".

Llama, выпущенный Meta, стал популярен среди разработчиков благодаря своей открытой природе. После изучения статьи и кода Llama японской компанией NEC был быстро разработан японский аналог ChatGPT, что решит проблему развития ИИ в Японии.

Другой стороной является большая модель под названием Falcon. Falcon-40B, выпущенный в мае, обошел Llama и занял первое место в рейтинге открытых LLM. Этот список составлен сообществом открытых моделей и предоставляет стандарты оценки возможностей LLM и их рейтинг. Рейтинг в основном доминируется Llama и Falcon.

После выхода Llama 2 семейство лам оказалось на высоте, но в начале сентября Falcon выпустил версию 180B и снова завоевал первое место.

Интересно, что разработчиком Falcon является Институт технологических инноваций в столице ОАЭ, Абу-Даби. Представители правительства заявили, что они участвуют в этой области, чтобы разрушить доминирование основных игроков.

На следующий день после выхода версии 180B министр искусственного интеллекта ОАЭ вошёл в список "100 самых влиятельных людей в сфере ИИ" по версии "Time", став вместе с "отцом ИИ" Хинтоном и Альтманом из OpenAI одним из номинантов.

Сегодня в области ИИ наблюдается расцвет разнообразия. Сильные страны и компании активно создают свои собственные крупные модели. В пределах стран Персидского залива есть не один игрок, в августе Саудовская Аравия приобрела более 3000 H100 для обучения LLM в местных университетах.

Некоторые инвесторы недовольны: "Когда-то я не воспринимал бизнес-модели интернета всерьез, считая, что у них нет барьеров; не ожидал, что стартапы на основе жестких технологий все равно приведут к битве ста моделей..."

Как же высокие технологии, которые изначально считались сложными, стали доступными для всех?

Трансформер возглавляет революцию ИИ

Американские стартапы, китайские технологические гиганты и нефтяные магнаты Ближнего Востока смогли войти в область больших моделей благодаря той знаменитой статье «Attention Is All You Need».

В 2017 году восемь ученых в области компьютерных наук из Google опубликовали алгоритм Transformer в этой статье. Эта статья является третьей по количеству цитирований в истории ИИ, и появление Transformer стало причиной текущего бума в области ИИ.

В настоящее время все крупные модели, включая потрясшую мир серию GPT, основаны на архитектуре Transformer.

До этого момента "обучение машин чтению" было общепризнанной научной проблемой. В отличие от распознавания изображений, человек при чтении не только обращает внимание на текущие слова и фразы, но и понимает их в контексте.

Ранние нейронные сети имели независимый ввод, не могли понимать длинные тексты или даже целые статьи, что приводило к таким проблемам, как перевод "开水间" как "open water room".

В 2014 году, после работы в Google, компьютерный ученый Илья, перешедший в OpenAI, впервые добился прорыва. Он использовал рекуррентные нейронные сети (RNN) для обработки естественного языка, что значительно подняло производительность Google Translate по сравнению с конкурентами.

RNN предложила "циклический дизайн", позволяющий каждому нейрону одновременно получать информацию текущего и предыдущего момента, наделяя нейронную сеть способностью "учитывать контекст".

RNN разожгла исследовательский энтузиазм в академическом сообществе, авторы статьи о Transformer, такие как Шазель, также проводили углубленные исследования. Однако разработчики вскоре обнаружили серьезные недостатки RNN:

Алгоритм использует последовательные вычисления, хотя и решает проблемы контекста, его эффективность низка, и он плохо справляется с большим количеством параметров.

Сложный дизайн RNN быстро стал утомительным для Шазела. Поэтому с 2015 года Шазел и 7 единомышленников начали разработку альтернативы RNN, итогом которой стал Transformer.

В отличие от RNN, у Transformer есть два революционных аспекта:

Во-первых, использование позиционного кодирования вместо циклического дизайна позволяет реализовать параллельные вычисления, значительно увеличивая эффективность обучения, что позволяет ИИ обрабатывать большие данные и вступать в эпоху больших моделей; во-вторых, дальнейшее укрепление контекстной способности.

Transformer решает множество недостатков с одного раза и постепенно становится безусловным выбором для NLP, создавая ощущение, что "если бы не было Transformer, NLP навсегда оставался бы в темноте". Даже Илья отказался от своего любимого RNN и перешел на Transformer.

Можно сказать, что Transformer является прародителем всех современных больших моделей, он превратил большие модели из теоретического исследования в чисто инженерную задачу.

В 2019 году OpenAI разработала GPT-2 на основе Transformer, что произвело фурор в академических кругах. Google быстро ответила, выпустив более мощный ИИ — Meena.

Meena по сравнению с GPT-2 не имеет алгоритмических новшеств, лишь количество параметров увеличилось в 8,5 раз, а вычислительная мощность — в 14 раз. Автор Transformer Шазел был шокирован таким "жестоким нагромождением" и написал меморандум "Meena поглощает мир".

После появления Transformer скорость инноваций в базовых алгоритмах в академической среде значительно замедлилась. Инженерные факторы, такие как обработка данных, масштаб вычислений и архитектура моделей, все больше становятся ключевыми в соревнованиях по ИИ, и любые технологические компании с определенными техническими способностями могут разрабатывать большие модели.

Таким образом, компьютерный ученый Эндрю Ын на выступлении в Стэнфордском университете заявил: "Искусственный интеллект — это совокупность инструментов, включая контролируемое обучение, неконтролируемое обучение, обучение с подкреплением и современный генеративный искусственный интеллект. Все это универсальные технологии, аналогичные электроэнергии и Интернету."

Хотя OpenAI по-прежнему является ориентиром в области LLM, полупроводниковая аналитическая компания считает, что конкурентоспособность GPT-4 основана на инженерных решениях — если это будет с открытым исходным кодом, любой конкурент сможет быстро скопировать.

Этот аналитик ожидает, что другие крупные технологические компании вскоре смогут создать модели большого размера, сопоставимые по производительности с GPT-4.

Уязвимая защитная стена

Сегодня "битва ста моделей" стала объективной реальностью.

Согласно отчетам, по состоянию на июль этого года в стране количество крупных моделей достигло 130, что превышает 114 в США, успешно осуществив обход на повороте, и различные мифы и легенды уже недостаточны для названий отечественных технологических компаний.

За пределами США и Китая многие более богатые страны также вначале реализовали "одна страна - одна модель": кроме Японии и Объединенных Арабских Эмиратов, есть также Bhashini, возглавляемая правительством Индии, и HyperClova X, разработанная южнокорейской интернет-компанией Naver.

Эта ситуация напоминает эпоху первопроходцев интернета, когда повсюду были пузыри и противостояние "денежной способности".

Как уже упоминалось, Transformer превращает большие модели в чисто инженерную задачу, пока у кого-то есть деньги и видеокарты, остальное можно доверить параметрам. Но легкий вход не означает, что каждый может стать гигантом эпохи ИИ.

Упомянутое в начале "Соперничество животных" является典型ным случаем: хотя Falcon обошел ламу по рейтингу, трудно сказать, что это сильно повлияло на Meta.

Как всем известно, компании открывают свои научные достижения не только для того, чтобы поделиться технологическим благом с обществом, но и для того, чтобы задействовать общественный разум. С углубленным использованием и улучшением Llama профессорами университетов, научными учреждениями и малыми и средними предприятиями, Meta может применить эти достижения в своих продуктах.

Для открытых крупных моделей активное сообщество разработчиков является основной конкурентоспособностью.

Meta еще в 2015 году, когда создала AI-лабораторию, определила путь открытого исходного кода; Закерберг, начав с социальных медиа, лучше умеет "налаживать отношения с общественностью".

Например, в октябре Meta организовала мероприятие "AI-версия стимула для создателей": разработчики, использующие Llama 2 для решения социальных проблем в области образования, экологии и других, имеют возможность получить финансирование в размере 500 000 долларов.

Сегодня серия Llama от Meta стала вехой в мире открытых LLM.

По состоянию на начало октября, 8 из 10 ведущих открытых LLM в рейтинге основаны на Llama 2 и используют его открытую лицензию. Только на одной платформе количество LLM, использующих открытую лицензию Llama 2, уже превышает 1500.

Конечно, улучшение производительности, как у Falcon, также не будет лишним, но на данный момент большинство LLM все еще значительно уступают GPT-4.

Например, недавно GPT-4 занял первое место в тестировании AgentBench с оценкой 4,41. AgentBench был совместно разработан Тяньцзиньским университетом, Университетом штата Огайо и Университетом Калифорнии в Беркли для оценки способности LLM к рассуждениям и принятию решений в многомерной открытой генеративной среде. Тестовые задания включают задачи в восьми различных средах, таких как операционные системы, базы данных, графы знаний, карточные игры и т.д.

Результаты тестирования показывают, что второй участник Claude набрал всего 2,77 балла, разрыв очевиден. Что касается тех громких открытых LLM, их результаты тестирования обычно около 1 балла, что даже не составляет 1/4 от GPT-4.

Следует отметить, что GPT-4 был выпущен в марте этого года, и это результат того, что другие компании по всему миру догоняют его более чем полгода. Причиной такого отставания является высококвалифицированная команда ученых OpenAI и накопленный опыт долгосрочных исследований LLM, что позволяет им оставаться впереди.

То есть, ключевая способность больших моделей заключается не в параметрах, а в экосистеме ( открытый ) или чисто в способности к выводу ( закрытый ).

С ростом активности открытого сообщества производительность различных LLM может стать схожей, поскольку все используют подобные архитектуры моделей и наборы данных.

Еще одна более очевидная проблема заключается в том, что, кроме Midjourney, похоже, ни одна большая модель не смогла заработать деньги.

Где находятся ценностные опоры

В августе этого года статья под названием "OpenAI может обанкротиться к концу 2024 года" привлекла внимание. Основная идея статьи почти может быть изложена одной фразой: OpenAI тратит деньги слишком быстро.

В статье упоминается, что с момента разработки ChatGPT убытки OpenAI быстро увеличились, составив только в 2022 году около 540 миллионов долларов, и им остается только ждать, когда инвесторы оплатят счета.

Хотя заголовок статьи преувеличен, он также отражает текущее состояние многих поставщиков крупных моделей: серьезный дисбаланс между затратами и доходами.

Слишком высокие затраты привели к тому, что в настоящее время только NVIDIA зарабатывает большие деньги на ИИ, максимум еще Broadcom.

По оценкам консалтинговой компании, Nvidia продала более 300 000 чипов H100 во втором квартале этого года. Это AI-чип, который очень эффективен для обучения ИИ, и его активно скупают технологические компании и исследовательские институты по всему миру. Если сложить 300 000 проданных чипов H100, их вес будет равен весу 4,5 Boeing 747.

Выручка Nvidia взлетела, увеличившись на 854% по сравнению с прошлым годом, что шокировало Уолл-Стрит. Стоит отметить, что в настоящее время цена на H100 на вторичном рынке достигла 40-50 тысяч долларов, в то время как его стоимость материалов составляет всего чуть более 3000 долларов.

Высокие затраты на вычислительную мощность в определенной степени стали тормозом для развития отрасли. Sequoia Capital когда-то оценивала, что глобальные технологические компании ежегодно потратят 200 миллиардов долларов на создание инфраструктуры для больших моделей; в то же время большие модели могут приносить максимум 75 миллиардов долларов дохода в год, между ними существует как минимум 125 миллиардов долларов разрыва.

Кроме того, за исключением нескольких, таких как Midjourney, большинство программных компаний после значительных затрат все еще не поняли, как получать прибыль. Особенно два лидера отрасли, Microsoft и Adobe, идут несколько неуверенно.

Microsoft и OpenAI ранее сотрудничали в разработке инструмента генерации AI-кода GitHub Copilot. Хотя за него взимается ежемесячная плата в 10 долларов, Microsoft на самом деле теряет 20 долларов в месяц из-за затрат на инфраструктуру, а активные пользователи могут привести к убыткам в 80 долларов в месяц. Исходя из этого, можно предположить, что Microsoft 365 Copilot с ценой в 30 долларов может приносить еще большие убытки.

Аналогично, только что выпустивший инструмент Firefly AI Adobe также быстро запустил сопутствующую систему начисления баллов, чтобы предотвратить значительные убытки компании из-за чрезмерного использования пользователями. Как только пользователи исчерпают свои месячные баллы, Adobe снизит скорость обслуживания.

Необходимо понимать, что Microsoft и Adobe уже являются программными гигантами с четкими бизнес-сценариями и большим количеством платных пользователей. В то время как для большинства моделей с огромным количеством параметров основной областью применения по-прежнему является общение.

Нельзя отрицать, что если бы не появление OpenAI и ChatGPT, эта революция в области ИИ, возможно, вообще бы не состоялась; но в настоящее время ценность, которую приносит обучение больших моделей, вероятно, всё еще требует обсуждения.

Кроме того, с усиливающейся однородной конкуренцией и растущим количеством открытых моделей на рынке, жизненное пространство простых поставщиков крупных моделей может стать еще более ограниченным.

Успех iPhone 4 заключается не в 45-нм процессоре A4, а в том, что он может играть в Plants vs. Zombies и Angry Birds.