У сфері ШІ з'являється безліч претендентів, битва моделей розгортається з неймовірною силою

Минулого місяця у світі ШІ розгорілася "бійка тварин".

Llama, розроблений Meta, користується великою популярністю серед розробників завдяки своїм відкритим характеристикам. Японська компанія NEC швидко розробила японську версію ChatGPT після вивчення статті та коду Llama, що вирішило проблеми розвитку штучного інтелекту в Японії.

Іншою стороною є великий модель під назвою Falcon. Falcon-40B, що вийшов у травні, обійшов Llama і зайняв перше місце у рейтингу відкритих LLM. Цей рейтинг складається спільнотою відкритих моделей і надає стандарти оцінки можливостей LLM та їх ранжування. Рейтинг переважно домінують Llama та Falcon.

Після виходу Llama 2 сімейство лам піднялося на вершину, але на початку вересня Falcon випустив версію 180B і знову здобув першість.

Цікаво, що розробником Falcon є Інститут наукових досліджень та інновацій у Абу-Дабі, столиці ОАЕ. Представники уряду зазначили, що вони беруть участь у цій сфері, щоб зруйнувати основних гравців.

На наступний день після випуску версії 180B міністр штучного інтелекту ОАЕ увійшов до списку "100 найвпливовіших людей у галузі ШІ" часопису "Time", разом з "батьком ШІ" Хінтоном, Альтманом з OpenAI та іншими.

Сьогодні сфера ШІ увійшла в етап розмаїття. Потужні країни та компанії активно створюють свої великі моделі. Лише в колі країн Перської затоки є не один гравець, у серпні Саудівська Аравія закупила понад 3000 H100 для навчання LLM у національних університетах.

Один з інвесторів колись скаржився: "У свій час недооцінював інновації в бізнес-моделях інтернету, вважав, що немає бар'єрів; не очікував, що стартапи на основі жорстких технологій все ще ведуть війну моделей..."

Як же складна технологія, яку спочатку вважали важкою, стала доступною для всіх?

Transformer веде революцію в AI

Американські стартапи, китайські технологічні гіганти та нафтові магнати Близького Сходу змогли увійти в сферу великих моделей завдяки відомій статті «Увага — це все, що вам потрібно».

У 2017 році 8 вчених-комп'ютерників з Google опублікували алгоритм Transformer у цій статті. Ця стаття є третьою за кількістю цитувань в історії ШІ, а поява Transformer спровокувала поточний бум у сфері ШІ.

На даний момент усі великі моделі, включаючи вражаючу серію GPT, побудовані на основі Transformer.

До цього моменту "навчання машин читати" залишалося визнаною академічною проблемою. На відміну від розпізнавання зображень, під час читання людина звертає увагу не лише на поточні слова та фрази, але й розглядає контекст для розуміння.

Ранні нейронні мережі приймали незалежні один від одного вхідні дані, не могли зрозуміти довгі тексти, навіть цілі статті, що призводило до таких проблем, як переклад "开水间" на "open water room".

У 2014 році, після роботи в Google, комп'ютерний вчений Ілля, який перейшов до OpenAI, вперше досяг прориву. Він використовував рекурентні нейронні мережі (RNN) для обробки природної мови, що дозволило Google Translate значно випередити конкурентів.

RNN запропонувала "циклічний дизайн", що дозволяє кожному нейрону одночасно отримувати вхідну інформацію поточного та попереднього моменту, надаючи нейронній мережі можливість "поєднувати контекст".

RNN запалив дослідницький ентузіазм у академічному світі, автори статті про Transformer, Шазель, також проводили глибокі дослідження. Але розробники швидко виявили, що RNN має серйозні недоліки:

Цей алгоритм використовує послідовні обчислення, хоча і вирішує проблеми контексту, але має низьку ефективність роботи і важко обробляє велику кількість параметрів.

Складний дизайн RNN швидко набрид Шазелю. Тому з 2015 року Шазель і семеро однодумців почали розробляти альтернативу RNN, у результаті чого виник Transformer.

У порівнянні з RNN, Transformer має дві великі революції:

По-перше, використання позиційного кодування замість циклічної конструкції дозволяє реалізувати паралельні обчислення, значно підвищуючи ефективність навчання, що дозволяє ШІ обробляти великі дані та переходити в епоху великих моделей; по-друге, подальше зміцнення контекстуальних можливостей.

Transformer в один момент вирішує безліч недоліків, поступово стаючи безумовним вибором для NLP, є відчуття, ніби "якщо б не було Transformer, NLP залишався б у темряві вічності". Навіть Ілля відмовився від свого улюбленого RNN на користь Transformer.

Можна сказати, що Transformer є прабатьком усіх великих моделей сьогодні, він перетворив великі моделі з теоретичних досліджень на чисто інженерну задачу.

У 2019 році OpenAI на основі Transformer розробила GPT-2, що вразила академічний світ. Google швидко відповіла, випустивши більш потужний ШІ — Meena.

Meena не має алгоритмічних нововведень у порівнянні з GPT-2, лише параметри збільшилися в 8,5 разів, а обчислювальні потужності - в 14 разів. Автор трансформера Жаред Шафер був вражений таким "жорстоким накопиченням" і написав меморандум під назвою "Meena поглинає світ".

Після появи Transformer швидкість інновацій базових алгоритмів у академічному світі значно сповільнилася. Інженерія даних, масштаб обчислювальних потужностей, архітектура моделей та інші інженерні елементи все більше стають ключовими у змаганнях в галузі ШІ, і будь-яка технологічна компанія з певними технічними можливостями може розробити великі моделі.

Отже, комп'ютерний вчений Енді Нгуєн під час своєї промови в Університеті Стенфорда заявив: "ШІ - це набір інструментів, що включає в себе навчання з наглядом, навчання без нагляду, навчання з підкріпленням та сучасний генеративний штучний інтелект. Усі вони є універсальними технологіями, подібно до електрики та інтернету."

Хоча OpenAI залишається орієнтиром у сфері LLM, аналітичні компанії з виробництва напівпровідників вважають, що конкурентоспроможність GPT-4 походить з інженерних рішень — якщо відкрити вихідний код, будь-який конкурент зможе швидко скопіювати це.

Цей аналітик очікує, що інші великі технологічні компанії можуть незабаром створити великі моделі, які за ефективністю будуть порівнянні з GPT-4.

Слабкий захисний вал

Сьогодні "Битва за сто моделей" стала об'єктивною реальністю.

Відповідні звіти показують, що станом на липень цього року в країні вже налічується 130 великих моделей, що перевищує 114 у США, успішно здійснивши обгін на повороті, різні міфи та легенди вже недостатні для називання китайських технологічних компаній.

Окрім Китаю та США, багато більш заможних країн також поступово реалізували "одна країна - одна модель": крім Японії та Об'єднаних Арабських Еміратів, є також Bhashini, що курується урядом Індії, і HyperClova X, розроблений корейською інтернет-компанією Naver.

Ця ситуація ніби повернулася в епоху первопрохідців Інтернету, де всюди панують бульбашки та протистояння "грошовій здатності".

Як вже згадувалося, Transformer перетворює великі моделі на чисто інженерну задачу: якщо у когось є гроші та графічні карти, решту можна довірити параметрам. Але легкий вхід не означає, що кожен може стати гігантом епохи ШІ.

Згадана на початку "конфлікт тварин" є типовим прикладом: хоча Falcon випереджає альпака в рейтингу, важко сказати, що це викликало значний удар по Meta.

Відомо, що підприємства відкривають свої наукові результати, щоб поділитися технологічним добробутом з суспільством, а також сподіваються залучити розум людей. Зі зростанням використання та вдосконалення Llama професорами університетів, науковими установами та малими і середніми підприємствами, Meta може застосувати ці результати у своїх продуктах.

Для відкритих великих моделей активна спільнота розробників є основною конкурентною перевагою.

Meta ще в 2015 році, коли створила лабораторію штучного інтелекту, визначила відкритий підхід; Цукерберг, починаючи з соціальних медіа, краще вміє "підтримувати добрі стосунки з громадськістю".

Наприклад, у жовтні Meta спеціально організувала акцію "AI-версія стимулювання творців": розробники, які використовують Llama 2 для вирішення соціальних проблем, таких як освіта та екологія, мають можливість отримати фінансування в розмірі 500 000 доларів.

Сьогодні серія Llama від Meta стала орієнтиром для відкритих LLM.

Станом на початок жовтня, 8 з 10 найкращих відкритих LLM у рейтингу засновані на Llama 2 і використовують його відкриту ліцензію. Лише на одній платформі LLM, що використовують відкриту ліцензію Llama 2, вже більше 1500.

Звичайно, підвищення продуктивності, як у Falcon, також можливо, але наразі більшість LLM все ще має помітну різницю з GPT-4.

Наприклад, нещодавно GPT-4 посів перше місце в тестах AgentBench з оцінкою 4.41. AgentBench був спільно розроблений Тяньцзіньським університетом, Університетом штату Огайо та Каліфорнійським університетом у Берклі для оцінки здатності LLM до міркування та ухвалення рішень у багатовимірному відкритому середовищі генерації, а тестові завдання включають операційні системи, бази даних, графи знань, карткові битви та інші 8 різних середовищ.

Результати тестування показали, що друге місце зайняв Claude з 2,77 балами, що є помітною різницею. Що стосується тих гучних відкритих LLM, їх результати тестування зазвичай близько 1 балу, що менше ніж 1/4 від GPT-4.

Слід знати, що GPT-4 був випущений у березні цього року, і це результат того, що інші компанії в усьому світі намагалися наздогнати більше півроку. Причиною цього відставання є висококваліфікована команда вчених OpenAI та накопичений досвід тривалих досліджень LLM, що дозволяє їм залишатися на чолі.

Тобто, основна здатність великої моделі полягає не в параметрах, а в екосистемному розвитку ( відкритий код ) або чисто в здатності до міркування ( закритий код ).

З ростом активності відкритих спільнот, продуктивність різних LLM може зрівнятися, оскільки всі використовують схожі архітектури моделей та набори даних.

Інша більш очевидна проблема полягає в тому, що, крім Midjourney, здається, жодна велика модель не змогла заробити грошей.

Де ціновий якор?

У серпні цього року стаття під заголовком "OpenAI може збанкрутувати до кінця 2024 року" привернула увагу. Основна думка статті майже може бути зведена до одного речення: OpenAI витрачає гроші занадто швидко.

У тексті згадується, що з моменту розробки ChatGPT, збитки OpenAI швидко зросли, лише у 2022 році вони склали близько 540 мільйонів доларів, і вони можуть лише чекати, поки інвестори покриють витрати.

Хоча заголовок статті є перебільшеним, він також відображає ситуацію багатьох постачальників великих моделей: серйозний дисбаланс між витратами та доходами.

Завищені витрати призвели до того, що наразі лише Nvidia заробляє великі гроші на AI, максимум можна додати Broadcom.

Згідно з оцінками консалтингової компанії, NVIDIA у другому кварталі цього року продала понад 300 тисяч чіпів H100. Це чіп AI, який має високу ефективність навчання AI, і світові технологічні компанії та науково-дослідні установи намагаються його придбати. Якщо скласти продані 300 тисяч чіпів H100 один на одного, їх вага буде еквівалентна вазі 4,5 літака Boeing 747.

Виручка NVIDIA злетіла, зростаючи на 854% в річному обчисленні, шокуючи Уолл-стріт. Варто зазначити, що наразі ціна H100 на вторинному ринку піднялася до 40-50 тисяч доларів, тоді як його матеріальні витрати становлять лише трохи більше 3000 доларів.

Високі витрати на обчислювальну потужність в певній мірі стали перешкодою для розвитку галузі. Sequoia Capital раніше оцінював, що світові технологічні компанії щороку витрачатимуть 200 мільярдів доларів на інфраструктуру великих моделей; у порівнянні з цим, великі моделі щороку можуть приносити максимум 75 мільярдів доларів доходу, що створює щонайменше 125 мільярдів доларів дефіциту.

Крім того, за винятком кількох винятків, таких як Midjourney, більшість програмних компаній після витрат величезних коштів ще не зрозуміли, як отримувати прибуток. Особливо два основні гравці в галузі, Microsoft і Adobe, йдуть дещо невпевнено.

Microsoft і OpenAI колись співпрацювали над розробкою інструменту для генерації коду AI GitHub Copilot. Хоча за нього стягується плата у 10 доларів на місяць, через витрати на обслуговування Microsoft насправді втрачає 20 доларів на місяць. Користувачі, які активно користуються послугами, можуть призвести до того, що Microsoft щомісяця витрачає 80 доларів. З цього можна зробити висновок, що Microsoft 365 Copilot, ціна якого становить 30 доларів, може бути ще більш збитковим.

Так само, як тільки Adobe випустила інструмент Firefly AI, компанія швидко запустила супутню систему балів, щоб запобігти суттєвим збиткам компанії через надмірне використання користувачами. Як тільки користувач перевищує щомісячну квоту балів, Adobe знижує швидкість обслуговування.

Слід зазначити, що Microsoft і Adobe вже є програмними гігантами з чітко визначеними бізнес-сценаріями та великою кількістю платних користувачів. А у більшості моделей з величезною кількістю параметрів найбільша сфера застосування все ще залишається чатом.

Не можна заперечувати, що без OpenAI та ChatGPT ця революція в AI, можливо, взагалі б не відбулася; але наразі цінність, що виникає від навчання великих моделей, ймовірно, ще потребує обговорення.

А також, з посиленням конкуренції за однорідністю та зростанням кількості відкритих моделей на ринку, простір для виживання постачальників великих моделей може ще більше обмежитися.

Успіх iPhone 4 не в 45-нм процесорі A4, а в тому, що він може грати в рослинні війни з зомбі та гнівні птахи.