Во вторник OpenAI представила GPT-4. Сами разработчики честно говорят: если просто болтать с ней в чате, разницу с предыдущими версиями вы, скорее всего, не заметите. Но под капотом изменилось многое. Главное — модель научилась смотреть картинки. Плюс, по словам OpenAI, она стала лучше соображать в творческих задачах и сложных проблемах.
Поверить на слово тут сложно. Современные нейросети — это черный ящик. Они разветвленные, сложные, и мы до конца не знаем, на что они способны. А проверять их факты — та еще морока. Когда GPT-4 с абсолютной уверенностью заявляет, что синтезировала новое химическое соединение, проверить это можно, только позвонив паре реальных химиков. Хотя, кого это останавливает — громкие фейки обычно первыми разлетаются по Twitter. Как прямо пишут в техническом отчете OpenAI, главная беда GPT-4 осталась прежней: он «галлюцинирует» и очень убедительно несет чушь.
Если отбросить эти страхи, с технической точки зрения это большой шаг вперед, который уже внедряют в крупные сервисы. Чтобы понять, что именно изменилось, мы собрали примеры из новостей, твитов и тестов самой OpenAI, а заодно проверили всё это на себе. Вот что из этого вышло.
Она видит картинки
Это самое заметное отличие от GPT-3.5, который понимал только текст. Теперь модель мультимодальная: она может проанализировать фотографию и связать ее с вашим вопросом. (Рисовать сама она пока не умеет, тут правят бал DALL-E и Midjourney).
На практике это выглядит так. The New York Times показала нейросети фото открытого холодильника и спросила, что из этого можно приготовить. GPT-4 накидала идей — и соленых, и сладких. Правда, для одного из блюд — обертывания — ей зачем-то понадобилась тортилья, которой на снимке не было.
Применений у этого масса. В ролике OpenAI модель по корявому рисунку от руки сгенерила код для сайта. Еще OpenAI подружилась со стартапом Be My Eyes — они делают приложение для незрячих. GPT-4 там должна заменить волонтеров: объяснять, что происходит вокруг, пересказывать перегруженные сайты или отвечать на вопросы о том, что она «видит» через камеру. Пока не работает, но разработчики обещают выкатить это через пару недель.
Другие компании тоже начали прикручивать зрение к своим ИИ. Например, основатель Diagram Джордан Сингер написал в Twitter, что они учат нейросеть помогать дизайнерам — комментировать макеты и даже генерировать новые. Ну и да, GPT-4 отлично объясняет мемы.
Она лучше пишет и думает
OpenAI заявляет, что модель стала глубже понимать контекст и креативить. В это верится, когда смотришь на тесты, хотя в обычном диалоге пропасть с 3.5 пока не ощущается.
На одной из демонстраций соучредитель OpenAI Грег Брокман попросил модель пересказать кусок текста, используя только слова на букву «g». С «g» у GPT-4 получилось, с «a» и «q» — уже нет, но GPT-3.5 даже не понял правила игры.
Мы тоже это проверили. Дали обеим моделям текст про NFT и попросили пересказать его словами на «n». GPT-4 с первого раза лучше уловила суть, но с буквой «n» немного схитрила. Зато когда мы попросили исправить ошибки, 3.5 просто сдалась, а четвертая версия выдала почти идеальный текст (там осталось одно лишнее «на», но мы сами его пропустили в запросе).
А еще мы заставили их написать стихотворение-рифмовку про те же NFT. Читать это было больно в обоих случаях, но стих от GPT-4 выглядел как сложная поэзия, а от 3.5 — как пьяный фристайл.
Она помнит огромные тексты
Раньше у языковых моделей была короткая оперативная память. GPT-4 радикально расширили. Теперь она способна проглотить за раз целую научную статью или увесистый роман, чтобы потом отвечать на вопросы, связывая детали из начала и конца текста.
Счет идет не на слова, а на «токены» (один токен — это примерно четыре символа, или 75 слов — это около 100 токенов). Лимит GPT-3.5-turbo — около 4 000 токенов (чуть больше 3 000 слов). У GPT-4 — 32 000 токенов, то есть около 25 000 слов. OpenAI говорит, что продолжает оптимизировать длинные контексты, но уже сейчас это открывает двери для задач, которые раньше были нерешаемы.
Она сдает экзамены В техническом отчете OpenAI есть впечатляющая таблица. GPT-4 сдала BAR, LSAT, GRE, кучу модулей AP и — внезапно — теорию для сомелье от Court of Master Sommeliers.
Выглядит мощно, особенно на фоне ИИ пятилетней давности. Но есть нюанс. Как заметил в Twitter инженер Джошуа Леви: «Если софт проходит тест для людей, это не значит, что он умен так же, как люди». Ученый Мелани Митчелл в своем блоге разжевывает: нейросети просто отлично запоминают и воспроизводят структуры. Они не обязательно умеют обобщать знания. По сути, это идеальный пример «обучения для теста».
Она уже в ваших приложениях
Вместе с анонсом OpenAI показала, кто уже внедрил модель. Khan Academy делает на ней ИИ-репетитора для школьников и учителей. Duolingo выкатил Duolingo Max: там можно попросить объяснить, почему ответ в упражнении был неверным, или попрактиковать язык в ролевой игре (заказать кофе во Франции или спланировать хайк в Испании). В Duolingo обещают, что благодаря GPT-4 двух одинаковых диалогов не будет.
Intercom обновил своего бота поддержки, чтобы тот лазил в базу знаний компании. Stripe использует модель внутри, чтобы отвечать сотрудникам на вопросы по их же техдокументации.
И она же работает в новом Bing
Microsoft подтвердила, что чат в поисковике Bing работает именно на GPT-4. Секрет Полишинеля, конечно — редмондцы и так говорили, что используют «следующее поколение» моделей OpenAI, но теперь всё официально. Значит, наш опыт общения с Bing — это тоже тест-драйв GPT-4.
И она всё еще ошибается
Чат Bing, прямо скажем, не подарок. Он хамил пользователям, нес ахинею и интересовался у журналиста Шона Холлистера, не хочет ли тот посмотреть фурри-порно. Это отчасти настройки Microsoft, но они отлично показывают, как такие модели могут сбоить.
Мы и сами словили ошибки в первых тестах. Та же The New York Times попросила GPT-4 объяснить испанское произношение — модель провалила почти всё. (Хотя слово «гринго» она мне потом объяснила идеально).
Это не повод для паники, а просто напоминание всем разработчикам: нейросети ошибаются. Много. И если вы ставите такого бота работать учителем, продавцом или программистом, об этом огромном дисклеймере нельзя забывать.
Сэм Альтман еще в январе говорил об этом прямо: «Люди умоляют, чтобы их разочаровали, и они будут разочарованы. Шумихи столько, будто мы уже создали настоящий ИИ. А у нас его нет».
AGI пока не завезли. Но инструмент стал заметно мощнее. Теперь самое интересное — посмотреть, куда именно его прикрутят.