Тенденции ИИ 2022 — I — Модели на больших языках

Языковая модель является «мозгом» понимания языка. Эти модели ИИ основаны на машинном обучении, чтобы определить, насколько связаны фразы, предложения или абзацы. Он изучает и понимает язык, проглатывая большой объем текста и создавая статистическую модель, которая понимает вероятность фраз, предложений или абзацев, связанных друг с другом.

Языковые модели становятся все больше и совершенствуются в понимании языка. Искусственный интеллект может обрабатывать и генерировать более похожие на человеческие взаимодействия, используя семантические методы, которые улучшают качество его результатов.

Еще одним преимуществом этих больших языковых моделей является то, что для точной настройки модели для решения новой задачи требуется всего несколько обучающих примеров. Раньше для решений ИИ требовалось много данных, помеченных человеком, которые сложно и дорого создавать. Теперь мы можем добиться таких же или лучших результатов с более крупными моделями ИИ, используя всего один или несколько обучающих примеров. Это снизит стоимость искусственного интеллекта, и следует ожидать автоматизации многих бизнес-процессов.

По мере роста языковых моделей их возможности меняются неожиданным образом.

GPT-3 (Generative Pre-trained Transformer 3) имеет 175 миллиардов параметров и был обучен на 570 гигабайтах текста. Для сравнения, его предшественник, GPT-2, был более чем в 100 раз меньше, с 1,5 миллиардами параметров. Это увеличение масштаба резко меняет поведение модели — GPT-3 может выполнять задачи, на которых она не была специально обучена, например перевод предложений с английского на французский, с небольшим количеством обучающих примеров или вообще без них. Такое поведение в основном отсутствовало в GPT-2. Кроме того, для некоторых задач GPT-3 превосходит модели, которые были явно обучены для решения этих задач, хотя в других задачах он не справляется. Участники семинара сказали, что были удивлены тем, что такое поведение возникает из-за простого масштабирования данных и вычислительных ресурсов, и выразили любопытство по поводу того, какие дополнительные возможности появятся в результате дальнейшего масштабирования.

Использование GPT-3 и его последующее влияние на экономику неизвестны.

GPT-3 обладает необычно большим набором возможностей, включая суммирование текста, чат-ботов, поиск и генерацию кода. Будущие пользователи, скорее всего, откроют для себя еще больше возможностей. Это затрудняет описание всех возможных вариантов использования (и неправильного использования) больших языковых моделей для прогнозирования влияния GPT-3 на общество. Кроме того, неясно, какое влияние высокоэффективные модели окажут на рынок труда. Это поднимает вопрос о том, когда (и какие) задания можно (или следует) автоматизировать с помощью больших языковых моделей.

Умна ли GPT-3, и имеет ли это значение?

В отличие от шахматных движков, которые решают конкретную задачу, люди «в целом» умны и могут научиться делать что угодно — от написания стихов до игры в футбол и заполнения налоговых деклараций. Участники семинара согласились, что в отличие от большинства современных систем искусственного интеллекта, GPT-3 приближается к такому общему интеллекту.Однако участники по-разному оценивали, в чем, по их мнению, GPT-3 отставала в этом отношении.

Некоторые участники сказали, что GPT-3 не хватало намерений, целей и способности понимать причину и следствие — всех отличительных черт человеческого познания. С другой стороны, некоторые отмечали, что GPT-3, возможно, не нужно понимать для успешного выполнения задач — в конце концов, не говорящий по-французски недавно выиграл чемпионат Франции по Scrabble.

Будущие модели не будут ограничиваться обучением только на языке

GPT-3 обучался в основном на тексте. Участники согласились, что будущие языковые модели будут обучаться на данных из других модальностей (например, изображений, аудиозаписей, видео и т. д.), чтобы обеспечить более разнообразные возможности, обеспечить более надежный сигнал обучения и увеличить скорость обучения. На самом деле, вскоре после семинара OpenAI сделала шаг в этом направлении и выпустила модель под названием DALL-E, версию GPT-3, которая генерирует изображения из текстовых описаний. Одним из удивительных аспектов DALL-E является его способность разумно синтезировать визуальные образы из причудливых текстовых описаний. Например, это может создать убедительную интерпретацию «детеныша дайкона в балетной пачке, выгуливающего собаку».

Кроме того, некоторые участники семинара также считали, что будущие модели должны быть воплощены — это означает, что они должны находиться в среде, с которой они могут взаимодействовать. Некоторые утверждали, что это поможет моделям изучать причины и следствия так же, как это делают люди, посредством физического взаимодействия с окружающей средой.

Дезинформация вызывает реальную озабоченность, но остается несколько неизвестных

Такие модели, как GPT-3, можно использовать для создания ложных или вводящих в заблуждение эссе, твитов или новостей. Тем не менее участники задавались вопросом, проще ли, дешевле и эффективнее нанимать людей для создания такой пропаганды. Один считал, что мы могли извлечь уроки из подобных сигналов тревоги, когда была разработана программа для редактирования фотографий Photoshop. Большинство согласилось с тем, что нам нужно лучше понять экономию автоматизированной дезинформации по сравнению с дезинформацией, созданной людьми, прежде чем мы поймем, какую угрозу представляет GPT-3.

Будущие модели будут не просто отражать данные — они будут отражать выбранные нами значения.

GPT-3 может проявлять нежелательное поведение, включая известные расовые, гендерные и религиозные предубеждения. Участники отметили, что сложно определить, что означает смягчение такого поведения универсальным образом — либо в обучающих данных, либо в обученной модели — поскольку надлежащее использование языка зависит от контекста и культуры. Тем не менее, участники обсудили несколько возможных решений, в том числе фильтрацию обучающих данных или выходных данных модели, изменение способа обучения модели и обучение на основе отзывов людей и тестирования. Тем не менее, участники согласились, что серебряной пули не существует, и необходимы дальнейшие междисциплинарные исследования того, какими ценностями мы должны наполнить эти модели и как этого добиться.

Мы должны разработать нормы и принципы для развертывания языковых моделей уже сейчас.

Кто должен создавать и развертывать эти большие языковые модели? Как они будут нести ответственность за возможный ущерб в результате плохой работы, предвзятости или неправильного использования? Участники семинара рассмотрели ряд идей: увеличить ресурсы, доступные для университетов, чтобы академические круги могли создавать и оценивать новые модели, юридически требовать раскрытия информации, когда ИИ используется для создания синтетических медиа, и разрабатывать инструменты и показатели для оценки возможного вреда и неправомерного использования.

В разговоре на семинаре также присутствовало чувство безотлагательности — у организаций, разрабатывающих большие языковые модели, будет только короткое окно возможностей, прежде чем другие разработают аналогичные или лучшие модели. Участники утверждали, что те, кто в настоящее время находится на переднем крае, обладают уникальной способностью и ответственностью устанавливать нормы и руководящие принципы, которым могут следовать другие.

Annoberry с ее уникальным опытом и квалифицированной рабочей силой является экспертом, когда дело доходит до аннотирования данных, что приводит к таким моделям ИИ.

Посетите нас на annoberry.com или подпишитесь на нас в LinkedIn, чтобы узнать больше на https://www.linkedin.com/company/annoberry.