Бум новых языковых моделей

‍

Большие языковые модели (LLM, large language model) обучаются на огромных массивах текстов, находят в них закономерности и логические связи, не доступные человеку, и в дальнейшем используют этот опыт для генерации новых текстов и даже предсказаний. ChatGPT — самый показательный, но не единственный пример генеративной языковой модели.

В 2023 году многие технологические гиганты впервые представили свои собственные языковые модели или выпустили чат-боты, которые работают на базе LLM.

‍

Claude/Claude 2

В январе 2023 года независимый стартап Anthropic представил собственного чат-бота Claude, которого сразу же назвали одним из главных конкурентов ChatGPT. Первый Claude поддерживал работу в качестве цифрового ассистента и умел программировать на нескольких языках, но при этом превосходил конкурентов по размерам контекстного окна — текста, который он способен обработать за один раз. В июле 2023 года появилась версия Claude 2, работать с которым можно не только через API, но и через сайт, плюс выросла производительность чат-бота.

‍

Bard/Gemini

В мае 2023 г. Google представил своего чат-бота Bard, который использует собственную языковую модель Palm 2. В отличие от Claude, он поддерживает мультимодальные запросы, которые содержат не только текст, но и изображения. В феврале 2024 года Bard стал Gemini.

‍

ERNIE Bot 

В марте 2023 года компания Baidu, лидер среди китайских поисковых систем, представила собственного чат-бота ERNIE Bot. Тогда сервис называли китайской альтернативой ChatGPT: у него похожий веб-интерфейс, подобная система плагинов и схожая функциональность. В конце первого квартала 2024 года у ERNIE Bot было уже более 200 млн запросов в день.

‍

Q

Amazon представила своего генеративного чат-бота под названием Q. Он интересен тем, что по умолчанию встроен в экосистему Amazon и доступен пользователям облачных сервисов AWS. Во многом это определило специфику его работы: чат отвечает на вопросы разработчиков, предоставляет инструкции и другую документацию, помогает устранять проблемы с ошибками в работе серверов, может быть интегрирован с редактором кода или IDE.

‍

GPT-4

OpenAI не планировала отставать от конкурентов и в марте 2023 года выпустила четвертую модель своего чат-бота. В нем заявлена поддержка плагинов, которые ищут новости в интернете, и внешних сервисов, плюс заметно выросло контекстное окно (до 100 тысяч слов на английском). Кстати, именно ChatGPT-4 поумолчанию доступен пользователям Bing Chat — поисковика от Microsoft.

Параллельно ссозданием новых языковых моделей и совершенствованию существующих крупнейшиеигроки рынка работают над тем, чтобы сократить количество машинных галлюцинаций и ограничить генерацию неэтичного контента.

‍

Расширение поддержки локальных языков в LLM

Самые популярные модели генеративного ИИ изначально адаптированы под запросы на английском языке. Многие из них поддерживают ответы на других языках, но они часто менее точные. Хотя существующиемодели охватывают более 100 языков, этого мало: в мире используется 7000+ языков и наречий (вместе с теми, которые находятся на грани исчезновения).

В 2023 году сделан серьезный шаг к решению этой проблемы. Meta AI объявила о запуске проекта Massively Multilingual Speech (MMS) и начала формирование набора данных для обучения языковых моделей на более чем 1100 новых языков. Это должно облегчить доступ к информации и использование цифровых устройств на предпочитаемом языке, даже если на нем говорят всего несколько тысяч людей.

Ожидается, что в ближайшем будущем одна модель сможет решать несколько речевых задач для всех языков, что приведет к еще большему распространению и увеличению производительности генеративных чат-ботов.

‍

Распространение мультимодальных языковых моделей

2023 год стал прорывным для мультимодальных ИИ-моделей, хотя впервые громко заговорили о них в 2022 году. Мультимодальный ИИ объединяет и совместно обрабатывает различные типы данных: текст, графическиеизображения, аудио и видео, используя уникальные нейронные сети для каждого вида контента. Мультимодальные модели считаются более точными, а способность анализировать данные из нескольких источников делает их универсальным инструментом в руках человека.

Некоторые из перечисленных выше генеративных языковых чатов получили поддержку мультимодальности. Например, мультимодальной модели Gemini можно показать фотографию с тарелкой печенья и попросить написать его рецепт, не уточняя деталей. На выходе вы получите рецепт печенья, названия которого даже незнаете.

Мультимодальность в цифровых помощниках позволяет улучшить персонализацию ответов, использовать расширенный визуальный поиск, а также обучать ИИ-модели на разных форматах данных. Это уже востребовано в медицине, на транспорте, при создании современного мультимедийного контента и в целом для анализа данных из разных источников.

‍

Первый серьезный шаг к чтению мыслей с помощью ИИ

В 2023 году было проведено несколько крупных исследований, которые затрагивали тему визуализации человеческих мыслей. Для этого использовались данные, полученные в результате сканирования мозга и обработанные именно с помощью искусственного интеллекта.

В мае Техасский университет в Остине (США) представил систему для помощи людям, которые не могут говорить, но при этом психически здоровы. Ученые измеряли активность мозга человека в ходе МРТ-исследования и декодировали его мысли, причем с достаточно высокой точностью. Например, если человек проговаривал в голове фразу: «У меня еще нет водительских прав», —умная система декодировала ее как «Она еще даже не начала учиться водить машину». Хотя результаты сложно назвать дословной расшифровкой, это стало большим шагом вперед по сравнению с тем, что было ранее.

В том же направлении движутся ученые Сиднейского университета (Австралия). В конце декабря 2023 года они разработали портативную систему, которая использует такие же подходы, что и при исследовании мозга с помощью электроэнцефалографии (ЭГГ). Специальный портативный прибор считывает, а затем преобразует сигналы мозга в языковые единицы, при этом не требуется сканирования мозга с помощью МРТ или имплантации электродов в мозг, как это делали ранее.

В научном журнале Nature опубликована статья о том, как ученым наконец удалось совместить ткань человеческого мозга с электронными компонентами. Результатом исследования стало точное распознавание речи и даже решение математических задач. Для этого эксперимента в лаборатории была специально выращена ткань человеческого мозга из стволовых клеток. Полученные материалы использовались для создания прибора Brainoware, который работает намного точнее, чем компьютер с поддержкой искусственного интеллекта.

Помимо этого, компания IBM анонсировала аналоговый чип для рабочих нагрузок, связанных с ИИ. Уникальность этого 64-ядерного процессора в том, что он создан по аналогии с человеческим мозгом.

‍

Восстановление чувствительности конечностей с помощью ИИ

Исследователи Института Файнштейна (США) первыми применили двойной нейронный шунт, который помог восстановить чувствительность конечностей у людей, страдающих полным или частичным параличом конечностей. В уникальном клиническом исследовании были получены впечатляющие результаты. В мозг парализованного человека были имплантированы микрочипы с ИИ, которые позволили повторно связать мозг с телом и спинным мозгом, что помогло восстановить подвижность рук и чувство осязания в них, причем эффект сохранился даже за пределами лаборатории. Это случилось впервые в истории медицины. Операция по вживлению микрочипа проходила в течение 15 часов на открытом мозге парализованного человека. Ее результаты дают надежду, что технологии искусственного интеллекта способны значительно повысить качество жизни парализованных людей.  

‍

Что ждет ИИ дальше?

По утверждению Collins Dictionary, «искусственный интеллект» стал самым заметным понятием 2023 года. Очевидно, что эта технология продолжит доминировать в будущем, и ближайшие несколько лет принесут еще несколько революционных открытий, сделанных с помощью ИИ. 2023 год стал поворотной точкой в эволюции ИИ и заложил основу для появления новых, более совершенных интеллектуальных инструментов.

Хотя подводить итоги 2024 года еще рано, однако, он уже запомнится миру новыми достижениями в области ИИ. Например, прогнозируют, что всего за год значительно вырастет количество созданных с его помощью визуальных эффектов. Самообучающиеся ИИ-системы научатся делать научные открытия и разрабатывать новые лекарства, а ранее неизвестные компании, которые занимаются разработкой ИИ-систем, войдут в топ технологических гигантов мира.