Компания Google объявила о новом амбициозном проекте по разработке единой языковой модели искусственного интеллекта, которая будет поддерживать «1000 самых распространенных языков мира». В качестве первого шага к этой цели компания представляет модель ИИ, обученную более чем на 400 языках, что, по словам компании, является «самым большим языковым охватом, который сегодня можно увидеть в речевой модели».
Язык и искусственный интеллект, пожалуй, всегда были в основе продуктов Google, но последние достижения в области машинного обучения — особенно разработка мощных, многоцелевых «больших языковых моделей», или LLM, — сделали новый акцент на этих областях.
Google уже начал внедрять эти языковые модели в такие продукты, как Google Search. Языковые модели имеют ряд недостатков, включая тенденцию воспроизводить вредные общественные предубеждения, такие как расизм и ксенофобия, но они также способны решать множество задач, от генерации языка (например, GPT-3 от OpenAI) до перевода (см. работу Meta «No Language Left Behind»). Инициатива Google «1000 языков» направлена не на какую-то конкретную функциональность, а на создание единой системы с обширными знаниями о языках мира.
Зубин Гахрамани, вице-президент по исследованиям в Google AI, рассказал The Verge, что компания считает, что создание модели такого размера облегчит внедрение различных функций ИИ на языках, которые недостаточно представлены в онлайн-пространстве.
Однако доступ к данным является проблемой при обучении на таком большом количестве языков, и Google говорит, что для поддержки работы над моделью 1000 языков он будет финансировать сбор данных для языков с низкими ресурсами, включая аудиозаписи и письменные тексты.
Компания говорит, что у нее нет прямых планов по внедрению функциональности этой модели — только то, что она ожидает, что она будет иметь ряд применений в продуктах Google, от Google Translate до субтитров YouTube и т.д.
«Одна из действительно интересных вещей, связанных с большими языковыми моделями и исследованиями языка в целом, заключается в том, что они могут выполнять множество различных задач», — говорит Гахрамани. «Одна и та же языковая модель может превращать команды робота в код; она может решать математические задачи; она может выполнять перевод. По-настоящему интересные вещи в языковых моделях заключаются в том, что они становятся хранилищами большого количества знаний, и, исследуя их различными способами, вы можете добраться до различных частей полезной функциональности.
