Быстрое введение в мир существующих больших языковых моделей LLM для начинающих Хабр

Hugging Face находится на пути к укреплению своего статуса ведущего центра для больших языковых моделей (LLM), опережая традиционные сообщества ИИ по темпам роста и вовлеченности. Платформа Hugging Face, известная как "Хаб", представляет собой огромное хранилище моделей, токенизаторов, наборов данных и демонстрационных приложений (пространств), доступных в виде ресурсов с открытым исходным кодом. Hugging Face, часто называемый GitHub-ом для больших языковых моделей (LLM), способствует созданию открытой экосистемы для LLM. Что произойдёт, если он вдруг откажется от своего фэндома, станет болельщиком «Пэйсерс» и переедет в Индианаполис? Маловероятно, что языковая модель столкнулась бы с этим в процессе обучения, а значит, в её словаре вряд ли найдутся суперслова, представляющие Джека Николсона как фаната «Пэйсерс». В процессе обучения языковая модель создаёт огромный словарь, содержащий все эти очень сложные, выдуманные суперслова. Она создаёт этот словарь, читая весь интернет и создавая суперслова из понятий, с которыми сталкивается. HashDork — это блог, посвященный искусственному интеллекту и технологиям будущего, в котором мы делимся идеями и освещаем достижения в области искусственного интеллекта, машинного обучения и глубокого обучения. Подходы к обобщению текста используют языковые модели для сжатия огромных объемов информации в краткие и полезные резюме. Поэтому, в отличие от BPE, он способен работать с такими языками, как японский или китайский. Токенизатор SentencePiece в определённом смысле совершеннее, чем BPE, — он наследует логику Unigram- и BPE-токенизаторов, иначе работает с пробелами (добавляет _ перед соответствующим токеном) и не построен на логике разбиения слов по разделителям. Например, он используется в умных клавиатурах, чтобы подсказать следующее слово. Способность вести осмысленный диалог, отвечать на практически любые вопросы и быть применимыми без дообучения в большом спектре задач с высоким качеством — вот залог их популярности.

Тайна скрытого слоя: что происходит внутри LLM?

Языковые модели призваны решать самый широкий спектр текстовых задач — вопросно-ответные, суммаризацию, диалоговость, перевод и многие другие. Тогда, можно «заморозить» все параметры в модели, кроме этих токенов, и сэкономить на обучении. Если токенов 100 и каждый из них имеет размерность в 1024, то необходимо оптимизировать лишь 100 тысяч параметров вместо 175 млрд в случае обучения всей модели. Для различных задач собираем подводки и добавляем нейтральное слово N/A.

LLM с открытым и закрытым исходным кодом

• Кроме того, такой подход позволяет создавать частные экземпляры моделей, что снижает зависимость от внешних API и повышает уровень конфиденциальности данных.
• От того, как вы выстраиваете диалог с ИИ и насколько подробно описываете контекст, зависит качество результата.
• LLM, такие как T5 от Google и серия GPT от OpenAI, добились выдающихся результатов в задачах машинного перевода, уменьшив языковой барьер и облегчив межкультурное общение.
• Если модель узкоспециализированная, то и данные для нее берут определенного формата, например научные статьи по конкретной теме или комментарии в интернете.
• Эта возможность может значительно сэкономить время и усилия для пользователей, стремящихся быстро понять основные моменты документа.

Первые языковые модели были статистическими, основанными на вероятностном алгоритме цепей Маркова, более поздние имели в своей основе рекуррентные нейронные сети (RNN). Это вид нейронных сетей, предназначенный для обработки последовательных данных. Первые современные большие языковые модели с 2017 года строятся на архитектуре Transformer, которая остаётся актуальной и в наши дни. Трансформер (Transformer) — базовая архитектура для многих современных моделей обработки естественного языка. На базе трансформера были созданы все имеющиеся большие языковые модели. http://hikvisiondb.webcam/index.php?title=gregorypatton6046

Этический ИИ и надежные LLM

Например, слова «дождь», «солнце», «ветер», скорее всего, будут находиться рядом в векторном пространстве, потому что все они описывают погоду. А не связанные по смыслу слова вроде «солнце», «компьютер», «собака» будут находиться далеко друг от друга. Если ее обучали на текстах, где солнце, компьютер и собака упоминаются в одном контексте, она может распознать их как семантически близкие друг к другу слова. При этом необходимо отметить, что даже наиболее минимальное значение лексической плотности в текстах по биологии выше, чем максимальное значение лексической плотности в текстах по обществознанию. В последнее время большие языковые модели (Large Language Models, LLM), которые представляют собой https://aiimpacts.org   важный взгляд на технологии обработки естественного языка (Natural Language Processing, NLP), стали очень популярны. LLM способны работать с текстами, понимать, переводить, отвечать на вопросы, генерировать речь. И вы, вероятно, тоже слышали о таких известных проектах, как OpenAI ChatGPT и Google BERT. В конце апреля 2023 года Сбер впервые представил свой сервис GigaChat, а в ноябре 2023 анонсировал новую улучшенную модель. Разработка больших языковых моделей уходит корнями в ранние исследования в области обработки естественного языка и машинного обучения. Эта библиотека, использующая различные архитектуры LLM, стала одним из самых быстрорастущих проектов с открытым исходным кодом в этой области. Это изменение названия отражало стратегический шаг, направленный на то, чтобы дистанцировать чатбота от обрушившейся на него ранее критики и привести его в соответствие с достижениями, заложенными в модель Gemini. Преобразование Bard в Gemini не было просто косметическим, это был переход к более эффективной, высокопроизводительной модели ИИ, кульминацией которого станет выпуск самой мощной версии Gemini в декабре 2023 года. Эта разработка представляет собой значительное достижение, объединяющее мультимодальные входные данные (например, изображения) с большими языковыми моделями (LLM), что многие считают важнейшим рубежом в исследованиях ИИ. К ключевым особенностям GPT-4 относится возможность расширенного видения, известная как GPT-4V, которая позволяет модели интерпретировать и анализировать изображения, предоставляемые пользователями. GPT-3 построен на архитектуре трансформера (transformer) - модели глубокого обучения, представленной в статье "Attention is All You Need" ("Внимание - это все, что вам нужно" - перевод на Хабре, ч.1 и ч.2 ) Васвани и др. Среди этих достижений доминирующей силой  стали модели больших языков (LLM), которые изменили способ нашего взаимодействия с машинами и произвели революцию в различных отраслях. Эти мощные модели позволили использовать множество приложений, от генерации текста до машинный перевод к анализу настроений и системам ответов на вопросы. Мы начнем с определения этой технологии, подробного введения в LLM с подробным описанием их значения, компонентов и истории развития. Преобразователи преуспевают в создании текста, который является чрезвычайно связным и контекстно-зависимым, потому что они обращают внимание на важный контекст на протяжении всей входной последовательности. Результаты представленного исследования в значительной степени способствуют расширению базы данных о референсных диапазонах метрик морфологических параметров изученных текстов.  http://fbesport.com/index.php?subaction=userinfo&user=SEO-Clicks Их сопоставление с данными более ранних публикаций высвечивает меж- и внутриязыковые сходства и различия текстов разных жанров, с одной стороны, а также исследовательские ниши, с другой стороны.