Фреймворк NVIDIA NeMo

Технические характеристики

• Название продукта: Фреймворк NVIDIA NeMo
• Затронутые платформы: Windows, Linux, MacOS
• Затронутые версии: Все версии до 24
• Уязвимость безопасности: CVE-2025-23360
• Базовая оценка риска: 7.1 (CVSS v3.1)

Инструкции по применению продукта

Установка обновления безопасности:
Чтобы защитить свою систему, выполните следующие действия:

1. Загрузите последнюю версию со страницы релизов NeMo-Framework-Launcher на GitHub.
2. Для получения дополнительной информации перейдите на страницу «Безопасность продуктов NVIDIA».

Подробности обновления безопасности:
Обновление безопасности устраняет уязвимость в NVIDIA NeMo Framework, которая может привести к выполнению кода и краже данных.ampэринг.

Обновление программного обеспечения:
Если вы используете более раннюю версию ветки, рекомендуется обновиться до последней версии ветки, чтобы устранить проблему безопасности.

Надview

NVIDIA NeMo Framework — это масштабируемая и облачная среда генеративного ИИ, созданная для исследователей и разработчиков, работающих над Большие языковые модели, Мультимодальные и Речевой ИИ (например Автоматическое распознавание речи и Преобразование текста в речь). Он позволяет пользователям эффективно создавать, настраивать и развертывать новые генеративные модели ИИ, используя существующий код и предварительно обученные контрольные точки модели.

Инструкции по установке: Установить NeMo Framework

Большие языковые модели и мультимодальные модели
NeMo Framework обеспечивает сквозную поддержку для разработки больших языковых моделей (LLM) и мультимодальных моделей (MM). Он обеспечивает гибкость для использования локально, в центре обработки данных или с вашим предпочтительным поставщиком облачных услуг. Он также поддерживает выполнение в средах с поддержкой SLURM или Kubernetes.

Обработка данных
Куратор NeMo [1] — это библиотека Python, включающая набор модулей для добычи данных и генерации синтетических данных. Они масштабируемы и оптимизированы для графических процессоров, что делает их идеальными для курирования данных естественного языка для обучения или тонкой настройки LLM. С NeMo Curator вы можете эффективно извлекать высококачественный текст из обширных необработанных web источники данных.

Обучение и настройка

NeMo Framework предоставляет инструменты для эффективного обучения и настройки LLM-степени и Мультимодальные модели. Он включает в себя конфигурации по умолчанию для настройки вычислительного кластера, загрузки данных и гиперпараметров модели, которые можно настроить для обучения на новых наборах данных и моделях. В дополнение к предварительному обучению NeMo поддерживает как контролируемую тонкую настройку (SFT), так и эффективную тонкую настройку параметров (PEFT), такие как LoRA, Ptuning и другие.

Для запуска обучения в NeMo доступны два варианта — с помощью интерфейса API NeMo 2.0 или с помощью NeMo Run.

• С NeMo Run (рекомендуется): NeMo Run предоставляет интерфейс для оптимизации конфигурации, выполнения и управления экспериментами в различных вычислительных средах. Это включает запуск заданий на вашей рабочей станции локально или на больших кластерах — как с поддержкой SLURM, так и Kubernetes в облачной среде.
  • Предварительная тренировка и быстрый старт PEFT с NeMo Run
• Использование API NeMo 2.0: Этот метод хорошо работает с простой настройкой, включающей небольшие модели, или если вы заинтересованы в написании собственного загрузчика данных, обучающих циклов или изменении слоев модели. Он дает вам больше гибкости и контроля над конфигурациями, а также упрощает программное расширение и настройку конфигураций.
  • ТраБыстрый старт с API NeMo 2.0
  • Переход с API NeMo 1.0 на NeMo 2.0

Выравнивание

• NeMo-Элайнер [1] масштабируемый набор инструментов для эффективного выравнивания моделей. Набор инструментов поддерживает современные алгоритмы выравнивания моделей, такие как SteerLM, DPO, Reinforcement Learning from Human Feedback (RLHF) и многое другое. Эти алгоритмы позволяют пользователям выравнивать языковые модели, чтобы они были более безопасными, безвредными и полезными.
• Все контрольные точки NeMo-Aligner кросс-совместимы с экосистемой NeMo, что обеспечивает дальнейшую настройку и развертывание выводов.

Пошаговый рабочий процесс всех трех фаз RLHF на небольшой модели GPT-2B:

• SFT-обучение
• Обучение модели вознаграждения
• Обучение ППО

Кроме того, мы демонстрируем поддержку различных других новых методов выравнивания:

• ДПО: облегченный алгоритм выравнивания по сравнению с RLHF с более простой функцией потерь.
• Самостоятельная игра Тонкая настройка (SPIN)
• SteerLM: метод, основанный на условном SFT-преобразовании, с управляемым выходом.

Более подробную информацию можно найти в документации: Документация по выравниванию

Мультимодальные модели

• NeMo Framework предоставляет оптимизированное программное обеспечение для обучения и развертывания современных мультимодальных моделей в нескольких категориях: мультимодальные языковые модели, основы языка визуального восприятия, модели преобразования текста в изображение и далее — генерация 2D-данных с использованием полей нейронного излучения (NeRF).
• Каждая категория разработана с учетом конкретных потребностей и достижений в данной области, используя передовые модели для обработки широкого спектра типов данных, включая текст, изображения и 3D-модели.

Развертывание и вывод
NeMo Framework предоставляет различные пути вывода LLM, отвечающие различным сценариям развертывания и требованиям производительности.

Развертывание с NVIDIA NIM

• NeMo Framework легко интегрируется с инструментами развертывания моделей корпоративного уровня через NVIDIA NIM. Эта интеграция обеспечивается NVIDIA TensorRT-LLM, что обеспечивает оптимизированный и масштабируемый вывод.
• Для получения дополнительной информации о NIM посетите NVIDIA webсайт.

Развертывание с помощью TensorRT-LLM или vLLM

• NeMo Framework предлагает скрипты и API для экспорта моделей в две оптимизированные библиотеки вывода, TensorRT-LLM и vLLM, а также для развертывания экспортированной модели с помощью сервера вывода NVIDIA Triton.
• Для сценариев, требующих оптимизированной производительности, модели NeMo могут использовать TensorRT-LLM, специализированную библиотеку для ускорения и оптимизации вывода LLM на графических процессорах NVIDIA. Этот процесс включает преобразование моделей NeMo в формат, совместимый с TensorRT-LLM, с помощью модуля nemo.export.
  • Развертывание LLM завершеноview
  • Развертывание больших языковых моделей NeMo с помощью NIM
  • Развертывание больших языковых моделей NeMo с помощью TensorRT-LLM
  • Развертывание больших языковых моделей NeMo с помощью vLLM

Поддерживаемые модели

Большие языковые модели

Большие языковые модели

Большие языковые модели	Предварительная подготовка и SFT	ПЕФТ	Выравнивание	Конвергенция обучения FP8	ТРТ/ТРТЛМ	Преобразование в обнимающее лицо и обратно	Оценка
Лама3 8Б/70Б, Лама3.1 405Б	Да	Да	x	Да (частично проверено)	Да	Оба	Да
Микстральный 8x7B/8x22B	Да	Да	x	Да (непроверено)	Да	Оба	Да
Немотрон 3 8Б	Да	x	x	Да (непроверено)	x	Оба	Да
Немотрон 4 340Б	Да	x	x	Да (непроверено)	x	Оба	Да
Байчуань2 7Б	Да	Да	x	Да (непроверено)	x	Оба	Да
ЧатGLM3 6B	Да	Да	x	Да (непроверено)	x	Оба	Да
Джемма 2Б/7Б	Да	Да	x	Да (непроверено)	Да	Оба	Да
Джемма2 2Б/9Б/27Б	Да	Да	x	Да (непроверено)	x	Оба	Да
Mamba2 130M/370M/780M/1.3B/2.7B/8B/ Hybrid-8B	Да	Да	x	Да (непроверено)	x	x	Да
Фи3 мини 4к	x	Да	x	Да (непроверено)	x	x	x
Qwen2 0.5B/1.5B/7B/72B	Да	Да	x	Да (непроверено)	Да	Оба	Да
СтарКодер 15Б	Да	Да	x	Да (непроверено)	Да	Оба	Да
StarCoder2 3B/7B/15B	Да	Да	x	Да (непроверено)	Да	Оба	Да
БЕРТ 110М/340М	Да	Да	x	Да (непроверено)	x	Оба	x
Т5 220М/3Б/11Б	Да	Да	x	x	x	x	x

 

Модели языка видения

 

Встраиваемые модели

 

Модели Всемирного Фонда

Примечание
NeMo также поддерживает предварительное обучение как для диффузионной, так и для авторегрессионной архитектуры. text2world модели фундамента.

Речевой ИИ

Разработка моделей разговорного ИИ — сложный процесс, включающий определение, построение и обучение моделей в определенных доменах. Этот процесс обычно требует нескольких итераций для достижения высокого уровня точности. Он часто включает несколько итераций для достижения высокой точности, тонкой настройки на различных задачах и данных, специфичных для домена, обеспечения производительности обучения и подготовки моделей для развертывания вывода.

NeMo Framework обеспечивает поддержку обучения и настройки моделей речевого ИИ. Сюда входят такие задачи, как автоматическое распознавание речи (ASR) и синтез текста в речь (TTS). Он обеспечивает плавный переход к развертыванию на уровне предприятия с помощью NVIDIA Riva. Чтобы помочь разработчикам и исследователям, NeMo Framework включает в себя самые современные предварительно обученные контрольные точки, инструменты для воспроизводимой обработки речевых данных и функции для интерактивного исследования и анализа наборов речевых данных. Компоненты NeMo Framework для речевого ИИ следующие:

Обучение и настройка
NeMo Framework содержит все необходимое для обучения и настройки речевых моделей (АСР, Классификация речи, Распознавание спикера, Диалогизация спикера, и ТТС) воспроизводимым образом.

Предварительно обученные модели SOTA

• NeMo Framework предоставляет самые современные рецепты и предварительно обученные контрольные точки нескольких АСР и ТТС модели, а также инструкции по их загрузке.
• Речевые инструменты
• NeMo Framework предоставляет набор инструментов, полезных для разработки моделей ASR и TTS, включая:
  • Принудительное выравнивание NeMo (NFA) для генерации времени на уровне токенов, слов и сегментовampс речи в аудио с использованием моделей автоматического распознавания речи NeMo на основе CTC.
  • Процессор речевых данных (SDP), набор инструментов для упрощения обработки речевых данных. Позволяет представлять операции обработки данных в конфигурации file, минимизируя шаблонный код и обеспечивая воспроизводимость и возможность совместного использования.
  • Проводник речевых данных (SDE), основанный на Dash web приложение для интерактивного исследования и анализа наборов речевых данных.
  • Инструмент создания набора данных который обеспечивает функциональность для выравнивания длинных аудио fileс соответствующими транскриптами и разбить их на более короткие фрагменты, подходящие для обучения модели автоматического распознавания речи (ASR).
  • Инструмент сравнения для моделей ASR для сравнения прогнозов различных моделей ASR на уровне точности слов и высказываний.
  • Оценщик ASR для оценки производительности моделей ASR и других функций, таких как обнаружение голосовой активности.
  • Инструмент нормализации текста для преобразования текста из письменной формы в устную и наоборот (например, «31-й» вместо «тридцать первый»).
• Путь к развертыванию
• Модели NeMo, которые были обучены или настроены с использованием NeMo Framework, могут быть оптимизированы и развернуты с помощью NVIDIA Riva. Riva предоставляет контейнеры и диаграммы Helm, специально разработанные для автоматизации шагов для развертывания нажатием кнопки.

Другие ресурсы

Репозитории GitHub

• НеМо: Основной репозиторий для NeMo Framework
• НеМо–Бегать: Инструмент для настройки, запуска и управления экспериментами по машинному обучению.
• NeMo-Aligner: Масштабируемый набор инструментов для эффективного выравнивания моделей
• NeMo-Куратор: Масштабируемый набор инструментов предварительной обработки и курирования данных для LLM

Получение помощи
Взаимодействуйте с сообществом NeMo, задавайте вопросы, получайте поддержку или сообщайте об ошибках.

• Обсуждения NeMo
• Проблемы НеМо

Языки программирования и фреймворки

• Питон: Основной интерфейс для использования NeMo Framework
• Питорч: NeMo Framework построен на основе PyTorch

Лицензии

• Репозиторий NeMo Github распространяется под лицензией Apache 2.0
• NeMo Framework лицензируется в соответствии с NVIDIA AI PRODUCT AGREEMENT. Извлекая и используя контейнер, вы принимаете условия этой лицензии.
• Контейнер NeMo Framework содержит материалы Llama, регулируемые лицензионным соглашением сообщества Meta Llama3.

Сноски
В настоящее время поддержка NeMo Curator и NeMo Aligner для мультимодальных моделей находится в стадии разработки и будет доступна совсем скоро.

Часто задаваемые вопросы

В: Как я могу проверить, подвержена ли моя система этой уязвимости?
A: Вы можете проверить, подвержена ли ваша система уязвимости, проверив установленную версию NVIDIA NeMo Framework. Если она ниже версии 24, ваша система может быть уязвима.

В: Кто сообщил об уязвимости безопасности CVE-2025-23360?
A: О проблеме безопасности сообщил Or Peles – JFrog Security. NVIDIA признает их вклад.

В: Как я могу получать уведомления о будущих бюллетенях по безопасности?
A: Посетите страницу безопасности продуктов NVIDIA, чтобы подписаться на уведомления о бюллетенях безопасности и быть в курсе обновлений безопасности продуктов.

Документы/Ресурсы

Фреймворк NVIDIA NeMo [pdf] Руководство пользователя NeMo Framework, NeMo, Фреймворк

Ссылки

• Руководство пользователя