Международный облачный провайдер и системный интегратор ITGLOBAL.COM, входит в корпорацию ITG, завершил масштабное тестирование графических ускорителей NVIDIA L40S для задач искусственного интеллекта и машинного обучения. Исследования показали, что конфигурация с двумя ускорителями L40S обеспечивает производительность до 1,8 раз выше по сравнению с одним NVIDIA A800 при работе с большими языковыми моделями (LLM) при сопоставимой стоимости оборудования.

Тестирование проводилось с двумя нейросетями: LLaMA 3.1 70B и Qwen 2.5. При обработке больших объемов запросов система на базе L40S не только сохранила высокую производительность, но и демонстрировала значительное преимущество над более дорогим решением A800. Этот результат особенно важен для компаний, которые используют ИИ-ассистентов в клиентском сервисе или автоматизации бизнес-процессов, где скорость ответа напрямую влияет на эффективность работы.

Впечатляющие результаты L40S показали при работе с моделью Qwen 2.5, которая часто используется в корпоративных чат-ботах и системах анализа документов. В условиях высокой нагрузки, характерной для промышленного применения, система на базе двух L40S не только сравнялась по производительности с A800, но даже превзошла его, что делает решение на базе L40S более привлекательным с точки зрения соотношения производительности к стоимости оборудования.

«Наше комплексное тестирование подтверждает, что ускорители L40S обеспечивают отличное соотношение цены и производительности для задач искусственного интеллекта, делая технологии машинного обучения более доступными для бизнеса. Благодаря 48 ГБ видеопамяти GDDR6 на каждой карте и высокой производительности в реальных задачах ИИ, эти ускорители представляют собой значительный шаг вперед в демократизации доступа к вычислительным ресурсам для ИИ», — отметил Евгений Свидерский, директор облачного бизнеса ITGLOBAL.COM, корпорация ITG.

ITGLOBAL.COM использует широкий спектр ускорителей NVIDIA, включая L40S, A100, A800 и H100, для построения облаков AI Cloud. Клиентам доступны различные конфигурации вычислительных ресурсов: от систем с 10 ГБ видеопамяти на базе A800 для тестирования и небольших моделей до решений с 80 ГБ для глубокого обучения и сложных вычислений. Для особых задач используются конфигурации с технологией NVLink, обеспечивающие до 160 ГБ объединенной видеопамяти. Также доступны серверы с NVIDIA L40S (48 ГБ) и H100 (80 ГБ). Платформа включает полный набор инструментов NVIDIA AI Enterprise, что позволяет эффективно создавать, тестировать и внедрять ИИ-приложения в промышленном масштабе.

Справочно:

ITGLOBAL.COM — международный облачный провайдер и системный интегратор. Входит в корпорацию ITG. ITGLOBAL.COM находится в топ-5 крупнейших облачных провайдеров в России и является №1 IaaS-провайдером c международной распределенной сетью ЦОД (по версии CNews). На текущий момент компания располагает 11 дата-центрами в 9 странах мира. Портфель услуг и решений компании базируется на отечественных решениях (SimpleOne, vStack, ITPOD и др.) и партнерстве с мировыми вендорами ПО.