Распространение систем моделирования, переход к новому уровню фундаментальных и прикладных исследований и растущая популярность искусственного интеллекта в области изображений, языка и звука подогревают интерес к использованию решений для высокопроизводительных вычислений (High Performance Computing, HPC).
Суперкомпьютеры позволяют:
Ранее суперкомпьютеры поставлялись в Россию в виде готовых модульных решений известных зарубежных производителей: NVIDIA, Huawei, HPE, Dell, Lenovo и другими.
«Суперкомпьютер представлял собой моновендорное решение в фиксированной конфигурации, которая уже включала в себя все необходимые аппаратные и программные компоненты»
Олег Вишняк
Эксперт практики HPC
В 2022-2023 гг. произошли экономические изменения, которые определили новые векторы развития существующих и построения новых суперкомпьютеров в России. Сегодня в построении HPC используются доступные российские и азиатские технические решения. Для создания систем управления и хранения данных в кластерах применяется российское ПО или ПО с открытым исходным кодом.
Уход западных центров компетенций придал импульс развитию рынка. Запускается программа государственного финансирования HPC-кластеров, уже исполняется «Национальная стратегия развития искусственного интеллекта на период до 2030 года».
Новые инициативы требуют повышения доступности вычислительной инфраструктуры. Это напрямую сказывается на развитии технологий, которые обеспечивают математические расчеты, прогнозирование погодно-климатических условий, синтез новых материалов, инженерных симуляций. Актуальным становится вопрос создания экосистемы программных сервисов, обеспечивающих функционирование HPC.
«Сегодня бизнесу необходимо по-новому учиться строить и эксплуатировать HPC-кластеры. А кроме того, еще и искать новые пути поддержки уже внедренных решений. Масштабировать построенные на западных решениях суперкомпьютеры практически невозможно»
Олег Вишняк
Эксперт практики HPC
Развитие имеющегося HPC сопряжено с вопросами аппаратно-программной совместимости. Затруднен доступ к обновлениям и патчам. Повышение версий используемых файловых систем и обновление микрокодов зачастую недоступно.
Поэтому предпочтительным становится вариант построения нового суперкомпьютера.
Проектирование суперкомпьютера
Вычислительные узлы (с использованием как CPU, так и GPU), высокоскоростной интерконнект и узлы хранения данных
Операционная система (ОС), служба планирования очередей и управления кластером, параллельная файловая система
Электропитание, охлаждение, пожаротушение, информационная безопасность
Важным моментом является сайзинг вычислительного кластера, а также определение оптимальных конфигураций узлов (управления, хранения, вычислительных) с учетом требований совместимости с прикладным расчётным ПО.
Вычислительная инфраструктура HPC (серверы и системы хранения данных) может включать реестровое оборудование и другие доступные решения российских и зарубежных производителей (см.разделы Серверное оборудование и Системы хранения данных).
Интерконнект связывает вычислительные узлы HPC в единую систему. Причем сетевые технологии, используемые в интерконнекте, чаще всего отличаются от сетевых технологий, используемых в привычных локальных вычислительных сетях. HPC-кластер требует более высокой пропускной способности, минимальных задержек и максимально высокого темпа выдачи сообщений.
«Для реализации интерконнекта рекомендуется использовать решения на базе InfiniBand от NVIDIA, а также рассматривать решения семейства Ethernet. При наличии требований по импортозамещению выбирают нетиповые российские решения по построению интерконнекта. Например, высокоскоростная сеть Ангара»
Олег Вишняк
Эксперт практики HPC
Операционные системы для организации систем управления и хранения данных HPC выбираются из семейства Linux. В части ОС для вычислительных узлов предпочтительны также Linux (в том числе Open source). Важно учитывать совместимость ОС с планируемым прикладным расчётным ПО.