Решение головоломки знаний с помощью высокопроизводительных вычислений и искусственного интеллекта
Опубликовано: 2021-12-15
Суперкомпьютеры прошли долгий путь, учитывая, что они зародились в 1960-х годах. Первоначально многие суперкомпьютеры в конечном итоге были сосредоточены на мэйнфреймах, но даже при этом их цена и сложность были значительными ограничениями для входа на рынок многих учреждений. Мысль об использовании ряда очень недорогих ПК в сообществе для создания экономичного типа параллельных вычислений привела исследовательские институты к созданию кластеров высокоэффективных вычислений (HPC) с кластерами «Беовульф» в 90-х годах. .
Кластеры Beowulf во многом являются предшественниками современных кластеров HPC. Основы архитектуры Beowulf по-прежнему применимы к современным повседневным развертываниям HPC, тем не менее, ряд настольных ПК был заменен специально созданными серверными платформами значительной плотности. Сеть заметно улучшилась благодаря более высокой пропускной способности / уменьшенной задержке InfiniBand (или, как дань прошлому, все чаще Ethernet) и высокопроизводительным параллельным файловым системам, таким как SpectrumScale, Lustre и BeeGFS, которые были разработаны для того, чтобы хранилище продолжало поддерживать с вычислением. Усовершенствование отличного оборудования, часто с открытым исходным кодом, для управления высокоэффективными рассредоточенными вычислениями также значительно упростило внедрение.
В последнее время мы стали свидетелями продвижения HPC от аутентичных, зависящих от ЦП кластеров к программам, которые выполняют основную часть своей обработки на моделях графической обработки (GPU), что привело к развитию вычислений с ускорением на GPU.
Факты и вычисления — назначение графического процессора
Хотя HPC расширялся за счет дополнительного источника вычислений, информация распространялась значительно быстрее. Потому что в начале 2010 года произошел значительный взрыв неструктурированной информации из таких ресурсов, как веб-чаты, камеры, датчики, онлайн-видеокоммуникации и так далее. Это создало большие трудности с хранением, обработкой и передачей данных. Более поздние парадигмы технологических инноваций, такие как большие данные, параллельные вычисления, облачные вычисления, сеть проблем (IoT) и синтетический интеллект (ИИ), стали мейнстримом, чтобы справиться с проблемами, вызванными информационным натиском.
Что характерно для всех этих парадигм, так это то, что в настоящее время они могут быть распараллелены в высшей степени. Параллельные вычисления HPC на GPU фактически изменили деятельность ИИ, поскольку параллельные вычисления могут обрабатывать все эти данные за ограниченное время, работая с GPU. По мере развития рабочих нагрузок, параллельные вычисления на графическом процессоре и компьютеры с искусственным интеллектом также развивались. Оценка впечатлений — фантастический пример того, как электрическая мощность вычислений на графическом процессоре может помочь проекту ИИ. С одним GPU потребуется всего 72 часа, чтобы приблизиться к продукту для глубокого изучения изображений, но потребуется всего 20 минут, чтобы запустить тот же продукт ИИ в кластере HPC с 64 GPU.
Как HPC поддерживает развитие ИИ?
Беовульф по-прежнему связан с рабочими нагрузками ИИ. Хранение, сеть и обработка имеют решающее значение для выполнения задач ИИ в масштабе, когда ИИ может использовать крупномасштабные параллельные среды, которые предоставляет инфраструктура высокопроизводительных вычислений (с графическими процессорами), чтобы быстро выполнять рабочие нагрузки. Обучение продукту ИИ занимает гораздо больше времени, чем тестирование одного. Ценность объединения ИИ с высокопроизводительными вычислениями заключается в том, что оно значительно ускоряет «этап обучения» и повышает точность и надежность конструкций ИИ, даже если время обучения сводится к минимуму.
Требуется соответствующее приложение для поддержки сочетания высокопроизводительных вычислений и искусственного интеллекта. Существуют традиционные продукты и приложения, которые в настоящее время используются для управления рабочими нагрузками ИИ только в средах высокопроизводительных вычислений, поскольку многие из них имеют одни и те же потребности для объединения значительных пулов средств и управления ими. С другой стороны, все, от базовых компонентов, используемых планировщиков, интерфейса передачи сообщений (MPI) и даже до того, как упаковано компьютерное программное обеспечение, начинает изменяться в направлении гораздо более адаптируемых стилей, и рост в Гибридные среды — это развитие, которое, как мы предполагаем, будет продолжаться.
Поскольку стандартные условия использования программ для высокопроизводительных вычислений так хорошо зарекомендовали себя, модификации обычно материализуются довольно медленно, но верно. Тем не менее, обновления для многих приложений для высокопроизводительных вычислений важны примерно раз в 6–12 месяцев. С другой стороны, развитие ИИ происходит так быстро, что обновления и новые цели, оборудование и библиотеки продолжают выпускаться изо дня в день.
Если бы вы использовали ту же тактику обновления для управления своим ИИ, что и для своих платформ высокопроизводительных вычислений, вы бы остались в хвосте. Вот почему такое разрешение, как контейнерная система NVIDIA DGX, позволяет вам быстро и удобно оставаться в курсе быстрых разработок NVIDIA GPU CLOUD (NGC) — веб-баз данных оборудования для ИИ и высокопроизводительных вычислений, инкапсулированных в удобные контейнеры.
В локальном сообществе высокопроизводительных вычислений становится нормальным использовать контейнерную систему для управления случаями, которые выгодны для развертывания ИИ. Контейнеризация ускорила руководство по рабочим нагрузкам ИИ в кластерах HPC.
Возврат — как ИИ решает классические проблемы с высокопроизводительными вычислениями?
Продукты искусственного интеллекта можно использовать для прогнозирования конечного результата моделирования, не имея возможности управлять всей симуляцией с интенсивным использованием исходного кода. Таким образом, используя продукт ИИ, входные переменные / факторы любопытства макета можно сузить до списка потенциальных клиентов немедленно и со значительно меньшими затратами. Эти переменные перспективы могут быть запущены посредством признанного моделирования для проверки прогноза модели ИИ.
Квантовое молекулярное моделирование (QMS), Chip Structure и Drug Discovery — места, где эта процедура становится все более популярной. IBM также недавно выпустила продукт, специально предназначенный для этого, известный как IBM Bayesian Optimization Accelerator (BOA).
Как интегратор высокопроизводительных вычислений может помочь с вашей инфраструктурой искусственного интеллекта?
Начните с пары простых вопросов Насколько велика моя трудность? Насколько быстро я хочу вернуть свои результаты? Насколько много знаний у меня есть для процедуры? Сколько людей делятся полезным ресурсом?
Процедуры высокопроизводительных вычислений позволят управлять проектом ИИ, если существующий набор данных значителен или если в настоящее время в инфраструктуре возникают проблемы с конкуренцией из-за привлечения различных пользователей. Если вы столкнулись с проблемой, когда вам нужно установить четыре графических процессора на рабочую станцию, и это вызывает дилемму, вызывая узкое место, вам необходимо проконсультироваться с интегратором высокопроизводительных вычислений, обладающим знаниями в области масштабирования инфраструктуры для таких видов рабочие нагрузки.
В некоторых организациях рабочие нагрузки ИИ могут выполняться на большом устройстве или нескольких машинах с графическими процессорами, и ваша инфраструктура ИИ может показаться гораздо более похожей на инфраструктуру высокопроизводительных вычислений, чем вы думаете. Существуют подходы к высокопроизводительным вычислениям, приложения и другие аспекты, которые определенно могут помочь в регулировании этой инфраструктуры. Инфраструктура кажется довольно идентичной, но есть несколько разумных способов ее установки и ухода за ней, специально ориентированных на моделирование ИИ.
Хранилище обычно упускается из виду, когда организации создают инфраструктуру для рабочих нагрузок ИИ, и вы, возможно, не получите общую рентабельность инвестиций в свою инфраструктуру ИИ, если ваши вычислительные ресурсы ждут освобождения хранилища. Важно найти лучшие рекомендации по определению размера и развертыванию хранилища с идеальным разрешением для вашего кластера.
Крупные детали не всегда должны быть такими массивными, просто когда они достигают такого положения, они становятся неуправляемыми для организации. Когда вы не можете получить из него то, что хотите, тогда он становится для вас слишком огромным. HPC может дать вычислительной мощности для обработки огромных объемов информации в рабочих нагрузках ИИ.
Обозримое будущее
Это увлекательное время как для высокопроизводительных вычислений, так и для ИИ, поскольку мы наблюдаем постепенную адаптацию каждой системы. Проблемы становятся все больше каждый рабочий день, с более свежими и гораздо более характерными проблемами, которые требуют более быстрых решений. Например, противодействие кибератакам, выявление новых вакцин, обнаружение вражеских ракет и так далее.
Будет интересно посмотреть, что произойдет дальше при включении 100% контейнерных сред в кластеры HPC и таких технологий, как среды Singularity и Kubernetes.
Планировщики теперь начинают карьеру и держатся до тех пор, пока, наконец, не закончат, что не может быть хорошим обстоятельством для сред ИИ. Кроме того, более современные планировщики отслеживают эффективность в реальном времени и выполняют задачи на основе приоритета и времени выполнения и смогут работать с технологиями и средами контейнеризации, такими как Kubernetes, для управления необходимыми полезными ресурсами.
Хранение станет еще более важным для поддержки массовых развертываний, поскольку огромные объемы фактов должны храниться, маркироваться, маркироваться, очищаться и быстро перемещаться. Инфраструктура, такая как флэш-память и сеть, становится важной для решения ваших задач вместе с программным обеспечением для хранения данных, которое можно масштабировать по мере необходимости.
В равной степени высокопроизводительные вычисления и ИИ будут продолжать оказывать влияние на равные организации и все остальные, и их симбиотическое партнерство будет только укрепляться, поскольку в равной степени обычные пользователи высокопроизводительных вычислений и разработчики моделей инфраструктуры ИИ знают общую вероятность каждого другого.
Вибин Виджей, специалист по ИИ-решениям, OCF