Resolviendo el enigma del conocimiento con HPC e IA

Publicado: 2021-12-15



La supercomputación ha recorrido un largo camino desde sus comienzos en la década de 1960. Inicialmente, muchas supercomputadoras terminaron centradas en mainframes, sin embargo, su precio y complejidad estaban siendo límites importantes para la entrada de muchas empresas. La idea de utilizar varias PC de muy bajo costo en una comunidad para presentar un tipo rentable de computación paralela llevó a las instituciones de exploración a lo largo del camino de la creación de clústeres de computación de alto rendimiento (HPC) con clústeres "Beowulf" en la década de 1990. .

Los clústeres Beowulf son en gran medida los predecesores de los clústeres HPC actuales. Los fundamentos de la arquitectura Beowulf siguen siendo aplicables a las implementaciones de HPC de hoy en día, sin embargo, varias PC de escritorio se han cambiado con plataformas de servidor de alta densidad especialmente diseñadas. Las redes han mejorado notablemente, con InfiniBand de mayor ancho de banda/reducida latencia (o, como un guiño al pasado, cada vez más Ethernet) y sistemas de archivos paralelos de alto rendimiento general, como SpectrumScale, Lustre y BeeGFS, que se han diseñado para permitir que el almacenamiento continúe manteniendo arriba con el cálculo. La mejora de equipos excelentes, a menudo de código abierto, para controlar la computación dispersa de eficiencia superior también ha hecho que la adopción sea mucho menos complicada.