إصلاح معضلة المعرفة باستخدام HPC و AI
نشرت: 2021-12-15
لقد حدثت الحوسبة الفائقة شوطا طويلا بالنظر إلى بداياتها في الستينيات. في البداية ، انتهى الأمر بالعديد من أجهزة الكمبيوتر العملاقة المتمحورة حول الحواسيب المركزية ، ومع ذلك ، كان سعرها وتعقيدها حدودًا كبيرة لدخول العديد من المؤسسات. فكرة استخدام عدد من أجهزة الكمبيوتر منخفضة التكلفة للغاية حول المجتمع لتقديم نوع فعال من حيث السعر من مؤسسات الحوسبة المتوازية الاستكشافية على طول مسار مجموعات الحوسبة فائقة الفعالية (HPC) التي تم إنشاؤها باستخدام مجموعات "بياولف" في التسعينيات .
تعد مجموعات بياولف كثيرًا جدًا من أسلاف مجموعات HPC اليوم. لا تزال أساسيات بنية بيوولف قابلة للتطبيق على عمليات نشر HPC في يوم العمل الحالي ، ومع ذلك ، فقد تم تغيير عدد من أجهزة الكمبيوتر المكتبية باستخدام منصات خادم ذات كثافة كبيرة تم إنشاؤها لهذا الغرض. تم تحسين الشبكات بشكل ملحوظ ، مع النطاق الترددي العالي / انخفاض زمن الوصول InfiniBand (أو ، كإشارة إلى الماضي ، بشكل متزايد Ethernet) وأنظمة الملفات المتوازية عالية الأداء مثل SpectrumScale و Luster و BeeGFS وقد تم تصميمها للسماح للتخزين بمواصلة الاحتفاظ مع الحساب. كما أن تحسين المعدات الممتازة ، والمفتوحة المصدر في كثير من الأحيان ، للتحكم في الحوسبة المشتتة ذات الكفاءة الفائقة ، أدى أيضًا إلى بناء اعتماد أقل تعقيدًا.
أكثر من ذلك بكثير مؤخرًا ، لقد شهدنا تقدم HPC من المجموعات الأصلية المعتمدة على وحدة المعالجة المركزية إلى البرامج التي تقوم بمعالجتها على نماذج معالجة الرسوم (GPUs) ، مما أدى إلى تطوير حوسبة GPU المتسارعة.
الحقائق والحساب - الغرض من GPU
على الرغم من أن HPC كان يتوسع مع مصدر حساب إضافي ، إلا أن المعلومات كانت تتوسع بسرعة أكبر بشكل ملحوظ. نظرًا لبداية عام 2010 ، حدث انفجار كبير في المعلومات غير المنظمة من موارد مثل محادثات الويب والكاميرات وأجهزة الاستشعار واتصالات الفيديو عبر الإنترنت وما إلى ذلك. وقد أدى ذلك إلى ظهور صعوبات كبيرة في تخزين البيانات ومعالجتها ونقلها. وصلت نماذج الابتكار التكنولوجي الأحدث هذه الأنواع من البيانات الضخمة ، والحوسبة المتوازية ، والحوسبة السحابية ، وصافي المشكلات (IoT) والذكاء الاصطناعي (AI) إلى التيار الرئيسي للتعامل مع المشكلات الناجمة عن هجمة المعلومات.
ما تنتشره جميع هذه النماذج هو أنها قادرة على الموازاة حاليًا بدرجة أعلى. لقد كانت الحوسبة المتوازية GPU الخاصة بـ HPC مغيرًا فعليًا للنشاط للذكاء الاصطناعي حيث يمكن للحوسبة المتوازية معالجة كل هذه البيانات ، في وقت محدود من العمل مع وحدات معالجة الرسومات. نظرًا لتطور أعباء العمل ، فقد تم أيضًا اكتشاف الحوسبة المتوازية لوحدة معالجة الرسومات (GPU) وآلة الذكاء الاصطناعي. يعد تقييم الانطباع مثالًا رائعًا على كيفية مساعدة الطاقة الكهربائية لحوسبة وحدة معالجة الرسومات في مشروع الذكاء الاصطناعي. باستخدام وحدة معالجة رسومات واحدة ، سيستغرق الأمر 72 ساعة فقط للوصول إلى منتج دراسة عميقة للتصوير ، ولكن الأمر سيستغرق 20 دقيقة فقط لتشغيل نفس منتج AI على مجموعة HPC مع 64 وحدة معالجة رسومات.
كيف يدعم HPC تقدم الذكاء الاصطناعي؟
لا يزال بياولف مرتبطًا بأعباء عمل الذكاء الاصطناعي. يعد التخزين والشبكات والمعالجة أمرًا ضروريًا لجعل مهام الذكاء الاصطناعي تعمل على نطاق واسع ، وهذا هو الوقت الذي يمكن فيه للذكاء الاصطناعي الاستفادة من البيئات المتوازية واسعة النطاق التي توفرها البنية التحتية لـ HPC (مع وحدات معالجة الرسومات) لتمكين مسار أعباء العمل بسرعة. التعليمات يستغرق منتج الذكاء الاصطناعي وقتًا أطول بكثير من اختبار منتج واحد. تكمن قيمة اقتران الذكاء الاصطناعي بـ HPC في أنه يسرع بشكل كبير "مرحلة التدريب" ويعزز دقة وموثوقية تصميمات الذكاء الاصطناعي ، على الرغم من الحفاظ على وقت التدريب إلى الحد الأدنى.
التطبيق المناسب مطلوب لدعم مزيج HPC و AI. هناك منتجات وأغراض تقليدية يتم استخدامها حاليًا لتشغيل أعباء عمل الذكاء الاصطناعي من بيئات HPC فقط ، حيث يشترك العديد في نفس الضروريات لتجميع مجموعات كبيرة من الوسائل وإدارتها. من ناحية أخرى ، بدأ كل شيء بدءًا من المكونات الأساسية ، واستخدم المنظمون ، وواجهة تمرير الرسائل (MPI) وحتى كيفية تجميع برامج الكمبيوتر في التعديل في اتجاه أنماط أكثر قابلية للتكيف ، وزيادة في البيئات الهجينة هي تطور نفترض استمراره.
نظرًا لأن شروط الاستخدام الشائعة لبرامج HPC مثبتة تمامًا ، فعادة ما تتحقق التعديلات ببطء إلى حد ما ولكن بثبات. ومع ذلك ، فإن التحديثات الخاصة بالكثير من تطبيقات HPC مهمة فقط كل 6 إلى 12 شهرًا تقريبًا. من ناحية أخرى ، يحدث تقدم الذكاء الاصطناعي بسرعة كبيرة ، حيث يتم إصدار التحديثات والأغراض الجديدة والمعدات والمكتبات يومًا بعد يوم.
إذا استخدمت نفس أساليب التحديث لإدارة الذكاء الاصطناعي كما تفعل مع منصات HPC ، فستترك في الجزء الخلفي من. هذا هو السبب في أن الدقة مثل نظام DGX في حاويات NVIDIA تمكنك من الاحتفاظ بسرعة وسهولة حتى اليوم مع التطورات السريعة من NVIDIA GPU CLOUD (NGC) ، وهي قاعدة بيانات على الويب لمعدات AI و HPC مغلفة في حاويات مباشرة لتناول الطعام.
لقد بدأ من الطبيعي أن تطبق في المجتمع المحلي HPC لاستخدام نظام حاويات للتحكم في المناسبات التي تكون مفيدة لنشر الذكاء الاصطناعي. ساهمت عملية الحاوية في تسريع توجيه أعباء عمل الذكاء الاصطناعي على مجموعات HPC.
تقديم الدعم - كيف يدعم الذكاء الاصطناعي مشاكل HPC الكلاسيكية؟
يمكن استخدام منتجات الذكاء الاصطناعي للتنبؤ بالنتيجة النهائية للمحاكاة دون امتلاك لتشغيل المحاكاة الكاملة كثيفة الاستخدام للمصدر. من خلال استخدام أحد منتجات الذكاء الاصطناعي بهذه الطريقة ، يمكن تضييق متغيرات الإدخال / عوامل التصميم المثيرة للفضول إلى قائمة العملاء المحتملين على الفور وبتكلفة أقل بكثير. يمكن تشغيل هذه المتغيرات المحتملة عن طريق المحاكاة المعترف بها للتحقق من صحة تنبؤ نموذج الذكاء الاصطناعي.
تعد عمليات المحاكاة الجزيئية الكمية (QMS) وبنية الرقاقة واكتشاف العقاقير من الأماكن التي يتم فيها استخدام هذا الإجراء أكثر من أي وقت مضى ، كما أصدرت شركة IBM مؤخرًا عنصرًا يقوم بذلك على وجه التحديد يُعرف باسم مُسرّع التحسين البايزي من آي بي إم (BOA).
كيف يمكن لمتكامل HPC المساعدة في البنية التحتية للذكاء الاصطناعي؟
ابدأ بسؤالين مباشرين ما مدى صعوبة الصعوبة التي أعانيها؟ ما مدى السرعة التي أريد استعادة النتائج الخاصة بي مرة أخرى؟ ما مدى أهمية المعرفة التي يجب أن أجريها؟ كم عدد الأشخاص الذين يتشاركون في المورد المفيد؟
ستمكّن إجراءات HPC من إدارة تعهد الذكاء الاصطناعي إذا كانت مجموعة البيانات الحالية كبيرة ، أو إذا كانت تحديات المنافسة تواجه حاليًا على البنية التحتية من الحصول على مستخدمين مختلفين. إذا كنت تواجه مشكلة حيث ستحتاج إلى تعيين أربع وحدات معالجة رسومات (GPUs) في محطة عمل وهذه معضلة من خلال إثارة عنق الزجاجة ، فأنت بحاجة إلى التشاور مع مُكامل HPC ، مع المعرفة في توسيع نطاق البنية التحتية لهذه الأنواع من أعباء العمل.
قد تقوم بعض المؤسسات بتشغيل أعباء عمل AI على جهاز ضخم أو عدد من الأجهزة المزودة بوحدات معالجة الرسومات وقد تبدو البنية التحتية للذكاء الاصطناعي الخاصة بك أشبه بالبنية التحتية لـ HPC أكثر مما تتصور. هناك مناهج HPC وتطبيق وجوانب أخرى يمكن أن تدعم بالتأكيد تنظيم تلك البنية التحتية. يبدو أن البنية التحتية متطابقة إلى حد ما ، ولكن هناك بعض الطرق الذكية لوضعها والعناية بها الموجهة بشكل خاص في اتجاه نمذجة الذكاء الاصطناعي.
يتم تجاهل التخزين بشكل عام عندما تقوم المؤسسات بإنشاء بنية تحتية لأحمال عمل الذكاء الاصطناعي ، وقد لا تحصل على إجمالي عائد الاستثمار على البنية التحتية للذكاء الاصطناعي إذا كانت الحوسبة الخاصة بك تنتظر حتى يتم تحرير مساحة التخزين الخاصة بك. من المهم البحث عن أكبر إرشادات لتغيير الحجم ونشر دقة التخزين المثالية لمجموعتك.
لا يجب أن تكون التفاصيل الكبيرة دائمًا بهذه الضخامة ، إنها فقط عندما تصل إلى هذا الموقف عندما ينتج عنها أن تكون غير قابلة للإدارة من قبل منظمة. عندما لا تتمكن من الخروج منه ما تريد ، فإنه يصبح ضخمًا جدًا بالنسبة لك. يمكن أن توفر HPC الطاقة الحاسوبية للتعامل مع الكميات الهائلة من المعلومات في أعباء عمل الذكاء الاصطناعي.
المستقبل المنظور
إنه وقت رائع بالنسبة لـ HPC و AI على حد سواء ، حيث نشهد تكيفًا متزايدًا من قبل كل نظام. التحديات هي أكبر من كل يوم عمل فردي ، مع قضايا أكثر حداثة وأكثر تميزًا والتي تحتاج إلى حلول أسرع. على سبيل المثال ، التصدي للهجمات الإلكترونية وتحديد لقاحات جديدة واكتشاف صواريخ العدو وما إلى ذلك.
سيكون من الرائع رؤية ما يحدث لاحقًا في ظروف تضمين بيئات حاوية بنسبة 100٪ في مجموعات HPC ، والتقنيات مثل بيئات Singularity و Kubernetes.
يبدأ المنظمون الآن وظائفهم ويستمرون في العمل حتى يكملوها في النهاية ، الأمر الذي لا يمكن أن يكون ظرفًا رائعًا لبيئات الذكاء الاصطناعي. بالإضافة إلى ذلك ، يشاهد المبرمجون الأحدث مؤخرًا فعالية الوقت الحقيقي وينفذون وظائف بناءً على الأسبقية ووقت التشغيل وسيكونون قادرين على العمل جنبًا إلى جنب مع تقنيات وبيئات النقل بالحاويات مثل Kubernetes لتنظيم الموارد المفيدة المطلوبة.
سوف يصبح التخزين أكثر أهمية من أي وقت مضى للمساعدة في عمليات النشر الضخمة ، حيث يجب تخزين كميات هائلة من الحقائق ، ووضع العلامات عليها ، ووسمها ، وتطهيرها ، ونقلها في كل مكان على الفور. تتطور البنية التحتية مثل تخزين الفلاش والشبكات لتصبح مهمة لتحديك ، جنبًا إلى جنب مع برامج كمبيوتر التخزين التي يمكن توسيع نطاقها حسب الحاجة.
بالتساوي ، سيستمر HPC و AI في التأثير على المؤسسات على قدم المساواة ، وستتطور شراكتهما التكافلية بشكل أقوى فقط لأن مستخدمي HPC المشتركين ومصممي البنية التحتية للذكاء الاصطناعي يعرفون الاحتمال الإجمالي لبعضهم البعض.
Vibin Vijay ، أخصائي حلول الذكاء الاصطناعي ، OCF