Хмарний графічний процесор HPC з NVIDIA Tesla V100 + AWS P3, Google TPU2, & Процесори IBM Power9

Когнітивні обчислення включають елементи штучного інтелекту (AI), глибокого навчання (DL) та машинного навчання (ML), насамперед за допомогою комбінації навчальних нейронних мереж із наборів даних та обробки інформації за встановленими алгоритмами. Десятиліття досліджень у галузі інформатики на міжнародному рівні призвели до значних успіхів у використанні цієї технології на практичних шляхах, наприклад: робототехніка, видобуток даних, розпізнавання мови, автономна або самонавірена навігація автомобіля, відкриття фармацевтики, обробка зображень / відео, управління ризиками, складне системне моделювання, генерування мемів, розпізнавання моделі поведінки клієнтів, рекомендації щодо продуктів у сфері електронної комерції тощо. Нейронні мережі відносяться ще до 1944 року до роботи Уоррена Маккаллоу & Уолтер Піттс (Чиказький університет / MIT), що формує ключові аспекти рухів кібернетики (1940-60-ті роки), коннекціонізму (1980-90-ті роки) та глибокого навчання (2006 р. – теперішній час). Останні розробки в хмарних обчисленнях та дизайні апаратних засобів призвели до того, що ІТ-спеціалісти та корпорації Fortune 500 впроваджували "AI-Перший" стратегія, де такі компанії, як eBay, Uber, SAP, Dropbox, AirBNB, Snapchat, Twitter, Qualcomm, ARM та багато інших, вже вклали великі кошти в запуск живих виробничих додатків. У 2017 році NVIDIA, Google, AWS, IBM, Facebook, AMD та Microsoft зробили основні повідомлення про нову технологію платформи AI / ML / DL, в тому числі вперше зробивши це сучасне обладнання доступним для бізнесу, дослідників та розробників на модель хмарних обчислень для інтеграції з існуючими інструментами веб-хостингу та центрів обробки даних. Ці платформи також дозволяють виконувати функції суперкомп’ютерів у високопродуктивних обчислювальних програмах (HPC), обробляючи їх "великі дані" в режимі реального часу та вирішувати складні математичні, наукові та дослідницькі проблеми завдяки потужності нових дизайнерських чипів GPU / TPU, оптимізованих для потреб ML.


Хмарні процесори HPC w / NVIDIA Tesla V100 + AWS P3, Google TPU2 та IBM Power9 процесори

Кінець закону Мура: посилення конкуренції & Інновації в дизайні мікросхем GPU / TPU

Більшість споживачів вже знайомі з використанням графічних процесорів (графічних процесорних одиниць) та FPU (одиниць з плаваючою точкою) від відео-графічних карт на базі PCI, таких як традиційно виробляються NVIDIA, AMD, & Intel для високих класів робочих станцій ПК та Mac або ігрових автоматів. Графічні процесори та FPU оптимізують математичну обробку з кращими апаратними характеристиками, ніж це забезпечує процесор завдяки поєднанню дизайну мікросхем, функцій материнської плати та інтеграції програмного забезпечення. Більшість мікросхем процесора на нинішніх настільних комп’ютерах та серверах Intel / AMD в даний час базується на архітектурі CISC (Комплексна інструкція набору обчислень) (Sandy Bridge, Ivy Bridge, Haswell, Broadwell, Skylake тощо) з інтегрованими графічними процесорами, а мобільні телефони та планшети комп’ютери в основному використовують RISC (Reduced Instruction Set Computing) архітектуру, ліцензовану ARM. На відміну від цього, нові мікросхеми TPU, розроблені та виготовлені компаніями Google, NVIDIA та IBM для машинного навчання, реалізують мікроархітектуру ASIC (Application Specific Integrated Circuit), яка забезпечує значне підвищення продуктивності в навчанні нейронних мереж, хоча ці мікросхеми значно більше, ніж знайдені процесори. в домашніх та ділових комп’ютерах. Нещодавній приріст попиту на GPU-картки, необхідні для видобутку Bitcoin, побудови автономної мережі транспортних засобів та додатків AI в промисловості, призвів до того, що ціна акцій NVIDIA зросла з приблизно $ 29 на початок 2016 року до більш ніж 220 доларів в кінці 2017 року. успіх прискорювачів графічного процесора Tesla P100 для центрів обробки даних та HPC на основі архітектури Паскаль GPU, NVIDIA випустила GPU Tesla V100 у 2017 році – "світ’перший графічний процесор, який подолав бар’єр на 100 терафлопсів (TFLOPS) для глибокої навчальної продуктивності."

Хмарні процесори HPC w / NVIDIA Tesla V100 + AWS P3, Google TPU2 та IBM Power9 процесори

Microsoft та Amazon.com інвестували значні кошти в апаратне забезпечення Volta для своїх хмарних центрів обробки даних, де корпорації, академічні установи, розробники та програмісти тепер можуть орендувати апаратне забезпечення з підтримкою GPU для програм AI / ML / DL на платформах AWS та Azure. Однак, враховуючи вартість та маржу, пов’язану з придбанням апаратних засобів NVIDIA на найвищих рівнях промислового масштабу, Google визнав економічно вигіднішим інвестувати в розробку власних мікросхем TPU / TPU2 для внутрішнього використання, які вони також зробили доступними для публіки через Платформа TensorFlow. Нещодавній запуск мікросхем POWER9 IBM (який виростав із апаратної екосистеми, яка використовується для розробки та запуску "Ватсон") в першу чергу орієнтований на корпоративний корпоративний бізнес, академічні дослідження та урядові / військові програми AI через використання сервера IBM Power Systems AC922, який може працювати "до шести прискорювачів графічного процесора Tesla V100 на базі вольти NVIDIA в шасі з повітряним або водяним охолодженням."

Хмарні процесори HPC w / NVIDIA Tesla V100 + AWS P3, Google TPU2 та IBM Power9 процесори

"Маючи 640 ядер тензора, Tesla V100 – це світ’перший графічний процесор, який подолав бар’єр на 100 терафлопсів (TFLOPS) для глибокої навчальної продуктивності. Наступне покоління NVIDIA NVLink ™ підключає декілька графічних процесорів V100 до 300 Гб / с для створення світу’s найпотужніші обчислювальні сервери. Моделі AI, які витрачали б тижні обчислювальних ресурсів на попередніх системах, тепер можна навчитись за кілька днів … З’єднавши ядра NVIDIA CUDA® і Tensor Core в єдиній архітектурі, єдиний сервер з графічними процесорами Tesla V100 може замінити сотні товарних процесорів -тільки сервери як для традиційних навантажень HPC, так і AI." Дізнайтеся більше про графічні процесори NVIDIA Tesla V100.

Хмарні процесори HPC w / NVIDIA Tesla V100 + AWS P3, Google TPU2 та IBM Power9 процесори

В даний час AWS, Google і Microsoft Azure на своїх хмарних платформах пропонують продукти машинного навчання як послуга (MLaaS), що дозволяють програмістам негайно розпочати створення додатків на основі провідних наборів інструментів розробки з відкритим кодом та власником AI. Там, де платформи Amazon та Microsoft побудовані на апаратному забезпеченні NVIDIA Volta GPU, Google в даний час пропонує можливість вибору між хмарними серверами на основі TPU2 або Volta. Сервери AWS побудовані навколо екземплярів P2 / P3 (з екземплярами G3 / EG1, доступними для інтенсивних графічних додатків).

  • Amazon ML
  • Amazon SageMaker
  • Azure ML Studio
  • Google Cloud ML Engine

P3-сервери Amazon, які доступні до 8 виділених процесорів Volta 100, працюють в 14 разів краще для машинного навчання, ніж серія P2 на базі прискорювачів Tesla K80 з графічними процесорами NVIDIA GK210. Amazon Sagemaker – це оптимізоване середовище виконання програм із підтримкою декількох платформ глибокого навчання та включає в себе розміщені ноутбуки Jupyter, навчання моделей на основі попередньо встановлених алгоритмів, оптимізованих апаратним забезпеченням, та можливість інтегруватися із сховищем AWS S3 для обробки озера даних. Студія машинного навчання Azure також підтримує ноутбуки Jupyter та розроблена для підтримки мови програмування Python та R. Google Cloud ML Engine працює на TensorFlow і призначений для обробки "великі дані" для зображень, мовлення та відео-додатків або для прискорення вмісту / рекомендацій щодо продуктів, що подаються клієнтам у веб-додатках. Усі ці сервіси можуть наближатися до рівня суперкомп’ютерів для науково-дослідних та дослідно-конструкторських установ, яким потрібно брати контракти на обладнання HPC у обмежений час, дотримуючись підходу до оплати, популярного серед хмарних облікових записів хостингу.

Хмарні процесори HPC w / NVIDIA Tesla V100 + AWS P3, Google TPU2 та IBM Power9 процесори

"Машинне навчання як послуга (MLaaS) – це паралельне визначення автоматизованих та напівавтоматизованих хмарних платформ, які охоплюють більшість інфраструктурних питань, таких як попередня обробка даних, навчання моделей та оцінка моделей, з подальшим прогнозуванням. Результати прогнозування можна поєднати з внутрішньою ІТ-інфраструктурою через API REST." Дізнайтеся більше про ML Amazon, Azure ML, & Google Cloud AI.

Програмісти, що будують нові програми для глибокого навчання для цілей бізнесу або в даний час, мають можливість використовувати ресурси ІТ-спеціальностей, використовуючи хмарні сервіси, які забезпечують розпізнавання мови, розпізнавання зображень, автоматичний переклад, обробку відео, рекомендації щодо вмісту тощо, які можуть бути підключеним до веб / мобільних додатків через RESTful API. IBM зробила "Ватсон" додаток AI-as-a-Service, AWS дозволяє розробникам інтегрувати розпізнавання голосу Alexa в мовленнєві програми нового покоління & Пристрої IoT, в той час як Microsoft має Cortana "бот" сервіс на Azure, який можна використовувати, наприклад, для створення та розміщення чатів для потреб клієнтів. Усі ці компанії пропонують розширені програми когнітивних обчислень, попередньо навчені величезними наборами даних, які малий бізнес може використовувати набагато більш потужні програмні можливості, ніж вони могли б дозволити самостійно розвиватися. Amazon має Lex для автоматичного розпізнавання мови (ASR), Polly для обробки тексту в мовлення, а також висококваліфіковану розпізнавання зображень, транскрипцію відео, переклад мови та інструменти пошуку даних. Microsoft Azure має когнітивні сервіси, доступні за допомогою хмарних API, що включають природну обробку мови (NLP), тоді як GCP має діалоговий потік для чатів, а також провідні в галузі інструменти для перекладу, розпізнавання мови, аналізу зображень та відеоінформації, розроблені з видобутку їх екосистеми веб-властивостей . Можливість доступу до цих інструментів DL / ML на доступній основі та легко вбудовувати функціональні можливості на існуючі веб-сайти чи мобільні додатки за допомогою застарілих даних клієнтів – це один із головних способів, що AI фільтрує в популярні споживчі платформи сьогодні.

Хмарні процесори HPC w / NVIDIA Tesla V100 + AWS P3, Google TPU2 та IBM Power9 процесори

"Volta, яка є публічною дорожньою картою Nvidia з 2013 року, базується на кардинально іншій архітектурі Паскаля, а не на простому усадці. Чіп V100 виготовлений на 12-нм технологічному виробництві Fin-FET TSMC і набирає колосальні 21,1 мільярда транзисторів на 815 мм² матриці. На противагу цьому P100 управляє всього 15,3 мільйона транзисторів на 610 мм² матриці, а останній Titan Xp демонструє лише 12 мільярдів транзисторів на 471 мм² … Комбінація розміру штампів та скорочення процесу дозволила Nvidia збільшити кількість потокових багатопроцесорів (SM) до 84. Кожен SM має 64 ядра CUDA на загальну кількість 5376 – набагато більше, ніж будь-який з його попередників. Враховуючи це, V100 не є повністю включеною частиною, з увімкненими лише 80 SM (найімовірніше, з причин урожайності), що призводить до 5120 ядер CUDA. Крім того, V100 також має 672 тензорних ядра (ТС), новий тип ядра, явно призначений для машинного навчання." Дізнайтеся більше про NVIDIA Tesla V100 GPU.

Хмарні процесори HPC w / NVIDIA Tesla V100 + AWS P3, Google TPU2 та IBM Power9 процесори

Для створення нових додатків для архітектури GPU NVIDIA Volta програмістам необхідно використовувати інструментарій розробки програмного забезпечення CUDA 9. CUDA 9 підтримує мови програмування C, C ++, Fortran і Python, інтегруючись з Microsoft Visual Studio 2017, кланг 3.9, PGI 17.1 & GCC 6.x. За допомогою CUDA 9 програмні програми можуть скористатися перевагою пропускної швидкості нової архітектури NVLINK NVIDD, використовувати NVIDIA Performance Primitive для зображення & обробка сигналів, а також реалізація розширеної підтримки функцій, доступних для cuFFT, cuSOLVER, cuBLAS, & nvGRAPH. CUDA 9 також включає нові алгоритми для нейронних машинних перекладів та операцій моделювання послідовностей за допомогою ядер Volta Tensor. Деякі інші популярні платформи програмування та розробки для побудови додатків для глибокого навчання та машинного навчання, які зараз підтримуються AWS, GCP, & Лазурними є:

  • TensorFlow
  • Кава2
  • Apache MXNet
  • PyTorch
  • Когнітивний інструментарій Microsoft (CNTK)
  • Теано
  • Факел
  • Глуон
  • Керас

У вересні 2017 року Facebook і Microsoft запустили Open Neural Network Exchange (ONNX) як спробу побудувати відкриті стандарти між усіма цими різними рамками розробників для програм глибокого навчання. Дізнайтеся більше про ONNX.

Хмарні процесори HPC w / NVIDIA Tesla V100 + AWS P3, Google TPU2 та IBM Power9 процесори

"Google’s генеральний директор Сундар Пічар дав зрозуміти, що компанія’s стратегія перейшла від “Мобільний Перший” до “AI Перший”. Google’s Cloud TPU набагато стратегічніше, ніж просто доступ до більш дешевої альтернативи GPU. TPU і Google TensorFlow Framework надають компанії’s інженерів та науковців даних – це всеосяжна та оптимізована платформа для підтримки їх досліджень та розробки продуктів. Команди Google можуть потенційно отримати час на ринок, продуктивність та переваги, оскільки вони контролюють як апаратне, так і програмне забезпечення для своїх вдосконалених машинних програм та послуг. ТПУ може навіть забезпечити майбутню платформу для підтримки компанії’s прагнення автономного транспортного засобу. Крім внутрішніх драйверів, Google Cloud може виграти у своїй конкуренції з веб-сервісами Amazon та Microsoft Azure Cloud, пропонуючи апаратне забезпечення з вищою ціною / продуктивністю для проектів розвитку TensorFlow." Дізнайтеся більше про стратегічні наслідки Google TPU2.

Хмарні процесори HPC w / NVIDIA Tesla V100 + AWS P3, Google TPU2 та IBM Power9 процесори

"Керований алгоритм глибокого навчання, як правило, досягає прийнятних показників, що містять близько 5 000 мічених прикладів на категорію, і буде відповідати або перевищувати продуктивність людини при навчанні з набором даних, що містить щонайменше 10 мільйонів мічених прикладів." Дізнайтеся більше про нейронні мережі на TensorFlow.

Хмарні процесори HPC w / NVIDIA Tesla V100 + AWS P3, Google TPU2 та IBM Power9 процесори

"Побудований з нуля для підприємств AI, IBM Power Systems AC922 оснащений двома багатоядерними процесорами P9 та до шести прискорювачів графічного процесора Tesla V100 на базі NVIDIA Volta в шасі з повітряним або водяним охолодженням. Для досягнення найвищої продуктивності, доступної у цих найсучасніших графічних процесорах, система має інтерконект NVIDIA NVLink нового покоління для процесора до графічного процесора, що покращує рух даних між процесорами P9 та процесорами NVIDIA Tesla V100 до 5,6x порівняно з шинами PCIe Gen3, що використовуються в системах x86. Окрім того, що є єдиним сервером з процесором наступного покоління NVLink процесора наступного покоління, це також перший сервер в галузі з PCIe 4.0, який подвоює пропускну здатність PCIe Gen3, до якого в даний час покладено x86." Дізнайтеся більше про процесор IBM POWER9 (P9).

Jeffrey Wilson Administrator
Sorry! The Author has not filled his profile.
follow me