英偉達(dá) A100 GPU 登陸亞馬遜云服務(wù)，推理性能比 CPU 快 237 倍

　　11 月 4 日消息 根據(jù)英偉達(dá)官方的消息，在 AWS 運(yùn)行 NVIDIA GPU 十周年之際，AWS 發(fā)布了采用全新 A100 的 Amazon EC2 P4d 實(shí)例。

　　現(xiàn)在已全面上市的全新 AWS P4d 實(shí)例采用最新 NVIDIA A100 Tensor Core GPU。A100 計(jì)算卡采用了 7nm 工藝的 GA100 GPU，這款 GPU 擁有 6912 CUDA 核心和 432 張量核心。GPU 封裝尺寸為 826mm2，集成了 540 億個(gè)晶體管。

　　英偉達(dá)表示，全新的 P4d 實(shí)例，為機(jī)器學(xué)習(xí)訓(xùn)練和高性能計(jì)算應(yīng)用提供 AWS 上性能與成本效益最高的 GPU 平臺(tái)。與默認(rèn)的 FP32 精度相比，全新實(shí)例將 FP16 機(jī)器學(xué)習(xí)模型的訓(xùn)練時(shí)間減少多達(dá) 3 倍，將 TF32 機(jī)器學(xué)習(xí)模型的訓(xùn)練的時(shí)間減少多達(dá) 6 倍。

　　這些實(shí)例還提供出色的推理性能。NVIDIA A100 GPU 在最近的 MLPerf Inference 基準(zhǔn)測(cè)試中一騎絕塵，實(shí)現(xiàn)了比 CPU 快 237 倍的性能。

　　每個(gè) P4d 實(shí)例均內(nèi)置八個(gè) NVIDIA A100 GPU，通過 AWS UltraClusters，客戶可以利用 AWS 的 Elastic Fabric Adapter(EFA)和 Amazon FSx 提供的可擴(kuò)展高性能存儲(chǔ)，按需、可擴(kuò)展地同時(shí)訪問多達(dá) 4,000 多個(gè) GPU。P4d 提供 400Gbps 網(wǎng)絡(luò)，通過使用 NVLink、NVSwitch、NCCL 和 GPUDirect RDMA 等 NVIDIA 技術(shù)，進(jìn)一步加速深度學(xué)習(xí)訓(xùn)練的工作負(fù)載。EFA 上的 NVIDIA GPUDirect RDMA 在服務(wù)器之間可通過 GPU 傳輸數(shù)據(jù)，無需通過 CPU 和系統(tǒng)內(nèi)存，從而確保網(wǎng)絡(luò)的低延遲。

特別提醒：本網(wǎng)內(nèi)容轉(zhuǎn)載自其他媒體，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。本站不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請(qǐng)及時(shí)聯(lián)系我們，本站將會(huì)在24小時(shí)內(nèi)處理完畢。