『엔비디아』, 기존 GPU 호퍼 대비 성능 5배 향상된『블랙웰』발표 (생성형 AI 최적화)

엔비디아는 미국 현지시각 18일에 ‘GTC 2024’ 행사 기조연설에서 차세대 ‘블랙웰’ 아키텍처 기반 GPU를 발표했습니다. 

젠슨 황 엔비디아 CEO가 소개한 블랙웰 GPU / 엔비디아 GTC 기조연설 중계 영상 갈무리

 

블랙웰은 생성형AI 시대 거대언어모델 환경 최적화되었으며, 이전 세대 대비 최대 다섯 배 성능의 메모리이고

GPU간 연결 등 인프라 전반에서 성능 강화되었습니다. 

‘블랙웰’ GPU는 두 개의 다이를 10TB/s 대역폭으로 연결해 하나의 GPU로 구성했으며, 탑재된 2세대 트랜스포머 엔진은 FP4 형식의 연산을 지원하고 TSMC에서 제조되었습니다. 

또한, 블랙웰은 개당 1040억 개의 트랜지스터를 집적했고, 실제 GPU는 이 2080억개의 실리콘 다이 두 개를 결합해 구성하였다고 합니다. 

이전 세대 ‘호퍼’ 대비 FP8 기반 성능은 2.5배, FP4 사용시에는 5배 향상된 성능을 제공할 수 있습니다. 

‘블랙웰(Blackwell)’은 미국의 통계학자이자 수학자인 ‘데이비드 헤롤드 블랙웰(David Harold Blackwell)’의 이름을 땄다고 합니다.

 

젠슨 황 CEO는 “이제 생성형 AI 시대를 위한 새로운 기준과 구조가 필요하다. 블랙웰 GPU가 지원하는 FP4는 생성형 AI의 토큰 생성과 추론 성능에서 실질적인 성능 향상을 제공할 것이다”라고 밝혔습니다. 

또한, 엔비디아는 GPT-MoE-1.8T 모델을 90일만에 훈련시키는 데 기존에는 호퍼 GPU 8000개와 15메가와트(MW)의 전력이 필요했지만, 블랙웰 GPU는 이를 달성하는 데 2000개 GPU와 4MW 전력으로 충분해 전력 사용량을 75%까지 줄일 수 있다고 소개했다. 이 모델을 서비스하는 데 있어, 최적화된 ‘GB200’ 기반 시스템은 기존 H200 기반 시스템 대비 크게는 30배까지 높은 성능을 제공하며, 이는 GPU 뿐만 아니라 NV링크 성능 향상도 큰 역할을 했다고 덧붙였습니다.  출처 : IT조선(https://it.chosun.com)