엔비디아(CEO 젠슨 황)는 12월 15일부터 19일까지 온라인으로 개최되는 GTC 차이나에서 엔비디아 수석 과학자 빌 달리(Bill Dally)가 기조연설을 통해 새로운 AI 연구 프로젝트를 소개했다고 밝혔다. 빌 달리는 기조연설에서 “엔비디아 연구진은 프로그래밍하기 쉬우며 보다 큰 대역폭을 가진 시스템에서 더 빠른 AI 칩을 만드는 방법을 연구하고 있다”고 말했다.

그는 자신이 이끄는 200명 규모의 연구팀이 황의 법칙(Huang’s Law)를 실현하기 위해 어떠한 노력을 기울이고 있는지 세 가지 프로젝트를 통해 설명했다. 황의 법칙은 GPU가 AI 성능을 매년 두 배로 향상시킬 것으로 예측한 젠슨 황(Jensen Huang) 엔비디아 창립자 겸 CEO의 이름을 딴 것이다. 엔비디아에서 AI, 레이 트레이싱, 고속 인터커넥트 분야의 직접적 연구를 돕고 있는 빌 달리는 “황의 법칙은 컴퓨터 성능을 진정으로 향상시키기 위한 중요한 지표가 될 것으로, 해당 법칙은 당분간 지속될 것으로 보인다”고 말했다.

엔비디아 연구진은 시뮬레이션에서 와트당 100테라 연산성능을 제공하는 AI 추론가속기를 생성하는 MAGNet이라는 툴을 개발했다. 이는 기존 상업용 칩보다 훨씬 더 큰 효율을 제공한다.

새로운 기술이 적용된 MAGNet은 칩에서 대부분의 에너지를 소모하는 데이터 이동을 최소화하는 방식으로, 디바이스를 통해 정보의 흐름을 조율한다. 연구 시제품은 모듈형 타일 세트로 구현돼 유연하게 확장 가능하다. 또한, 시스템 내부의 전기 연결을 더 빠른 광학 연결로 대체하기 위해 노력 중이다.

빌 달리는 2009년 엔비디아에 합류하기 전 스탠포드대(Stanford University) 컴퓨터과학과 학과장으로 재임한 바 있으며, 120개 이상의 특허를 보유하고 있다. 그는 “GPU를 연결하는 NV링크(NVLink)의 속도를 두 배로 높이고 이를 또 두 배로 증가시킬 수 있지만, 이는 결국 전기 신호가 다 떨어지게 할 것이다”라고 말했다.

엔비디아 연구진은 통신업체들이 코어 네트워크에서 사용하는 기술을 활용해 수십 개의 신호를 단일 광섬유로 통합하는 방법을 연구하고자 콜롬비아대(Columbia University) 연구원들과 협력하고 있다. 이는 고밀도 파장 분할 다중 방식(Dense Wavelength Division Multiplexing)으로, 칩 측면의 단일 밀리미터 공간에 맞는 링크를 통해 초당 멀티 테라비트 속도를 전달할 수 있는 잠재력을 갖고 있다. 이는 기존 상호연결 밀도의 10배 이상이다.

광학 링크는 더 빠른 처리량 외에도 밀도가 더 높은 시스템을 구현한다. 빌 달리는 그 예로 160개의 이상의 GPU로 구성된 차세대 엔비디아 DGX 시스템의 모형을 기조연설에서 선보였다. 엔비디아 연구진은 소프트웨어에서 레게이트(Legate)라고 불리는 새로운 프로그래밍 시스템의 시제품을 만들었다.

이는 개발자들이 단일 GPU용으로 작성된 프로그램을 수천 개의 GPU로 구성된 셀린(Selene)과 같은 대형 슈퍼컴퓨터와 같은 크기의 시스템에서 실행할 수 있게 해준다. 레게이트는 새로운 형태의 프로그래밍 속기를 가속화된 소프트웨어 라이브러리와 리전(Legion)이라는 고급 런타임 환경을 연결한다. 이는 이미 미 국립연구소에서 실험 중이다

기조연설에서는 이번 세 가지 연구 프로젝트 외에도 헬스케어, 자율주행차, 로보틱스와 같은 다양한 산업을 위한 엔비디아의 도메인 특화 플랫폼도 소개됐다. 빌 달리는 또한 데이터 사이언스, AI, 그래픽을 연구하고 있다. 빌 달리는 “머지않아 엔비디아의 제품은 물리적인 렌더링을 기반의 경로추적을 이용해 실시간으로 놀라운 이미지를 만들며, AI로 전체 장면을 생성할 수 있을 것이다”고 말했다.

그는 엔비디아의 대화형 AI 프레임워크인 자비스(Javis)와 생성적 적대 신경망(GAN)으로 단순한 스케치를 아름다운 풍경으로 만들어내는 툴인 고갱(GauGan)이 결합된 데모를 처음 선보였다. 이를 통해 사용자는 간단한 음성 명령을 사용해 사실적인 풍경을 즉시 생성할 수 있다.

빌 달리는 기조연설을 위한 사전 녹화 사이에 진행된 인터뷰에서 여러 분야에 거쳐 진행된 연구팀의 선구적인 작업에 대한 자부심을 보였다. 빌 달리는 또한 NV링크와 NV스위치(NVSwitch)의 첫 번째 시제품 출시를 주도하기 위한 협력과정을 총괄했다. NV링크와 NV스위치는 오늘날 세계에서 가장 큰 슈퍼컴퓨터의 GPU를 연결하는 상호연결 기술이다.

Copyright ⓒ Acrofan All Right Reserved.