AI의 집주인

Chris Sharp는 Digital Realty의 CTO입니다.

: 데이터 센터와 AI 경제에 모듈화가 중요한 이유

지난 해 대규모 상용 AI, 특히 ChatGPT와 같은 새로운 생성 AI 애플리케이션이 갑자기 등장하면서 이러한 애플리케이션이 상주하는 데이터 센터 시설에 새로운 기술 요구 사항이 적용되었습니다. 이를 지원하는 인프라는 20년 전에 구축되었을 수 있는 시설 내에서 이전보다 더 많은 전력을 소비하고, 더 많은 데이터를 처리하고, 더 많은 대역폭을 사용하게 될 것입니다. 이제 이러한 시설은 경우에 따라 랙당 전력 소비량이 크게 증가할 수 있는 상황을 지원하도록 조정해야 합니다.

대규모 언어 모델과 차세대 워크로드가 컴퓨팅, 네트워킹 및 데이터 센터 설계에 미치는 영향에 대한 7부 기사

이를 달성하는 유일한 방법은 모듈식 설계를 사용하는 것입니다.

데이터 센터는 매우 정적인 개체처럼 보일 수 있습니다. 그들은 일반적으로 외부에 일련의 발전기와 기타 장비가 있는 거대한 벽돌 및 모르타르 건물입니다. 모두 일반적인 일상 조건부터 전기 그리드의 전체 정전에 이르기까지 모든 상황에서 시설이 작동하도록 세심하게 설계되었습니다. 중단. 그러나 현대의 데이터 센터는 결코 정적인 것이 아닙니다. 많은 시설은 처음부터 고도로 모듈화되도록 설계되었으며, 필요한 경우 특정 데이터 센터 층은 네트워크 토폴로지, 공기 흐름 고려 사항 및 물리적 이중화의 변경에 따라 1년에 여러 번 조정될 수 있습니다. 이러한 요구를 촉진하는 요인은 무엇이며 어떻게 충족됩니까?

데이터 센터에서 AI 배포가 널리 확산되는 것은 고객 요구 사항이 얼마나 빨리 변할 수 있는지를 보여줍니다. 작년에만 데이터 센터 운영자가 고객 장비 랙당 평균 10킬로와트의 전력 소비를 계획할 수 있었지만, 그 전체의 다양한 위치에서 점점 더 큰 25, 50, 심지어 100킬로와트 랙 블록에 대한 필요성이 증가했습니다. 동일한 데이터 센터 시설이 여기에 있으며 계속해서 성장할 것입니다. 전통적인 정적 설계에서는 성능, 유지 관리 및 중복성 측면에서 많은 문제가 발생할 수 있습니다.

첫째, 이러한 밀도가 높은 랙은 최고 수준의 효율성으로 작동하기 위해 더 많은 네트워크 대역폭이 필요한 경우가 많습니다. 이는 간과되는 경우가 많으며, 이렇게 밀도가 높은 랙(또는 10개 또는 100개)을 배포한 후 필요한 대역폭을 얻을 수 없는 경우 고객은 매우 불만을 느낄 것입니다.

둘째, 데이터 센터 바닥 전반에 걸쳐 전력 소모량이 고르지 않게 증가하면 이러한 유형의 핫스팟을 수용하도록 설계되지 않은 냉각 시스템에 스트레스를 줄 수 있습니다. 데이터 센터 열의 한쪽 끝에 밀집된 랙이 있으면 반대쪽 끝의 온도가 쉽게 상승할 수 있습니다.

마지막으로, 탄력성 및 중복성 측정은 시설 전반에 걸쳐 특정 전기 부하가 있는 위치와 분산 방식을 기반으로 합니다. 매우 밀집된 장비 클러스터가 한 영역에 추가되는 경우 정적 설계로는 해당 클러스터가 신뢰할 수 있는 발전기 용량으로 충분히 보장되지 않을 수 있습니다.

상상할 수 있듯이, AI 고객에게 이러한 각각의 우려는 AI 장비를 최대 성능 잠재력으로 작동할 수 없는 것에서부터 정전 또는 기타 스트레스가 발생할 경우 원치 않는 가동 중지 시간이 발생할 가능성에 이르기까지 중요한 문제입니다. 지역 전력망. 적응성이 뛰어난 모듈식 설계 프레임워크를 사용하면 모든 연령의 데이터 센터에서 이러한 문제를 해결할 수 있습니다.

첫째, 공간의 용도를 변경하거나 시설 초기부터 추가 네트워크실로 설계하여 더 많은 네트워크 회선, 스위치 및 라우터를 설치하여 시간이 지남에 따라 고객의 네트워크 대역폭을 높일 수 있습니다. 또한, 오버헤드 케이블 트레이를 설계하고 배치하는 모듈식 방법을 통해 데이터 센터 운영자는 고정적이고 유연하지 않은 설계에서 종종 간과되는 연결성을 고객에게 물리적으로 제공할 수 있습니다. InfiniBand와 같은 일부 AI 지원 기술은 크고 무거운 케이블을 사용할 수 있으며, 이는 실제 성능 및 운영 문제를 피하기 위해 모듈식으로만 설치가 가능합니다.