AI 반도체 시장이 급격히 성장하는 가운데, 단순한 연산 속도나 클록 주파수만으로 반도체 성능을 판단하는 기존의 접근 방식은 설득력을 잃어가고 있다. 이동수 네이버클라우드 전무는 최근 자신의 SNS를 통해 “‘전력당 성능’이라는 개념이야말로 반도체의 본질을 꿰뚫는 핵심 지표”라고 강조했다. 그는 전력 효율이 단순한 기술적 요소를 넘어, 실제 서비스 운영 가능성과 국가 전력 인프라에까지 영향을 미치는 구조적 기준이 되고 있다고 지적하며, AI 반도체 설계와 도입에서 반드시 고려해야 할 조건을 제시했다. 


AI 반도체의 진짜 경쟁력은 얼마나 빠르냐가 아니라, 주어진 전력 안에서 얼마나 성능을 낼 수 있느냐에 달려 있다. 이동수 전무는 최근 자신의 SNS에 “‘전력당 성능’이야말로 반도체의 본질을 꿰뚫는 열쇠”라고 강조하며, 이 개념이 왜 중요한지를 역사적·기술적·시장 현실의 맥락에서 상세히 짚었다.

반도체는 기본적으로 전기를 통해 동작하는 부품이다. 전류가 흐르면 필연적으로 열이 발생한다. 이때 발생하는 열은 다시 전류를 증가시키고, 다시 더 많은 열을 발생시키는 ‘열폭주’ 현상을 유발한다. 이 때문에 반도체는 반드시 일정 온도 이하에서만 안정적으로 동작할 수 있다. 따라서 열 설계는 반도체 설계의 전제조건이 된다. 결국, 반도체는 주어진 전력 안에서만 작동할 수 있으며, 이 제한이 제품의 설계와 용도를 결정짓는다. 이동수 전무는 "최대 성능보다도 주어진 전력 안에서 얼마나 성능을 낼 수 있는가가 훨씬 더 현실적인 지표"라며, ‘전력당 성능’이라는 개념이 이 지점에서 출발한다고 강조했다.

2000년대 초반까지 지속됐던 CPU의 클록 주파수 경쟁은 결국 물리적 한계에 부딪혔다. 클록 주파수가 10GHz에 도달하면 칩 표면 온도가 태양보다 높아질 수 있다는 UC버클리와 인텔의 공동 연구 결과는 그 전환점이 됐다. 이후 CPU 설계는 클록 속도를 올리는 대신에 멀티코어 구조, 캐시 확장, 병렬처리 최적화 등 전력 효율 중심의 구조적 혁신이 주도권을 쥐게 됐다. 클록 정체는 이미 20년 가까이 이어지고 있다. 이러한 CPU 속도 경쟁의 종말은 반도체 산업 전반에 ‘속도보다 효율’이라는 방향성을 각인시켰다.

반도체 공정 미세화의 목적도 사실상 동일한 맥락이다. 선폭이 줄어들수록 면적당 트랜지스터 수는 많아지지만, 동시에 누설 전류와 발열 문제가 커진다. 실질적으로 공정이 더 미세화되었더라도 전력당 트랜지스터 수가 줄어든다면 오히려 실효 성능은 후퇴하게 된다. 이동수 전무는 일부 5나노 초기 제품이 오히려 7나노 제품보다 성능이 낮았던 사례를 지적하며, 공정 경쟁의 본질도 결국 ‘전력당 성능’이라는 동일한 축 위에 놓여 있다고 지적했다.

AI 시대의 핵심 부품으로 부상한 HBM(High Bandwidth Memory)도 예외는 아니다. HBM은 수직 적층 구조와 TSV(Through-Silicon Via) 기술을 통해 전송 대역폭과 전력 효율을 모두 확보한 메모리 기술이다. 하지만 HBM3 이후 6.4~8.0Gbps, HBM4에서는 10Gbps 이상을 추구하며 발열 문제가 다시 수면 위로 떠오르고 있다. 

더 빠른 속도를 내려면 I/O 선을 더 많이 연결해야 한다. 이는 패키지 복잡성과 신호 간섭, 비용, 발열 문제를 동시에 심화시킨다. 이동수 전무는 “HBM도 전력당 성능이 정체되거나 역주행할 수 있는 국면에 들어섰다”고 지적했다.

AI 반도체 비교의 기준, 현실 기반 전력당 성능이어야





반도체의 전력당 성능은 중요한 비교 기준이다. 그러나 모든 성능은 사용 시나리오에 따라 달라질 수 있다. 

이동수 전무는 “전력당 성능은 절대적 수치가 아니다. 동일한 반도체라도 사용 시나리오에 따라 효율이 크게 달라지기 때문”이라고 했다.
예를 들어 모바일 프로세서에서는 작은 코어와 큰 코어를 함께 배치해 작업의 특성에 따라 효율적으로 성능을 분배하도록 설계된다. 이러한 구조는 단순히 빠른 연산을 위한 것이 아니라 작업의 성격에 따라 전력당 성능이 최적화되도록 설계된 대표적 사례다. 

이와 같은 관점에서 볼 때, AI 반도체 성능 비교에 있어서 단순히 “엔비디아보다 30% 빠르다”는 식의 발표는 현실을 반영하지 못한다는 게 이동수 전무의 지적이다. 

이동수 전무에 따르면, 실제 AI 서비스를 운영하는 환경에서 이러한 수치가 전혀 체감되지 않는 경우가 많다. 이동수 전무는 “서비스 환경에서 측정해보면 10배, 50배 이상 전력당 성능이 떨어지는 경우도 드물지 않다”고 했다. 그 이유는 비교에 사용된 벤치마크 모델이 너무 단순하거나, 거의 사용되지 않는 서비스 시나리오를 가정했거나, 비교 조건이 명확하지 않기 때문이라는 것이다. 반면 엔비디아는 실제 서비스 기반의 워크로드에 맞춰 칩과 소프트웨어 스택을 통합 설계하고 있으며, 현실 서비스에서는 경쟁사 대비 10~50배, 때로는 300배 이상 효율적인 경우도 있다고 그는 밝혔다. 이런 수치는 서비스 기업은 인지하고 있지만, 대부분의 경우 외부에 공개되지 않는다.

이와 같은 문제는 새로운 GPU가 초대형 모델 기준으로 설계되며, 그에 따라 일정 이상 큰 모델을 운용해야만 전력당 성능의 손익분기점을 넘길 수 있는 구조에서도 반복된다. 그 결과 하드웨어 설계가 서비스 전략을 제약하는 상황이 벌어지고 있으며, 전력당 성능 관점에서는 더욱 신중한 접근이 필요하다는 지적이다.

국산 AI 반도체가 실제 서비스에 채택되기 위해서는

작은 모델이 다시 주목받는 것도 이러한 배경에서다. 추론 능력과 반응 속도, 비용 효율이 중요한 Reasoning AI나 Agentic AI 분야에서는 작고 똑똑한 모델이 오히려 경쟁력을 가진다. LLaMA 이후에는 모델 크기보다 학습 토큰 수를 늘리는 방향으로 스케일링 법칙이 바뀌고 있으며, 이는 AI 반도체의 경쟁 기준도 "가장 큰 모델을 감당하는가"에서 "현실적인 크기의 모델을 얼마나 효율적으로 처리하는가"로 이동하고 있음을 시사한다.

이동수 전무는 이러한 문제의식을 바탕으로, 국산 AI 반도체가 실제 서비스에 채택되기 위해 반드시 충족되어야 할 세 가지 조건을 제시했다. 첫째, 전력당 성능을 실측하고, 검증된 결과를 기반으로 논의해야 한다는 점이다. 둘째, 성능은 단순한 벤치마크 결과가 아닌 실사용 기준에서 투명하고 공정하게 발표되어야 한다. 셋째, 반도체 성능을 토대로 서비스 확장 시나리오를 함께 설계해야 하며, 이는 국가 전력 인프라와도 직결된 사안이라고 강조했다.

그는 지금까지 이 세 가지 조건을 모두 충족한 사례를 단 한 건도 보지 못했다고 했다. 동시에, 수많은 젊은 인재들이 도전하고 있는 국산 AI 반도체 산업이 실질적인 기술 기반 위에서 성장할 수 있도록, 정책 결정자들의 책임 있는 접근과 실행을 촉구했다.