1편에서 AI+HW 2035의 전체 구조와 3계층 공진화 비전을 살펴봤다. 이번 편은 그중 가장 아래 계층인 하드웨어 기술 (논문 3장)을 다룬다.
이 장의 논지는 명확하다. AI 시스템의 제약이 연산 능력에서 데이터 이동·연결성·에너지·시스템 통합·비용(예: 토큰당 달러)으로 옮겨갔다 는 것. 그래서 논문은 설계와 최적화의 단위도 칩 하나가 아니라 랙과 컴퓨트 플릿(fleet, 데이터센터에 배치된 서버 전체) 규모로 넓혀야 한다고 본다.
여섯 개의 핵심 인사이트
논문이 정리한 하드웨어 계층의 핵심 인사이트는 다음과 같다.
- 시스템 수준 제약이 1차 제한 요인이 되었다. 전력 공급, 냉각, 신뢰성, 데이터 이동이 칩 수준 고려사항을 압도한다. 따라서 랙과 컴퓨트 플릿 전체를 아우르는 co-design이 필요하다.
- 데이터 이동이 최우선 병목이다. 메모리 계층과 인터커넥트를 가로지르는 데이터 이동의 에너지 비용이 산술 연산 비용을 훨씬 초과한다. 이것이 희소성, 지역성 인지 모델, 모듈형 실행 같은 알고리즘 기법을 요구하는 직접적 이유다.
- 연결성은 연산만큼 중요하다. 성능 확장이 인터커넥트 대역폭·지연·토폴로지에 점점 더 의존한다. 네트워킹을 부차적 관심사로 두는 대신 연결성-연산 co-design이 필요하다.
- 집적 밀도가 아키텍처를 재편한다. 고밀도 3D 집적과 이종 패키징은 로직·메모리·인터커넥트의 전통적 경계를 무너뜨리고, 평면 시스템에서는 불가능한 새로운 데이터플로를 가능하게 한다.
- 하드웨어는 적응적이어야 한다. 고정 기능 하드웨어는 빠르게 변하는 AI 알고리즘을 따라잡을 수 없다. 재구성 가능하고, 프로그래밍 가능하며, 알고리즘의 진화를 염두에 둔 설계여야 한다.
- AI가 하드웨어 설계를 도와야 한다. 미래 시스템의 규모와 복잡도는 AI 기반 EDA를 필수로 만든다. AI가 미래 AI를 가속할 하드웨어를 설계하는 닫힌 피드백 루프가 형성된다.
네 가지 난제
메모리·데이터 이동 벽
오프칩 메모리 접근이 학습과 추론 양쪽에서 에너지와 지연시간을 지배한다. 게다가 기존의 캐시 기반 계층 구조는 AI의 접근 패턴과 잘 맞지 않는다. 특히 attention과 대형 임베딩 테이블이 문제다. 캐시는 “최근에 쓴 것을 곧 다시 쓴다”는 지역성 가정 위에서 동작하는데, 거대한 임베딩 테이블을 훑는 접근은 이 가정을 배반한다.
연결성 확장의 한계
전기적 인터커넥트는 대역폭 밀도와 에너지 효율 양쪽에서 확장에 어려움을 겪는다. 여기에 네트워크 시작 지연(startup latency)과 프로토콜 오버헤드가 대규모 분산 모델의 실효 활용률을 떨어뜨린다. 네트워크 토폴로지와 AI 데이터플로의 불일치도 성능 손실로 이어진다.
열과 전력 공급
고밀도 3D 스택은 발열 문제를 악화시킨다. 그리고 논문의 표현대로 전력과 열 한계가 이제 AI 성능·확장성·신뢰성을 직접 제한 한다. 열 편차는 신뢰성과 수명 문제로도 이어진다.
설계 복잡도의 폭발
두 가지 측면이 있다. 하나는 하드웨어 시뮬레이터와 평가 도구가 실제 시스템 복잡도를 따라가지 못해 연구 시제품과 배포 가능한 시스템 사이에 검증 격차 가 생긴다는 것. 다른 하나는 설계 공간이 소자·소재·패키징·아키텍처·인터커넥트·소프트웨어에 걸쳐 있어 수동 설계 흐름으로는 효과적 탐색이 불가능하다는 것이다.
일곱 가지 기회
난제의 뒷면이 곧 기회다. 논문이 제시하는 지렛대(leverage point)는 다음과 같다.
- 시스템 중심 설계로의 전환. 데이터 이동, 메모리 지역성, 에너지 비용을 1급 프리미티브로 노출하는 새로운 하드웨어 추상화가 필요하다. 그래야 학습 알고리즘이 추상적인 FLOPs가 아니라 실제 물리적 제약을 직접 다룰 수 있다. 평가 역시 부품 단위 지표에서 종단 간 지표(intelligence per joule, 실제 워크로드에서의 지속 활용률, 열·전력 변동에 대한 견고성)로 옮겨가야 한다.
- 메모리 중심·In-Memory 컴퓨팅. 아날로그·혼성신호·디지털 CIM은 연산을 저장 위치에 붙여 데이터 이동을 근본적으로 줄인다. 논문은 이들이 오늘날 이미 최고 수준의 에너지 효율과 연산 밀도를 제공 하지만 대형 모델로의 확장은 여전히 큰 과제라고 균형 있게 서술한다. 흥미로운 것은 이것이 단순한 효율 개선을 넘어 새로운 알고리즘 추상화를 연다는 지적이다. 근사 연산과 노이즈가 섞인 산술을, 본래 견고하거나 확률적이거나 자가 교정하는 알고리즘이 받아들일 수 있다는 것이다.
- 3D 집적과 이종 패키징이 만드는 새 데이터플로. 로직·메모리·인터커넥트 사이의 물리적 거리가 줄면 세밀하고 대역폭이 풍부한 통신 패턴이 가능해진다. 알고리즘 설계자는 새로운 형태의 공간적·시간적 지역성을 가정할 수 있고, 하드웨어 설계자는 모델 구조에 맞춰 수직 집적 전략을 조정할 수 있다.
- 포토닉스와 광전 연결성. 광 인터커넥트는 거의 거리에 무관한 대역폭과 지연시간을 제공한다. 이는 대규모 모델 병렬화, 분산 attention, 에이전트 간 집단 추론처럼 풍부하고 저지연인 전역 통신을 전제하는 알고리즘 패러다임을 가능하게 한다.
- 연결성-연산-토폴로지 co-design. AI 워크로드의 통신 패턴은 매우 구조적인데 전통적 네트워크 토폴로지와는 잘 맞지 않는다. 토폴로지·라우팅·연산 배치를 AI 데이터플로에 맞춰 함께 설계하면 활용률이 오르고 에너지가 준다.
- AI 기반 설계 자동화. 미래 하드웨어 시스템의 복잡도는 AI 기반 EDA를 “있으면 좋은 것”이 아니라 필수 로 만든다. 학습 기반 설계 도구가 거대한 설계 공간을 탐색하고 계층 간 트레이드오프를 최적화한다.
- 초고밀도 3D IC를 위한 열 스캐폴딩(thermal scaffolding). 스택 내부의 열을 밖으로 빼내는 전용 경로를 구조물처럼 심어 넣는 접근이다. 신규 열 유전체 소재와 열 스캐폴딩 구조가 수직 적층 시스템의 열 확산 개선과 열저항 감소에 중요해진다. 소재 수준의 혁신이 차세대 AI 가속기의 열 설계 여유를 근본적으로 바꿀 수 있다는 관점이다.
여섯 개의 질문과 답
논문 3.3절은 Q&A 형식으로 쟁점을 정리한다. 이 부분이 논문에서 가장 읽기 좋다.
Q1. 하드웨어 혁신이 여전히 AI 발전의 주된 동력인가, 아니면 알고리즘이 앞질렀는가? 둘 중 어느 하나만으로는 불충분하다. 알고리즘 돌파는 점점 더 하드웨어 역량에 의존하고, 하드웨어 이득은 알고리즘의 적응이 뒷받침될 때만 실제 임팩트로 전환된다.
Q2. 미래 AI 하드웨어에서 특화와 범용성이 공존할 수 있는가? 가능하다. 단 계층적·모듈형 설계 를 통해서만 가능하다. 특화 가속기, 칩렛, 아날로그·포토닉 부품을 프로그래밍 가능한 인터페이스와 컴파일러 지원으로 유연한 시스템에 조립해야 한다.
Q3. AI 시스템은 근사와 이질성을 얼마나 견딜 수 있는가? 전통적 컴퓨팅 모델이 가정하는 것보다 훨씬 많이 견딘다. 많은 AI 워크로드는 본질적으로 통계적이어서 노이즈, 낮은 정밀도, 근사 연산을 감내할 수 있다. 견고성 인지 학습, 불확실성 모델링, 적응적 정밀도 같은 기법이 이를 뒷받침한다.
Q4. 하드웨어 설계 주기가 AI 혁신 속도를 따라잡을 수 있는가? 전통적 워크플로로는 불가능하다. 다만 AI-in-the-loop 하드웨어 설계, 생성형 EDA, 재사용 가능한 칩렛 생태계가 설계 주기를 극적으로 단축할 수 있다.
Q5. 하드웨어 계층에서 성공을 어떻게 측정해야 하는가? peak FLOPs 같은 전통적 지표로는 부족하다. intelligence per joule, 종단 간 지연시간, 확장성, 진화하는 알고리즘에 대한 적응성 같은 시스템 수준 성과로 측정해야 한다.
Q6. 사회적·응용적 요구가 하드웨어 우선순위에 어떻게 영향을 주는가? 에너지 효율, 견고성, 실시간 응답성, 엣지 배포 가능성 같은 요구가 하드웨어 설계로 되먹임되어야 한다.
트렌드 예측: 모델 크기·정확도·시간의 3차원
논문 3.4절은 2020–2025년 데이터를 바탕으로 2030년까지를 외삽한 트렌드 분석을 제시한다(Figure 2의 2차원 투영과 Figure 3의 3차원 표현). 여기서 읽어낸 관찰은 세 가지다.
- 모델 크기가 들쭉날쭉해도 정확도는 시간에 따라 꾸준히 개선 된다. 즉 무차별 스케일링을 넘어선 알고리즘·아키텍처 발전에 의한 효율 이득이 존재한다.
- 같은 시점 안에서는 대체로 높은 정확도가 큰 모델과 상관 된다. 현재 파운데이션 모델의 스케일링 법칙이 반영된 결과다.
- 모델 크기 범위를 고정하면 정확도가 시간에 따라 증가 한다. 학습 기법, 데이터 큐레이션, 모델 설계의 발전을 보여준다.
3차원 표현의 실용적 가치는 한 축을 고정하고 나머지 둘의 공진화를 볼 수 있다는 데 있다. 예를 들어 목표 정확도에 도달하는 데 필요한 모델 크기가 시간이 지나며 얼마나 줄어드는가 를 직접 읽을 수 있다.
논문이 이 트렌드에서 끌어내는 결론이 중요하다. 모델 크기라는 단일 축을 최적화하던 국면이 포화에 접근 하고 있으며, 효율·전력·지연시간·비용·배포 가능성이라는 다른 축으로 자연스럽게 무게중심이 옮겨간다는 것이다. 그리고 이것이 축 사이의 트레이드오프가 아니라 모든 축에서 동시에 나아지는 수렴 으로 간다고 본다. 더 작고 더 특화된 모델이 co-design을 통해 더 높은 정확도와 효율을 동시에 달성하는 방향이다.
2035년 전망으로 논문은 실세계 추론의 대부분을 physical AI가 차지 하며, 그것을 가능하게 하는 것은 고효율 소형 모델이라고 예측한다. 여기서 physical AI란 로봇·자율주행차·산업 제어처럼 물리 세계를 직접 감지하고 제어하는 AI를 말한다. 즉 추론의 무대가 데이터센터의 채팅창에서 현장의 기계로 옮겨간다는 뜻이다.
근미래(2–5년) 트렌드
- 양자화와 희소성을 네이티브로 지원하는 도메인 특화 가속기(텐서코어, NPU 등)
- CPU·GPU·NPU를 결합한 이종 컴퓨트 노드. 제어 로직, 밀집 연산, 희소 실행, I/O를 각각 가장 적합한 하드웨어에 매핑
- 더 넓은 인터페이스와 연산에 더 가까이 결합된 HBM 집적
- 3D 패키징과 칩렛 기반 아키텍처. 모놀리식 설계 대비 수율·유연성·출시 기간 개선
- 하드웨어 인지 컴파일러, 자동 튜너, 최적화 연산자 라이브러리. 아키텍처 발전을 실제 효율 이득으로 번역하는 데 필수
- API·중간표현·모델 포맷·연산자 라이브러리, 그리고 보안·프라이버시·provenance(데이터 출처 이력) 사양의 표준화
- 소형 고효율 모델 중심의 엣지·온디바이스 AI
- 빠른 DRAM과 느린 NVRAM·플래시를 결합한 하이브리드 통합 메모리 계층
중장기(6–10년) 트렌드
- 하이브리드 양자-고전 시스템을 통한 양자 가속 AI(최적화, 샘플링, 시뮬레이션 영역)
- 칩 내·칩 간 포토닉·광 인터커넥트. 대역폭 밀도와 에너지 효율에서 자릿수 단위 개선
- 포토닉 가속기와 아날로그-광 하이브리드 컴퓨팅
- compute-in-memory와 아날로그 컴퓨팅의 광범위한 채택
- 연산·메모리·로직의 고밀도 3D 이종 집적
- 기존 CMOS를 넘어서는 신소재·신소자(대량 생산이 가능하다는 전제 하에)
- 클라우드·엣지·디바이스 계층을 가로질러 연산·메모리·통신을 동적으로 관리하는 초확장 분산 AI 시스템
함정과 해법
논문이 꼽는 하드웨어 계층의 함정은 다음과 같다.
| 함정 | 해법 |
|---|---|
| 아날로그·포토닉 시스템의 노이즈·드리프트·캘리브레이션 문제 | 노이즈 인지 학습, 오차 보상 같은 알고리즘적 견고성 기법 |
| 고밀도 3D 집적의 수율·신뢰성 문제 | 임베디드 학습 에이전트를 이용한 적응적 캘리브레이션 |
| 이식성을 제한하는 파편화된 소프트웨어 생태계 | 알고리즘 추상화와 정렬된 모듈형 하드웨어·소프트웨어 인터페이스 |
| 범용성과 재사용성을 해치는 과도한 특화 | 커뮤니티 주도 표준과 개방 벤치마크 |
| 첨단 노드에서 제조된 대규모 AI 시스템의 SDC | 계층 간 신뢰성 모니터링, 오류 검출·정정, 플릿 규모 텔레메트리 분석 |
여기서 Silent Data Corruption(SDC) 을 별도로 짚을 만하다. 테스트를 통과해 출하된 칩에서 조용히 발생하는 데이터 손상은 공격적인 전압 스케일링과 이종 집적 환경에서 점점 커지는 위협이라는 것이 논문의 진단이다. 오류가 눈에 보이는 크래시로 나타나면 오히려 다행이고, 조용히 틀린 값을 내놓는 것이 훨씬 위험하다.
10년 뒤의 성공은 어떤 모습인가
논문이 정의하는 하드웨어 계층의 성공은 이렇다.
- 이종 부품 간의 매끄러운 상호운용. 새 가속기를 소프트웨어 스택 전체를 재설계하지 않고 통합 할 수 있어야 한다.
- 신뢰성이 시스템 규모에 따라 예측 가능하게 확장된다.
- 데이터 이동이 설계 단계에서부터 최소화되고, 연결성이 투명하게 확장되며, 하드웨어가 알고리즘의 진화에 맞춰 적응한다.
- 아날로그·디지털·포토닉·양자 부품이 하나의 통합 시스템 안에서 공존한다.
- AI 기반 설계 자동화를 통해 하드웨어와 알고리즘이 지속적으로 상호 최적화된다.
- 소프트웨어와 컴파일을 통해 빠르게 재특화하거나 구조적으로 재구성할 수 있어, 실리콘을 다시 설계하지 않고도 새 모델·에이전트·물리 세계 워크로드를 배포할 수 있다.
마지막 항목이 사실상 이 장의 결론이다. 하드웨어 수명주기와 AI 혁신 속도 사이의 오래된 간극을 닫자는 것.
실행 제언
- 학계: 소재·소자·아키텍처·알고리즘·EDA를 아우르는 학제 간 연구 주도, 계층 간 상호작용을 반영하는 개방 테스트베드와 벤치마크 개발, 하드웨어와 AI 경계를 넘나드는 인재 양성
- 산업계: 사일로형 최적화 대신 co-design 투자, 경쟁 이전 단계(pre-competitive) 인프라와 표준의 공유, AI 기반 설계 워크플로의 대규모 배포
- 정부: 3D 집적·포토닉스·아날로그 AI·양자-고전 시스템에 대한 장기 연구 지원, 국가 공유 인프라와 개방 플랫폼 지원
- 커뮤니티: 평가 지표를 시스템 수준 효율과 사회적 임팩트로 전환, 재현성·개방성·상호운용성 장려
내 관점에서
반도체 제조 쪽에서 일하는 입장에서 이 장을 읽으면, 논문의 여러 예측이 이미 진행 중인 일의 연장선이라는 점이 눈에 띈다. HBM과 3D 집적, 칩렛, 발열 관리는 향후 10년의 예언이 아니라 지금 현장의 과제다. 이 논문의 기여는 새로운 사실의 발견보다는, 그 개별 과제들이 왜 서로 얽혀 있는지를 하나의 그림으로 배치한 데 있다고 본다. 공저자에 SK Hynix를 포함한 메모리·시스템 업계가 함께 들어가 있는 것도 이 문서의 성격을 잘 보여준다.
개인적으로 가장 흥미로웠던 것은 Q3의 답변이다. AI 워크로드가 노이즈와 근사를 “전통적 컴퓨팅 모델이 가정하는 것보다 훨씬 많이” 견딘다는 관점은, 하드웨어 신뢰성 요구사항 자체를 재협상할 여지를 연다. 지금까지 우리는 연산 결과가 비트 단위로 정확해야 한다는 전제 위에서 공정과 설계를 해왔는데, 그 전제를 완화하면 전력과 면적에서 얻을 것이 크다. 물론 이건 “어디까지 틀려도 되는지”를 정량화할 수 있어야 성립하는 이야기인데, 논문은 견고성 인지 학습이나 적응적 정밀도 같은 대응 기법을 나열할 뿐 그 정량화 방법까지는 다루지 않는다.
반대로 신중하게 볼 부분도 있다. 포토닉스와 아날로그 CIM은 10년 넘게 유망하다고 이야기되어 온 기술이다. 논문이 이들을 6–10년 트렌드로 분류하면서 노이즈·드리프트·전자회로 통합을 “미해결”로 명시한 것은 정직한 서술이라고 본다. 반면 SDC와 검증 격차처럼 지금 당장 손실을 만들고 있는 문제들은 화려하지 않아서 상대적으로 짧게 다뤄졌는데, 현장 관점에서는 이쪽이 더 급한 주제다.
다음 편에서는 알고리즘 계층(논문 4장)을 다룬다. “Attention이 전부인가?”에 대한 저자들의 답, 10–100× 작은 모델의 가능성, 그리고 실제 시스템 가동률이 5–20%에 불과하다는 불편한 진실이 핵심이다.
- 이전: AI+HW 2035 (1) — 왜 지금 intelligence per joule인가
- 다음: AI+HW 2035 (3) — 알고리즘 계층
- 원문: AI+HW 2035: Shaping the Next Decade (arXiv:2603.05225)