2편에서 하드웨어 계층을 봤다. 이번 편은 AI+HW 2035의 4장, 알고리즘과 패러다임 계층이다.
이 장의 출발점은 다음 주장이다. 알고리즘 혁신은 역사적으로 하드웨어 스케일링에 필적하거나 그것을 능가하는 계단식 효율 이득을 만들어냈다. 순환 구조에서 attention 기반과 state-space 모델로의 전환이 그 예다. 그래서 1000× 효율 목표는 “기존 연산을 얼마나 효율적으로 실행하는가”가 아니라 “어떤 연산이 애초에 필요한가를 재정의하는” 알고리즘 연구 없이는 달성할 수 없다는 것이 논문의 입장이다.
학습과 추론은 서로 다른 문제다
논문이 4.1절에서 강조하는 중요한 구분이 있다. 학습과 추론은 근본적으로 다른 시스템 요구사항 을 갖기 때문에 별개의 co-design 목표로 다뤄야 한다는 것이다.
| 학습(Training) | 추론(Inference), 특히 physical AI | |
|---|---|---|
| 우선순위 | 처리량, 통계적 효율, 최고 정확도 | 밀리초 단위 지연, 결정론적 응답 |
| 에너지 관점 | 긴 시간에 걸친 분할상환 비용 | 엄격한 전력 예산 하의 극단적 효율 |
| 효율의 의미 | 학습 비용 | 작동 수명(충전당 자율 시간), 안전 마진, 열 신뢰성 |
로봇이나 자율주행처럼 물리 세계에서 연속적으로 동작하는 시스템에서는 에너지 효율이 곧 운용 가능 시간으로 직결된다. 그리고 이런 시스템에서 추론 효율을 지배하는 것은 산술 연산 비용만이 아니라 메모리 접근, 센서 융합, 제어 루프 통합, 최악의 경우 실행 시간 보장 이라는 점을 논문은 짚는다. 이미 배포된 자율주행 플랫폼들이 엄격한 지연·전력 제약 하에서 대규모 실세계 추론이 가능함을 보여주고 있으며, 여기서 배울 교훈이 있다는 것이다.
여섯 가지 난제
1. 하드웨어 개발과 모델 설계의 사일로
지금까지 알고리즘, 컴파일러, 물리 플랫폼이 각각 고립되어 최적화되었고, 평가도 peak FLOPs나 대역폭 같은 좁은 부품 단위 지표로 이루어졌다. 논문이 요구하는 것은 데이터 이동·메모리 지역성·에너지 비용을 1급 프리미티브로 노출하는 하드웨어 추상화다. 그 위에서 모델은 혼잡도, 열 상태, 가용 에너지 같은 실시간 하드웨어 텔레메트리에 기반해 정밀도·희소성·분할·배치를 동적으로 조정 할 수 있게 된다.
2. 알고리즘적 무차별 대입과 retrieval 의존
현재 모델은 attention, 벡터 유사도, retrieval을 지배적 프리미티브로 삼는데, 이것이 파라미터 수와 컨텍스트 길이 증가에 따른 비효율로 이어진다. 논문은 인간과 유사한 추상화, 그리고 작은 모델들의 앙상블 같은 대안 아키텍처가 큰 효율 개선을 가져올 수 있다고 본다. 최적화 목표 자체도 FLOPs에서 메모리 트래픽과 데이터 지역성 으로 옮겨가야 한다.
3. 에너지·메모리·인터커넥트 벽
하드웨어 수준에서 에너지가 제한 요인이고, 그 에너지 오버헤드의 주 원천은 칩 내부와 칩 사이의 인터커넥트다. 이것이 메모리 용량과 대역폭을 주요 성능 병목으로 만든다. 근접·In-memory 연산, 2.5D/3D 이종 집적, 광 인터커넥트가 유망한 방향이며, 메모리 효율적 아키텍처로는 Mamba 같은 state-space 모델과 HMT(Hierarchical Memory Transformer, 사람의 감각·단기·장기 기억 계층을 흉내 내 긴 문맥을 요약해 넘기는 구조)가 언급된다.
4. 낮은 활용률과 co-design 격차
이 항목이 개인적으로 가장 인상적이었다. 논문에 따르면 실제 배포 환경에서 시스템은 가동률 5–20% 수준 으로만 동작한다. 그리고 이전 세대에 맞춘 소프트웨어 스택이 완전히 튜닝되기도 전에 새 가속기 칩이 도착한다. 하드웨어를 아무리 잘 만들어도 그 성능의 대부분이 실현되지 않고 있다는 뜻이다.
여기서 논문이 제시하는 기회가 자기개선 시스템 이다. 모델이 최적화된 커널을 생성하고, 컴파일을 안내하며, 시간이 지나면서 하드웨어 활용률을 스스로 개선하는 방향이다. 하드웨어 효율적 아키텍처의 성공 사례로는 FlashAttention, PagedAttention, RadixAttention이 꼽힌다. 셋 다 attention의 수식 자체는 그대로 두고 메모리를 쓰는 방식만 바꿔 큰 이득을 낸 사례다. FlashAttention은 중간 결과를 느린 메모리에 쓰지 않도록 연산을 타일 단위로 묶었고, PagedAttention은 OS의 가상 메모리 페이징처럼 KV 캐시(이미 처리한 토큰의 key·value를 저장해 재계산을 피하는 버퍼)를 조각내 관리했으며, RadixAttention은 요청들 사이에 겹치는 앞부분 문맥의 KV 캐시를 트라이(trie) 구조로 재사용한다.
5. 기가와트급 운영
최적화 대상이 노드 단위가 아니라 GW급 플릿 전체 가 되어야 한다. 스케줄링, 배치, 전력·열·냉각, 전력망 제약까지 포함한다. 목표는 배포 전체에 걸친 와트당 성능과 와트당 정확도다. 인터커넥트와 토폴로지를 인지하는 모델이 워크로드를 인지하는 네트워킹 패브릭과 함께 진화해 동기화·통신 오버헤드를 줄여야 한다.
6. 엣지 제약
로봇과 모바일을 위한 온디바이스 AI는 새로운 하드웨어 혁신(3D 집적, in-memory 컴퓨팅)의 기회인 동시에, 응용별 모델과 특화 하드웨어를 긴밀하게 co-design할 기회이기도 하다.
다섯 개의 질문과 답
Q1. 확장 가능한 AI+HW의 병목은 무엇인가? 에너지 제약, 메모리 벽(용량·대역폭·지역성), 인터커넥트 패브릭 한계, 저활용 인프라, 그리고 적절한 추상화의 부재. 해법으로는 세밀한 in/near-memory 통합, 확장 가능한 3D 메모리, 모델과 하드웨어 양쪽의 설계 공간 탐색 개선, AI 연구·하드웨어 설계·컴파일러 개발 사이의 더 이른 co-design, 그리고 GW급 플릿 최적화가 제시된다.
Q2. 10–100× 작은 모델이 동등한 성능을 낼 수 있는가? 선택된 응용 도메인에 한정하면 가능하다. 경로는 가지치기와 양자화, 명확한 법적·IP 프레임워크를 갖춘 도메인 특화 증류(distillation — 큰 “교사” 모델의 출력을 정답 삼아 작은 “학생” 모델을 학습시켜 능력을 옮겨 담는 기법), 장기 메모리를 도입한 새 아키텍처, 근본적으로 더 효율적인 이종 하드웨어, 하이브리드 배포 전략이다.
논문은 여기에 흥미로운 생태계 관점을 덧붙인다. 정부가 후원하는 커뮤니티 기반 노력으로 증류를 명시적으로 허용하는 대형 “교사(teacher)” 모델을 학습 시키고, 효율·지연·프라이버시가 중요한 곳에는 소형 모델을, 품질이 최우선인 곳에는 대형 모델을 배치하며, 로컬 모델들이 협력하면서 필요할 때만 대형 모델을 호출하는 멀티 에이전트 시스템을 구성하자는 것이다.
Q3. Attention이 전부인가? 아니다. Attention은 LLM에 중심적이지만 보편적이지는 않다. 합성곱, SSM(State Space Model), 확산 모델도 중요하다. 논문은 오늘날 LLM 추론이 방대한 파라미터 수와 컨텍스트 길이 증가에 따른 KV 캐시 트래픽 때문에 대체로 메모리 바운드 라는 점을 짚는다. 슬라이딩 윈도·희소 변형, 캐시 공유, 장기 메모리 활용이 도움이 되지만 산술 강도(arithmetic intensity)의 추가 개선이 여전히 관건이다. 하드웨어는 FLOPs만이 아니라 재구성 가능한 저수준 프리미티브와 메모리 활용도 개선 을 강조해야 한다는 결론이다.
여기에 덧붙는 방법론적 경고도 눈여겨볼 만하다. 객관적이고 과업에 적합한 지표를 쓰고, 상관관계를 인과관계로 혼동하지 말라 는 것이다.
Q4. 이상적인 하드웨어 아키텍처는 무엇인가? 이종적이고, 대규모 병렬이며, 메모리 중심인 시스템이다. 구체적으로는 3D 적층 확장형 메모리와 긴밀히 결합된 에너지 효율적 코어, small-world 네트워크 모델을 따르는 밀집 지역 연결 + 희소 전역 연결, 고대역폭 전역 통신을 위한 광 링크, 유연성을 위한 재구성형 패브릭, 그리고 표적화된 양자 컴퓨팅 활용이다. small-world 네트워크란 가까운 이웃끼리는 촘촘히 연결하되 멀리 있는 노드와는 드문드문 지름길만 두는 구조로, 적은 배선으로도 임의의 두 지점 사이 거리를 짧게 유지한다. 논문은 이런 시스템이 배포 복잡도, 소프트웨어 스택 통합, 플릿 수준의 전력·설비투자 트레이드오프까지 함께 풀어야 한다고 덧붙인다.
Q5. 최우선 연구 과제는 무엇인가? 다섯 가지가 꼽힌다. (1) 인간의 의도와 기계의 실행을 잇는 Human-AI Interaction(HAI), (2) AI 알고리즘·시스템·칩·설계 워크플로의 계층 간 co-design, (3) 양자 오류정정 디코딩과 컴파일을 포함한 AI 지원 양자 컴퓨팅, (4) 에이전트 오케스트레이션을 갖춘 AI 기반 칩·시스템 설계 자동화, (5) 모델이 최적화 커널을 생성하고 자신의 인프라를 지속적으로 개선하는 자기개선 시스템.
일곱 가지 미래 트렌드
- 수렴형 이종 스택. 고전 연산, AI 전용 밀집 연산, 재구성형 패브릭, 양자 컴퓨터가 통합되고, 고밀도 지역 3D 연산-메모리 위에 광 전역 링크가 얹힌다.
- 연산-메모리 수렴. in/near-memory 연산, 3D 적층, 메모리 중심 데이터플로가 주류가 된다. 이는 새로운 프로그래밍 모델, 열 인지 설계, 지역성에 최적화된 하이브리드 아날로그-디지털 부품을 요구한다.
- 대형-소형 모델의 공생. 대형 모델은 증류의 원천이자 추론의 발판(scaffold) 역할을 하고, 소형 언어 모델(SLM)이 엣지와 임베디드 기기에서 효율적으로 동작한다. 도메인 튜닝된 SLM이 개방 프런티어 교사 모델에서 증류되고 멀티 에이전트 프레임워크가 이를 조율한다.
- 기계론적 이해가 특화를 이끈다. 해석가능성 연구가 모델 내부의 연산 표현 방식을 밝히면, 그 지식이 특화된 자료구조와 도메인 최적화 커널로 번역된다. 나아가 하드웨어 명령어로 직접 컴파일 되어, 성능과 안전성 양쪽에 대해 커널을 자동 생성하고 형식 검증하는 것이 가능해진다.
- 자기 최적화 파이프라인. 스스로 스케줄링하고, 커널을 합성하며, 하드웨어와 공진화하는 모델이 등장한다. AI가 생성하고 AI가 검증한 커널이 표준이 되어 다양한 백엔드에 걸친 성능 이식성과 정확성을 보장한다.
- 엇갈리는 프라이버시 태세. 엄격한 온디바이스 추론과 보안 클라우드 실행으로 생태계가 양분되며, 이중 트랙 도구와 배포 전략을 낳는다.
- 탈중앙화·에이전트 중심 AI 시스템. 단일 추론 엔드포인트 대신, 엣지 기기·로봇·가상 환경·디지털 트윈에 걸친 반자율 에이전트 집단 이 희소한 통신과 공유 추상화를 통해 협조하는 형태다. 오케스트레이션, 일관성, 보안, 에너지 효율에서 새로운 과제를 낳지만 복원력·확장성·지역성의 이점이 있다.
함정과 해법
| 함정 | 해법 |
|---|---|
| 서비스-시스템-하드웨어로 파편화된 계층 사이의 “닭이 먼저냐 달걀이 먼저냐” 문제 | 의도적인 계층 간 협업, 서비스 제공자·시스템 설계자·SoC/메모리 벤더 간 수직적 공동 투자 |
| 이질성이 만드는 소프트웨어 부담과 플릿 수준 트레이드오프, 그리고 “모든 것은 GPU다”라는 브랜드 관성 | 공통 중간표현(IR)과 그래프 컴파일러, 이식성 계층, 검증 툴체인 개발. 데이터플로 패턴·메모리 집약도·인터커넥트 특성 같은 실제 아키텍처 속성을 드러내는 공시 표준 수립 |
| 증류를 가로막는 법적·IP·데이터 장벽 | 개방 데이터 트러스트, 정부 지원 라이선싱, provenance(데이터 출처 이력)·컴플라이언스 체계, 증류를 명시적으로 허용하는 개방 교사 모델에 대한 지원 |
| 노이즈·확장성·통합 복잡도로 인한 양자 에너지·제어 문제 | cryo-CMOS 제어와 분산 극저온 설비 투자, HPC/GPU 클러스터와 양자 프로세서의 병치 |
두 번째 항목의 “everything is a GPU”라는 표현이 특히 날카롭다. 실제로는 아키텍처가 크게 다른 시스템들이 시장에서 하나의 범주로 묶여 소통되는 현실을 지적한 것이다.
10년 뒤의 성공은 어떤 모습인가
논문이 제시하는 알고리즘 계층의 성공 지표는 정량적이라 인용하기 좋다.
- 인간의 의도로부터 복잡한 과업을 신뢰성 있게 수행하는 시스템 (HAI의 실현). 품질·지연·에너지·비용·활용률을 아우르는 재현 가능한 다중 지표 평가가 전제된다.
- 종단 간 에너지 효율 100× 이상, 지속 클러스터 가동률 60% 이상, 기가와트 규모에서 최적화. 앞서 본 현재 5–20%와 대비하면 이 목표의 무게가 느껴진다.
- 완전히 상호운용 가능한 이종 시스템. CPU, GPU, 성긴 입도의 재구성형 패브릭(CGRA, coarse-grain reconfigurable array — 게이트 단위로 재구성하는 FPGA와 달리 연산기 단위로 배선을 바꾸는 구조), 도메인 특화 ASIC, 그리고 필요한 경우 양자 컴퓨터를 통합하고, 기본적으로 메모리 중심이며, 전역 계층에 광 네트워킹을 쓰는 스택.
- 허용적 라이선스의 개방 교사 모델에서 증류된 도메인 튜닝 SLM 생태계. 멀티 에이전트 프레임워크를 통해 클라우드 LLM과 협조한다.
- 자기개선 AI-for-chips 파이프라인. 예측 가능한 PPA(Power·Performance·Area, 칩 설계의 3대 지표)와 함께 실리콘 설계 주기를 3배 이상 단축 하고, 기계론적으로 정보를 갖춘 성능 이식 가능한 검증된 커널을 산출한다.
실행 제언
- 학계: 무차별 대입을 넘어서는 추상화 중심 학습 패러다임(구성적 추론, 프로그램 유사 중간표현, 계획 모듈)에 집중. 압축·시스템 성과와 연결된 기계론적 해석가능성 발전. small-world 연결 토폴로지를 갖는 in/near-memory 3D 집적 아키텍처 추구. 객관적이고 과업에 근거한 지표 구축
- 산업계: 메모리 중심 시제품, 증류 가능한 파운데이션 교사 모델, 통합 최적화 툴체인에 공동 투자. A2A(Agent2Agent, 에이전트끼리 서로를 발견하고 작업을 주고받는 프로토콜)나 MCP(Model Context Protocol, 모델이 외부 도구·데이터에 접근하는 규약) 같은 에이전트 상호운용·자원 선택 프로토콜의 표준화. 활용률·효율 텔레메트리 공개
- 정부·표준화 기구: DARPA 방식의 SLM 챌린지 개시, 명시적 증류 권한을 갖는 개방 프런티어 모델 지원, IP 라이브러리와 PDK 접근 중개, 개방 테스트베드 지원, 에너지 효율 조달 목표 설정
- 커뮤니티: 메모리·retrieval 집약 워크로드를 위한 공유 데이터셋과 벤치마크 커널 구축, 답변당 에너지 소비의 체계적 추적, 재현 가능한 다중 지표 보고, 실제 제약 하에서 시스템이 모델·자원·컨텍스트를 스스로 선택하는 에이전트 평가 개발
내 관점에서
이 장에서 가장 오래 붙들고 있었던 숫자는 가동률 5–20% 다. 1000× 목표를 이야기하기 전에, 이미 가진 하드웨어의 80% 이상이 놀고 있다는 뜻이다. 그리고 이건 새 칩을 만들어서 푸는 문제가 아니라 스케줄링과 배치의 문제다.
스케줄링·디스패칭을 다루는 입장에서 보면 이 대목이 익숙하다. 제조 현장에서도 설비를 더 사는 것보다 있는 설비를 잘 돌리는 쪽의 투자수익이 훨씬 좋은 구간이 있다. 논문이 말하는 “GW급 플릿 최적화”는 대상이 장비 대신 GPU일 뿐, 문제 구조는 이질적 자원 위의 제약 있는 할당 문제로 같다. 전력·열 제약이 실시간으로 변한다는 점에서는 오히려 fab의 설비 상태 제약보다 더 동적이다. 이 영역에 학습 기반 스케줄링을 적용할 여지가 크다고 본다.
Q5에서 최우선 과제로 HAI가 첫 번째로 꼽힌 것도 눈에 띈다. 에이전트가 스스로 모델과 자원을 고르는 시대에는 사람의 역할이 “직접 실행”에서 “의도 명세와 감독”으로 옮겨간다. 그렇다면 사람이 의도를 표현하는 인터페이스와, 에이전트가 무엇을 왜 선택했는지를 설명하는 방식이 시스템 설계의 핵심 요소가 된다. 이건 성능 문제가 아니라 인터페이스 설계 문제이고, 지금 업무 자동화 에이전트를 만들면서 매번 부딪히는 지점이기도 하다.
한편 “자기개선 시스템”에 대해서는 논문의 낙관을 조금 덜어내고 읽었다. 모델이 커널을 생성하고 스스로 검증한다는 그림은 매력적이지만, 검증의 기준을 누가 정하는가라는 문제가 남는다. 논문 스스로도 “human-in-the-loop 사인오프”를 성공 조건에 넣어둔 것은 이 한계를 인식하고 있다는 신호로 보인다.
다음 편에서는 응용과 사회적 영향(논문 5장), 그리고 실행 제언(6장)을 다룬다. 전력 위기, 파일럿의 5%만 재무 성과로 이어진다는 채택 격차, 1000×를 어떻게 쪼개는지가 핵심이다.
- 이전: AI+HW 2035 (2) — 하드웨어 계층
- 다음: AI+HW 2035 (4) — 전력 위기와 실행 제언
- 원문: AI+HW 2035: Shaping the Next Decade (arXiv:2603.05225)