AI 반도체

쉽게 말하면, AI 반도체는 인공지능 계산을 빠르고 효율적으로 돌리려고 만든 칩이다. 스마트폰 안의 작은 신경망 엔진부터 데이터센터의 대형 프로세서까지 모두 포함하며, 행렬 계산을 잘하고 같은 데이터를 다시 쓰며 메모리와 오가는 데이터를 줄이도록 설계하는 것이 핵심이다.

1. 개요

AI 반도체는 인공지능 작업을 효율적으로 실행하도록 설계되었거나 선택된 집적회로, 또는 여러 다이를 긴밀하게 묶은 반도체 패키지다. 이 용어는 신경망 엔진이 내장된 휴대폰 프로세서부터 고대역폭 메모리(HBM)와 함께 패키징된 데이터센터용 독립형 프로세서까지 물리 장치를 두루 가리킨다. 흔한 설계는 행렬·텐서 연산, 데이터 재사용, 지원되는 저정밀도 형식, 그리고 가중치와 활성값이 메모리 계층을 오가는 이동을 강조한다.²

이 글은 물리 칩과 제품 구현을 'AI 칩'이라고 부르고, 온다이 엔진, 추가 카드, 서버, 여러 장치로 이뤄진 시스템까지 포함하는 더 넓은 기능 범주는 AI 가속기라고 부른다. AI 칩 하나에 가속 엔진이 여러 개 있을 수도 있고, 가속기 하나가 여러 칩과 호스트 프로세서, 메모리, 네트워크, 펌웨어, 소프트웨어로 이뤄질 수도 있다. 두 용어는 업계에서 겹쳐 쓰이지만 완전히 같은 말은 아니다.

'AI 칩'은 단일하게 표준화된 프로세서 종류가 아니라 느슨한 통칭이다. 그래픽 처리 장치, 주문형 반도체, 재구성 가능 소자, 내장형 신경 프로세서도 AI를 위해 만들어지거나 배치되었다면 해당될 수 있다. 쓸모는 트랜지스터 수나 최대 연산 횟수만으로 판단할 수 없다. 모델 구조, 수치 형식, 메모리 용량과 대역폭, 컴파일러 지원 범위, 지연 시간 목표, 전력 한계, 시스템 구성이 모두 실제 결과에 영향을 준다.^2,3

2. 범위와 용어

제품 자료에서 '칩'이라는 말은 느슨하게 쓰인다. 물리 단계를 나눠 보면 잘못된 비교를 막을 수 있다.

이 문서는 앞의 세 단계에 초점을 맞춘다. 모듈과 시스템은 칩 사양이나 측정 경계를 정하는 데 필요한 범위에서만 다룬다.

여러 명칭은 서로 다르지만 겹치는 속성을 나타낸다. 그래픽 처리 장치(GPU), 주문형 반도체(ASIC), 신경망 처리 장치(NPU), 텐서 처리 장치(TPU), 칩렛 명칭은 서로 다른 축에 놓여 있어서, 이들을 서로 겹치지 않는 칩 종류의 평면 목록으로 취급하면 오해를 부른다. 쓸모 있는 분류는 구현 기반, 프로그래밍 모델, 실행 구성, 물리적 집적, 배치 등급, 대상 작업을 나눠 본다.^2,3

• 신경망 처리 장치(NPU)는 신경망 연산에 특화된 프로세서나 엔진을 가리키는 업계와 제조사의 명칭이다. 특정 명령어 집합, 다이 크기, 전력 등급을 정해 두지 않는다.
• ASIC은 특정 응용 또는 분야를 위해 설계된 회로다. Google의 텐서 처리 장치(TPU)는 머신러닝용 ASIC의 한 이름 붙은 계열이지만, 'TPU'는 표준화 기구가 정한 일반 범주가 아니다.
• FPGA는 제조 후에도 AI 데이터 경로를 구현할 수 있는 재구성 가능 집적회로다. 고정 기능 방식의 밀도와 효율 일부를 내주는 대신 제조 후 유연성을 얻는다.
• 'GPU'는 프로그래밍 가능한 병렬 프로세서 계열을 가리킨다. 최신 데이터센터 GPU는 범용 벡터 또는 스칼라 실행에 전용 행렬 연산 장치를 결합하므로, GPU와 AI 칩은 서로 배타적인 명칭이 아니다.
• '칩렛', '모놀리식', '웨이퍼 스케일'은 물리적 집적 방식을 가리킨다. '시스톨릭', 'SIMD', 'SIMT', '데이터 흐름'은 실행 방식이나 데이터 이동을 가리킨다. 이 가운데 어느 것도 그 자체로 작업 종류나 시장 범주는 아니다.^2,4,5,6

내장형 AI 블록은 CPU 코어, 그래픽, 영상 처리, 미디어, 보안, 입출력과 함께 시스템온칩(SoC)을 이룰 수 있다. 반면 독립형 데이터센터 칩은 연산, 메모리 인터페이스, 칩 간 통신에 훨씬 많은 면적과 패키지 전력을 쓸 수 있다. 배치 제약은 크게 다르지만 둘 다 이 글의 정의에 맞는다.^5,6,7

3. 역사

규칙적인 처리 요소 배열은 현대 신경망보다 먼저 등장했다. H. T. Kung의 1982년 논문은 데이터가 셀 배열을 리듬에 맞춰 통과하는 시스톨릭(systolic) 구조를 설명했다. 이 구조는 이후 행렬 엔진의 구조적 뿌리가 되었지만, 현대 AI 제품 범주가 있었다고 주장한 것은 아니다.⁸

프로그래밍 가능한 그래픽 하드웨어의 성능이 높아지면서 연구자들은 머신러닝 연산을 그래픽 처리 장치(GPU)에 맞춰 옮겨 놓았다. 2009년 Raina, Madhavan, Ng의 연구는 GPU에서 심층 비지도 학습을 수행할 때 작업별로 큰 성능 향상을 보고하면서, 호스트에서 장치로 데이터를 옮기는 비용이 실질적인 부담임을 함께 짚었다. 2012년 AlexNet의 학습은 효율적인 GPU 합성곱 구현을 사용했고, GPU가 딥러닝 연구의 중심 플랫폼으로 자리 잡는 데 기여했다. 이 결과들은 역사적 사례이며 현재 하드웨어와 성능을 비교한 것이 아니다.^9,10

전용 신경망 실리콘도 GPU 흐름과 나란히 등장했다. 2014년에 발표된 DianNao는 어디서나 쓰이는 머신러닝을 겨냥한 소형 가속기 구조를 보여줬다. Google은 2015년 데이터센터 추론용 첫 텐서 처리 장치(TPU)를 배치했고, 2017년에 그 설계를 공개했다. 이 맞춤형 ASIC은 8비트 곱셈-누적 연산을 하는 65,536개 원소의 행렬과 소프트웨어가 관리하는 28MiB의 온칩 메모리를 썼다. 알려진 작업 종류에 맞춰 연산과 메모리 구성을 특화하는 것이 가치 있음을 보여 준 사례다.^4,11

이후 제품은 여러 물리적 방향으로 동시에 확장됐다. 프로그래밍 가능한 GPU에 텐서 연산 장치가 추가됐고, 클라우드 사업자들은 자체 ASIC 계열을 설계했다. 클라이언트 프로세서에는 신경망 처리 장치(NPU)가 통합됐고, 고성능 패키지는 여러 로직 다이와 적층 메모리를 결합했다. 웨이퍼 규모 집적과 메모리 내 연산(compute-in-memory) 연구는 기존의 다이와 메모리 경계를 벗어나는 대안을 탐색했다. 그 결과 하나로 수렴한 칩 구조가 아니라 이질적인 분야가 되었다.^2,3

4. 구조

4.1. 연산 구성

신경망은 곱셈-누적 연산, 축소(리덕션), 비선형 함수, 정규화, 데이터 재배열, 제어를 되풀이해 적용한다. 그래서 조밀한 행렬 곱셈이 두드러지지만, 행렬 배열에 효율적으로 맞지 않는 연산을 위해 벡터나 스칼라 경로도 필요하다. Google의 첫 TPU는 행렬 연산 장치를 다른 실행·메모리 자원과 짝지었다. 퀄컴은 내장형 Hexagon NPU를 스칼라, 벡터, 텐서, 공유 메모리 요소의 조합으로 설명한다.^4,5

설계는 곱셈-누적 장치를 시스톨릭 배열, 공간 처리 요소, 벡터 레인, SIMT 코어 또는 이들의 혼합으로 구성할 수 있다. Eyeriss는 합성곱 신경망을 위해 가중치와 활성값을 국소적으로 재사용하도록 의도된 행 고정(row-stationary) 공간 데이터 흐름을 보여줬다. 이는 하나의 설계 사례일 뿐, 모든 경우에 최선인 데이터 흐름은 아니다. 트랜스포머(Transformer) 어텐션, 추천 모델, 희소 전문가 혼합 구조, 합성곱 신경망, 소형 센서 모델은 서로 다른 연산 형태와 병목을 드러낸다.¹²

4.2. 메모리와 데이터 이동

연산 장치는 데이터가 충분히 빨리 들어올 때만 쓸모가 있다. AI 칩은 보통 레지스터, 국소 스크래치패드나 SRAM, 공유 캐시, 패키지 외부나 내부의 DRAM, 직접 메모리 접근(DMA) 엔진을 함께 갖춘다. 설계자는 어떤 텐서를 고정해 둘지, 어떤 텐서를 처리 요소 사이에서 옮길지, 중간 결과를 어디에 저장할지 고른다. 국소 저장 공간을 키우면 재사용을 높일 수 있지만 다이 면적과 전력을 더 쓴다.^2,12

루프라인(Roofline) 모델은 달성 가능한 성능을 연산 집약도와, 연산 처리량과 메모리 대역폭이 정하는 상한선에 연결한다. 실제 AI 칩에는 대역폭 상한선이 하나 이상 있다. 레지스터, SRAM, 캐시, 고대역폭 메모리, 호스트 메모리, 칩 간 연결의 대역폭이 서로 다르기 때문이다. 한 단계의 용량을 넘는 모델은 더 느린 단계로 옮겨질 수 있어, 명목상 연산 능력이 큰 칩도 활용률이 낮을 수 있다. 따라서 용량과 대역폭을 함께 고려해야 한다.¹³

고성능 패키지는 흔히 인터포저나 다른 첨단 기판 위에서 HBM 스택을 로직 다이 옆에 둔다. 내장형 제품은 면적, 비용, 대기 전력 한계에 맞추려고 통합 메모리 풀을 공유하거나 모바일 DRAM을 쓰는 경우가 많다. 온칩 SRAM 대역폭과 오프칩 메모리 대역폭은 서로 다른 측정값이므로, 기준이 분명하지 않다면 같은 비교 열에 두지 않아야 한다.

4.3. 수치 형식과 희소성

더 작은 수치 형식은 저장 공간, 데이터 이동, 회로 면적을 줄일 수 있다. 칩이 적절한 경로를 구현하면 연산 처리량도 높일 수 있다. 학습에는 보통 누적과 스케일링을 세심하게 다뤄야 하지만, 추론 실행은 더 공격적인 양자화(quantization)를 견디는 경우가 많다. 예를 들어 FP8의 E4M3, E5M2 형식은 특정 학습 조건에서 16비트와 비슷한 결과를 보였다고 평가됐을 뿐, 모든 모델과 과제에서 보장되는 것은 아니다.¹⁴

비트 폭을 절반으로 줄인다고 최고 처리량이 자동으로 두 배가 되지는 않는다. 데이터 패킹, 누적 형식, 텐서 모양, 정렬, 메모리 부담, 컴파일러 지원, 정확한 하드웨어 경로가 모두 영향을 준다. 칩은 밀집 연산과 희소 연산의 최고 성능을 따로 내세우기도 한다. 희소 가속은 고정된 패턴, 메타데이터, 가지치기 절차를 필요로 할 수 있으며, 구조화되지 않은 0이 내세운 경로를 반드시 켜는 것은 아니다. 모델 품질은 선택한 정밀도와 희소성 수준에서 반드시 확인해야 한다.

4.4. 제어, 입출력, 신뢰성

AI 칩에는 스케줄러, 주소 생성기, 동기화 회로, 펌웨어 프로세서, 메모리 컨트롤러, 호스트 인터페이스, 텔레메트리, 오류 검출 장치가 들어 있고, 미디어나 데이터 이동 엔진이 함께 들어가는 경우도 많다. 이 기능들은 단순한 행렬 처리량 계산에는 나타나지 않는 면적을 차지하지만, 쓸 수 있는 장치가 되려면 필요하다.^2,4,5,15

대형 패키지에는 요구 사항이 더 붙는다. 일관성을 유지하거나 명시적으로 관리하는 다이 간 링크, 클록과 전력 분배, 양품 다이(known-good-die) 테스트, 고장 격리, 열 센서, 수리나 중복 설계가 필요하다. 제품은 여러 물리 다이를 하나의 논리 장치로 보이게 하거나, 소프트웨어가 독립적으로 스케줄하는 파티션으로 드러낼 수 있다. 패키징 선택과 프로그래밍 모델은 관련은 있지만 같지 않다.^16,17

5. 학습, 추론, 배포 목표

학습은 순전파 활성값, 그래디언트, 매개변수 갱신을 계산한다. 보통 누적에 맞는 수치 동작, 매개변수와 옵티마이저 상태를 저장할 공간, 병렬 실행을 위한 통신 경로가 필요하다. 추론 실행은 학습된 매개변수로 출력을 만들지만 하나의 균일한 작업은 아니다. 배치 크기, 지연 시간 목표, 시퀀스 길이, 모델 구조, 서빙 정책에 따라 병목이 연산, 메모리, 통신 사이를 옮겨 다닌다.^2,18

자기회귀 트랜스포머에서는 프롬프트 처리와 토큰 단위 생성이 서로 다르게 동작한다. 트랜스포머 추론 실행 연구에 따르면 지연 시간과 처리량 목표에 따라 하드웨어 분할과 배치 선택이 달라진다. 그래서 '추론 실행은 메모리 바운드(memory-bound)다'라는 구호는 보편적인 칩 설계 규칙이 아니다. 대형 배치의 프롬프트 처리는 행렬 연산 장치를 많이 쓸 수 있다. 소형 배치의 디코딩은 반복되는 가중치나 KV 캐시 접근에 제한될 수 있다.¹⁸

이 요구에 따라 배치 대상별로 강조점이 갈린다.

하드웨어와 소프트웨어는 함께 설계된다. 칩에는 드라이버, 펌웨어, 컴파일러 또는 커널 툴체인, 최적화된 라이브러리, 프레임워크 연동, 프로파일링 도구, 호환성 정책이 필요하다. 런타임 시스템은 그래프를 여러 실행 공급자(execution provider)에 나눠 배치하고, 지원하지 않는 연산자가 있으면 CPU로 되돌릴 수 있다. 이론상 효율이 좋은 칩이라도 연산자, 자료형, 텐서 모양 지원이 불완전하면 그 경계를 넘나들며 데이터를 옮기는 데 상당한 시간을 쓸 수 있다.¹⁹

6. 설계·제조·패키징

AI 칩 개발은 피크 연산 목표가 아니라 작업과 제품 제약에서 출발한다. 설계자는 연산자, 텐서 모양, 데이터 재사용, 지연 시간, 정확도, 메모리 사용량, 전력, 비용, 예상되는 소프트웨어 변화를 프로파일링한 뒤 연산 배열, 국소 메모리, 상호 연결, 입출력, 수치 형식, 제어, 결함 관리 기능을 고른다. 하드웨어 기술(HDL) 작성, 검증, 합성, 물리 설계, 타이밍 수렴, 최종 검증은 테이프아웃 전에 파운드리 공정 설계 키트(PDK)를 기준으로 수행한다.

공정 노드는 제조 공정과 설계 규칙을 가리킨다. 현대의 노드 이름은 하나의 직접 비교 가능한 물리 치수에 대응하지 않는다. 인텔의 설명에 따르면 현재 이름은 실제 형상 치수보다 밀도나 성능 변화를 나타내는 표현에 가깝다. 노드 이름만으로는 트랜지스터 밀도, 주파수, 에너지 효율, 수율, 제품 품질을 확인할 수 없다.²⁰

웨이퍼는 시험한 뒤 다이로 잘리는데, 설계가 의도적으로 더 큰 웨이퍼 규모 패브릭을 유지하는 경우는 예외다. 수율은 부분적으로 다이 면적과 결함 밀도에 달려 있다. 작은 다이는 웨이퍼 한 장에서 쓸 만한 조각을 얻을 확률을 높이지만, 다중 다이 설계는 다이 간 인터페이스, 패키지 면적, 조립, 테스트, 더 복잡한 전력과 열 동작의 비용을 치른다. AMD의 MI300 계열은 여러 수직 적층 연산 다이, 입출력 다이, 여덟 개의 HBM3 스택을 내부 패브릭으로 묶은 양산 패키지의 예다.^16,20

칩렛은 설계자가 기능을 섞거나, 여러 제품에서 다이를 재사용하거나, 기능마다 다른 공정으로 제조하게 해준다. UCIe는 패키지 수준의 다이 간(die-to-die) 인터페이스와 프로토콜 스택을 공개 규격으로 정의하며, 명시된 용도에는 단일 레티클을 넘는 시스템인패키지와 여러 칩렛 구성 요소의 혼합이 포함된다. 독자 규격 링크도 흔하다. 인터페이스 표준만으로 임의의 다이를 결합할 수 있다고 보장되지는 않는다. 전력, 클록, 패키징, 펌웨어, 보안, 검증, 열 설계도 서로 맞아야 하기 때문이다.²¹

첨단 패키징은 많은 AI 칩에서 단순한 보호 외피가 아니라 기능의 일부다. 예컨대 TSMC의 CoWoS 계열은 실리콘 또는 재배선층(RDL) 인터포저를 통해 로직과 HBM을 통합한다. NIST는 여러 다이가 하나의 장치처럼 작동할 만큼 촘촘히 조립되면 전력 공급, 열 제거, 테스트, 수리, 신뢰성이 핵심 과제가 된다고 짚는다. 따라서 패키지 수준의 메모리와 상호 연결 성능 향상에는 제조 능력과 검증상의 제약이 함께 따른다.^17,22

웨이퍼 규모 집적은 다른 접근이다. Cerebras는 WSE-3가 46,225mm² 크기의 웨이퍼 규모 장치로, 4조 개의 트랜지스터와 AI 지향 코어 90만 개를 갖췄다고 밝혔다. 이 공급사 사양은 물리적 형태를 보여줄 뿐 일반적인 속도 순위를 뜻하지 않는다. 이 칩은 더 큰 시스템 안에서 쓰이므로, 대표 피크 성능은 작업, 정밀도, 전력, 시스템 경계를 맞추지 않으면 일반 패키지와 직접 비교할 수 없다.²³

7. 대표 칩 계열

다음 예시는 서로 다른 구현 선택을 보여준다. 전체 목록이 아니며 제품 순위를 매기지 않는다. 제품 세대와 출시 여부는 구조적 차이보다 빠르게 바뀐다.

이 예시들은 GPU, ASIC, NPU, 클라우드 칩, 웨이퍼 규모를 하나의 배타적 분류로 묶으면 안 되는 이유도 보여준다. NVIDIA의 장치는 GPU이면서 다중 다이 AI 칩이다. Google TPU, Meta MTIA, Microsoft Maia는 작업과 시스템 목표가 다른 맞춤형 가속기 제품이다. Qualcomm의 NPU는 온다이 하위 시스템이다. Cerebras는 제조와 집적의 경계를 바꾼다.^2,3

8. 실험적 물리 접근

앞서 본 생산 제품은 SRAM과 DRAM 계층을 갖춘 디지털 CMOS 연산을 쓴다. 연구용 장치는 다른 물리적 트레이드오프를 탐색한다. IBM이 주도한 2023년 시연은 아날로그 타일 34개에 걸친 3,500만 개의 상변화 메모리(PCM) 소자, 디지털-아날로그 및 아날로그-디지털 주변 회로, 온칩 메쉬를 사용했다. 연구진은 칩 단위로 지속 가능한 성능이 최대 12.4 TOPS/W라고 보고했고, 음성 인식 모델을 칩 다섯 개에 걸쳐 시연했다. 이때 소프트웨어와 동등한 정확도와 거의 동등한 정확도를 구분했다.²⁶

뉴로모픽 칩은 이벤트 기반 뉴런과 시냅스를 모델링한다. Intel의 Loihi 2는 프로그래밍 가능한 뉴런 모델, 국소 메모리, 비동기 통신, 온칩 학습 지원을 갖춘 연구용 프로세서다. 그 이벤트, 뉴런, 시냅스는 조밀한 부동소수점 텐서 연산과 직접 비교할 수 없다. 아날로그, 메모리 내 연산, 뉴로모픽 결과는 초당 연산 횟수 하나보다 종단 간 과제, 정확도, 주변 회로, 데이터 변환, 프로그래밍 용이성, 제조 성숙도로 평가해야 한다.²⁷

9. 칩 사양 읽는 법

타당한 비교는 물리적 경계와 작업 경계를 먼저 고정하는 데서 시작한다.

피크 TOPS나 FLOPS는 명시된 연산 경로의 능력이지 응용 성능 결과가 아니다. 행렬 엔진은 계층이 너무 작거나, 지원하지 않는 모양이거나, 행렬이 아닌 작업을 하거나, 데이터를 기다리면 충분히 쓰이지 않을 수 있다. 루프라인 모델은 연산과 대역폭 상한을 따져 보는 한 방법이지만, 동기화, 실행 시작 오버헤드, 칩 간 통신, 소프트웨어가 추가 한계를 만든다.¹³

벤치마크 결과는 의도한 작업과 시스템 경계에 맞아야 한다. MLPerf Training은 정해진 품질 목표에 도달하는 시간을 측정하며, 부문과 가용성 범주가 비교 대상을 제한한다. MLPerf Inference는 추상적인 칩이 아니라 완전한 제출 구성을 위해 시나리오와 품질 목표를 정의한다. 여덟 칩 서버의 결과는 설정된 시스템과 소프트웨어 스택에 대한 근거이지 칩 단독 점수가 아니다. 제조사가 발표한 제품 수치도 정밀도, 희소성, 작업, 구성, 측정 방법이 명시되어 있으면 여전히 유용하다.^28,29

전력도 같은 주의가 필요하다. 열설계전력은 공학적 허용 범위이지 추론이나 학습 한 단계당 측정된 에너지가 아니다. 낮은 정밀도는 에너지를 줄일 수 있지만, 활용률이 높아지면 순간 전력도 올라갈 수 있다. 패키지 냉각 능력, 유휴 동작, 메모리, 호스트 프로세서, 네트워크가 칩 수준 효율 개선이 시스템 전체 에너지를 줄이는지를 결정한다.²⁹

10. 산업과 공급망

AI 칩 생산은 특화된 공급망에 의존한다. 구성 요소는 아키텍처와 회로 설계, 재사용 IP와 전자설계자동화(EDA), 반도체 장비와 소재, 웨이퍼 제조, 메모리, 기판과 인터포저, 조립, 테스트, 펌웨어, 시스템 통합이다. NIST는 반도체 공급망이 세계적이고 전문화되어 있으며 상호 연결되어 있고, 핵심 공급자 사이에 지리적 집중이 있다고 설명한다. 따라서 AI 칩을 설계하는 기업도 최첨단 로직, HBM, 첨단 패키징, 제조 장비를 다른 기업에 의존할 수 있다.³⁰

파운드리와 패키징 능력은 서로 다른 제약이다. TSMC의 2025년 연차보고서는 최첨단 로직, CoWoS, SoIC, InFO 등 패키징 또는 적층 기술을 고성능 및 AI 제품을 뒷받침하는 별도 투자로 설명한다. HBM도 메모리 제조와 적층 조립, 옆의 로직 다이와의 통합을 함께 포함한다. 따라서 패키징, 메모리, 기판, 테스트의 부족이나 인증 지연은 로직 웨이퍼가 있어도 제품 공급을 제한할 수 있다.³¹

첨단 컴퓨팅 집적회로는 무역과 보안 정책의 대상이기도 하다. 2026년 7월 28일 연구 기준 시점에서 미국 수출관리규정(EAR)은 지정된 첨단 컴퓨팅 IC, 슈퍼컴퓨터, 첨단 노드 집적회로, 반도체 제조 장비와 관련 당사자 또는 목적지에 대한 통제와 최종 용도 조항을 포함했다. 분류, 기준치, 예외, 허가 정책, 기업 목록은 바뀐다. 제품 이름이나 마케팅 표지만으로 법적 지위가 정해지지 않으므로, 거래에는 현행 공식 규정과 전문 준법 자문이 필요하다.³²

11. 한계와 상충 관계

특화는 선택된 작업에서 처리량, 지연 시간, 에너지, 면적, 비용의 잠재적 이득을 얻는 대신 유연성을 내준다. 고정된 데이터 경로는 모델 연산자, 텐서 모양, 수치 형식이 바뀌면 쓸모가 줄어들 수 있다. 더 프로그래밍 가능한 칩은 커널과 컴파일러를 통해 적응할 수 있지만, 제어, 스케줄링, 범용성에 면적과 전력을 쓴다.^2,3

메모리 용량은 연산 능력만큼 중요할 수 있다. 원하는 정밀도에서 들어가지 않는 모델은 분할, 스트리밍, 축소가 필요하며, 각각 지연 시간과 통신을 바꾼다. HBM을 늘리고 인터페이스를 넓히면 패키지 복잡도, 전력 공급, 열 밀도, 비용이 늘어난다. 칩렛을 늘리면 재사용과 수율이 좋아질 수 있지만 다이 간 트래픽과 조립 위험이 추가된다. 웨이퍼 규모 설계는 일부 패키지 경계를 피하지만, 결함 허용과 특수한 냉각 및 시스템 통합이 필요하다.^2,16,17,23

AI의 모든 단계에 최적인 칩은 없다. 학습, 대화형 생성, 고처리량 서빙, 추천, 비전, 상시 센싱은 각각 유리한 균형이 다르다. 따라서 선택의 기준은 경계가 분명한 장치나 시스템에서, 지원되는 소프트웨어 스택으로 실행해 검증한 작업이다. 이때 속도와 함께 모델 품질과 운영 제약도 측정한다.