Tom's Hardware가 Apple의 M5 Ultra Mac Studio와 NVIDIA DGX Spark 계열 시스템의 로컬 AI 추론 성능을 비교했다. 27B 규모의 밀집 모델을 돌린 에이전트 작업 시험에서는 Mac Studio가 DGX Spark와 거의 같은 사양의 Dell Pro Precision GB10 한 대의 절반이 안 되는 시간에 작업을 마쳤다. DeepSeek V4.1 Flash 1017 같은 대형 모델에서는 Spark 두 대 묶음이 앞섰고, 어떤 추론 엔진과 실행 설정을 쓰느냐에 따라 결과가 크게 달라졌다.
시험에 쓴 Mac Studio는 36코어 CPU와 80코어 GPU를 갖춘 M5 Ultra 구성이다. 행렬 연산용 Neural Accelerator가 들어 있고, 통합 메모리는 최대 512GB까지 고를 수 있다. 매체가 시험한 구성은 256GB 메모리에 약 1만 2300달러 이상이다. 지금 주문하면 Apple이 배송하기까지 13~15주가 걸리며, 매체는 대기 기간이 2027년 2월까지 이어진다고 적었다.
27B 밀집 모델: Mac Studio가 시간과 전력 모두 앞서
첫 시험은 Artificial Analysis의 AgentPerf-Local이다. 녹화한 추론 기록을 여러 에이전트 작업에 재생해 성능을 재는 벤치마크로, 작업 대부분이 토큰 생성보다 프롬프트 처리에 쓰인다. 그래서 연산 자원이 많은 시스템에 유리하다. 모델은 Qwen 3.8 27B를 썼고, 두 시스템 모두 llama.cpp로 돌렸다. 모델이 자체 지원하는 다중 토큰 예측(MTP)도 양쪽에서 켜 디코딩 속도를 높였다.
사양 차이는 크다. M5 Ultra의 GPU는 80코어로, GB10의 Blackwell SM 48개를 크게 웃돈다. 메모리 대역폭도 Mac이 초당 1.2TB로 GB10의 273GB/s보다 4배 남짓 높다. 다만 Tom's Hardware는 종이 사양과 실제 성능은 다를 수 있다고 짚었다.
결과는 Mac Studio가 단일 DGX Spark 계열 시스템의 절반이 채 안 되는 시간에 시험을 끝냈다. 작업량이 모든 시스템에서 같아 전력도 비교할 수 있었는데, 벽면 전력을 재어 환산한 작업 에너지는 Mac Studio가 약 16% 적었다. 시간과 에너지를 곱한 에너지·지연 곱(EDP)은 Mac Studio가 DGX Spark의 절반에 못 미쳤다. 이는 llama.cpp 기준 결과로, 매체는 다른 추론 엔진을 쓰면 Spark 쪽이 더 나은 결과를 낼 수 있다면서도 같은 조건에서 비교하면 Mac Studio에 매우 유리한 시험이라고 평가했다.
비교 대상으로 Dell 제품을 쓴 이유는 가격이다. 4TB 저장장치를 단 Dell Pro Precision GB10 한 대가 지금 약 1만 달러라서 1만 2000달러대 Mac Studio와 견줄 만하다는 설명이다.
대형 모델: 엔진과 실행 설정이 승패를 갈랐다
256GB 메모리를 채우기 위해 Tom's Hardware는 능력 벤치마크에서 상위권에 있는 오픈 모델 GLM 5.3 Flash와 DeepSeek V4.1 Flash 1017을 골랐다. Mac Studio는 GLM 5.3을 4비트, DeepSeek V4.1 Flash를 Unsloth의 2비트 양자화 버전으로 메모리에 올릴 수 있다. 하지만 128GB짜리 DGX Spark 한 대에는 이 양자화 버전도 들어가지 않아, Dell Pro Precision GB10 두 대를 묶은 클러스터로 시험했다. 이 시험에는 에이전트 작업 전체를 재는 결과가 없고, 프롬프트 처리와 디코딩 성능만으로 에이전트 응답 속도를 가늠했다.
DeepSeek V4.1 Flash에서는 Mac Studio가 불리했다. Apple Silicon에서 쓸 수 있는 추론 엔진이 제한적이어서 llama.cpp를 써야 했고, 2비트 양자화로도 모델 가중치와 추측 디코딩용 보조 모델 DSpark를 함께 올릴 메모리가 모자랐다. 결국 디코딩 가속을 쓰지 못했다. Spark 클러스터는 DSpark와 TensorFold 엔진을 쓰는 실행 설정을 적용했다. Mia's AI Lab이 공개한 커뮤니티 설정이다.
가장 긴 문맥을 처리하는 데 Mac은 10~25분이 걸렸지만 Spark 클러스터는 많아야 5분 안쪽이었고, 디코딩도 TensorFold가 훨씬 빨랐다. Tom's Hardware는 이 모델을 로컬에서 돌린다면 지금은 Spark 두 대가 분명한 승자라고 평가했다.
GLM 5.3 Flash는 Mac에서도 llama.cpp로 DeepSeek보다 훨씬 잘 돌았다. 이 모델의 MTP는 별도 보조 모델이 필요 없어 메모리 부담 없이 디코딩 가속을 쓸 수 있었다. 그래도 프롬프트 처리는 Spark 클러스터가 전반적으로 훨씬 빨랐다. 메모리 대역폭이 높은 Mac은 초당 생성 토큰 수가 더 많았지만, 에이전트 한 차례 전체는 Spark 쪽이 먼저 끝날 가능성이 높다고 매체는 봤다.
Apple Silicon용 TensorFold 설정이 GLM 5.3 Flash에는 있어, MLX 전용 4비트 양자화 모델로 추가 성능도 쟀다. 이 설정을 쓰자 Mac의 프롬프트 처리 시간이 Spark 클러스터에 훨씬 가까워졌고, 디코딩 처리량은 llama.cpp보다 평균 약 3배 빨랐다. 이 비교에서 Spark 클러스터도 GLM 5.3 Flash를 Mia's AI Lab이 만든 설정으로 돌렸다. TensorFold는 DeepSeek를 아직 전혀 지원하지 않는다. Tom's Hardware는 커뮤니티가 코딩 에이전트로 이 하드웨어용 지원을 늘려 DeepSeek V4.1 Flash 1017의 엔진과 설정도 나오길 기대한다고 밝혔다.
가격과 소프트웨어 지원
GB10 계열 가격이 빠르게 오르고 있다. 시험 기간에 Lenovo는 ThinkStation PGX 전 제품을 '곧 출시' 상태로 돌려 놓았다. 4TB SSD를 단 Spark 두 대는 제휴사와 저장장치 구성에 따라 1만 5000달러에서 2만 달러 이상이며, 1만 5000달러 이상을 기준으로 삼아도 Mac Studio 한 대보다 25% 비싸다. Dell 두 대 묶음 2만 달러는 시장 최상단이다. 매체는 D램과 낸드 공급 부족이 심해지면 통합 메모리 시스템 가격이 계속 오를 것으로 예상했다. Apple이 가격을 올리지 않는 한 Mac Studio 한 대가 매력적인 대안이 될 수 있다는 것이다.
소프트웨어 성숙도는 아직 DGX Spark가 앞선다는 것이 Tom's Hardware의 평가다. 커뮤니티 개발이 활발해서 Hugging Face에 새 모델 가중치가 올라오면 곧 실행할 방법이 나온다는 것이다. 단, 메모리 용량에 맞게 Spark를 충분히 묶는다는 전제가 붙는다. 반면 Apple의 MLX 소프트웨어는 모델과 추론 엔진의 선택 폭과 성숙도에서 아직 따라가야 한다고 했다. 매체는 M4 Max Mac Studio 리뷰에서 강조했듯 메모리 대역폭은 추론 성능의 여러 요소 중 하나이며, 성능뿐 아니라 모델 호환성까지 하드웨어와 소프트웨어 전체를 보고 판단해야 한다고 반복했다.
구매 조언은 둘로 갈린다. 빠르고 조용한 CPU와 GPU가 필요한 범용 워크스테이션이면서 로컬 AI도 잘 돌리고 싶고 소프트웨어 지원을 기다릴 수 있다면 Mac Studio를 권했다. 로컬 추론 환경을 만들려고 1만 달러 넘게 지금 쓰는 개인이나 소규모 사무실이라면 Spark 두 대 묶음이 메모리, 연산력, 소프트웨어 지원, 모델 호환성을 갖춰 낫다고 봤다. 원시 성능은 Mac보다 낮지만 그 안정성이 값어치가 있을 수 있다는 평가다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.
이미지
- DGX Spark 후면: USB-C 포트 4개, HDMI, 이더넷 — Daniel Lu ( User:dllu ) / Wikimedia Commons · CC BY-SA 4.0 · 원본 · 크기 조정
