성능과 평가
Microsoft, 실제 고객 데이터 없이 Copilot 평가하는 합성 기업 환경 공개
Microsoft가 고객 데이터를 쓰지 않고 Copilot을 평가하는 합성 기업 환경 생성 플랫폼을 소개했다. 제약·자본시장·IT 3개 업종 환경을 만들었고 품질 점수는 39% 올랐다고 밝혔다.
성능과 평가
벤치마크 점수와 모델 평가 결과를 다룬 소식입니다.
Google성능과 평가
Gemini 4 Carbon, AA 지능지수 59점으로 1위 올라 Claude 앞서
Google의 Gemini 4 Carbon이 Artificial Analysis 지능지수 v5.0에서 59점으로 전체 1위에 올랐다. Claude Opus 5.5(58점)와 GPT-6 Astra(57점)를 앞섰고, 과제당 비용은 Opus 5.5보다 약 23% 낮았다.
성능과 평가
LLM 행동 여러 개를 동시에 조절하는 직교 조향 기법 논문 공개
추론 시점에 LLM의 행동 특성 여러 개를 간섭 없이 함께 조절하는 직교·매개변수화 조향 기법을 다룬 논문이 arXiv에 올라왔다. 조향 강도를 일관되게 해석하도록 만든 것이 특징이다.
성능과 평가
SimpleLoRIF, 안전성 해치는 학습 데이터 20% 걸러 공격 성공률 최대 22% 낮춰
연구진이 겉보기에 무해한 지시 학습 데이터 중 안전성을 떨어뜨리는 예시를 기울기로 찾는 SimpleLoRIF를 내놓았다. 이 방법으로 Tulu 3의 20%를 덜어낸 SafeTulu는 GCG 공격 성공률을 최대 22% 낮췄다.
성능과 평가
무라벨 RLVR 붕괴, 문제 수와 공유 파라미터 결합이 원인
정답 라벨 없이 다수결 보상으로 학습하는 RLVR이 결국 붕괴하는 원인을 분석한 논문이 2026년 10월 27일 arXiv에 올라왔다. 문제가 많을수록 과제 간 결합이 오류를 증폭한다는 이론과 실험 결과를 담았다.
성능과 평가
동결 MoE 모델 하나로 복수 풀이 문제 2배로, ACR 연구
한 연구팀이 가중치를 고정한 전문가 혼합 모델에서 병렬 풀이마다 전문가 사용 범위를 달리해 서로 다른 풀이법을 늘리는 Agent-Conditioned Routing을 제안했다. 수학·물리 126문항 벤치마크에서 복수의 주된 풀이법이 나온 문제 수가 가장 강한 온도 설정 대비 GLM 5.3에서 약 2배, GPT-5.6 Sol에서 1.67배였다.
성능과 평가
LG유플러스, 스마트폰 AI 논문 2편 NeurIPS 워크숍 채택
LG유플러스가 스마트폰용 AI 토큰 최적화 논문 2편을 NeurIPS 2026 워크숍에 채택시켰다. 통화용 sLM은 처리 속도가 약 4.5배 빨라지고 배터리 소모가 약 77% 줄었다고 회사는 밝혔다.
성능과 평가
MoE 디코딩, 보정 없이 Top-k로 채널 선택…가중치 기반 리더는 읽기 17.8%로 정확도 98.1% 유지
소량 배치 디코딩에서 전문가 혼합 모델의 메모리 읽기 부담을 줄이는 채널 선택 기법이 arXiv에 공개됐다. 보정 데이터 없이 Top-k로 채널을 고르며, 모델 가중치만으로 만든 리더는 라우팅된 전문가 읽기의 17.8%만으로 전체 모델 정확도의 98.1%를 유지했다고 밝혔다.
성능과 평가
CoS-VQ, LLM 가중치 양자화에서 QTIP·LLVQ보다 높은 성능 보고
공유 스케일 벡터 양자화 기법 CoS-VQ가 제안됐다. 논문은 Qwen3.8-27B에서 평가한 언어 모델링·코딩·추론 벤치마크에서 QTIP과 LLVQ를 앞섰다고 밝혔고, 재현용 코드는 GitHub에 공개됐다.
성능과 평가
스킬 최적화기, 에이전트 성공률 0.1%p 상승에 그쳐 입력 토큰은 16% 증가
arXiv에 공개된 논문이 스킬 최적화기 3종을 이분 귀속 분석(BiPA)으로 재검토했다. 학습된 스킬은 사람이 쓴 초기 스킬과 성공률이 비슷했고, 입력 토큰만 약 16% 늘었다.
성능과 평가
ConCal, 에이전트 강화학습 행동 가치 보정해 WebShop 성공률 5.86%p 향상
연구진이 장기 과제 에이전트 강화학습에서 롤아웃에 이미 있는 후속 경로 정보를 공유해 행동 가치를 보정하는 ConCal을 제안했다. Qwen2.5-1.5B-Instruct로 GiGPO보다 ALFWorld에서 3.39%p, WebShop에서 5.86%p 높은 성공률을 기록했다.
성능과 평가
결정 모델 신뢰도 캐스케이드, 일부 유형서 gpt-6-sol 비용 1~3%로 맞먹어
결정 모델을 환각 판정자로 쓰는 방법을 시험한 논문이 2026년 10월 27일 공개됐다. 최고 단일 결정 모델은 일부 유형에서 생성형 판정자 gpt-6-sol과 비슷했지만 논리·지시 불일치에서는 뒤처졌고, 신뢰도 캐스케이드는 세 유형에서 비용 1~3%로 gpt-6-sol과 같거나 나은 성능을 냈다.
성능과 평가
LiveSearch, 금융 검색 에이전트를 매일 새 정답으로 채점하는 벤치마크 공개
LiveSearch는 질문을 실행 가능한 검증 코드로 저장해 평가 시점의 금융 데이터로 정답을 다시 계산하는 벤치마크다. 일반 웹 검색 조건에서 모델 6종의 정확도는 70.9~76.7%였다.
성능과 평가
MLE-World, 코드 실행 없이 ML 실험 결과 예측해 AI 연구 에이전트 탐색 비용 줄인다
연구팀이 Qwen3.5-4B를 미세조정한 MLE-World를 제안했다. 학습을 돌리지 않고 코드만으로 실행 결과를 예측하며, 17개 과제의 held out 프로그램에서 77.9%의 일치율을 보였다고 밝혔다.
성능과 평가
Muon에 샤프니스 인식 적용한 MoMuSAM 제안, 추가 기울기 계산 없앴다
연구진이 행렬 인지 옵티마이저 Muon에 샤프니스 인식 최소화를 결합한 MuSAM과, 모멘텀을 섭동 방향으로 쓰는 MoMuSAM을 arXiv에 공개했다. MoMuSAM은 추가 기울기 계산을 없애고 섭동 노이즈를 줄였다고 주장한다.
성능과 평가
SimplexLoRA, 미세조정 중 LoRA 랭크 자동 배분하는 기법 제안
SimplexLoRA는 미세 조정 초반의 짧은 준비 단계에서 어댑터별 중요도를 학습해 랭크를 나눠 주는 LoRA 변형이다. 전체 매개변수 예산과 추론 비용은 늘리지 않으며, 12개 과제에서 표준 LoRA와 같거나 나은 결과를 냈다고 연구진이 밝혔다.
성능과 평가
DistilGPT-2 증류 연구, 이름 찾기 회로는 붕괴하고 크기 비교 회로는 살아남아
GPT-2와 6층 학생 모델 DistilGPT-2를 비교한 기계적 해석 연구에서 간접목적어 식별 회로는 완전히 무너졌고, 크기 비교 회로는 층을 옮겨 보존됐다. 연구진은 평균 지표만으로는 회로가 유지되는지 알 수 없다고 지적했다.
성능과 평가
GPT-2 가지치기 실험, 정확도 17.7% 모델의 퍼플렉서티가 무작위 헤드 가지치기보다 낮아
GPT-2를 가지치기한 연구에서 출력 지표가 멀쩡해 보여도 내부 회로가 망가질 수 있음이 확인됐다. 연구진은 회로 단위 인과 분석을 압축 모델 평가에 보완 수단으로 쓰자고 제안했다.
성능과 평가
DPO가 매개변수를 조금만 바꾸는 이유, NTK 가정 아래 이론으로 설명 시도
arXiv에 공개된 논문이 직접 선호 최적화(DPO)의 희소한 업데이트를 신경 탄젠트 커널(NTK) 선형화로 분석했다. GPT-2 실험에서 DPO는 지도 미세 조정보다 과제 간 간섭을 최대 35배 줄였다.
성능과 평가
EnergyCal, 희소 MoE 학습의 손실 급등 부담 99.51% 줄이는 기법
EnergyCal은 Muon 계열 옵티마이저로 희소 MoE를 학습할 때 생기는 손실 급등을 줄이는 규칙이다. 40억 매개변수 모델 실험에서 임계값을 넘는 급등의 평균 부담이 낮은 학습률 MuonH 설정보다 99.51% 적었다고 연구진이 밝혔다.
성능과 평가
Guided-RLVR, 안내 토큰으로 추론 학습의 탐색 폭 넓힌다
Guided-RLVR는 검증 가능한 보상 강화학습에 가벼운 제어기를 붙여 추론 경로의 쏠림을 줄이는 방법이다. 수학과 코드 생성 벤치마크에서 기존 방식보다 성능이 높았다고 연구진이 밝혔다.
성능과 평가
모델 한 쌍으로 만든 DPO 데이터, 여러 모델 데이터보다 성능 낮아
큰 모델 응답을 정답으로 삼는 델타 학습 가설을 DPO에 적용해 검증한 논문이 공개됐다. 모델 한 쌍으로 만든 선호 데이터는 생성기 편향 탓에 여러 모델 데이터보다 성능이 낮았다.
성능과 평가
V-LUMEN, 비전-언어 모델에 룩업 메모리 붙여 용량 확장
V-LUMEN은 이미지 특징을 코드북으로 이산화해 조회 방식의 외부 메모리로 쓰는 연구다. Qwen3-VL-2B 기반 실험에서 추론 중심 벤치마크 성능을 높였다고 연구진이 밝혔다.
성능과 평가
AutoVend 공개, LLM 에이전트 5종 중 4종이 규칙 기반 재고 관리에 밀려
자판기 20대를 180일간 운영하는 벤치마크 AutoVend가 공개됐다. 평가한 LLM 에이전트 5종 중 4종이 규칙 기반 재고 관리 기준선에 못 미쳤다.
성능과 평가
TabPFN, 학습 기록만으로 새 학습 결과 예측해 미세조정 LLM 맞먹어
기존 학습 실험 기록으로 새 학습 실행의 성능을 미리 예측하는 'Meta 모델' 연구가 공개됐다. 기성 표 데이터 모델 TabPFN이 미세조정한 LLM과 같거나 더 나은 결과를 몇 초 만에 냈다고 연구진은 밝혔다.
성능과 평가
Proactive Memory, 에이전트 반복 행동 검증해 F1 52.6% 달성
이벤트를 보고 먼저 서비스를 제안하는 LLM 에이전트용 메모리 기법 Proactive Memory가 제안됐다. 새 벤치마크 ProactiveStream에서 F1 52.6%로, 외부 기준 모델 가운데 가장 강한 모델보다 21.4% 상대적으로 높았다.
성능과 평가
GUI-JEPA, 토큰 생성 없이 행동 선택해 Qwen2.5-VL-7B 에이전트보다 최대 4.0배 빨라
연구진이 모바일 GUI 에이전트가 행동을 글로 생성하지 않고 잠재 공간에서 후보를 점수화해 고르는 GUI-JEPA를 제안했다. AndroidControl에서 파라미터 6%로 비교 모델 분포 내 정확도의 86~92%를 냈다고 밝혔다.
성능과 평가
PICO, 롤아웃이 모두 실패하는 어려운 문제에 전문가 풀이를 섞어 학습
검증 가능한 보상 기반 강화 학습은 모든 롤아웃이 실패하면 학습 신호가 사라진다. 새 논문은 전문가 데이터를 토큰 단위로 섞어 현재 정책과 맞는 풀이를 만드는 PICO를 제안했다.
성능과 평가
소형 모델 실험서 토큰 신뢰도 '구간 최솟값' 점수, 주로 체인 길이를 반영
추론 모델의 다수결 비용을 줄이려고 쓰는 토큰 신뢰도 점수 중 2048토큰 구간 평균 신뢰도의 최솟값을 쓰는 방식이 정답 여부보다 추론 체인 길이를 주로 반영한다는 분석이 arXiv에 올라왔다. 소형 모델 하나와 수학 벤치마크 두 곳의 실험에서 길이만으로 순위를 매겨도 성능이 같거나 더 좋았다.
성능과 평가
DiscernMem, 멀티 에이전트 메모리 교정해 3개 시스템 평균 1위
멀티 에이전트가 저장한 조언의 결함을 고치고 쓸 시점을 학습하는 추가 학습 없는 프레임워크 DiscernMem이 제안됐다. Qwen3-4B-Instruct-2507 실험에서 3개 시스템의 평균 점수가 가장 높았다.