학습과 데이터
LinMix, 사전 학습 데이터 혼합을 선형 모델로 풀어 MBPP 상대 46% 향상
사전 학습 데이터에서 영역별 비율을 정하는 방법 LinMix가 제안됐다. 비율 탐색 없이 영역별 기여도를 선형 모델로 구하며, 코드·수학 벤치마크에서 기존 방식을 앞섰다고 연구진이 밝혔다.
학습과 데이터
모델 학습 방법과 데이터에 관한 연구와 발표입니다.
학습과 데이터
ALTO, MXFP4로 MoE 학습해 BF16과 손실 차이 0.007로 좁혀
ALTO 연구진이 200억 매개변수 MoE 모델 GPT-OSS-20B를 4비트 MXFP4로 학습하는 공개 레시피를 내놨다. 검증 손실이 BF16 기준보다 0.007 높은 수준까지 좁혀졌다.
학습과 데이터
DPO 학습 계산 그래프 가지치기, 속도 1.426배에 시간 30% 단축
DPO 학습의 점수 계산, 시퀀스 실행, 역전파 단계를 확률적으로 건너뛰는 방법이 arXiv에 공개됐다. 선호 가지를 가지치기하면 기준 구현보다 1.426배 빨라지지만 평균 정확도는 약간 낮아졌다.
학습과 데이터
연구진, 소형 모델 에이전트용 BIRD-RL 공개…학습 공간 효율 12.8배 개선
연구진이 데이터베이스 환경에서 소형 모델 에이전트를 강화 학습으로 훈련하는 BIRD-RL을 공개했다. 도구 중심 틀을 적용할 때 롤아웃마다 DB 컨테이너가 필요한 문제를 풀어 공간 RL 효율을 12.8배 개선했고, BIRD-CRITIC-SQLite 벤치마크 성공률은 7B 44.40%, 14B 48.00%다.
학습과 데이터
LLM 중간 학습, 데이터 투입 시점과 학습률 감쇠를 함께 짜야
LLM 중간 학습에서 고가치 데이터를 넣는 시점의 효과가 학습률 스케줄에 따라 뒤집힌다는 연구가 arXiv에 공개됐다. 연구진은 학습률을 중간 학습 데이터가 들어온 뒤에 줄이라고 제안했다.
학습과 데이터
Flat-RLVR 제안, 강화학습 추론 모델 정확도 유지하며 답변 다양성 개선
추론 모델을 강화학습으로 키울 때 정답 경로가 한쪽으로 쏠리는 문제를 줄이는 Flat-RLVR 방법이 논문으로 공개됐다. 한 번에 맞히는 정확도는 유지하면서 답변 다양성을 높였다고 연구진은 밝혔다.
OpenAI학습과 데이터
AWS, GPT-OSS-20B 다국어 추론 미세 조정법 공개, 언어 일치율 22%에서 100%로
AWS가 SageMaker HyperPod에서 GPT-OSS-20B를 SFT와 GRPO로 미세 조정해 프랑스어·독일어 등으로 추론하게 만드는 과정을 공개했다. SFT로 추론 언어 일치율이 22%에서 100%로 올랐고, GRPO는 답변 언어 일치율을 8%포인트 더 높였다.
학습과 데이터
Data World, 데이터 에이전트 학습 환경 자동 생성 제안
연구진이 데이터 에이전트 학습용 환경과 과제를 처음부터 합성하는 멀티 에이전트 엔진 Data World를 제안했다. 이 과제로 강화 학습한 모델은 기반 모델보다 DataWorld-Bench에서 7.06점 높았다.
학습과 데이터
실패한 풀이에서 학습 신호 되찾는다, GRPO 보완 기법 RSHD 공개
연구진이 GRPO 학습에서 모든 시도가 틀린 문제에서도 신호를 되찾을 수 있다는 RSHD를 제안했다. 실패 풀이를 바탕으로 쓴 교정 메모를 검증해 학습에 쓰며, 여러 모델과 두 학습 영역의 도메인 내 벤치마크에서 GRPO보다 나았다고 밝혔다.
학습과 데이터
CAST 공개, LLM 사전학습 손실 낮추고 학습 단계 7.2% 줄여
연구진이 LLM 사전학습용 최적화 기법 CAST를 arXiv에 공개했다. 190억 규모 MoE 모델 실험에서 기존 기법 아홉 가지보다 손실이 낮았고, 최고 기준선의 최종 평활 학습 손실에 7.2% 적은 단계로 도달했다.