llama.cpp, H2O-Lightning-4B·SenseNova U1·Nemotron-3(.5)-Embed 지원 추가

llama.cpp 프로젝트가 2026년 10월 21일부터 22일 사이 빌드 b11773, b11778, b11801을 차례로 내고 모델 세 종류의 지원을 넣었다. 각각 H2O-Lightning-4B 결정 모델, Nemotron-3(.5)-Embed 임베딩 모델, SenseNova U1의 이해 기능이다.^1,2,3

b11773은 h2oai/h2o-lightning-4b를 위한 h2o-lightning 결정 모델 유형을 새로 만들었다. 이 모델은 Qwen3.5-4B에 결정용 LoRA를 합친 것이다.

커밋 설명에는 기존 유형 중 이 모델에 맞는 것이 없다고 적혀 있다. 이 모델은 정답을 "A"가 아니라 앞에 공백이 붙은 " A" 형태로 내놓고, 레이블을 최대 255개까지 쓴다. 또 모델은 Python의 json.dumps 출력으로 학습됐으므로 12.0 같은 실수도 12.0 그대로 표시해야 한다.

변환 스크립트는 모델의 serve_config.json을 읽어 결정 메타데이터와 systemone 템플릿을 기록하고, 설정이 맞지 않으면 변환을 거부한다. 레이블은 GGUF 파일에 함께 담는다. 테스트는 작은 시험용 모델이 로컬에 없으면 건너뛴다.¹

커밋 기록에는 Jonathan C. McKinney(h2o.ai)와 Xuan Son Nguyen(huggingface.co)이 공동 작성자로 올라 있다. b11773 커밋에는 Claude Opus 5.5의 도움을 받았다는 표기(Assisted-by)가 남아 있다. b11801의 BF16 활성값 캐스팅 제거 커밋에는 "Assisted-by: Codex" 표기가 있다.^1,3

Nemotron-3(.5)-Embed 지원

b11778은 Nemotron-3(.5)-Embed 지원을 추가했다. 임베딩 모델이며, 릴리스 노트에 적힌 변경은 이 모델 지원 한 건뿐이다.²

SenseNova U1, 이해 기능만 지원

b11801은 SenseNova U1의 밀집(dense) 이해 가지(understanding branch)를 지원한다. U1.5-8B-MoT 모델도 여기에 포함된다. 생성 가지는 지원하지 않으며, 변환 단계에서 일부러 거부하도록 했다. 변환할 때 MoT 생성 텐서는 제외한다.

텍스트 쪽에서는 NEOChatModel을 Hugging Face 형식에서 GGUF로 바꾸는 변환 코드가 들어갔다. 모델 구현은 4축 RoPE와 시간 Q/K 정규화, 공간 Q/K 정규화를 처리하며, 텍스트 위치 입력은 일반 M-RoPE와 달라 U1 전용 처리를 유지했다.

이미지 입력은 mtmd 쪽에서 처리한다. 비전 인코더의 변환 코드와 CPU용 mtmd 프로젝터 그래프가 구현됐고, 이 그래프는 해상도가 바뀌는 이미지 입력을 처리한다. 릴리스 노트에는 다른 백엔드의 지원 여부가 따로 적혀 있지 않다.³