Meta가 아직 공개하지 않은 모델의 ID muse-spark-1.4-internal이 GitHub의 Meta RocksDB 저장소 풀 리퀘스트(#15674) 테스트 계획에 적혔다. PR 작성자는 이 ID를 짝을 이루는 내부 변경을 실제 모델로 돌린 결과로 적었다. TestingCatalog는 이 이름이 Muse Spark 시리즈의 다음 버전을 가리키며 Meta 사내 도구에서 이미 호출되고 있다고 해석했다. Meta는 1.4의 이름, 출시 시기, 기능을 확인하지 않았다.1,2
이 기록은 @LuminaBench가 처음 짚었다. TestingCatalog에 따르면 모델 이름이 나온 테스트 노트는 자동으로 생성된 것으로 보인다. 같은 매체는 풀 리퀘스트가 열린 지 몇 시간 뒤 병합 없이 닫혔다고 전했고, Meta의 변경이 사내 시스템을 거쳐 반영될 때 흔한 일이라고 덧붙였다. 반면 GitHub의 풀 리퀘스트 페이지에는 병합됐다는 표시가 있다.
이 기록은 @LuminaBench가 처음 짚었다. TestingCatalog에 따르면 모델 이름이 나온 테스트 노트는 자동으로 생성된 것으로 보인다. 풀 리퀘스트의 상태는 자료마다 다르다. TestingCatalog는 풀 리퀘스트가 열린 지 몇 시간 뒤 병합 없이 닫혔다고 전했고, Meta의 변경이 사내 시스템을 거쳐 반영될 때 흔한 일이라고 덧붙였다. 그러나 GitHub의 풀 리퀘스트 페이지에는 5d150fa에 병합됐다고 표시돼 있어, GitHub 기록 기준으로는 병합된 상태이며 TestingCatalog 보도와 다르다.1,2
이 풀 리퀘스트는 RocksDB의 실험 기능인 라이브 튜닝(live tuning)에 로그 항목을 추가하는 작은 변경이다. 라이브 튜닝에서는 AI 조언자가 돌아가는 데이터베이스를 지켜보며 설정 변경을 권고하는데, Meta 안에서 이 조언자는 내부 서비스 muse를 거치는 LLM이다. 지금까지 이벤트 기록에는 프롬프트, 응답, 결과가 남았지만 어떤 모델이 답했는지와 호출 비용은 없어서 비용을 튜닝 주기에 연결해 볼 수 없었다.
변경 내용은 권고 구조체에 model과 usage라는 선택 필드 두 개를 더하는 것이다. usage에는 입력 토큰, 출력 토큰, 소요 시간(초) 같은 값이 들어가고, 권고 요청이 실패한 경우에도 이벤트에 기록된다. 모든 권고 이벤트에 기록 항목이 생기고, 조언자가 값을 채우지 않으면 빈 값이 남는다. PR 작성자는 같은 튜닝 주기에서 최상위(frontier) 모델과 호스트 기기에서 도는 소형 모델을 주기별 토큰, 시간, 결과로 비교하려는 목적이라고 적었다. 두 필드가 비어 있어도 튜닝 동작은 달라지지 않는다.
모델 이름은 테스트 계획 항목에 나온다. PR 작성자는 짝을 이루는 내부 변경(D131595178)을 실제 모델로 돌렸더니 튜너 서비스가 muse-spark-1.4-internal을 돌려줬다고 적었다. 그때 기록된 호출 한 번의 사용량은 입력 토큰 33,535개(이 가운데 캐시된 토큰 17,780개), 출력 토큰 8,169개(이 가운데 추론 토큰 7,867개), 모델 호출 1회, 소요 시간 64.96초다.
이 값들은 이 저장소 변경만으로는 이벤트에 실리지 않는다. muse 조언자(rocks/live_tune)가 후속 변경에서 값을 권고 구조체에 채워야 하고, 그 전에 이 변경이 RocksDB 릴리스를 거쳐야 한다. PR 작성자는 이 때문에 릴리스에 포함되기 전에는 끝까지 실행해 볼 수 없다고 밝혔다. 단위 테스트는 50개가 모두 통과했지만 다른 플랫폼과 컴파일러, db_stress는 돌리지 않았다. 숫자는 유효숫자 6자리로 출력돼, 999,999를 넘는 토큰 수는 하위 자릿수가 사라진다. PR 작성자는 현재 호출 한 번이 약 1천에서 33만 토큰이라고 적었다.2
