Llama

쉽게 말하면, Llama는 Meta가 만든 대규모 언어 모델 계열이다. 기본 모델, 지시에 맞게 다듬은 모델, 기기 안에서 돌릴 수 있는 소형 모델, 이미지도 입력받는 멀티모달 모델까지 여러 종류가 있다. 가중치를 내려받아 직접 실행하고 수정할 수 있지만, 세대마다 사용 조건이 다르다.

1. 개요

LLaMA는 Meta AI가 개발한 대규모 언어 모델 계열의 원래 이름이다. Meta는 2023년 2월 첫 세대를 「Large Language Model Meta AI」라는 이름으로 발표했고, Llama 2와 함께 표기를 Llama로 바꿨다. 계열에는 사전 학습 기본 모델, 지시 튜닝 모델, 로컬 기기용 소형 모델, 이미지와 텍스트를 함께 받는 멀티모달 모델이 있다.^2,3

Meta는 Llama 모델의 가중치, 토크나이저, 모델 카드, 추론 실행 코드를 배포한다. 이를 통해 개발자는 Meta 서비스에 프롬프트를 보내지 않고도 체크포인트를 실행하고 수정할 수 있다. 다만 모델마다 원시 데이터부터 학습을 재현할 수 있는 전체 자료는 포함하지 않는다. 가중치는 세대별 Meta 라이선스의 적용을 받으며, 오픈소스 이니셔티브(OSI)가 승인한 라이선스가 아니다.^7,8,9,10

구조는 단계적으로 바뀌었다. LLaMA, Llama 2, Llama 3은 밀집(dense) 자기회귀 트랜스포머 언어 모델이다. Llama 3.2는 소형 텍스트 모델을 추가했고, 별도로 Llama 3.1 언어 모델에 어댑터를 붙인 비전 모델을 만들었다. Llama 4는 얼리 퓨전(early fusion) 방식의 멀티모달 학습과 전문가 혼합 구조를 도입했다. 그래서 전체 매개변수 수는 한 토큰에 쓰이는 매개변수 수보다 훨씬 많다.^5,6,11,12

1.1. 이름과 범위

'LLaMA'는 엄밀히 2023년 Meta의 논문과 발표에 나온 첫 세대만 가리킨다. 이후 제품명은 전부 대문자 약어가 아닌 'Llama'다. 이 항목은 전체 계열을 'Llama 계열'이라 부르고, 각 공개명은 Meta의 표기를 그대로 쓴다.

하나의 Llama 공개에는 여러 종류의 체크포인트가 들어갈 수 있다.

• 기본(base) 체크포인트는 학습 목표에 따라 이어질 텍스트를 예측한다. 안정된 대화 정책을 갖춘 챗 어시스턴트가 아니라 추가 적응의 출발점이다.
• 지시 튜닝(instruction-tuned) 체크포인트는 대화, 지시 따르기, 선호 정렬, 안전 행동을 위한 사후 학습을 추가로 거친다. Meta는 2세대에서 이 계열을 Llama 2-Chat이라 불렀고, 이후에는 대체로 'Instruct'를 썼다.
• 양자화 체크포인트는 메모리와 연산 요구를 줄이려고 가중치를 더 낮은 수치 정밀도로 저장한다. 동작과 벤치마크 결과는 전정밀도 체크포인트와 다를 수 있다.
• 파생 모델은 Llama 체크포인트에 제3자의 미세 조정, 양자화, 검색, 서빙 코드를 결합한 것일 수 있다. 파생 모델 자체를 시험하지 않고 원래 Meta 체크포인트의 동작으로 돌려서는 안 된다.

Llama 계열 이름은 관련 프로젝트에도 쓰인다. 예를 들어 Code Llama는 Llama 2를 바탕으로 한 코드 특화 분기였으며, 주 계열의 별도 세대는 아니다.⁹

2. 연혁

아래 표는 공개 모델 출시만 다루며, 모든 연구 실험, 양자화, 커뮤니티 파생 모델을 담지 않는다. 문맥 길이는 Meta가 해당 체크포인트 계열에 대해 문서화한 최대치다. 모델이 긴 프롬프트의 모든 부분을 정확히 활용한다는 것을 보여 주지는 않는다.

2.1. 최초 LLaMA(2023년)

최초 LLaMA 논문은 고정된 추론 실행 예산에서는 더 많은 데이터로 학습한 작은 모델이 적은 토큰으로 학습한 훨씬 큰 모델보다 나을 수 있다는 점을 검증했다. 공개된 계열의 매개변수는 67억, 130억, 325억, 652억이었고, 관례상 7B, 13B, 33B, 65B라 불렀다. Meta는 작은 두 모델을 1조 토큰으로, 큰 두 모델을 1.4조 토큰으로 학습했다. 데이터는 Common Crawl, C4, GitHub, Wikipedia, 도서, arXiv, Stack Exchange를 섞었으며 모두 공개 출처에서 골랐다고 논문은 설명했다.

논문은 기본 모델을 제로샷과 퓨샷 학술 벤치마크에서 비교했다. 13B 모델이 GPT-3를 능가했다는 식으로 자주 전해지는 주장보다 결과의 범위는 좁다. 논문의 평가 조건에서 LLaMA 13B는 보고된 상식 추론, 질의응답, 독해, 코드 벤치마크 대부분에서 GPT-3 175B보다 높았다. 모든 과제에서 모든 더 큰 모델을 앞섰던 것은 아니다. 논문은 절대적인 진실성 점수가 낮다는 점도 확인했고, 사회적 편향과 유해 생성 위험을 측정했다.³

Meta는 처음부터 제한 없이 가중치를 공개하지는 않았다. 연구자와 선정된 기관에 사례별로 접근을 허용했고, 비상업적 연구 라이선스를 적용했다. 따라서 이 공개는 나중의 커뮤니티 라이선스 공개와 기술적으로도 법적으로도 달랐다.²

2.2. Llama 2

Llama 2는 1세대의 주요 구조를 유지하면서 컨텍스트 창을 2,048 토큰에서 4,096 토큰으로 두 배로 늘렸다. 공개된 7B, 13B, 70B 모델은 2조 토큰으로 학습했다. 논문은 사전 학습 말뭉치가 공개 데이터를 새로 섞은 것이며 Meta 사용자 데이터는 포함하지 않았다고 밝혔다. 공개된 70B 모델은 자기회귀 디코딩 때 키-값 캐시의 메모리와 통신 비용을 줄이려고 그룹 쿼리 어텐션을 썼다.

Llama 2-Chat에는 지도 미세 조정과 인간 피드백 강화 학습이 추가됐다. Meta는 선호 비교 데이터를 모으고, 유용성과 안전성용 보상 모델을 따로 학습했으며, 연속된 정렬 라운드에서 거부 샘플링과 근접 정책 최적화(Proximal Policy Optimization)를 썼다. 논문은 레드팀 점검과 안전성 평가도 설명했다. 이 결과는 시험한 챗 체크포인트와 프롬프트에 대한 것이며, 기본 가중치에서 이후 만든 모든 미세 조정 모델에 적용되는 것은 아니다.⁴

공개 방식도 바뀌었다. Llama 2 커뮤니티 라이선스는 조건과 허용 사용 정책을 전제로 자료를 사용·수정·재배포할 수 있는 로열티 없는 제한된 권리를 부여했다. 공개일 기준 월간 활성 사용자가 7억 명을 넘는 조직은 Meta에 별도 라이선스를 요청해야 했다.¹³

2.3. Llama 3과 3.x 계열

2024년 4월 공개된 Llama 3은 밀집형 자기회귀 트랜스포머 구조를 유지했지만 토크나이저와 어텐션 구성을 바꿨다. 128,000 토큰 어휘는 100,000 토큰 토크나이저 기반에 영어 외 언어 지원을 높이려는 28,000 토큰을 더한 것이다. 두 공개 크기 모두 키-값 헤드 8개를 쓰는 그룹 쿼리 어텐션을 적용했다. Meta의 이후 Llama 3 기술 보고서는 성능 향상이 새로운 핵심 구조보다 데이터 품질, 데이터 다양성, 학습 규모에서 나왔다고 설명한다.

Llama 3.1은 8B, 70B, 405B 체크포인트로 이 학습 계열을 마무리했다. Meta는 405B 모델을 15.6조 개 텍스트 토큰으로 학습했는데, 처음에는 8K 문맥으로, 이후 사전 학습을 이어 문맥을 128K로 늘렸다. 보고서가 제시한 대략적 최종 데이터 구성은 일반 지식 약 50%, 수학·추론 자료 약 25%, 코드 약 17%, 다국어 데이터 약 8%다. 학습 문서 목록 전체는 공개하지 않는다.⁵

3.1의 사후 학습은 지도 미세 조정과 직접 선호 최적화를 여러 차례 반복하는 방식으로 진행됐다. 8개 언어와 도구 사용 형식에 대한 지원이 문서화됐다. 함께 공개된 라이선스는 모델 출력을 다른 모델 개선에 쓰는 것도 허용했는데, Llama 2 라이선스는 이를 제한했었다.^14,15

Llama 3.2는 두 방향으로 나뉘었다. 1B와 3B 텍스트 모델은 더 큰 Llama 3.1 모델을 가지치기한 뒤, 8B와 70B 교사 모델의 로짓(logit)을 토큰 단위 목표로 써서 만들었다. Meta의 모델 카드는 이 소형 모델의 사전 학습 토큰을 최대 9조 개로 밝혔다. 11B와 90B 비전 모델은 따로 학습한 비전 인코더를 크로스 어텐션 레이어로 Llama 3.1 언어 모델에 붙였다. 이미지·텍스트 학습에는 60억 개의 이미지-텍스트 쌍을 썼고, 모델 카드는 이미지와 텍스트를 함께 쓸 때의 지원 언어를 영어로 적었다.^11,12

Llama 3.3은 Instruct 계열에 초점을 맞춘 70B 텍스트 체크포인트다. 모델 카드는 128K 문맥, 지원 언어 8개, 15조 개 이상의 사전 학습 토큰, 미세 조정 단계의 2,500만 개 이상의 합성 데이터 예시를 적었다. Llama 3.1 405B와의 비교는 과제, 프롬프트, 서빙 구성에 따라 달라진다. 매개변수가 더 적다고 두 체크포인트가 서로 대체 가능해지는 것은 아니다.¹⁶

2.4. Llama 4

Llama 4는 모델 구조와 학습 데이터 설명을 모두 바꿨다. Scout와 Maverick은 텍스트와 이미지를 입력받아 텍스트나 코드를 출력하는 자기회귀 네이티브 멀티모달 모델이다. 완성된 텍스트 모델에 비전 어댑터를 덧붙이지 않고, 학습 중에 모달리티 표현을 섞는 얼리 퓨전 방식을 쓴다.

공개된 두 모델은 모두 전문가 혼합 구조를 쓰며, 토큰 하나에 약 170억(17B) 매개변수를 활성화한다. 전체 매개변수 수는 다르다. Scout는 전문가 16개에 전체 매개변수 약 1,090억(109B)이고, Maverick은 전문가 128개에 전체 매개변수 약 4,000억(400B)이다. 라우터가 전문가 매개변수 일부로 연산을 보내므로, '17B 활성'은 토큰마다의 연산을, '109B 전체'와 '400B 전체'는 저장된 모델 용량을 가리킨다. 거의 모든 매개변수가 매 토큰 연산에 참여하는 밀집 모델의 매개변수 수와는 직접 비교할 수 없다.⁶

Meta는 Scout의 컨텍스트 창을 1,000만 토큰, Maverick은 100만 토큰으로 문서화했다. 모델 카드는 사전 학습 토큰을 Scout 약 40조, Maverick 약 22조로 적었다. 밝힌 데이터 출처에는 공개 데이터, 라이선스 데이터, 공개로 공유된 Facebook·Instagram 게시물, Meta AI와의 상호작용이 포함된다. 이 내용은 Llama 2가 공개 출처만 쓰고 Meta 사용자 데이터는 쓰지 않았다고 한 설명과 다르다.^4,6

Meta의 출시 글은 아직 학습 중이던 활성 매개변수 2,880억(288B) 교사 모델 Behemoth도 다뤘다. 2025년 4월 공개판과 공식 모델 저장소는 내려받을 수 있는 Llama 4 체크포인트로 Behemoth가 아니라 Scout와 Maverick을 나열한다. 따라서 출시 자료의 Behemoth 관련 주장은 공개 가중치로 재현할 수 있는 결과가 아니라, 공개되지 않은 개발 중 모델에 대한 주장이었다.^9,17

3. 구조와 학습

3.1. 밀집 트랜스포머 세대

LLaMA부터 Llama 3.3까지의 텍스트 전용 체크포인트는 디코더 전용 자기회귀 언어 모델이다. 이전 토큰으로 다음 토큰을 예측하고 이 동작을 반복해 생성한다. 1세대는 표준 트랜스포머를 잘 문서화된 세 가지 방식으로 고쳤다.

• RMSNorm을 쓰는 사전 정규화는 각 트랜스포머 서브레이어 앞에 정규화를 적용한다.
• SwiGLU는 원래 트랜스포머의 ReLU 피드포워드 활성화 함수를 대체한다.
• 회전 위치 임베딩은 학습된 절대 위치 벡터를 더하는 대신, 어텐션 안에서 위치에 따른 회전을 적용한다.³

이 선택은 밀집 세대 전반에 남았다. 이후 변화는 서빙과 규모를 다뤘다. Llama 2는 공개된 70B 모델에 그룹 쿼리 어텐션을 도입했다. Llama 3은 문서화된 세 가지 크기(405B 모델 포함)에 모두 이를 적용하고 토크나이저 어휘를 확장했다. Llama 3.1의 긴 문맥 지원은 설정 값만 바꿔서 생긴 것이 아니라, 점점 긴 시퀀스로 사전 학습을 이어간 결과였다.^4,5

3.2. 비전과 전문가 혼합

멀티모달 공개판은 두 가지 설계를 쓴다. Llama 3.2 Vision은 사전 학습된 언어 모델 핵심을 유지하고, 비전 인코더 표현을 크로스 어텐션 어댑터 레이어로 그 안에 넣는다. 그래서 언어 모델과 비전 구성 요소는 학습 이력이 서로 다르다.¹²

Llama 4는 네이티브 멀티모달을 위해 전문가 혼합 모델과 얼리 퓨전을 쓴다. 전문가 라우팅은 토큰마다 쓰는 매개변수를 줄이지만, 체크포인트 전체는 여전히 전체 매개변수를 저장해야 한다. 메모리 요구량은 가중치 정밀도, 양자화, 캐시 크기, 문맥 길이, 배치 크기, 서빙 소프트웨어에 따라 달라진다. 활성 매개변수 수만으로 하드웨어 요구량이 정해지지는 않는다.⁶

3.3. 사전 학습과 사후 학습

사전 학습은 대규모 말뭉치로 토큰 예측을 익히게 한다. 사후 학습은 모델이 프롬프트에 어떻게 응답하고 어떤 출력을 선호하는지를 바꾼다. Meta는 계열 전체에서 지시 튜닝, 거부 샘플링, 인간 피드백 강화 학습, 직접 선호 최적화, 합성 데이터를 서로 다른 조합으로 썼다.^4,5,6,11

이 구분은 모델 카드나 벤치마크 표를 읽을 때 중요하다. 기본 체크포인트는 언어 모델 벤치마크 점수가 높더라도 어시스턴트로 쓰기 어려울 수 있다. Instruct 체크포인트는 사후 학습 때문에 지시를 따르면서 일부 요청을 거절할 수 있다. Instruct 체크포인트의 안전성 결과가 기본 모델, 파생 미세 조정 모델, 양자화 빌드에 자동으로 옮겨지는 것은 아니다.

4. 라이선스와 공개성

Llama는 Meta 발표를 포함해 흔히 '오픈소스'라고 불린다. 모델 계열을 더 정확히 설명하는 말은 공개 가중치다. 사용자는 체크포인트를 얻어 검사하거나 수정할 수 있지만, 세대마다 표준 허용형 소프트웨어 라이선스보다 조건이 많은 맞춤 계약을 따른다.^10,13,15

오픈소스 이니셔티브(OSI)의 Open Source AI Definition은 AI 시스템을 사용·연구·수정·공유할 자유와, 수정에 선호되는 형식에 대한 접근을 요구한다. 여기에는 학습 및 데이터 처리 코드, 충분히 상세한 데이터 정보, 적절한 조건의 매개변수가 포함된다. OSI의 FAQ는 필요한 구성 요소가 빠졌거나 법적 조건이 오픈소스 원칙과 충돌해 통과하지 못하는 시스템으로 Llama 2를 명시한다.^7,8

실제 라이선스 조건은 세대마다 다르다.

• 최초 LLaMA 공개는 접근이 제한되고 비상업적이었다.
• Llama 2는 연구와 다수의 상업적 이용을 허용했지만, 자료나 출력을 Llama가 아닌 대규모 언어 모델을 개선하는 데 쓰는 것은 제한했다.
• Llama 3.1 이후 라이선스는 출력을 다른 모델 개선에 쓰는 것을 허용하면서, 배포되는 파생물에는 지정된 표기와 이름 표시를 요구한다.
• 커뮤니티 라이선스에는 허용 사용 정책이 포함되며, 일부 대형 조직에 대한 월간 활성 사용자 7억 명 기준이 유지된다.^2,10,13,15

개발자는 사용하는 정확한 체크포인트에 붙은 라이선스를 확인해야 한다. 저장소 표지, 모델 호스팅 태그, 제공자의 마케팅 분류는 그 조건을 대신하지 못한다. 라이선스는 Meta 자료에 적용되며, 배포에는 제3자 코드 라이선스, 데이터 권리, 개인정보 의무, 적용 분야와 관할에 따라 달라지는 법률이 함께 얽힐 수 있다.

공개 가중치가 학습 과정을 완전히 재현 가능하게 만드는 것은 아니다. Meta는 구조 설명, 학습 토큰 총량, 선별된 데이터 범주, 평가 결과, 모델 카드, 일부 추론 실행 도구를 공개한다. 전체 학습 말뭉치나 모든 생산용 학습 코드는 공개하지 않는다. 2025년 12월 발표된 Foundation Model Transparency Index는 Meta를 공개 가중치 개발사로 분류했지만, 평가 대상 기업 중 하위 절반에 두었다. 보고서는 학습 데이터 확보와 속성이 개발사 전반에서 여전히 불투명한 영역이라고 지적했다.¹⁸

5. 평가와 비교

Meta의 논문과 모델 카드는 학술 시험, 사람 선호도 연구, 안전성 평가 모음, 도구 사용 과제, 멀티모달 벤치마크 결과를 보고한다. 이 표들은 명시된 설정에서 특정 체크포인트가 어떻게 수행했는지를 기록한 것이며, Llama 계열의 시대를 초월한 순위가 아니다.

• 기본, 챗, Instruct 체크포인트는 서로 다른 동작을 최적화한다.
• 프롬프트 템플릿, 퓨샷 예시, 샘플링 설정, 도구 정의, 채점 코드가 점수에 영향을 준다.
• 전정밀도, 양자화, 미세 조정, 제공자가 호스팅한 버전의 결과는 서로 일치하지 않을 수 있다.
• 공개 벤치마크 문항은 웹 규모 학습 말뭉치에 들어갈 수 있다. Llama 2와 Llama 3 논문은 각각 데이터 오염 분석을 포함하지만, 오염을 탐지하거나 추정하는 데는 한계가 있다고도 설명한다.
• 긴 문맥 모델은 문서화된 최대 시퀀스를 입력받을 수 있지만, 그 전체를 안정적으로 검색하거나 추론한다는 뜻은 아니다.^4,5

Holistic Evaluation of Language Models 프로젝트는 모델 보고서마다 시나리오와 지표가 다른 경우가 많아서 만들어진 면이 있다. 이 프로젝트는 하나의 종합 점수로 모델을 줄이기보다, 표준화된 조건, 여러 지표, 프롬프트와 출력의 공개를 권장한다. 따라서 유용한 비교에는 정확한 체크포인트, 가중치 정밀도, 런타임, 프롬프트 형식, 데이터셋 버전, 지표, 평가 날짜가 함께 적혀야 한다.¹⁹

Llama 4는 체크포인트별 주의가 더 필요하다. Meta는 배포용 양자화 가중치를 제공하지만, 모델 카드는 보고된 벤치마크와 안전성 평가가 bfloat16 모델을 사용했다고 밝힌다. 카드의 비교표를 출시된 모든 양자화 버전의 측정 결과처럼 제시해서는 안 된다.⁶

6. 안전성, 한계, 배포

이 계열은 생성형 언어 모델의 일반적 실패 양상을 공유한다. 부정확한 진술, 조작된 인용, 편향된 연관, 안전하지 않은 완성, 프롬프트에 따라 달라지는 행동이 여기에 포함된다. 원래 논문은 독성, 고정관념, 진실성을 측정했고 모델이 잘못된 답을 낼 가능성이 높다고 밝혔다. 이 발견은 조사해야 할 속성이었지, 이후 모델이 같은 문제를 없앴다는 보장이 아니다.³

Meta는 이후 세대에서 모델 수준과 시스템 수준의 AI 안전 작업을 넓혔다. Llama 2 논문은 안전성 특화 선호 데이터, 반복 튜닝, 레드팀 평가를 설명한다. 이 논문은 테스트가 영어에 집중됐고 모든 시나리오를 다루지는 못했다고도 밝혔다. Llama 3 보고서는 다국어와 도구 사용 테스트를 추가했고, Llama Guard 3, Prompt Guard, Code Shield를 선택적 시스템 구성 요소로 공개했다. 이 보고서의 측정은 절충을 보여 준다. 필터링은 시험한 스위트에서 정책 위반을 줄였지만, 무해한 프롬프트에 대한 거절을 늘렸다.^4,5

이 안전장치들은 서로 다른 문제를 푼다. 콘텐츠 분류기는 프롬프트나 출력을 정책에 비춰 걸러낼 수 있다. 프롬프트 공격 탐지기는 일부 탈옥이나 프롬프트 인젝션을 식별할 수 있다. 정적 분석은 안전하지 않은 생성 코드 일부를 찾을 수 있다. 어느 것도 모델 출력을 참으로 만들지 않고, 외부 도구 작업을 허가하지 않으며, 응용 프로그램이 안전하다는 것을 증명하지 않는다. Meta의 Llama 4 모델 카드는 모델을 사용 사례별 보호 장치가 있는 시스템의 일부로 배포해야 하며, 테스트는 모든 시나리오를 다룰 수 없다고 적는다.⁶

6.1. 배포 전 점검

배포 검토는 최소 네 층을 구분해야 한다.

• 체크포인트: 해당 모델 카드에서 세대, 크기, 기본 또는 Instruct 여부, 정밀도, 문맥 한도, 지원 모달리티, 언어, 지식 기준 시점을 확인한다.
• 런타임: 실제 토크나이저, 프롬프트 템플릿, 양자화, 서빙 엔진, 하드웨어 한계를 테스트한다. Hugging Face에서 내려받은 모델은 Meta의 원본 체크포인트와 다르게 패키징되어 있을 수 있다.
• 응용 프로그램: 검색 출처, 도구 권한, 신원과 접근 통제, 로깅, 개인정보, 대체 동작, 중대한 작업에 대한 사람의 검토를 평가한다. 체크포인트를 AI 에이전트에 넣는다면 모델만이 아니라 전체 스캐폴드와 행동 환경을 평가한다.
• 관찰된 동작: 대표 입력에서 과제 품질, 환각, 유해 출력, 잘못된 거절, 보안 실패, 지연 시간, 자원 사용을 측정한다. 체크포인트나 서빙 스택을 바꾸면 평가를 반복한다.

이 과정은 모델 계열 이름을 능력이나 안전 명세로 취급하지 않도록 막는다. 'Llama'는 모델의 계보를 가리킨다. 실제 배포 애플리케이션이 할 수 있는 일과 남은 위험은 정확한 체크포인트, 라이선스, 런타임, 주변 시스템이 함께 정한다.