파운데이션 모델

쉽게 말하면, 파운데이션 모델은 넓은 데이터로 먼저 학습해 두고 여러 가지 일에 다시 쓸 수 있도록 만든 범용 AI 모델이다. 특정 구조나 회사 제품을 가리키는 말이 아니라, AI를 만드는 과정에서 맡는 역할을 뜻한다.

1. 개요

파운데이션 모델은 넓은 데이터로 학습된 머신러닝 모델로, 대개 대규모 자기 지도 학습을 거쳐 여러 하위 과제에 적응할 수 있다. 이 용어는 2021년 스탠퍼드 연구 보고서에서 처음 쓰였으며, 특정 구조나 회사, 제품, 최소 매개변수 수가 아니라 AI 개발 파이프라인에서 맡는 역할을 가리킨다. 프롬프트, 검색, 추가 학습을 거치면 여러 응용을 뒷받침할 수 있다. 실제 인공지능 시스템에는 데이터 파이프라인, 도구, 접근 통제, 인터페이스, 사람의 운영 절차도 함께 들어간다.

핵심은 넓음(breadth)과 적응성이다. 한 가지 고정된 과제만 학습한 모델은 크다는 이유만으로 파운데이션 모델이 되지 않으며, 텍스트를 생성해야 자격이 생기는 것도 아니다. 언어 인코더, 자기회귀 생성기, 텍스트와 이미지를 잇는 모델이 모두 이 역할을 맡을 수 있다. 같은 재사용이 넓은 사전 학습을 쓸모 있게 만들지만, 공유 의존성도 만든다. 개선과 결함이 여러 하위 시스템에 한꺼번에 영향을 준다. 원 보고서는 이처럼 레버리지와 상속된 위험이 결합된 현상을 '동질화(homogenization)'라고 불렀다.²

파운데이션 모델은 대규모 언어 모델, 생성형 AI, 멀티모달 모델과 겹치지만 같은 말은 아니다. 각 용어가 가리키는 바가 다르다. 언어 모델링은 데이터와 목표에, 생성형 AI는 새로운 결과물의 생성에, 멀티모달은 입출력 양식에, 파운데이션 모델은 넓은 사전 학습과 하위 과제 적응에 관련된다.

2. 정의와 범위

원래 정의는 세 요소가 서로 이어진 것이다. 넓은 학습 데이터, 대개 대규모 자기 지도 학습을 바탕으로 한 학습, 많은 하위 과제로의 적응이다. '일반적으로'라는 단서가 중요하다. 자기 지도가 흔한 이유는 데이터에서 학습 목표를 바로 만들 수 있기 때문이지만, 정의는 하나의 보편 목표를 요구하지 않는다. 매개변수 수, 학습 토큰 수, 비용, 연산량에 대한 고정된 기준선도 없다.²

'넓다'는 기준이 되는 영역에 따라 상대적이다. 텍스트 모델은 이미지를 다루지 않아도 주제, 장르, 과제 면에서 넓을 수 있다. 과학 모델은 연구 분야 안에서 넓어도 범용 대화 시스템은 아닐 수 있다. 그래서 파운데이션 모델인지는 마케팅 표현이나 벤치마크 점수 하나가 아니라 학습 범위와 입증된 적응성으로 판단한다.

모델은 그것을 둘러싼 시스템과도 구분해야 한다. 스탠퍼드 연구자들은 나중에 '파운데이션'이 모델의 역할을 뜻할 뿐이며, 모델 하나가 AI의 토대라는 주장이 아니라고 분명히 했다. 파운데이션 모델은 더 큰 시스템의 한 구성 요소로 남는다. 검색 색인, 외부 도구, 안전 규칙, 사용자 인터페이스, 모니터링은 기반 모델을 바꾸지 않고도 시스템의 동작을 바꿀 수 있다.⁷

2.1. 관련 개념과의 차이

3. 등장 배경

넓은 사전 학습과 재사용은 '파운데이션 모델'이라는 말보다 먼저 있었다. 전이 학습, 표현 학습, 딥러닝 시스템의 발전에서 자랐다. 2017년 트랜스포머는 순환이나 합성곱 대신 어텐션 기반의 인코더·디코더 층만으로 시퀀스 변환을 수행할 수 있음을 보였다. 트랜스포머는 이후 파운데이션 모델에서 흔해졌지만, 이 구조가 정의이거나 모든 양식에서 필요한 것은 아니다.⁶

2018년 발표되고 2019년 NAACL에서 소개된 BERT는 레이블 없는 텍스트로 양방향 텍스트 표현을 사전 학습한 뒤, 같은 모델을 여러 언어 이해 과제에 미세 조정했다. 2020년 보고된 GPT-3는 자기회귀 언어 모델링을 1,750억 개의 매개변수로 확장했다. 이 모델은 사용 시점에 기울기 갱신 없이 텍스트 프롬프트만으로 제로샷, 원샷, 퓨샷 과제 성능을 조사했다. 저자들은 모델이 어려워한 과제와 대규모 웹 코퍼스에서 생기는 방법론 문제도 함께 보고했다.^3,4

2021년 발표된 CLIP은 넓은 사전 학습을 이미지와 자연어 설명으로 확장했다. 대조 목표로 어떤 설명이 이미지와 맞는지 학습했고, 이후 자연어로 쓴 클래스 설명을 이미지 분류 데이터셋에 제로샷으로 전이할 수 있었다. BERT, GPT-3, CLIP은 스탠퍼드 보고서가 이 흐름이 하나의 과제나 양식에 머물지 않음을 보여 주는 예로 든 사례다.^2,5

2021년 8월 리시 보마사니(Rishi Bommasani)와 100명이 넘는 공동 저자가 「On the Opportunities and Risks of Foundation Models」를 발표했다. 이 보고서는 패턴에 이름을 붙이고 기술적 토대, 응용, 사회적 결과를 정리했다. '파운데이션'이라는 이름은 모델이 맡는 중심적이지만 불완전한 역할을 뜻하도록 의도적으로 붙였다. 보고서는 이 시스템이 모든 면에서 기술적으로 새롭다고 주장하지 않았고, 확립된 딥러닝과 전이 학습 방법 안에서 설명했다.²

4. 작동 원리

파운데이션 모델 개발은 보통 넓은 사전 학습 단계와 이후의 적응 단계로 나뉜다. 사전 학습에서 모델은 크고 이질적인 데이터 모음에서 매개변수를 배운다. 목표는 다음 토큰, 가려진 요소, 잡음을 걷어낸 표현, 양식 사이의 대응 관계 중 하나일 수 있다. 목표는 어떤 통계적 신호를 쓸 수 있는지를 정하고, 구조·데이터 구성·최적화·연산량은 모델이 배울 수 있는 범위를 제한한다.

규모는 여러 차원으로 나뉜다. 매개변수 수, 데이터의 양과 질, 학습 연산량, 컨텍스트 길이, 양식 범위, 사후 학습이 모두 중요할 수 있다. 한 차원의 값이 커도 특정 과제의 성능이 좋아진다고 보장되지는 않는다. 개발자마다 데이터, 연산, 모델 구성 요소를 다르게 셀 경우 발표된 수치는 서로 비교되지 않을 수 있다. 따라서 능력에 대한 주장은 특정 모델, 평가 절차, 버전과 함께 제시되어야 한다.

4.1. 적응 방법

사전 학습은 완성된 응용이 아니라 기본 체크포인트를 만든다. 이후 작업은 가중치를 바꾸거나, 작은 학습 가능 구성 요소를 덧붙이거나, 고정된 모델을 조건화하거나, 외부 자원과 결합할 수 있다.

이 방법들은 목표가 서로 다르다. 미세 조정은 도메인 표현을 특화할 수 있고, 선호 학습은 응답 행동을 바꿀 수 있으며, 검색은 모델 가중치에 근거를 넣지 않고도 갱신 가능한 근거를 제공한다. 어느 것도 진실성, 안전성, 결과가 중대한 용도에 대한 적합성을 단독으로 보장하지 않는다.

5. 활용 예시

파운데이션 모델은 처음에 언어에서 주목받았지만 개념 자체는 양식에 중립적이다. 텍스트 인코더는 분류나 검색에 재사용할 수 있는 표현을 준다. 자기회귀 텍스트 모델은 이어 쓰기를 생성하고 프롬프트에 지정된 과제를 수행한다. 비전-언어 모델은 이미지와 텍스트 표현을 맞춘다. 다른 연구는 넓은 사전 학습과 적응을 음성, 영상, 로보틱스, 생물학, 과학 데이터에 적용하고 있다.²

양식 표시만으로 넓은 능력이 입증되지는 않는다. CLIP은 특정 학습·평가 설정에서 재사용 가능한 이미지-텍스트 표현 학습의 근거이지, 모든 비전-언어 모델이 파운데이션 모델이라거나 CLIP이 모든 시각 과제를 푼다는 증거가 아니다. 마찬가지로 GPT-3의 문맥 내 결과는 명시된 프롬프트 아래의 과제 전이를 보여 주었지만, 같은 논문은 고르지 않은 성능과 데이터 오염 우려도 기록했다.^4,5

하위 용도는 검색, 분류, 음성 전사, 콘텐츠 생성부터 소프트웨어 보조와 과학 모델링까지 넓다. 파운데이션 모델은 종종 출발점일 뿐이다. 예를 들어 의료나 법률 응용은 도메인 근거, 대상 집단에 대한 검증, 접근 통제, 전문가의 감독이 필요하다. 넓은 사전 학습이 용도별 평가를 대신할 수는 없다.

6. 전이, 창발, 동질화

전이는 파운데이션 모델을 만드는 실용적 이유다. 넓은 사전 학습에서 얻은 지식은 무작위로 초기화된 매개변수에서 시작하는 것보다 적은 과제 전용 데이터와 학습으로 재사용할 수 있다. 다만 전이는 자동으로 일어나지 않고 경험적으로 확인해야 한다. 원천 데이터, 목표 도메인, 적응 방법, 평가에 따라 긍정적일 수도, 미미하거나 해로울 수도 있다.

한 영향력 있는 논문은 창발 능력(emergent abilities)을 작은 모델에는 없고 큰 모델에만 나타나는 능력으로 정의했다. 겉보기 불연속성은 조심해서 다뤄야 한다. 2023년 NeurIPS 논문은 비선형적이거나 불연속적인 지표가 완만한 성능 변화를 갑작스럽게 보이게 만들 수 있음을 보이고, 보고된 창발 가운데 일부는 측정 방식이 만든 착시라고 주장했다. 규모가 커질수록 성능이 나아진다는 사실을 모든 능력이 예측 불가능하게 나타난다거나 규모 확대만으로 설명된다는 일반 주장으로 바꿔서는 안 된다.^13,14

동질화는 소수의 기반 모델을 반복해서 재사용하는 데서 생긴다. 기반 모델, 평가 방법, 서빙 시스템의 수정이 여러 응용에 동시에 이득을 줄 수 있고, 연구와 엔지니어링 노력을 한곳에 모을 수 있다. 그러나 같은 의존성을 공유하는 하위 시스템 모두에 편향, 보안 약점, 라이선스 제약, 서비스 중단, 공개되지 않은 학습 선택이 함께 전파될 수 있다. 따라서 위험 평가는 응용 하나를 독립적인 것처럼 보지 말고 상류 입력과 하류 연동을 함께 추적해야 한다.²

7. 평가와 문서화

단일 벤치마크로는 파운데이션 모델이 전반적으로 유능한지, 안전한지, 배포에 적합한지 입증할 수 없다. 평가는 모델 버전, 과제, 대상 집단, 프롬프트나 적응 방법, 지표, 기준선, 불확실성을 밝혀야 한다. 프롬프트 규칙이나 데이터 버전이 다른 점수는 직접 비교하기 어렵다. 공개 시험 세트가 대규모 학습 말뭉치에 섞여 들어갈 수도 있어, 보류 데이터(held-out) 성능을 해석하기가 복잡해진다.^4,15

HELM은 언어 모델을 위한 전체론적 평가 틀로 소개되었고, 시나리오, 적응 방식, 지표에 따라 평가를 체계화했다. 원 연구는 정확도와 함께 보정, 견고성, 공정성, 편향, 독성, 효율성을 측정했고, 포괄 범위의 빈틈을 명시적으로 기록했다. 이 틀은 리더보드 순위가 모델 평가의 전부가 아닌 이유를 보여 준다. 배포 환경마다 오류 유형, 지연 시간, 언어 지원, 접근성, 개인정보, 안전에 두는 무게가 다르다.¹⁶

평가는 다음 네 층위에서 이뤄져야 한다.

• 기본 모델 평가는 통제된 조건에서 능력과 한계를 시험한다.
• 적응 모델 평가는 미세 조정, 프롬프트, 검색, 도구의 효과를 시험한다.
• 시스템 평가는 인터페이스, 사람의 행동, 접근 규칙, 실패 복구를 포함한다.
• 배포 후 모니터링은 분포 변화, 악용, 사고, 정적 시험이 잡지 못한 영향을 살핀다.

문서화는 이 결과들을 해석 가능하게 만든다. 모델 카드는 의도된 용도, 평가 절차, 하위 집단별 결과, 한계, 관련 윤리적 고려를 기록할 수 있다. 학습 데이터 문서화는 출처, 필터링, 날짜, 알려진 경우의 라이선스, 알려진 제외 항목을 설명해야 한다. C4 웹 코퍼스 연구에서 연구자들은 예상치 못한 출처 도메인, 기계 생성 자료, 벤치마크 예제, 일부 소수 집단의 정체성과 관련된 텍스트를 불균형하게 걸러내는 필터링 효과를 확인했다. 데이터셋의 이름이나 크기만으로는 내용을 설명할 수 없다는 점이 여기서 드러난다.^15,17

투명성은 아직 불완전하다. 2025년 Foundation Model Transparency Index는 개발사를 상류 자원, 모델 속성, 하류 사용에 걸친 100개 지표로 평가했다. 저자들은 학습 데이터와 기본 모델 정보 공개에서 지속적인 공백이 있다고 보고했다. 이 지수는 평가 틀이며, 특정 모델이 정확하거나 안전하다는 증명이 아니다. 점수는 방법론과 측정 시점과 함께 읽어야 한다.¹⁸

8. 위험과 한계

파운데이션 모델의 위험은 양식, 접근 방식, 적응, 용도에 따라 다르다. 모든 모델에 필연적인 속성으로 볼 것은 아니지만, 넓은 재사용은 공유된 약점에 노출되는 시스템의 수를 늘릴 수 있다.

데이터 품질과 대표성 측면에서, 웹 규모와 기관 데이터에는 오류, 중복 자료, 고정관념, 개인 정보, 언어와 집단에 따라 고르지 않은 포괄 범위가 있을 수 있다. 필터링은 유해 콘텐츠를 걸러내면서 자체 선택 효과를 만들 수 있다. 데이터 감사, 하위 집단 평가, 문서화는 서로 다른 질문을 다루므로 함께 써야 한다.¹⁵

암기와 개인정보 측면에서, 모델은 학습 기록을 암기할 수 있다. 연구자들은 언어 모델에서 학습 문장을 그대로 추출했고, 그중에는 말뭉치에 드물게만 등장한 정보도 있었다. 별도 실험에서는 확산 모델에서 학습 이미지를 추출했다. 이 결과는 모든 출력이 학습 예제를 복사한다는 뜻은 아니지만, 학습된 매개변수가 학습 데이터를 드러낼 수 없다는 전면적인 주장을 반박한다. 중복 제거, 접근 통제, 개인정보 테스트, 차등 정보 보호는 문제의 서로 다른 부분을 완화하며 각각 절충점이 있다.^19,20

잘못되었거나 오도하는 출력 측면에서, 생성형 파운데이션 모델은 근거 없는 진술을 매끄럽게 만들어 낼 수 있다. 이는 흔히 환각 또는 허위 생성(confabulation)으로 불린다. NIST는 허위 생성을 생성형 AI 시스템의 한 위험으로 다루며, 위험이 맥락과 더 큰 시스템에 달려 있다고 강조한다. 비생성형 모델은 분류 오류나 검색 실패처럼 오류 유형이 다르므로, 이 용어를 모든 파운데이션 모델에 일반화해서는 안 된다.²¹

보안과 악용 측면에서, 폭넓은 능력을 갖춘 모델은 피싱, 사칭, 악성코드, 여론 조작 작업에 쓰일 수 있고, 동시에 방어 분석도 지원할 수 있다. 위험은 능력, 접근, 규모, 주변 통제에 따라 달라진다. 평가에는 레드팀 평가를 포함할 수 있지만, 적대적 시험은 위협 공간의 일부를 표본으로 살필 뿐 악용 가능한 행동이 남아 있지 않다고 증명할 수 없다.

공유 의존성과 통제 측면에서, 외부 모델에 기대는 조직은 가중치, 인터페이스, 라이선스, 가격, 가용성, 모더레이션 규칙이 바뀌면 영향을 받을 수 있다. 공개 배포는 일부 의존성을 줄이는 대신 현지 보안, 모니터링, 갱신에 대한 책임을 만든다. 동질화는 하나의 문서화되지 않은 결함이 많은 제품에 영향을 줄 수 있다는 뜻이기도 하다.²

연산과 환경 영향 측면에서, 사전 학습과 반복 추론은 특수 하드웨어와 상당한 전력을 요구할 수 있다. 보고된 에너지와 배출량은 하드웨어, 가동률, 실험 횟수, 데이터센터 효율, 전력 공급에 따라 달라진다. 초기 실증 연구는 개발과 튜닝 선택이 하나의 보고된 학습 실행의 환경 부담을 지배할 수 있음을 보였다. 비교는 보고된 시스템 경계와 측정된 작업량을 기준으로 해야 하며, 매개변수 수로부터 보편적 수치를 추정하면 안 된다.²²

완화는 수명 주기 전체에 걸친 과정이다. 데이터 거버넌스, 평가, 접근 통제, 사고 대응, 사람의 감독, AI 정렬 연구는 서로 다른 실패 경로를 다룬다. 한 모델 버전이나 응용에서 검증된 안전장치가 다른 모델에도 그대로 통한다고 가정해서는 안 된다.

9. 공개 범위와 접근

파운데이션 모델은 호스팅된 인터페이스, API, 내려받을 수 있는 매개변수, 더 완전한 공개 형태로 접근할 수 있다. 이 선택은 서로 다른 정보를 드러내고 서로 다른 권리를 부여한다.

오픈 소스 이니셔티브의 정의는 모델 매개변수를, AI 시스템을 연구하고 수정하는 데 필요한 더 넓은 자료와 구분한다. 특정 조건에서 데이터 정보, 코드, 매개변수를 요구하므로, 가중치를 내려받을 수 있다는 이유만으로 오픈소스라고 불러서는 안 된다. 다른 틀은 다른 용어를 쓸 수 있다. 'API 접근', '공개 가중치', '학습 코드 공개'처럼 구체적인 표현이 단일한 공개·비공개 표시보다 정보가 많다.²³

10. 법과 정책

유럽연합의 법적 범주는 '파운데이션 모델'이 아니라 '범용 AI 모델'(GPAI 모델)이다. 두 개념은 겹치지만, EU AI법 적용 여부는 법적 정의가 정한다. 제3조 63항은 GPAI 모델을 상당한 일반성, 다양하고 서로 구별되는 과제에서의 능숙한 성능, 다양한 하위 시스템이나 응용으로의 통합으로 정의하며, 시장 출시 전의 연구와 프로토타이핑은 예외로 둔다.

제53조에 따라 GPAI 모델 제공자는 기술 문서를 유지하고, 하위 제공자에게 능력과 한계에 대한 정보를 주며, 유럽연합 저작권법 준수 정책을 채택하고, 학습 내용에 대한 충분히 상세한 요약을 공개해야 한다. 규정은 자격을 갖춘 무료·오픈소스 공개 모델에 두 가지 문서 의무의 제한적 예외를 두지만, 저작권 정책과 학습 내용 요약 의무에는 예외가 없고, 체계적 위험이 있는 GPAI 모델에도 예외가 없다.

GPAI 모델은 고영향 능력이나 집행위원회의 지정으로 체계적 위험이 있는 모델로 분류될 수 있다. 학습 연산량이 10^25 부동소수점 연산(FLOP)을 넘으면 고영향 능력이 있는 것으로 추정되지만, 이 수치는 파운데이션 모델의 정의도, 보편적 안전 경계도, 지정으로 가는 유일한 경로도 아니다. 체계적 위험이 있는 모델의 제공자는 평가와 적대적 시험, 위험 평가와 완화, 중대 사고 보고, 사이버 보안에 대한 추가 의무를 진다.²⁴

GPAI 의무는 2025년 8월 2일부터 적용되었다. 유럽연합 집행위원회는 과징금을 포함한 집행 권한이 2026년 8월 2일부터 적용된다고 밝혔고, 2025년 8월 2일 이전에 이미 시장에 나온 모델의 제공자는 2027년 8월 2일까지 준수해야 한다고 밝혔다. GPAI 행동 강령은 법의 투명성, 저작권, 안전과 보안 의무를 위한 자발적 준수 도구이며, 집행위원회와 AI 이사회가 2025년 8월에 승인했다.^25,26

미국 연방 정책은 날짜를 신중히 표기해야 한다. 행정명령 14110은 2023년 '이중 용도 파운데이션 모델' 보고 틀을 만들었지만, 행정명령 14179가 2025년 1월 그 명령을 폐지하고 그 아래에서 이뤄진 조치의 검토를 지시했다. 따라서 2023년 보고 조항을 현재 유효한 행정명령 체계로 기술하면 부정확하다. 별도로 NIST의 AI 위험 관리 틀은 여전히 자발적이며 AI 위험을 관리하기 위한 일반 절차를 제공한다. 생성형 AI 프로파일은 생성형 시스템에 특유한 위험을 다루므로 파운데이션 모델 전체보다 좁다.^21,27,28

거버넌스 범주는 과학적 분류만이 아니라 법적, 정책적 질문에 답한다. 규칙 적용 여부는 관할, 시장 배치, 제공자 역할, 공개 조건, 시스템 사용에 따라 달라질 수 있다. 법적 주장은 배포 시점에 1차 법령과 규제 기관 지침으로 다시 확인해야 한다.