Microsoft, 실제 고객 데이터 없이 Copilot 평가하는 합성 기업 환경 공개

Microsoft가 Microsoft Copilot을 평가하기 위한 합성 기업 환경 생성 플랫폼 'Industry Evaluation Data Generation Platform'을 소개했다. 실제 고객 데이터를 쓰지 않고 실제 조직처럼 복잡한 테스트 환경을 만드는 것이 목적이다.

Microsoft 연구 블로그에 2026년 10월 30일(현지시간) 올라온 이 글에 따르면 플랫폼은 제약, 자본시장, IT·소프트웨어 3개 업종의 가상 기업 환경을 갖췄다. 각 환경에는 수백 명의 사용자와 이들의 전체 소통 기록이 들어 있다. 플랫폼은 회사 내부 공유 카탈로그에 게시돼 팀들이 다시 쓸 수 있으며, Microsoft는 이를 Copilot의 첫 표준 평가 기준선으로 확립했다고 밝혔다.

고객 데이터 없이 기업 환경을 만드는 방식

Microsoft는 기업용 AI를 평가하려면 보고 체계, 프로젝트 이력, 소통 방식, 업종별 업무 흐름이 담긴 데이터가 필요하지만 실제 기업 데이터에는 어떤 경우에도 평가에 쓸 수 없는 민감 정보가 들어 있다고 설명했다. 소수의 수작업 테스트 자료 대신 조직 구조, 소통 기록, 업무 산출물을 갖춘 가상 업무 공간 전체를 생성했다. Microsoft 용어로 이런 공간 하나를 '테넌트'라 부르며, 사용자·데이터·설정이 독립된 조직 환경이다.

플랫폼은 가상 사용자, 회의, 이메일, 문서, 조직 구조를 갖춘 합성 환경, 평가용 질문을 자동으로 만드는 파이프라인, 합성 데이터가 평가 기준에 맞는지 따지는 품질 틀로 이뤄진다. 연구진은 이를 통해 Copilot이 사용자가 필요로 하는 일을 실제로 하는지, 그것을 사용자 데이터에 손대지 않고 입증할 수 있는지 확인하려 한다.

현실감은 공개 자료로 확보했다. 미국 노동부 직업 데이터베이스 O*NET은 가상 직원의 역할과 책임, 역할별 업무 빈도, 임상시험 검토나 포트폴리오 업데이트 같은 업종별 업무 흐름을 맞추는 데 쓰였다. 온라인 채용 공고는 직함, 보고 체계, 부서 구성을 제공했고, SEC 공시는 조직 규모, 사업부 구조, 재무 맥락을 알려 줬다. 이 자료는 모두 공개된 것이며 Microsoft 법무·정책 조직이 검토하고 승인했다.

환경은 고정된 스냅숏이 아니다. 몇 주에 걸쳐 이어지는 이메일, 회의 이력, 프로젝트 일정, 자연스러운 조직 변화를 담아 시간에 따라 변한다. '지난 목요일에 팀이 무엇을 결정했나', '지난 분기 검토 이후 무엇이 바뀌었나' 같은 시간 관련 질문은 데이터에 실제 시간 구조가 있어야 의미 있게 평가된다고 Microsoft는 설명했다.

Microsoft는 이렇게 업종을 나누면 해당 분야 사용자가 실제로 하는 질문으로 Copilot을 시험할 수 있고, 일반 테스트 사례가 놓치는 분야별 실패를 드러낼 수 있다고 밝혔다.

질문 생성과 품질 검증

환경만 있어서는 부족하고 Copilot이 올바른 정보를 찾아 정리하고 알기 쉽게 보여 주는지 시험할 현실적인 질문이 필요하다. 업종별 질문 수천 개를 사람이 쓰면 비용과 시간이 너무 든다고 연구진은 밝혔다. 그래서 6단계 자동 파이프라인을 만들었다. 흔한 업무 과제를 모은 큰 목록에서 해당 업종에 맞는 것을 고르고, 업종 용어와 맥락으로 바꾼다. 이어 AI가 합성 환경의 데이터에 근거한 질문을 만들고, 더 자연스러운 사람 말투로 고쳐 쓴 뒤 정확성과 고유성을 검증한다.

합성 환경의 품질은 내부 의미 평가 틀로 세 가지 차원에서 잰다고 Microsoft는 밝혔다. 이어 구조 충실도, 맥락 적합성, 행동 현실성, 콘텐츠 안전 네 항목을 나열했다. 구조 충실도는 보고 체계, 팀 규모, 부서 간 관계가 현실적인지를 본다. 맥락 적합성은 질문과 업무 흐름이 실제 기업 사용 양상을 대표하는지, 행동 현실성은 가상 사용자의 소통과 협업이 사람다운지를 확인한다. 콘텐츠 안전은 유해하거나 불쾌하거나 개인 식별이 가능한 내용이 없는지, 실존 인물을 사칭하지 않는지를 점검한다.

자동화 효과와 개인정보 설계

자동화가 없으면 수작업은 매번 조금씩 다른 결과를 내 출시 버전 간 평가를 비교하기 어렵고, 업종과 설정 조합이 사람이 감당할 수 없을 만큼 늘며, 만드는 데 며칠이 걸리고, 팀마다 형식과 품질이 달라진다고 Microsoft는 짚었다. 자동화로 평가 데이터셋 제작은 며칠짜리 수작업에서 자동 실행으로 바뀌었다. 회사는 데이터셋 하나당 약 10만 달러, 프로젝트 전체로 30만 달러를 아낀 것으로 추정했다. 같은 설정에서 다시 만들어도 똑같은 결과가 나오므로 어느 팀이든 재생성할 수 있다.

어떤 단계에서도 실제 고객 데이터를 쓰지 않는다는 것이 설계 원칙이다. 조직 구조부터 이메일 내용, 회의 녹취록까지 모두 합성하며 고객 데이터 입력은 없다. 실제 통계 분포를 참조할 때는 개인정보를 보호하는 집계 기법을 쓰고, 공개 자료는 법률 전문가가 검토·승인하며, 데이터 출처와 계보를 파이프라인 전체에서 추적한다. 합성 데이터이고 안전 검사도 거치므로 Microsoft 내부 팀이 평판, 규정 준수, 책임 있는 AI 측면의 위험 없이 공유하고 재사용할 수 있다고 회사는 밝혔다. 내부 팀은 개인정보 검토나 데이터 취급 제한 없이 실험, 벤치마킹, 회귀 테스트에 이를 쓸 수 있다.

성과로는 합성 데이터의 종합 품질 지표가 초기 생성 방식보다 39% 올랐다고 밝혔다. 이 지표는 합성 데이터가 실제 기업 환경의 복잡성과 패턴을 얼마나 닮았는지 재는 것이다. 일부 업종 환경은 1.0 만점에 0.9 이상을 받았다. 향상은 일부는 현실적인 업종 신호를 반영한 데서, 일부는 구조 완결성·맥락 일관성·통계적 다양성을 높이는 품질 개선을 자동화한 데서 얻었다. 이 점수는 Microsoft 내부 평가 체계가 낸 값이다.

Microsoft는 다음 과제로 여러 차례 오가는 에이전트 상호작용의 품질 평가, 몇 달이나 몇 해에 걸쳐 변하는 조직 역학을 합성 환경에 담는 방법, 텍스트 생성이 아니라 행동하는 AI의 평가 틀을 꼽았다. Copilot이 단일 질의응답에서 여러 단계의 에이전트형 작업으로 넓어지는 만큼 평가도 따라가야 한다는 입장이다.