GitHub가 11월 17일(현지시간) GitHub Copilot 설정의 스킬, 에이전트, MCP 도구가 제대로 동작하는지 반복해서 시험하는 GitHub Copilot Evals를 공개 미리보기로 내놨다. 프롬프트·모델·스킬·도구를 바꾼 뒤에도 Copilot을 충분히 활용하고 있는지 개발자가 직접 점검할 수 있다.
공개 미리보기는 Copilot Individual, Copilot Business, Copilot Enterprise 요금제에서 제공된다. Visual Studio Code에서는 Visual Studio Marketplace의 GitHub Copilot Evals 확장을 설치한다. Copilot CLI에서는 플러그인을 설치하고, GitHub Copilot 앱에서는 Customize 메뉴에서 github/evals 마켓플레이스를 추가한 뒤 플러그인을 설치한다.
eval은 AI 동작을 반복해서 확인하는 시험이다. 에이전트에 현실적인 과제를 주고 좋은 결과의 기준을 적어 두면, 결과물과 에이전트가 거친 과정을 함께 검사한다. AI 출력은 실행할 때마다 달라질 수 있어 한 번 좋은 답이 나왔다고 설정이 잘 맞는다고 말하기 어렵다. 스킬, 에이전트, MCP를 바꾼 뒤 같은 eval을 다시 돌리면 원하는 동작이 유지되는지, 성능이 나빠지는 회귀가 생겼는지 볼 수 있다.
사용자는 자연어로 Copilot에 요청하거나 /eval 명령으로 프로젝트의 스킬, 맞춤 에이전트, MCP 도구용 eval을 만든다. 실행하면 통과한 검사와 실패한 검사가 나뉘어 보이고, 실행은 시작 전에 사용자가 승인한다. 실패한 검사는 원인을 찾아 Copilot 설정에서 무엇을 바꿀지 정할 수 있으며, 설정을 바꾸기 전후의 실행 결과를 비교해 개선 여부도 확인한다. 평가 엔진은 로컬에서 돌아가는 확장형 eval 도구 Vally다.
GitHub는 문서 페이지를 안내하고, 의견은 이슈 등록이나 GitHub Community 토론으로 받는다고 밝혔다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.
- GitHub Copilot Evals is now in public preview github.blog