OpenAI가 2026년 11월 2일(현지시간) 일상생활의 실용 과제에서 AI 모델의 발전 정도를 재는 평가 'LifeVal'을 연구 보고서로 공개했다. 보육 기관 찾기, 정부 서비스 이용, 예산 짜기, 식료품 주문 같은 일을 모델이 실제로 얼마나 처리하는지 보는 평가다.
OpenAI는 ChatGPT를 매주 10억 명 넘게 쓴다고 밝혔다. 회사는 조언이나 대화 답변을 넘어 실제로 일을 끝내는 개인 비서가 되려면 ChatGPT가 행동까지 할 수 있어야 한다고 설명했다. LifeVal은 사용자가 AI와 개인 에이전트의 도움을 가장 원한 영역을 다루는 과제로 구성했으며, OpenAI는 지난 1년간 이 평가로 일상 과제의 모델 성능을 추적하고 개선했다고 밝혔다.
과제를 고른 방법
OpenAI는 미국 시간 사용 조사(American Time Use Survey)와 다국가 시간 사용 연구(Multinational Time Use Study)를 출발점으로 삼았다. 두 조사에는 인구 집단과 시간대, 계절에 따라 사람들이 하는 일상 과제가 자세히 정리돼 있다. 여기에 인구 구성을 대표하도록 설계한 응답자 3,995명의 새 설문을 더해, 개인 비서의 도움이 가장 반가운 영역을 물었다.
이렇게 추린 과제는 돌봄, 건강, 교육, 가정 행정, 개인 재무, 쇼핑, 정부 서비스 이용 등에 걸친다.
공개된 과제 예시와 점수
| 과제 | 점수 |
|---|---|
| 이사 후 알맞은 유치원 등록 | 93.1% |
| 홍수 대비 자원봉사자 조직 | 98.0% |
| 가족이 살 새 집 찾기 | 100% |
| 멀리 있는 할머니와 경기 함께 보기 | 96.3% |
| 당뇨 진단을 받은 부모의 식단 준비 | 90.4% |
유치원 과제에서는 새집 근처 유치원을 비교해 후보를 추리고 등록 정보를 정리한다. 집 찾기 과제의 조건은 예산, 별도 거주 공간, 자녀를 등교시킨 뒤의 짧은 통근 거리다. Luzerne County에서 이 조건에 맞는 주택을 찾아 양도세(transfer tax)를 계산하고, 소유권 증서(deed)를 county records 장바구니에 담아 사용자가 검토하게 한다. 당뇨 과제에서는 첫 주 식단과 알림, 의료진에게 할 질문을 짠다.
OpenAI는 최신 모델이 LifeVal의 많은 과제에서 매우 높은 점수를 얻는다고 밝혔다. 지난 1년간 브라우저 사용, 컴퓨터 사용, 커넥터 과제에서 모델이 훨씬 빠르고 유능하며 더 잘 정렬(aligned)되도록 훈련했다는 설명이다. 이런 기능을 ChatGPT에 넣으면서 처리할 수 있는 과제 종류가 늘었다고 회사는 밝혔다.
OpenAI는 인공 일반 지능이 모든 사람에게 이로우려면 학술적 지식 평가를 넘어, 일상의 결정과 책임을 AI가 얼마나 돕는지도 재야 한다고 밝혔다. LifeVal이 그 방향의 한 걸음이길 바란다고 덧붙였다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.
- LifeVal openai.com