OpenAI가 11월 6일 AI 에이전트가 생물학 실험실의 일상 분석 과제를 얼마나 처리하는지 재는 벤치마크 BioBasicsBench를 공개했다. 일곱 모델 모두에 보고된 가장 높은 설정인 xhigh에서 GPT-6 Astra는 배점의 평균 66.7%를 얻어 GPT-5.6 Sol의 43.8%를 앞섰다. 일부 모델은 max 설정 결과도 따로 있다.
효소 설계를 하는 바이오 기업 Ligo와 함께 만들었다. 과제는 100개이고 단백질 분석, 이미지·세포 계측, 정량·어세이, 핵산 분석, 분자 클로닝의 다섯 영역으로 나뉜다. OpenAI는 이 벤치마크로 AI 에이전트가 원자료를 해석하고 오류를 찾으며, 증거가 결론을 뒷받침하지 못할 때 이를 알아차리는지 본다고 밝혔다.
OpenAI는 기존 벤치마크가 논문용으로 고른 도표와 이미지 위주여서 실패한 실험, 모호한 이미지, 서로 어긋나는 관찰 같은 실험실의 불확실성을 놓칠 수 있다고 지적했다.
과제 구성과 채점
과제는 과학자들이 자기 실험 데이터로 만들고 문항마다 전문가가 쓴 채점 기준을 붙였다. 검토는 세 번 거쳤다. 문항을 쓰지 않은 Ligo 과학자의 내부 검토, 실험실에서 일하는 박사급 외부 과학자의 검토, 마지막 내부 검토다. 검토자는 질문, 실험 증거, 채점 기준, 작성자 메모, 채점된 모델 답안 하나를 확인했다.
에이전트는 요청받은 결론, 측정값 또는 권고를 구조화한 답으로 내고, 필요하면 근거도 적는다. 채점은 기준별로 부분 점수를 주기 때문에 정답 결론과 일부만 맞은 분석을 구분한다. 기준은 과제에 따라 결론, 수치 결과, 근거, 증거가 부족하다는 인식을 평가한다. 대부분의 과제는 생물학 지식, 이미지와 데이터 해석, 오류 탐지, 프로토콜 이해를 함께 시험한다. 쉬운 과제는 젤에서 DNA 분자량을 읽는 일이고, 어려운 과제는 어세이를 자세히 분석하는 일이다.
입력 자료는 실험 현장의 형태를 유지한다. 한 과제에 여러 종류가 들어갈 수 있어 범주가 서로 겹치므로, 표의 과제 수를 더해 과제 총수를 구하면 안 된다. 참고 자료를 포함한 과제가 21개이며, 이 자료는 실험 증거 해석을 돕는 보조 자료다.
| 데이터 종류 | 과제 수 | 예시 |
|---|---|---|
| 젤·블롯 | 31 | 아가로스 DNA 젤, SDS-PAGE 젤, 웨스턴 블롯 |
| 프로토콜·메모·사양 | 27 | 프로토콜, 실험 노트, 손글씨 메모 사진, 카탈로그, 장비 사양 |
| 표·장비 내보내기 | 20 | CSV·Excel, 레인 배치표, 유세포 분석 FCS 원본 |
| 실험대·장비·시약 사진 | 18 | 젤 장비, 시약·배양 튜브, PCR 플레이트, 냉동고, 액체 핸들러 |
| 현미경 | 14 | 명시야·형광 원본, 다채널 세트, z-스택, 타임랩스 |
| 장비 화면·그래프 | 13 | 유세포 분석기, NanoDrop, 플레이트 리더 화면, 표준 곡선, 크로마토그램 |
| 시퀀싱 파일 | 12 | 장거리 리드 FASTQ, FASTA, GenBank 지도 |
| 프로토콜 영상 | 7 | 획선 도말, 접종, 연속 희석, 저울 측정 |
| 한천 플레이트·콜로니 | 7 | 형질전환 플레이트, 청백 선별, 항생제 디스크 |
| 참고 자료 | 21 | 래더 차트, 플라스미드 지도, pH 차트(보조 자료) |
모델별 점수
평가 대상은 GPT-5.2, GPT-5.4, GPT-5.5, GPT-5.6 Sol, GPT-6.1 Sol, GPT-6 Luna, GPT-6 Astra의 일곱 모델이다. 추론 강도 설정까지 합쳐 37개 조합을 썼고, 조합마다 100개 과제를 5번씩 풀게 해 결과는 모두 18,500건이다. 점수는 과제 점수를 배점 대비 백분율로 나타낸 평균 보상이며, 신뢰구간은 과제 단위로 재표집해 구했다.
| 모델 | 평균 보상 | 95% 신뢰구간 | 과제당 출력 토큰 |
|---|---|---|---|
| GPT-6 Astra | 66.7% | 60.3~73.1% | 4,704 |
| GPT-6.1 Sol | 62.0% | 55.6~68.4% | 5,238 |
| GPT-5.6 Sol | 43.8% | 37.6~50.0% | 9,099 |
| GPT-6 Luna | 38.3% | 32.3~44.5% | 13,120 |
| GPT-5.5 | 35.4% | 29.7~41.0% | 11,135 |
| GPT-5.4 | 33.2% | 28.3~38.4% | 13,717 |
| GPT-5.2 | 31.2% | 26.2~36.3% | 27,620 |
GPT-6 Astra는 출력 토큰이 과제당 4,704개로 GPT-5.6 Sol의 9,099개보다 적었는데도 점수는 높았다. OpenAI는 Astra가 낮은 추론 강도에서도 GPT-5.6 Sol을 크게 앞선다고 밝혔고, 네이티브 멀티모달 능력이 강해진 것이 실험실 분석 성능을 높이는 핵심일 수 있다고 해석했다.
Astra가 나아진 사례
세포 생사 판별 과제에서 GPT-5.6 Sol은 사세포 검출용 염료의 신호만 보고 세포를 죽은 것으로 분류했다. 그런데 SYTOX 채널의 검출 창은 470~540nm, FUN-1 green 채널은 525~580nm여서 두 창이 525~540nm에서 겹치고, 검출기가 두 번째 염료의 빛도 잡을 수 있어 밝기만으로는 결론을 내릴 수 없었다. Astra는 이 모호함을 알아보고 신호를 분리할 더 나은 대조군을 요구했다. 간섭이 얼마나 되는지는 측정되지 않았다.
이미지의 세부를 더 잘 읽어 더 정확한 결론을 낸 예도 있다. 대조군이 필수인 DNA 클로닝 실험 과제에서 GPT-5.6 Sol은 음성 대조군 플레이트에 콜로니가 없다는 점을 근거로 결론을 냈다. Astra는 플레이트 가장자리 라벨이 "LB Kan50"으로, 실험에 쓴 암피실린이 아닌 카나마이신을 가리킨다는 것을 알아채고 이 플레이트를 믿을 만한 대조군에서 제외했다.
현미경 영상 과제에서는 세포가 초점 안팎으로 나타났다 사라졌다. GPT-5.6 Sol이 세포가 사라진 생물학적 이유를 찾은 반면 Astra는 서로 다른 깊이를 찍은 z-스택임을 맞혔다. OpenAI는 이를 실험 맥락을 유지하며 분석하는 능력이 나아진 예로 들었다.
남은 한계
OpenAI는 점수가 높아도 모델이 실험실에서 믿을 만한 판단을 한다는 뜻은 아니라고 밝혔다. 공개한 Astra의 오류 사례는 세 가지다.
- 가정이 대조군을 누른 사례: 콜로니 PCR 결과에서 Astra는 두 밴드 묶음을 올바르게 나눴지만, PCR 산물이 크면 클로닝에 성공했다고 가정해 4·6·7·8번 레인을 골랐다. 기준 해석은 대조군 비교로 레인(콜로니) 5·9·10번을 고른다. 묶음에 붙인 실험적 의미가 기준 해석과 반대여서 엉뚱한 플라스미드를 정제하게 된다.
- 반대 증거를 무시한 사례: 액포가 주변보다 대체로 어둡다고 결론 냈지만 같은 이미지에 밝은 액포도 있다. 초점 깊이에 따라 대비가 뒤집히므로 어두운 예만으로 일반 규칙을 세울 수 없다. Astra는 초점에 따라 대비가 달라진다고 언급하고도 초점이 잘 맞았다고 본 세포의 어두운 묘사만 최종 답에 남겼다.
- 콜로니 계수 오류: 가까운 콜로니를 구분하지 못하고, 보이는 콜로니 둘을 놓치고, 빈 한천을 콜로니로 셌다. 이 플레이트에서 기준보다 약 12% 많게 센 결과가 나왔다. 도말 부피와 희석이 고정되면 과대 계수는 DNA 도입 효율 추정치를 같은 비율로 부풀린다.
OpenAI는 이런 능력을 추적하면 생물 안전과 보안에 미치는 영향을 이해하는 데도 도움이 될 것이라고 밝혔다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.