Google DeepMind가 날씨·수문·기후 연구에 쓸 수 있는 데이터셋 두 가지, 전 지구 위성 영상 모자이크 SatWeave와 AI 기반 전 지구 강수 데이터 PARDIG를 공개했다. 연구자와 개발자는 실시간 피드와 과거 자료를 모두 내려받아 자체 모델이나 응용 서비스에 쓸 수 있다.
두 데이터셋의 실시간 자료와 과거 자료는 Google Cloud Storage에서 열려 있고, PARDIG의 과거 자료는 Google Earth Engine에서도 볼 수 있다. 회사는 두 데이터셋이 최근 공개한 기상 예측 모델 WeatherNext 3의 핵심 재료였다고 밝혔다. SatWeave는 모델에 구름과 폭풍이 발달하는 모습을 실시간으로 보여 주는 입력이고, PARDIG는 강수 예측을 학습시키는 데 쓰였다.
SatWeave: 위성 다섯 대를 하나로
SatWeave는 GOES-East, GOES-West, Meteosat 0, Meteosat Indian Ocean, Himawari 등 정지궤도 위성 다섯 대의 영상을 합친 것이다. 위성마다 지도 투영법, 파일 형식, 센서, 관측 주기(10~30분)가 달라 하나의 전 지구 지도로 만들기 어렵다. 회사에 따르면 기존 전 지구 합성 자료는 호환되지 않는 요소를 버려 채널이 네 개 이하이거나 몇 시간에 한 번 갱신되는 경우가 많았다.
SatWeave는 한 시간마다 갱신된다. 이 덕분에 WeatherNext 3는 6시간마다 갱신되는 분석 자료로 초기화하는 모델과 달리 새 전 지구 예측을 더 자주 낼 수 있다고 회사는 설명했다. 공개 범위는 시간 단위 실시간 피드와 10년 넘는 과거 자료다. 회사는 태양광 발전 예측과 산불 감시 같은 응용을 연구·개발 커뮤니티와 탐색하고 싶다고 밝혔다.
PARDIG: 위성 레이더로 학습한 강수 지도
PARDIG(Precipitation AI Reanalysis: Densely Inferred GPM)는 WeatherNext 3와 비슷한 인공지능 구조 위에 만들었다. NASA의 GPM Core Observatory가 우주에서 관측한 드문드문한 레이더 자료로 직접 학습했고, SatWeave 영상과 ECMWF의 대기 자료를 입력으로 쓴다. 결과물은 시간 해상도 15분, 공간 해상도 약 10km의 전 지구 강수 지도이며 평균 지연 시간은 약 5시간이다.
회사는 미국·유럽·일본의 대륙 규모 레이더망 세 곳과 전 세계 관측소 3만 6,000곳 이상으로 PARDIG를 평가했다. 모든 강수 강도에서 주요 전 지구 기준 자료보다 낫고, NASA의 연구용 강수 추정 자료 IMERG-Final과 비교하면 약한 비에서 보통 비까지 시간당 강수 탐지 능력이 30% 넘게 높다고 한다. 기존 전 지구 자료가 잡기 어려운 극한 강수에서도 특히 효과적이었다는 설명이다.
지상 관측에만 의존하지 않고 위성에서 직접 배우기 때문에 지상 레이더나 우량계가 없는 지역에서도 믿을 만한 정확도를 낼 것으로 회사는 기대한다. 과거 자료는 1999년부터 2026년까지 제공한다. 회사는 지상 레이더망이 촘촘하지 않은 지역의 홍수, 산사태, 가뭄 모델 개선을 커뮤니티와 함께 탐색하고 싶다고 밝혔다.
이번 공개는 Google의 Earth AI 제품군에 최근 추가된 항목이다. 개발에는 Google DeepMind와 Google Research, Google Cloud, Google Geo의 팀이 참여했다. 회사는 ECMWF, NASA, JAXA, NOAA, EUMETSAT, KMA, JMA, KNMI, Synoptic Data의 공개 위성 프로그램과 데이터에 감사를 표했다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.
- Opening the datasets behind our AI weather models deepmind.google