AI article
같은 모델인데 AUROC 0.835가 0.565로: 신약 AI 벤치마크에 시간 분할이 필요한 이유
Community description: 같은 데이터와 같은 모델로 hERG 독성 예측을 무작위 분할과 시간 분할로 재 봤습니다. 점수 차이, 반복 제출 부풀리기, 사다리 규칙 시뮬레이션을 코드와 함께 공개합니다.
Dev.to | Oct 21, 2026 | Vidraft_lab
Automated excerpt
LEADBOARD 문서는 같은 현상을 hERG 보드에서 무작위 분할 0. 818, 시간 분할 0. 606으로 적어 두었습니다. 제 재현은 데이터 정제 방식(중앙값 집계, 등호 측정값만 사용, 문턱 pIC50 5. 0)이 달라 값이 정확히 같지는 않지만 방향과 크기는 같습니다. 약 0. 2 이상이 시험 문제에서 나온 점수입니다. 운영 중인 hERG 보드의 시간 분할 기준은 2022년이고 학습 8,450개, 시험 1,338개입니다. 보드 API의 값으로 보면 학습하지 않은 기준선 세 가지의 AUROC는 상수 예측 0. 5, 최근접 이웃 0. 566, Morgan 지문과 LightGBM 0. 606입니다. 제 재현의 시간 분할 0. 565는 이 기준선들과 같은 범위에 있습니다. 아닙니다.
Selected automatically from source text; not independently written or fact-checked. Read the original for full context.