2위와 0.05점 차이도 1위일까: 허깅페이스 보드 44곳에서 자사 1위 11개의 두께를 재 봤습니다

Automated excerpt

"자사 1위"는 1위 행의 모델 ID가 FINAL-Bench/로 시작하는 보드로 정의했습니다. API는 누가 평가를 실행했는지까지 알려 주지 않습니다. 그래서 이 값을 제3자 검증이라고 부르지 않습니다. verified가 없으면 남는 단서는 notes 칸입니다. 평가 설정(샘플 수, 온도, 집계 방식)을 적어 두는 칸인데 필수가 아닙니다. 44개 1위 행 중 notes가 있는 것은 28개입니다. 저희 1위 11개는 11개 모두, 타사 1위 33개는 17개가 적어 두었습니다. 타사 16곳은 어떻게 쟀는지 보드만으로는 알 수 없습니다. Q. 순위표 1위는 믿을 수 있나요? 1위라는 사실은 그날의 값으로 믿을 수 있습니다. 하지만 "그 모델이 더 낫다"는 주장은 격차, 문항 수, 집계 방식, 출처를 같이 봐야 합니다. 격차가 0.

Selected automatically from source text; not independently written or fact-checked. Read the original for full context.