가중치 원소 0.005%만 달라도 점수가 1.4%p 움직였습니다: 생성 채점으로 모델을 비교하다 저희 보고를 철회한 과정

Automated excerpt

객관식 추론 문항 400개를 생성(최대 8,192토큰, 온도 0) 으로 채점해 모델 두 파일을 비교했습니다. 두 파일은 원소 46.6억 개 중 23만 개(약 0.005%) 만 다르고, 최대 상대 차이는 bf16 정밀도의 약 1/25 였습니다. 그런데 점수는 0.7744 대 0.7889, 약 1.4%p 차이(3.9σ) 로 갈렸습니다. 같은 파일을 세 번 다시 재면 점수 범위가 0.17%p 였습니다. 반올림 수준만 다른 파일 세 개는 범위가 약 1.2%p 였습니다. Q. 온도 0이면 같은 입력에 항상 같은 출력이 나오는 것 아닌가요? 같은 서버, 같은 배치 구성이라면 대체로 같지만 보장되지 않습니다. 서빙 부하에 따라 배치 크기가 바뀌고, 커널 출력이 배치 크기에 의존하면 마지막 비트가 달라질 수 있습니다. Q.

Selected automatically from source text; not independently written or fact-checked. Read the original for full context.