AI article
2비트라는 이름의 GGUF가 3비트 이름의 파일보다 컸습니다: 공개 Darwin-180B 양자화 파일 6개를 헤더까지 열어 보니
Community description: TQ2_0 이름의 파일은 92.0GB, Q3_K_S는 90.0GB였습니다. 파라미터의 28.9%가 조회용 표이기 때문입니다. GGUF 헤더를 읽어 파일 구성을 계산했습니다.
Dev.to | Nov 8, 2026 | Vidraft_lab
Automated excerpt
저희가 공개한 Darwin-180B-RSI-R3 가중치를 다른 분들이 GGUF로 양자화해 올려 두었습니다. HF에서 이 모델을 기반으로 표시한 양자화 저장소는 7곳이고, 그중 GGUF 저장소 4곳의 파일 6개를 골라 GGUF 헤더를 열어 파일 안에서 바이트가 어디로 가는지 계산했습니다. 파일 전체를 받지 않고 앞부분만 HTTP Range로 읽었습니다. 가장 눈에 띈 것은 이름과 크기의 어긋남입니다. 이름에 TQ2_0이 붙은 파일은 91.97GB인데, Q3_K_S라는 이름의 파일은 90.00GB, IQ3_XXS라는 이름의 파일은 75.84GB입니다. 2비트 이름이 3비트 이름보다 큽니다. 이유는 이 모델의 구조에 있습니다. GGUF에 담긴 파라미터 1,769억 개 가운데 512억 개(28.9%)가 per_layer_token_embd라는 조회용 표이고, 이 표는 양자화 이름과 상관없이 4.5비트 또는 8.5비트로 고정되어 있었습니다.
Selected automatically from source text; not independently written or fact-checked. Read the original for full context.