Tek GPU’da ölçüldü. Açıkça raporlandı.
Sıfır atış lm-evaluation-harness, tam test setleri, tek çalıştırma, aynı makine. Heimdall-Bit 337M’nin GPT-2, Pythia ve SmolLM2 ile karşılaştırması.
| Test | Heimdall-Bit 337M | GPT-2 124M | Pythia-160M | Pythia-410M | SmolLM2-135M |
|---|---|---|---|---|---|
| Eğitim token’ı | 3.7B | WebText | ~300B | ~300B | ~2T |
| ARC-Easy (acc) | 45,0 | 43,8 | 43,2 | 51,9 | 64,3 |
| ARC-Challenge (acc_norm) | 23,9 | 22,7 | 23,1 | 24,2 | 29,7 |
| HellaSwag (acc_norm) | 32,0 | 31,1 | 30,2 | 40,5 | 43,2 |
| PIQA (acc) | 60,8 | 62,9 | 62,1 | 66,7 | 68,3 |
| Winogrande (acc) | 49,2 | 51,6 | 52,6 | 53,8 | 53,4 |
| LAMBADA (acc / ppl)† | 22,5 / 84,8 | 32,6 / 40,1 | 32,7 / 38,2 | 51,5 / 10,8 | 43,0 / 19,1 |
| WikiText kelime-perplexity ↓ | 41,7 | 37,4 | 33,5 | 20,1 | 23,1 |
Standart hata yaklaşık ±1 puan (Winogrande’de ±1,4). Heimdall kendi adaptörümüzle değerlendirildi (bench/lmeval_heimdall.py, 2.048 token pencereler); herkese açık modeller harness’in Hugging Face arka ucuyla (GPT-2 1.024 token pencere, Pythia ve SmolLM2 2.048). † LAMBADA doğruluk ve perplexity’si tokenizer’a bağlıdır (8K sözlüğümüz kelimeleri daha çok token’a böler) ve modeller arası karşılaştırılamaz; WikiText kelime-perplexity’si karşılaştırılabilir.
Bunun söylediği ve söylemediği.
Ne söylüyor
Pythia’nın eğitim token’ının yaklaşık 1/80’i ile Heimdall-Bit; ARC-Easy, ARC-Challenge ve HellaSwag’da GPT-2 small ve Pythia-160M ile aynı aralıkta (farklar yaklaşık bir puan içinde). Bu, masaüstü bir GPU’da yaklaşık 92 saatte eğitilmiş bir model.
Ne söylemiyor
PIQA’da geride (1–2 puan), Winogrande ve ARC-Challenge’da şans düzeyinde, LAMBADA ve WikiText’te geride (41,7’ye karşı 33–37) ve Pythia-410M ile SmolLM2-135M’nin belirgin biçimde gerisinde. Eşleştiği modellerin iki katından fazla parametreye sahip ve yoğun temel model olmadığı için bunların hiçbirini 1 bit FFN’e atfedemeyiz. Karışımımız ayrıca token’ların %25’ini koda harcıyor; bu testler bunu ödüllendirmiyor.
Önceki araştırma modelimize karşı
Hiçbir modelin eğitilmediği bir GitHub kod parçasından 512 token’lık 200 ayrılmış pencerede Heimdall-Bit 337M, önceki 116M modelimizin 3,226’sına karşı 1,011 nat alıyor (256–512. konumlar: 0,874’e karşı 3,249). Önceki model ağırlıklı olarak küçük bir derlemeyi tekrarlayarak eğitilmişti; bu, yeni modelin çok daha iyi genelleştiğini gösterir. Eşit boyut ya da eşit veri ile mimari karşılaştırması değildir.
Her sayıyı yeniden üret
Harness adaptörü, istemler, tohumlar ve her tablonun betikleri depoda. github.com/valeroisai/heimdall
Hadi. Dene.
Nova’ya ücretsiz başlayabilirsin. Kart yok, kurulum için öğleden sonra ayırmak yok. Ya da araştırma için bize yaz.