Sözlük: Heimdall, Gated DeltaNet, KV önbelleği ve daha fazlası

1-bit ve 1,58-bit ağırlıklar: İki değerle (±1, ikili) ya da üç değerle (−1, 0, +1, üçlü, yaklaşık 1,58 bit) sınırlanmış ağırlıklar. Heimdall bunları ileri besleme katmanlarında, parametrelerinin %58’inde kullanır.
BitFlip: Heimdall’in özel iyileştiricisi. Tam hassasiyetli bir kopyayı yönlendirmek yerine en güçlü gradyanlı ağırlıkları doğrudan çevirir.
Delta kuralı: Matris belleğe yeni bir değeri, yalnızca üstüne eklemek yerine o anahtar için zaten depolananı düzelterek yazan güncelleme kuralı.
Dönüşüm: Heimdall’in önceden eğitilmiş bir Transformer’ı yalnızca yaklaşık %2 yeni parametre eğiterek sabit bellekli bir modele dönüştürme yöntemi. SmolLM2-135M’yi 0,8M token ile dönüştürdük.
Gated DeltaNet: Delta kuralını belleğin unutmasını sağlayan öğrenilmiş bir kapıyla birleştiren katman. 2024’te Yang, Kautz ve Hatamizadeh tarafından tanıtıldı. Sabit boyutlu bir durum tutar.
Gizli ağırlıksız eğitim: İkili ya da üçlü ağırlıkların ağırlıkların tek kopyası olduğu eğitim: tam hassasiyetli gölge ağırlık ve Adam iyileştirici durumu yok.
Heimdall: Valerois’in araştırma mimarisi: Gated DeltaNet ile global dikkatin, gizli ağırlıksız 1-bit ileri besleme katmanlarıyla hibriti; tek tüketici GPU’sunda sıfırdan eğitildi. Araştırma kod tabanının da adıdır.
Heimdall-Bit: Heimdall tasarımıyla sıfırdan eğittiğimiz modeller: 98M parametre (800M token) ve 337M parametre (3,7 milyar token). Talimat ayarı olmayan taban modellerdir.
Hibrit mimari: Katman türlerini karıştıran model; genellikle çok sayıda özyinelemeli ya da durum uzayı katmanı ve birkaç dikkat katmanı, belleği düşük tutarken tam hatırlamayı korumak için. Heimdall her dikkat katmanı için üç Gated DeltaNet katmanı kullanır.
KV önbelleği: Bir Transformer’ın önceki her token için yeniden hesaplamamak adına sakladığı anahtar ve değerler. Bağlamla doğrusal büyür ve uzun üretimlerin başlıca bellek maliyetidir.
MQAR: Çok sorgulu çağrışımlı hatırlama: modelin metinde önceden konmuş birçok anahtarın değerini geri vermesi gereken test. Sabit boyutlu belleğin ayrıntıları ne kadar tuttuğunu yoklar.
Nova: Valerois Studio Nova: işini bilgisayarında ya da tarayıcıda planlayan, yazan, çalıştıran ve kontrol eden, Valerois’in yapay zekâ çalışma alanı. “Nova” adlı başka ürün ya da modellerle ilişkili değildir.
Perplexity: Kaybın üstelidir. Kabaca modelin her adımda kaç kelime arasında tereddüt ettiği; düşük olan iyi.
Sabit bellek: Okuduğu metin için belleği metnin uzunluğuyla büyümeyen model; büyüyen bir önbellek yerine sabit boyutlu bir durum tutar.
Supernova modu: Sağlam olması gereken işler için Nova modu: planlar, kanıtlı adımlarla yapar, doğrular, sonra sonucu ikinci bir modele inceletir. Pro ve Max’e dahildir.
Token başına nat: Doğal logaritmayla ölçülen doğrulama kaybı; düşük olan iyi. Yalnızca aynı tokenizer ve veriye sahip modeller arasında karşılaştırılabilir; modeller arası karşılaştırma için kelime perplexity’sini kullanmamızın nedeni bu.
Transformer: 2017’de tanıtılan, dikkat üzerine kurulu sinir ağı mimarisi. Her yeni token önceki tüm token’lara bakar; bu yüzden önbelleği metinle büyür.

Sözlük: zor kavramlar için sade sözler

Hadi. Dene.