VALKIR

Zekileştikçe hafif kalan modeller.

Her Valerois modeli Bifrost CSL çekirdeğini paylaşır. Parametreler büyür; çıkarım belleği büyümez. Bugün yayımlanmış tek bir model var. Gerisi planlı ve öyle işaretliyoruz.

0Mmilyon parametre, yayımlandı
0MB çıkarım durumu, sabit
0% HumanEval AST geçerliliği
0KV önbelleği, her uzunlukta
Yayımlandı

Valkir 16L · 116.8M

Bifrost CSL mimarisinin referans modeli; baştan sona tek bir AMD Radeon RX 9070 XT üzerinde eğitildi. Sabit 8,86 MB çıkarım durumu, KV önbelleği yok.

Katman · genişlik16 · 640
Token4.74B
Alım alanı1.233 token
Zirve VRAM4.87 GB
Öne çıkan54.0% HumanEval AST
Gelecekte

Vesper

Valkir ailesi üzerine kurulacak bir asistan; ilerideki bir aşama için planlı. Henüz yayımlanmış ya da tarihlenmiş hiçbir şey yok, şimdilik yalnızca bir yön.

DurumGelecekte, şimdilik
Bağlı olduğuValkir 140M ve 1.5B
BellekSabit, tasarım gereği
Planlandı

Valkir 140M

Daha geniş SwiGLU ileri besleme bloğuna sahip ölçeklenmiş omurga; daha güçlü Python ve Rust üretimi ile çok adımlı matematik hedefler. Rakamlar tasarım hedefidir.

Katman · genişlik20 · 768
Token10B (hedef)
Alım alanı1.540 token
Zirve VRAM6,20 GB (tahmini)
Planlandı

Valkir 1.5B

Ailenin ilk orta ölçekli modeli; akademik ve sektörel hesaplama ortaklarıyla planlandı. Rakamlar tasarım hedefidir.

Katman · genişlik32 · 2048
Token50B (hedef)
Alım alanı3.200 token
Zirve VRAM12,4 GB (tahmini)

Valkir, yan yana

Aile, ölçekli (karekök ekseni)

Valkir 16LYayımlandı
116.8M
Valkir 140MPlanlandı
140.2M
Valkir 1.5BPlanlandı
1.52B
ModelDurumParametreKatmanGenişlikTokenAlım alanıKontrol noktası
Valkir 16LYayımlandı116.8M166404.74B1.233 token223 MB (BF16)
Valkir 140MPlanlandı140.2M2076810B (hedef)1.540 token280 MB (BF16)
Valkir 1.5BPlanlandı1.52B32204850B (hedef)3.200 token3.04 GB (BF16)

Valkir 16L, Valerois teknik raporu v1.4’te yayımlandı. “Planlandı” işaretli her şey bir tasarım hedefidir, sonuç değildir. Raporu oku

Sıradakine sahip çık

Asla büyümeyen bir bellekle kur.

Araştırma işbirlikleri, hesaplama ortaklıkları, değerlendirme erişimi ve basın. Genellikle bir iş günü içinde yanıtlarız.