Bifrost CSL teknik raporu: sıfır KV önbelleği

0Mmilyon parametre

0Bmilyar eğitim tokeni

0 hsaat, tek tüketici GPU’su

0MB durum, her uzunlukta

Özet

Ne yaptık

Transformer öz-dikkati (self-attention) çıkarımda O(N²) zaman ve O(N) anahtar-değer önbelleği harcar; bu da uzun bağlamları ve yerel dağıtımı sınırlar. Gruplanmış genişletilmiş evrişimleri girdiye bağlı SiLU geçitleme ve SwiGLU ileri besleme blokları ile birleştiren Bifrost CSL’yi (Convolutional Sub-quadratic Linear) tanıtıyoruz. Tek bir AMD Radeon RX 9070 XT üzerinde 4,74 milyar token ile eğitilen 116,8M parametreli Valkir 16L, sabit O(1) 8,86 MB çıkarım durumunu korurken %54,0 HumanEval AST geçerliliğine, %51,62 WinoGrande ve %33,08 ARC-Easy başarısına ulaşır.

Mimari: dört fikir, tek düz bellek

İki ölçekli zamansal evrişimler

Paralel kısa (K=16) ve genişletilmiş (K=32, d=2) çekirdekler, 0,5·(x_kısa + x_genişletilmiş) olarak birleştirilir. 16 katmanda doğrudan alım alanı, attention matrisi olmadan 1.233 token’a ulaşır.

Girdiye bağlı geçitleme

Eleman bazlı SiLU geçitleri bilgi akışını token başına ayarlar; attention’ın ikili karşılaştırmalarını doğrusal zamanlı yönlendirmeyle değiştirir.

LayerScale kararlılığı

Öğrenilmiş γ (başlangıç 0,1) ile ölçeklenen artık dallar, uzun tüketici GPU koşularında BF16 eğitimini kayıp sıçramalarından uzak tutar.

Sabit dairesel durum

Çıkarım, katman başına son K aktivasyonun halka tamponunu tutar: Valkir 16L için 8,86 MB, akış uzunluğundan bağımsız.

Nasıl okur: her katman iki kat uzağa bakar

Üst üste binen genişletmeler alım alanını derinlikle üstel olarak büyütür; böylece N×N matrisi hiç oluşturulmadan uzun menzilli yapıya ulaşılır.

Şematik: beş katman, çekirdek adımları her katmanda iki katına çıkar. Gerçek modelde 16 katman ve iki çekirdek ölçeği var.

Eğitim: 4,74B token, üç aşama

Aşama 1 · 10,5 sa

Temel ön eğitim

Python AST’leri ile tohumlanmış 1,11B token genel metin.

Aşama 2 · 9,2 sa

Sürekli hizalama

1,25B token: %60 kod, %40 FineWeb-Edu.

Aşama 3 · 17,8 sa

Maraton

FineWeb-Edu ve GSM8K’den 2,38B görülmemiş token.

ROCm Inductor ile hız (+%26)37,243 tok/s

Zirve eğitim VRAM’i (−%40)4.87 GB

BF16 kontrol noktası223 MB

Toplam eğitim süresi36 h

Alıntıla

@article{valerois2026bifrost,
  title   = {Bifrost CSL: Convolutional Sub-quadratic Linear Foundation Models with Zero KV-Cache},
  author  = {Valerois AI Research Team},
  journal = {Valerois Technical Report},
  volume  = {1},
  number  = {4},
  year    = {2026},
  url     = {https://valerois.com/research/}
}

Bu sayfadaki sayılar Valerois teknik raporu v1.4’ten alınmıştır ve bu web sitesi için yeniden ölçülmemiştir. Dokümantasyon CC BY-NC-ND 4.0 ile lisanslıdır; Bifrost CSL tescilli bir mimaridir.

Sıradakine sahip çık

Asla büyümeyen bir bellekle kur.

Araştırma işbirlikleri, hesaplama ortaklıkları, değerlendirme erişimi ve basın. Genellikle bir iş günü içinde yanıtlarız.

İletişime geç Raporu oku

Bifrost CSL: sıfır KV önbellekli temel modeller.