Transformer alternatifleri: sabit bellekli dil modelleri

Kısa yanıt

Mamba, RetNet, DeltaNet ve Gated DeltaNet, RWKV ve xLSTM, Transformer’ın en bilinen alternatifleridir. Büyüyen bir önbellek yerine sabit boyutlu bir bellek tutarlar. Bedeli, uzaktaki ayrıntıların tam hatırlanmasıdır; bu yüzden Jamba, Griffin ve bizim Heimdall dahil birçok yeni tasarım birkaç dikkat katmanı tutan hibritlerdir.

Sorun neden bellek

Bir Transformer bir sonraki kelimeyi yazarken kendinden önceki her kelimeye bakar ve yeniden hesaplamamak için anahtar ve değerlerini saklar: KV önbelleği. Önbellek bağlamla doğrusal büyür. Dönüşüm deneyimizde SmolLM2-135M, 8K token’da 180 MB, 1M token’da yaklaşık 22 GB önbellek ister. Bir dizüstü bilgisayarda ya da tek bir tüketici GPU’sunda, ne kadar metinle çalışabileceğini ağırlıklar değil bu önbellek sınırlar.

Aileler

Aile	Fikir	Metin büyürken bellek	Temel makaleler
Transformer (tam dikkat)	Her token önceki tüm token’lara bakar.	Her token ile büyür	Vaswani et al., 2017
Durum uzayı modelleri: Mamba, Mamba-2	Girdiye bağlı kurallarla güncellenen sabit boyutlu bir durum (“seçici”).	Sabit	Gu and Dao, 2023 · Dao and Gu, 2024
Tutma ve doğrusal dikkat: RetNet	Matris durumu üzerinde özyineleme olarak çalışabilecek biçimde yeniden yazılmış dikkat.	Sabit	Sun et al., 2023
Delta kuralı modelleri: DeltaNet, Gated DeltaNet	Depolananı düzelterek yazan delta kuralıyla güncellenen matris bellek; kapılı sürüm unutabilir de.	Sabit	Yang et al., 2024 · Yang, Kautz and Hatamizadeh, 2024
Modern özyinelemeli ağlar: RWKV, xLSTM	Transformer’lar gibi paralel eğitilebilecek biçimde yeniden tasarlanmış özyinelemeli ağlar.	Sabit	Peng et al., 2023 · Beck et al., 2024
Hibritler: Griffin, Jamba, Heimdall	Çoğunlukla özyinelemeli katmanlar; tam hatırlama için birkaç dikkat katmanı korunur.	Yalnızca dikkat katmanlarında büyür	De et al., 2024 · Lieber et al., 2024

Açıklamalar sadeleştirilmiştir. Bağlantılar arXiv’deki özgün makalelere gider.

Nelerden vazgeçilir

Sabit boyutlu bir bellek neyi tutacağına karar vermek zorundadır. Metnin çok gerisindeki tam bir ayrıntıyı gerektiren işler, örneğin metinde önceden konmuş belirli bir değeri getirmek, saf özyinelemeli modellerin en çok zorlandığı ve birkaç dikkat katmanının yardım ettiği yerlerdir. Kendi küçük çağrışımlı hatırlama testimizde (yaklaşık 100K parametre, tek tohum; yani küçük ve gürültülü) boşluk büyürken yalnızca dikkat %15,6’dan %0,8’e düştü, saf DeltaNet yaklaşık %14,8’e ulaştı, hibrit ise %99,9 ile %100 aldı. Bu hibrit tasarımla tutarlıdır, ama ölçekte bir kanıt değildir.

Heimdall nerede duruyor

Heimdall bir hibrittir: her global dikkat katmanına karşılık üç Gated DeltaNet katmanı vardır; yani dört katmandan yalnızca biri büyüyen bir önbellek tutar. 337M modelini 512 token’da 18,7 MB, 8.192 token’da 109 MB önbellek olarak ölçtük; token başına yaklaşık 11,8 KB, aynı boyutlu bir Transformer’dan hesapla yaklaşık 12 kat küçük. Heimdall’in ikinci parçası, önceden eğitilmiş bir Transformer’ı (SmolLM2-135M) 0,8M eğitim token’ı ile sabit bellekli bir modele dönüştürür: her uzunlukta 5,7 MB önbellek; WikiText perplexity 14,09’dan 17,61’e çıkar.

Bunun neyi gösterdiği konusunda dikkatliyiz. Heimdall-Bit kabaca GPT-2-small ve Pythia-160M düzeyinde puan alır ve SmolLM2-135M ile Pythia-410M’nin gerisindedir. Bu ölçekte yoğun bir taban çizgisi yok; hibrit düzenin ya da 1-bit katmanların puanlara yardım ettiğini mi zarar verdiğini mi bilmiyoruz. Dönüşüm eşdeğerlikte değil (+%25 perplexity) ve uzun bağlamda getirme kanıtlanmadı. Tüm sınırlamalar araştırma sayfasında.

1-bit ağırlıklar ayrı bir eksen

Ağırlıkları küçültmek, belleği sabit yapmaktan farklı bir fikirdir. BitNet (Wang et al., 2023) ve BitNet b1.58 (Ma et al., 2024), 1-bit ve üçlü ağırlıklı modeller eğitir. Heimdall ikisini birleştirir: önbellek için hibrit bir omurga ve ağırlıkların tam hassasiyetli kopyası olmadan, BitFlip adlı özel bir iyileştiriciyle doğrudan ikili ya da üçlü ağırlıklarla eğitilen ileri besleme katmanları. Yaklaşık 100M parametrede 1-bit model yarı boyutlu yoğun bir modelin biraz gerisindedir (+0,02 nat); bu yüzden ölçekte karşılığını verdiğini iddia etmiyoruz.

Heimdall raporunu oku Kıyaslamalara bak Sözlük

Sorular

Transformer’a alternatif nedir?

Belleği metinle büyümeyen bir yapıyla tam dikkatin çoğunu değiştiren her dil modeli mimarisi. En bilinenleri Mamba gibi durum uzayı modelleri, RetNet, DeltaNet ve Gated DeltaNet gibi delta kuralı modelleri, RWKV, xLSTM ve Griffin, Jamba ve Heimdall gibi hibritlerdir.

Transformer neden bu kadar bellek kullanır?

Dikkat, her önceki token’ın anahtar ve değerlerini (KV önbelleği) yeniden hesaplamamak için saklar. Bu önbellek bağlamla doğrusal büyür. SmolLM2-135M için 8K token’da 180 MB, 1M token’da yaklaşık 22 GB’dır.

Sabit bellekli modeller neyden vazgeçer?

Sabit boyutlu bir bellek her şeyi tutamaz; bu yüzden metnin çok gerisindeki ayrıntıları tam hatırlamak zor kısımdır. Hibritler bunun için birkaç dikkat katmanı tutar.

Heimdall bir Transformer’dan daha mı iyi?

Bunu iddia etmiyoruz. 337M parametrede kabaca GPT-2-small ve Pythia-160M düzeyinde puan alıyor ve bu ölçekte henüz yoğun bir Transformer taban çizgisi yok; yani hibrit düzenin puanlara etkisi bilinmiyor. Ölçtüğümüz bellek: aynı boyutlu bir Transformer’dan, hesapla, yaklaşık 12 kat küçük önbellek.

Bir dil modeli tek bir tüketici GPU’sunda eğitilebilir mi?

Küçük bir model, evet. Heimdall-Bit 337M, 16 GB’lık tek bir AMD Radeon RX 9070 XT’de yaklaşık 92 saatte 3,7 milyar token ile sıfırdan eğitildi. Bir asistan değil, taban modeldir.

Kaynaklar

Vaswani et al. (2017). Attention Is All You Need. arXiv:1706.03762.
Gu and Dao (2023). Mamba: Linear-Time Sequence Modeling with Selective State Spaces. arXiv:2312.00752.
Dao and Gu (2024). Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality. arXiv:2405.21060.
Peng et al. (2023). RWKV: Reinventing RNNs for the Transformer Era. arXiv:2305.13048.
Sun et al. (2023). Retentive Network: A Successor to Transformer for Large Language Models. arXiv:2307.08621.
Yang et al. (2024). Parallelizing Linear Transformers with the Delta Rule over Sequence Length. arXiv:2406.06484.
Yang, Kautz and Hatamizadeh (2024). Gated Delta Networks: Improving Mamba2 with Delta Rule. arXiv:2412.06464.
Beck et al. (2024). xLSTM: Extended Long Short-Term Memory. arXiv:2405.04517.
De et al. (2024). Griffin: Mixing Gated Linear Recurrences with Local Attention for Efficient Language Models. arXiv:2402.19427.
Lieber et al. (2024). Jamba: A Hybrid Transformer-Mamba Language Model. arXiv:2403.19887.
Wang et al. (2023). BitNet: Scaling 1-bit Transformers for Large Language Models. arXiv:2310.11453.
Ma et al. (2024). The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits. arXiv:2402.17764.
Valerois (2026). Heimdall: a constant-memory hybrid, trained on one GPU. github.com/valeroisai/heimdall.