LLM Mimarisi: Transformer, Attention, Parametreler

Mimari ve Çalışma Prensibi

Modern yapay zekanın nasıl "düşündüğünü" anlamak için yapısal bileşenlerine bakmalıyız.

Transformer

Modern LLM'lerin (GPT, Claude, Llama vb.) temelini oluşturan mimaridir. Kelimeler arasındaki ilişkileri "dikkat" (attention) mekanizmasıyla çözer ve verilerin paralel işlenmesine olanak tanır.

Attention Mechanism (Dikkat Mekanizması)

Modelin bir cümleyi işlerken hangi kelimelerin birbirleriyle daha ilişkili olduğuna karar vermesini sağlayan yapıdır. Bağlamı ve nüansları anlamasını sağlar (örneğin, cümlenin gelişine göre "yüz" kelimesinin sayı mı, surat mı yoksa eylem mi olduğunu anlaması).

Parameters (Parametreler)

Modelin eğitim sırasında öğrendiği "bilgi birimleri"dir. Bir modelin parametre sayısı (örneğin 70B - 70 Milyar) genellikle onun ne kadar karmaşık bilgileri işleyebileceğinin ve kapasitesinin bir göstergesidir.

Context Window (Bağlam Penceresi)

Modelin tek seferde "aklında tutabildiği" maksimum veri miktarıdır (token cinsinden ölçülür). Daha büyük bir bağlam penceresi, modelin daha uzun belgeleri veya konuşma geçmişlerini işlemesini sağlar.

Veri Analizi ile İlişkisi

Yapay zeka kullanan Bulut & IoT Çözümleri tasarlarken bağlam penceresini anlamak çok önemlidir. Bir aylık log verisini analiz etmek istiyorsanız, modelin bu veriyi alabilecek kadar geniş bir bağlam penceresine sahip olması veya verinin önce özetlenmesi gerekir.