Embedding ve Vektör Arama Nedir?

Embedding Nedir?

Embedding, bir metin parçasını, görüntüyü ya da sinyali sabit uzunlukta bir sayı dizisine (vektöre) çevirmektir. Bu çeviri anlamı korur: benzer anlamdaki iki cümlenin vektörleri birbirine yakın düşer.

Vektör Arama

Bir soru da embedding'e çevrilir ve dokümanlardaki parçalar arasından vektörü en yakın olanlar bulunur. Yakınlık genelde kosinüs benzerliği ile ölçülür. Anahtar kelime aramasından farkı: "ağaçta yaprak sararması" sorusu, "kloroz belirtileri" başlıklı bir paragrafı da bulabilir.

RAG'deki Rolü

RAG sistemlerinde embedding, dil modeline verilecek bağlamı seçen adımdır. Yanlış parça seçilirse en iyi dil modeli de yanlış cevap verir.

Pratik Notlar

• Çok dilli model: bge-m3 gibi çok dilli bir embedding modeli, Türkçe ve İngilizce kaynakları tek indekste tutabilir.
• Parça boyutu: Çok küçük parçalar bağlamı kaybeder, çok büyükler alakasız metin taşır.
• Korpus seçimi: Alakasız dokümanlar eklemek isabeti düşürür; daha fazla doküman her zaman daha iyi değildir.

Uygulamalı örnek: Yerel LLM ve RAG ile Agronomi Asistanı