Overfitting (Aşırı Öğrenme) ve Genelleme Nedir?

Overfitting Nedir?

Overfitting (aşırı öğrenme), modelin eğitim verisindeki genel kalıpları değil, o veriye özgü ayrıntıları ve gürültüyü ezberlemesidir. Eğitim skoru yükselmeye devam ederken doğrulama skoru durur ya da düşer.

Genelleme

Asıl hedef genelleme: modelin hiç görmediği veride de iyi çalışması. Endüstriyel projelerde bu, yeni bir tarla, yeni bir makine ya da gelecek ay demektir.

Önlemler

• Erken durdurma (early stopping): Doğrulama skoru belirli sayıda epoch iyileşmezse eğitimi durdurmak.
• Veri çeşitlendirme (augmentation): Döndürme, parlaklık değişimi gibi dönüşümlerle veriyi zenginleştirmek.
• Daha fazla ve çeşitli veri: Çoğu zaman en etkili çözüm.

Veri Sızıntısı

Test verisine eğitimden bilgi sızarsa skor gerçekte olduğundan iyi görünür. Görüntü projelerinde sık rastlanan hata: büyük bir ortofotoyu karolara bölüp rastgele ayırmak. Komşu karolar neredeyse aynıdır. Çözüm, testi coğrafi bloklara ya da zamana göre ayırmaktır.

Sınıf Dengesizliği

Bir sınıftan çok az örnek varsa (ör. yüzlerce cevize karşı birkaç badem) o sınıfın skoru düşük çıkar. Bu model hatası değil, veri sorunudur; çözümü o sınıftan daha fazla örnek toplamaktır.

İlgili: Model Değerlendirme Metrikleri