Açık Veriyle NIR Süt Analizi: İlk Hugging Face Modelimiz ve Tarayıcıda Çalışan Simülatör

Giriş

Süt kalitesi bugün çoğunlukla laboratuvarda ölçülüyor: numune alınır, gönderilir, sonuç günler sonra gelir. Yakın kızılötesi (NIR) spektroskopi ise sütün yağ ve protein içeriğini saniyeler içinde, sağım sırasında ölçmeyi mümkün kılıyor. Amazeng olarak geliştirdiğimiz NIR tabanlı süt analiz cihazına giden yolda ilk adımı açık veriyle attık ve sonucu Hugging Face üzerinde herkesin kullanabileceği bir model olarak yayınladık.

• Model: amazeng-co/milk-nir-composition
• Canlı simülatör: Milk NIR Simulator

Veri: 1.224 Çiğ Süt Spektrumu

Modeli KU Leuven'in yayınladığı açık bir veri setiyle eğittik: Belçika'da bir deneme çiftliğinde, otomatik sağım sistemine bağlı bir NIR analizörüyle sekiz hafta boyunca ölçülmüş 1.224 çiğ süt numunesi. Her numune için 960–1690 nm aralığında 256 noktalı bir transmittans spektrumu ve laboratuvarda ölçülmüş yağ, protein, laktoz, somatik hücre sayısı (SCC) ve üre değerleri var. Veri seti CC BY 4.0 lisanslı; ticari kullanıma açık, kaynak gösterilmesi şartıyla.

Yöntem: Önce Klasik Yöntem, Sonra Derin Öğrenme

Spektrum modele girmeden önce standart kemometri adımlarından geçiyor:

1. Absorbans: Transmittans, −log10 ile absorbansa çevrilir.
2. SNV (Standard Normal Variate): Her spektrum kendi ortalaması ve standart sapmasıyla normalize edilir. Bu adım lamba şiddeti ve ışık saçılması gibi etkileri ortadan kaldırır.
3. Savitzky–Golay türevi: Spektrumun birinci türevi alınır; taban çizgisi kaymaları silinir, absorpsiyon bantları belirginleşir.

Bu ön işlemenin üzerine iki model denedik: klasik PLS regresyonu ve küçük bir 1D-CNN. Değerlendirmeyi rastgele bölmeyle değil, zamana göre yaptık: ilk altı haftayla eğitip son iki haftada test ettik. Böylece "bugün kurulan kalibrasyon önümüzdeki haftalarda da tutuyor mu?" sorusunu cevaplamış olduk.

Sonuçlar

Yaklaşık 900 eğitim spektrumuyla PLS, derin öğrenmeyi her hedefte geçti (CNN'de protein R² yalnızca 0.41). Spektroskopide az veriyle klasik yöntemlerin kazanması sık görülen bir durum; biz de yayınladığımız modelde PLS'i kullandık.

Somatik hücre sayısı ve üre ise bu spektrumlardan tahmin edilemedi. Sütte çok düşük konsantrasyonda bulundukları için bu beklenen bir sonuçtu, bu yüzden onları modele dahil etmedik. Model card'da da açıkça yazdığımız gibi, bu model bir mastitis ya da bakteri testi değil.

Simülatör: Spektrometre Ne Kadar İyi Olmalı?

Modeli anlamanın en hızlı yolu onu bozmak. Bu yüzden tarayıcıda çalışan bir simülatör hazırladık: test haftalarından gerçek bir süt spektrumu seçiyorsunuz, ardından lamba şiddetini, dedektör gürültüsünü ve dalga boyu kaymasını değiştirip tahminin nasıl etkilendiğini anında görüyorsunuz.

Simülatörden çıkan sonuçlar donanım tasarımı açısından en az modelin kendisi kadar değerli:

• Lamba şiddeti hiçbir şeyi değiştirmiyor. SNV normalizasyonu bu etkiyi tamamen ortadan kaldırıyor.
• Gürültü kritik. Gerçek ölçümün üstüne eklenen %0.02'lik gürültü protein hatasını iki katına çıkarıyor, %0.1'de hata 0.56 puana ulaşıyor.
• Dalga boyu kayması en kritik etken. Sadece 0.2 piksellik (0.57 nm) bir kayma, laktoz tahminini tamamen bozuyor.

Pratik sonuç şu: Bir NIR modelini başka bir spektrometreye "olduğu gibi" taşıyamazsınız. Her yeni cihaz, laboratuvar değeri bilinen numunelerle yeniden kalibre edilmeli; sensör tarafında ise düşük gürültü (soğutmalı dedektör, harici yüksek çözünürlüklü ADC, tarama ortalaması) ve kararlı bir dalga boyu kalibrasyonu şart.

Edge AI: Mikrodenetleyicide Çalışacak Kadar Küçük

Yayınladığımız ONNX modeli 7.7 KB. Ön işleme modelin içinde olduğu için ham transmittansı alıp doğrudan yüzde değerlerini veriyor. Hesaplama yükü yaklaşık 5 bin çarp-topla işlemi ve 256 logaritmadan ibaret. Bu, modelin bir GPU'ya bile ihtiyaç duymadan ESP32-S3 sınıfı bir mikrodenetleyicide, ölçümün yapıldığı yerde çalışabileceği anlamına geliyor. Darboğaz işlemci değil, spektrometrenin kendisi.

Bağlantılar

• Model: huggingface.co/amazeng-co/milk-nir-composition
• Simülatör: huggingface.co/spaces/amazeng-co/milk-nir-simulator
• Veri seti: Diaz-Olivares ve ark., Near-infrared spectra dataset of milk composition in transmittance mode, Zenodo 10.5281/zenodo.8263430, CC BY 4.0

Spektral veri, sensör kalibrasyonu ya da edge AI üzerine çalışıyorsanız bizimle iletişime geçin.