Biricz András, ELTE (2025.04.01 - 08.31)

Kivonat: Ebben a tanulmányban egy moduláris és skálázható módszertant fejlesztettünk ki automatizált, magas minőségű objektumdetekciós adathalmazok előállítására nagyméretű, digitalizált mikroszkópos képekből. A rendszerünk elsősorban pollenszemcsék felismerésére fókuszál, és olyan korszerű, nyílt-világú detekciós modelleket alkalmaz, mint az OWL-ViT, amelyeket egyetlen példaképre épülő (one-shot) jelölési feladatokra használunk.

Az előzetes detekciók további szűrését és finomítását DINOv2-alapú transzformer beágyazások, valamint eloszlás-érzékeny klaszterezési eljárások végzik. A tanítóadatok megbízhatóságának biztosítása érdekében aktív tanulási megközelítést alkalmaztunk, amely során kizárólag tiszta, nagy bizonyosságú példák kerültek be a ViT-alapú Faster R-CNN detektorok finomhangolásába. Ezek a modellek egy iteratív finomító ciklusban további, korábban nem detektált példákat azonosítanak, ezáltal javítva a tanítóhalmaz teljességét.

A megközelítés általánosítható más mikroszkópos alkalmazási területekre is, például orvosi szövettani vagy sejtszintű képelemzési feladatokra. A nagy teljesítményű GPU-erőforrások kulcsszerepet játszottak a nagy felbontású képek feldolgozásában, a transzformer-alapú beágyazási reprezentációk számításában, valamint a mély tanulási modellek nagyléptékű tanításában és kiértékelésében.