Zsebők Sándor (2018.03.01-2019.08.31)

ELTE Állatrendszertani és Ökológiai Tanszék

Publikáció: Automatic bird song and syllable segmentation with an open-source deep-learning object detection method – a case study in the Collared Flycatcher (Ficedula albicollis)

Kivonat: Az ELTE Állatrendszertani és Ökológiai Tanszékén folyó két évtizedes múltra visszatekintő bioakusztikus vizsgálatok középpontjában a madárének szerveződésének és szerepének feltárása, a denevérek echolokációjának vizsgálata és a biodiverzitás akusztikus felmérési lehetőségeinek fejlesztése áll. Aktuális vizsgálatunkban az örvös légykapó énekének kulturális evolúcióját tanulmányozzuk, melyhez nagy mennyiségű terepen felvett ének feldolgozására van szükség. Ehhez először meg kell találni a felvételeken az énekeket, szegmentálni kell az énekekben található legkisebb elemeket, a szillabusokat, és végül közösen kell csoportosítani az összes egyed szillabusait, eredményül egy univerzális szillabuskönyvtárat létrehozva. Ennek az időigényes munkának a lépéseit szeretnénk a jövőben automatikusan, számítógép segítségével elvégezni. Ehhez egy vagy több neurális hálózatot szeretnénk betanítani. Jelenleg, több száz órányi szegmentált felvétel, több tízezer ének és több mint 150.000 manuálisan kategorizált szillabus áll rendelkezésre. Első megközelítésben konvolúciós hálózatokat szeretnénk betanítani az énekek és a bennük található szillabusok megtalálására azok spektrografikus képei alapján, mely tanítás hatékony elvégzése nagy kapacitású GPU egységek használatát feltételezi. Az eredményül kapott ének és szillabus detektáló modelleket prediktálásra szeretnénk használni a jövőben gyűjtött új felvételek feldolgozásához, melyre már személyi számítógép is alkalmas. A hangfeldolgozás harmadik lépését, a szillabusok automatikus klaszterezését már szintén személyi számítógépen végeznénk, így a pályázatunk csak a madárének és a szillabusok detektálására vonatkozik. A modellek kifejlesztése nagy lépést jelentene a terepen rögzített légykapóhangok feldolgozása terén, melyek segítségével nagyságrendekkel nagyobb mennyiségű hanganyagot tudunk feldolgozni, és így új típusú biológiai kérdések megválaszolása válik lehetővé az állatok akusztikus kommunikációjának tanulmányozása terén.