Studie v konfliktem zasaženém ukrajinském městě Mariupol využívá data dálkového průzkumu Země z družic Sentinel a hluboké učení ke sledování změn ve městech. Autoři studie se rovněž zabývají spolehlivostí své monitorovací metody s ohledem na případné ztráty pozorování a poruchu družice Sentinel 1B.
V posledních letech se díky propojení technologií dálkového průzkumu Země a strojového a hlubokého učení otevřely nové možnosti sledování změn ve městech, zejména v regionech postižených konflikty. Přelomová studie aplikovala tuto synergii na oblast ukrajinského Mariupolu, města těžce zasaženého rusko-ukrajinskou válkou, která začala v únoru 2022. Výsledky studie objasňují možnosti nepřetržitého sledování změn s vysokým časovým rozlišením pomocí cenově dostupných dat dálkového průzkumu Země a zároveň poukazují na výzvy, které s sebou nese využití těchto špičkových metod v takovýchto případech.
Georg Zitzlsberger, hlavní autor studie, zdůraznil: „Jedním z problémů této práce bylo embargo na data pro přenos učení během války. Práce ukazuje, že pro přenos učení postačují i starší časová data, což snižuje jejich pořizovací náklady, neboť byla použita bezplatná historická data ze služby Google Earth, a zároveň dokazuje jejich robustnost."
Studie, pokrývající město Mariupol a jeho okolí o rozloze více než 536 km2, využívala multimodální data pořízená družicemi Sentinel-1 (radar se syntetickou aperturou) a Sentinel-2 (multispektrální optická data) k monitorování změn v různých krajinných oblastech, zahrnující městské, příměstské, venkovské, zemědělské, těžební a pobřežní oblasti. Kombinace více senzorů a použití minimálně zpracovaných dat úrovně 1 pomohla zvýšit časové rozlišení za cenu složitějšího zpracování a zvýšeného šumu v datech, což klade větší nároky na použitou hlubokou neuronovou síť. Georg Zitzlsberger a Michal Podhoranyi tato data nejprve upravili na okna s půlročními časovými řadami pomocí nedávno publikované knihovny rsdtlib, aby umožnili plně automatický postup zpracování. Tím byl vytvořen základ pro využití kontinuálního sledování bez manuálních zásahů.
K přípravě modelu hluboké neuronové sítě pro sledování vybrané oblasti bylo nutné jej jednou přenést. K tomu bylo zapotřebí získat sadu verifikovaných štítků, které popisují vzory změn, jež mají být v následném procesu monitorování zvýrazněny. Studie využila starší, ale volně dostupné historické satelitní a letecké snímky s velmi vysokým rozlišením (VHR) ze služby Google Earth k vytvoření přibližné datové sady reálných změn v oblasti Mariupolu mezi lety 2017 a 2020. Tento proces označování (tzv. labelling) si vyžádal pouze několik málo osobodní (člověkodní), což svědčí o další nízké finanční náročnosti díky použití pouze malého množství vzorků. K zachování lokalizace změn s vysokým časovým rozlišením pomocí pohyblivého půlročního okna byla použita nová metoda přenosu učení, a to navzdory hrubé čtyřleté aproximaci, kterou představují verifikovaná data.
Studie přinesla dva hlavní výsledky. Zaprvé se ukázalo, že nová metoda přenosu učení umožňuje trénovat data se starším časovým rámcem, například 2017–2020, a přesto aplikovat přenesený model na pozdější časové rámce, tj. sledovat změny v letech 2022/2023. Byla také použita klasická strategie strojového učení, která lépe využívá omezené množství vzorků verifikovaných dat, známá jako pytlování. Zadruhé, natrénovaný model vykazuje dobrou odolnost vůči ztrátě dat. I když byla snížena četnost dostupných pozorování, model fungoval efektivně. To má důležitý význam v případě omezené dostupnosti dat, jako jsou výpadky družic nebo dokonce porucha družice Sentinel 1B v prosinci 2021.
Ve zmíněné studii byla také přiznána některá omezení. Mezi ně patří detekce změn menších než je rozlišení senzoru či vliv výběru tréninkových dat na výkonnost modelu. Také lokalizace změn v čase je omezena velikostí okna (půl roku). Je zapotřebí dalšího výzkumu a optimalizací, aby se snížila latence pro dřívější detekci změn pro jiné náročnější aplikace v reálném čase než pro účely pomalejšího, ale dlouhodobého monitorování změn ve městech.
Tato studie názorně ukazuje možnosti kombinace dat dálkového průzkumu Země, strojového a hlubokého učení a vysoce výkonného počítání pro sledování změn ve městech. Možnost nepřetržitě sledovat změny ve městech má značný socioekonomický význam a slibuje, že se stane neocenitelným a levným nástrojem pro sledování změn jak ve městech, tak i v konfliktních zónách.
Celý článek s názvem "Monitoring Urban Changes in Mariupol/Ukraine in 2022/2023", který je v současné době v recenzním řízení, si můžete přečíst zde: https://arxiv.org/pdf/2309.08607.pdf.
Více informací najdete na GitHubu IT4Innovations.
Predikční hodnoty (pravděpodobnosti) všech zaznamenaných změn ve městě s pohyblivým půlročním oknem, na statickém pozadí (pouze pro srovnání) a barevně znázorněné podle legendy obrázku (listopad 2021 - říjen 2023):