IT4Innovations národní superpočítačové centrum koordinuje od ledna loňského roku projekt EXA4MIND. Konsorcium projektu tvoří deset partnerů z šesti evropských států. Mezi partnery je i Český institut informatiky, robotiky a kybernetiky při Českém vysokém učení technickém (CIIRC ČVUT) a společnost Valeo.ai, které nyní přišly s metodou, jež umožňuje prohledávat obrazová data z autonomních vozidel pomocí přirozeného jazyka.
Antonín Vobecký a Josef Šivic z CIIRC ČVUT ve spolupráci se společností Valeo.ai dosáhli významného úspěchu ve vývoji modelů strojového učení pro analýzu dat a především obrazu z autonomních vozidel. Jejich metody, které mají potenciál zvýšit bezpečnost a spolehlivost autonomního řízení, byly prezentovány na prestižní konferenci NeurIPS 2023 v New Orleans, zaměřené na strojové učení.
„V publikaci POP-3D: Open-Vocabulary 3D Occupancy Prediction from Images jsme představili metodu, která zpracovává jako vstup 360° kamerové snímky okolí auta a produkuje z nich 3D sémantickou mapu obsazenosti okolního prostředí. Uživatel se díky této mapě může systému v přirozeném jazyce ptát na umístění objektů v digitálním 3D světě. Dotazování se v přirozeném jazyce umožňuje provádět sémantickou segmentaci obsazenosti nebo textem řízené vyhledávání ve vytvořené 3D mapě okolního světa, přičemž obojí je možné provést jen na základě 2D snímků pořízených kamerami ve vozidle,” vysvětluje Antonín Vobecký, který je studentem doktorského studia na CIIRC ČVUT v rámci průmyslového doktorského programu ELLIS na ELLIS Unit Prague. Kladené otázky tak mohou znít například jako: „Kde leží na silnici plastová popelnice?“ nebo „Kde je zaparkované černé nákladní vozidlo s přívěsem?“
Celkovou motivací je vyvinout metody pro vyhledávání hraničních jízdních situací, které jsou často kritické pro bezpečnost automobilu, ale v záznamech z jízdy v autě jsou velmi vzácné. Cílem výzkumu je umožnit vyhledávání těchto nasnímaných situací v obrovských souborech čítajících petabajty dat jen pouhým zadáním instrukcí v přirozeném jazyce. „Jakmile jsou takové situace nalezeny, mohou být použity jako dodatečná trénovací data ke zlepšení stávajících modelů a algoritmů strojového učení pro autonomní řízení, aby se s takovými situacemi systémy vozidel lépe vypořádaly, a v důsledku toho zvýšily bezpečnost a spolehlivost autonomních vozidel,” dodává Vobecký.
Tento výzkum byl proveden v rámci projektu EXA4MIND, jehož cílem je vytvořit platformu pro extrémní data, která propojí infrastrukturu superpočítačů a infrastrukturu velkých dat s cílem automatizovat analýzu dat, jejich správu a ukládání. V rámci projektu EXA4MIND spolupracuje tým z CIIRC ČVUT s jedním z evropských lídrů automobilového průmyslu, společností Valeo.ai, na vývoji nástrojů pro rozsáhlou správu a analýzu jízdních dat, což následně povede k bezpečnějším systémům používaným v autonomních vozech.
