Generative AI for Intelligent CCAM: Enhancing Perception, Decision-Making and Validation (CCAM Partnership)

Očekávaný výsledek:Očekává se, že výsledky projektu přispějí ke všem těmto očekávaným výsledkům:dostupnost a integrace pokročilých, důvěryhodných a energeticky účinných systémů vnímání využívajících technologický pokrok v oblasti generativní umělé inteligence (GenAI) s cílem zlepšit informovanost o situaci a podpořit bezpečné rozhodování;zvýšená bezpečnost zranitelných účastníků silničního provozu založená na zvýšeném vnímání a porozumění jejich předpovědím chování a záměrů, které jsou odolnější vůči temperamentu;zvýšená robustnost systémů CCAM – jak palubních, tak na straně infrastruktury – v kritických situacích v důsledku jejich výcviku, testování se simulací a validace ve scénářích generovaných GenAI, doplnění stávajících databází scénářů pro testování a validaci systémů CCAM;lepší pochopení významu a omezení používání GenAI pro CCAM;Nástroje a harmonizované přístupy pro používání GenAI při vývoji, školení a validaci technologií mobility, jakož i pro systémové aplikace, jako je řízení dopravy a dálkové řízení, a jejich začlenění do stávajících přístupů. Oblast působnosti:Piloti a demonstrace využívající služby vozidel úrovně 3 a 4 čelí velkým výzvám v oblasti vnímání a rozhodování, což zdůrazňuje nutnost řešení s nízkou latencí, která zvyšují schopnost reakce a informovanost o situaci v provozních podmínkách v reálném čase. To je obzvláště důležité pro jízdu ve složitějších prostředích, jako jsou městské oblasti, kde jsou rozdíly v životním prostředí vyšší a kde lze pravidelně narážet na nové scénáře. Kromě toho je třeba omezit latenci, šířku pásma a spotřebu energie pro výpočty na palubě, jakož i zvýšit bezpečnost, soukromí a spolehlivost (např. pochopení scény a predikce vývoje scénářů v blízké budoucnosti). Pro rychlé rozhodování v interakcích s VRU je to nezbytné pro implementaci řešení založených na CCAM a zajištění škálovatelnosti.Vývoj odvětvově agnostických technologií zároveň ukazuje pokrok, jako je GenAI, který může být pro CCAM přínosný. První průzkumné kroky lze očekávat od projektu financovaného v rámci HORIZON-CL5-2023-D6-01-02 [1], pokud jde o potenciál virtuální generace hraničních případů, který by mohl být použit pro vývoj, školení, testování se simulací a validaci systémů CCAM.Je třeba vyvinout, proškolit a ověřit další pokrok v aplikacích GenAI konkrétně pro oblast CCAM [2]. Navrhovaná opatření tedy zahrnují přístupy k využití dalšího technologického pokroku pro CCAM. Je třeba učinit významné kroky k dosažení vysoce pokročilých, vysoce bezpečných, důvěryhodných a energeticky účinných systémů vnímání a rozhodování v reálném čase pro automatizovaná vozidla se zvláštním zaměřením na škálovatelná řešení a využívání GenAI. Tento pokrok by měl využívat systémy s nízkou latencí nebo distribuované výpočetní zdroje k usnadnění zpracování v reálném čase, čímž se zlepší odezva a bezpečnost systému. Toto téma tak přispěje k akčnímu plánu pro kontinent umělé inteligence [3] tím, že podpoří vývoj a přijetí umělé inteligence v automobilovém průmyslu.Očekává se, že navrhovaná opatření budou řešit všechny tyto aspekty:Vývoj nástrojů a přístupů pro robustní vnímání prostředí a rozhodování (na okraji, na palubě, v infrastruktuře nebo v back-office). Cílem těchto přístupů je urychlit a pokročit v odůvodnění rozhodování, zvýšit úroveň účinnosti, (kybernetické) bezpečnosti a spolehlivosti aplikací, přičemž počátečním případem použití je plánování cesty. To má mimo jiné podpořit vnímání VRU, predikci jejich chování a záměrů a zahrnuje přístupy ke sdílení údajů pro řešení CCAM s cílem vytvořit větší časové okno pro opatření v případě scénářů blízkých nehodám. Použití pokročilých GenAI, včetně velkých jazykových modelů (LLM), vizuálních jazykových modelů (VLM) nebo vizuálních jazykových akcí (VLA), může výrazně zlepšit tyto schopnosti využitím jejich pokročilého kontextového uvažování a rozpoznávání vzorů. Kromě toho může GenAI doplnit stávající systémy vnímání zlepšením interpretace smyslových vstupů a poskytnutím obohacených environmentálních kontextů, které zlepšují rozhodování a přizpůsobivost.Generování scénářů interakcí vozidel využívajících CCAM s ostatními účastníky silničního provozu, což je nezbytné pro pokrok v oblasti validace a testování, rozšíření stávajících souborů údajů a scénářů, neboť GenAI může na základě stávajících údajů poskytnout různé scénáře (např. kulturní rozdíly mezi účastníky silničního provozu a variabilita infrastruktury).Integrace technologií GenAI do stávajících přístupů (vývoj, školení a validace) pro jejich další obohacení. Pochopení limitů používání technologií GenAI, jakož i přínosů a vypracování pokynů pro platné přístupy k této integraci (včetně zohlednění genderových předsudků a spravedlnosti s cílem zajistit, aby systémy UI byly transparentní a odpovědné) a poskytnutí výhledu na využívání vyvinutých nástrojů a přístupů lze provést pro různé součásti a technologie CCAM, jakož i pro systémové aplikace, jako je řízení provozu a dálkové řízení.Podpora spolupráce s evropskou iniciativou pro softwarově definovaná vozidla (SDV) přijetím stávajících rozhraní a stavebních prvků a navržením nových rozhraní a stavebních prvků vyvinutých v rámci projektu pro případné začlenění do rámce SDV. Navrhovaná opatření by měla zahrnovat opatření k zajištění úzké koordinace s Evropskou aliancí pro propojená a autonomní vozidla (ECAVA), která byla oznámena v evropském akčním plánu pro automobilový průmysl.Tímto tématem se provádí spoluprogramované evropské partnerství pro propojenou, kooperativní a automatizovanou mobilitu (CCAM). Očekává se, že projekty vyplývající z tohoto tématu budou podávat zprávy o výsledcích Evropskému partnerství pro propojenou, kooperativní a automatizovanou mobilitu (CCAM) na podporu monitorování jeho klíčových ukazatelů výkonnosti.Očekává se, že projekty financované v rámci tohoto tématu budou spolupracovat s partnerstvím ADRA [4] s cílem prozkoumat a využít doplňkovost mezi svými činnostmi a zjištěními.Očekává se, že projekty vyplývající z t