EU AI Act: nová regulace pro využití AI v městských kamerových systémech

Úvod: co přináší AI Act

Evropská unie v roce 2024 přijala AI Act, vůbec první komplexní právní rámec pro regulaci umělé inteligence na světě. Zákon reaguje na prudký rozvoj AI a potřebu nastavit jasná pravidla pro její bezpečné a důvěryhodné využívání. Pro městské kamerové dohlížecí systémy (MKDS) představuje tato legislativa zlomový bod – mění způsob, jakým mohou obce a města sledovat veřejný prostor, zpracovávat data a využívat moderní analytické nástroje.

Cílem AI Actu je vyvážit technologické možnosti s ochranou základních práv občanů. Na jedné straně přináší obrovský potenciál pro zlepšení bezpečnosti a efektivity veřejného prostoru, na straně druhé ale klade důraz na ochranu soukromí, lidský dohled a transparentnost.

Zakázané praktiky v MKDS

Nejpřísnější část regulace se týká praktik, které jsou považovány za nepřijatelné. Tyto technologie jsou buď zcela zakázány, nebo povoleny jen v mimořádně omezených případech.

• Biometrická identifikace v reálném čase– rozpoznávání obličejů, tělesných rysů nebo chůze ve veřejně přístupných místech je obecně zakázáno. Výjimkou jsou situace, kdy policie pátrá po pohřešovaných osobách, předchází bezprostřednímu teroristickému útoku nebo vyšetřuje závažnou kriminalitu. I tehdy je nutné soudní povolení a přísná omezení v čase a prostoru.
• Necílené databáze obličejů– tzv. scraping (automatické stahování obličejů z internetu nebo z CCTV záznamů) je zakázán i pro účely vymáhání práva.
• Manipulativní AI– jakékoli systémy, které by skrytě ovlivňovaly chování občanů, využívaly klamavé techniky
  či zneužívaly jejich zranitelnost, nejsou povoleny.
• Sociální skórování– vytváření profilů osob propojením různých databází, které by vedlo k diskriminaci
  či nespravedlivému zacházení, je rovněž nepřípustné.

Tato pravidla mají zamezit vzniku plošného dohledu, který by mohl ohrozit demokratické hodnoty a důvěru občanů.

Vysoce rizikové AI systémy

Vedle úplných zákazů definuje AI Act i kategorie vysokého rizika. Do té spadají technologie, které mohou výrazně zasáhnout do práv občanů, ale za přísných podmínek je lze využívat.

• Behaviorální analýza a bezpečnostní monitoring– sledování pohybu, gest či chování osob. Je přípustná tehdy, pokud je založena na objektivních datech, nepoužívá se k plošnému profilování a slouží jen jako podpora lidského rozhodnutí (např. detekce agresivního chování v metru nebo opuštěného zavazadla na letišti).
• Prediktivní policing– predikce kriminality na základě historických dat. Zatímco predikce rizikových lokalit může pomoci s plánováním hlídek, plošné profilování jednotlivců je zakázáno. Povolené jsou jen modely založené
  na objektivních a ověřitelných údajích.
• Rozpoznávání emocí– využití systémů, které odvozují emoční stav člověka z výrazu obličeje nebo tónu hlasu, je zakázáno ve školství a pracovním prostředí. Přípustné může být v oblasti bezpečnosti nebo zdravotnictví, vždy ale jen jako doplněk lidského rozhodování.
• Kritická infrastruktura a tísňová volání– AI používaná pro řízení dopravy, dodávky energií nebo třídění krizových volání je automaticky považována za vysoce rizikovou.
• Donucovací orgány– využití AI policií (např. polygrafy, hodnocení spolehlivosti důkazů, profilování osob) spadá do vysokého rizika a podléhá přísnému dohledu i zvláštním zákonným podmínkám.

Pro všechny tyto případy platí detailní požadavky na řízení rizik, správu dat, technickou dokumentaci, kybernetickou bezpečnost a lidský dohled.

Oblast nízkého rizika

Mnoho aplikací AI v MKDS spadá do méně přísné kategorie, pokud nedochází k identifikaci osob a zpracování citlivých dat.

• Anonymní sledování dopravy– dopravní heatmapy, optimalizace semaforů na základě intenzity provozu.
• Monitoring zaplněnosti– sledování počtu osob na náměstích, ve sportovních halách nebo na koncertech,
  kdy výstupem je jen číselný údaj nebo vizualizace.
• Počítání osob nebo vozidel– například v hromadné dopravě či pro řízení parkování.
• Urbanistické plánování– využití anonymních statistických modelů pro rozvoj infrastruktury.

I zde však platí povinnost zajistit transparentnost vůči občanům podle čl. 50 AI Act. Lidé musí být informováni,
že systém využívá AI, a data musí být anonymizována v souladu s GDPR.

Povinnosti poskytovatelů AI systémů

AI Act ukládá řadu povinností výrobcům, dodavatelům či provozovatelům AI systémů:

• zavést řízení rizik a kontrolu kvality dat,
• vést technickou dokumentaci a logy,
• zajistit přesnost, spolehlivost a kybernetickou bezpečnost,
• poskytnout transparentní informace o fungování systému i o použitých datech,
• respektovat práva k duševnímu vlastnictví a dodržovat pravidla v oblasti autorského práva.

Bez splnění těchto podmínek nesmí být vysoce rizikový systém uveden na trh. Výjimky jsou možné jen v naléhavých případech veřejné bezpečnosti, kdy může být systém nasazen dočasně, ale s povinností dodatečně požádat
o povolení.

Povinnosti měst a obcí

Ani obce jako uživatelé AI systémů se povinnostem nevyhnou. Jejich odpovědnost zahrnuje mimo jiné:

• provést identifikaci a klasifikaci používaných AI systémů,
• vypracovat posouzení dopadů na základní práva,
• zajistit lidský dohled prostřednictvím školených pracovníků,
• vést záznamy o provozu systémů, kontrolovat kvalitu vstupních dat a monitorovat fungování,
• informovat zaměstnance i veřejnost před nasazením systému,
• označit místa, kde jsou využívány AI technologie, a zveřejnit účely a limity jejich využití,
• nastavit proces pro podávání stížností občanů a vysvětlení rozhodnutí, pokud někoho ovlivní výstupy AI.

Checklist pro města zahrnuje také povinnost pravidelně revidovat soulad s legislativou, sledovat změny rizik a vést
v patrnosti možnost kontroly ze strany dozorových orgánů (např. ÚOOÚ).

Transparentnost a komunikace s veřejností

Klíčovým prvkem AI Actu je otevřená komunikace. Obce musí nejen informovat občany o nasazení kamer s AI,
ale také vysvětlit účel a omezení těchto systémů. Transparentnost je zásadní pro budování důvěry veřejnosti
a předcházení obavám z plošného sledování.

Součástí doporučené praxe je také zveřejňování přehledu používaných systémů na webu obce, a to včetně informací o datech, která zpracovávají, a o způsobu jejich využívání.

Dlouhodobý dohled a dobrá praxe

AI Act zdůrazňuje potřebu průběžného vyhodnocování rizik a zavádění dobré praxe. Města mají možnost zapojit
se do tzv. regulačních sandboxů, kde mohou testovat nové technologie pod dohledem regulátorů. Doporučuje se také využívat mezinárodní standardy (např. ISO/IEC 42001) nebo dobrovolné rámce pro důvěryhodnou AI.

Příklady ze zahraničí ukazují, že odpovědné nasazení AI je možné:

• Amsterdam a Helsinky zavedly veřejné registry AI systémů, které poskytují občanům detailní informace
  o používaných technologiích.
• Vídeň testovala prediktivní monitoring s lidským dohledem a mechanismy proti algoritmickému zkreslení,
  což vedlo ke snížení kriminality v rizikových lokalitách o 25 %.
• Barcelona instalovala systém pro automatickou detekci vozidel v autobusech, který zlepšil plynulost veřejné dopravy, aniž by zaznamenával registrační značky nebo osobní údaje.

Závěr

AI Act představuje historický krok v regulaci umělé inteligence. Pro městské kamerové systémy znamená zásadní změnu – na jedné straně nastavuje přísné limity, na straně druhé vytváří rámec pro odpovědné a transparentní využívání technologií.

Pro obce a města jde o výzvu i příležitost. Dodržení nových pravidel bude vyžadovat čas, investice a důsledné řízení. Pokud se však podaří skloubit technologické inovace s ochranou práv občanů, mohou se chytrá města stát lídry
v odpovědném využívání AI a zároveň posílit důvěru veřejnosti v digitální transformaci.