Immer mehr Länder und Kommunen erkennen das Potential der KI: KI-Systeme können nicht nur Verwaltungsabläufe effizienter gestalten, sondern ermöglichen es auch, Bürgerinnen und Bürgern ein besseres Serviceangebot bereitzustellen. Einer der Vorreiter für den KI-Einsatz in der kommunalen Verwaltung ist die Stadt Worms. Sie setzt den KI-Assistenten „Justus“ bereits seit über einem halben Jahr im Bauamt und im Bereich der Stadtentwicklung ein. Die Stadt Heidelberg nutzt KI-Tools, um die Sitzungen der (Fach-)Ausschüsse schnell und einfach zu protokollieren. Das KI-Tool erkennt das gesprochene Wort, strukturiert die Inhalte und fasst die wichtigsten Ergebnisse zusammen. In der Stadt Augsburg hilft Chatbot „CiSa“ Nutzerinnen und Nutzern dabei, in Sekundenschnelle an hilfreiche städteeigene Informationen zu kommen, ohne dass sie die Website der Stadtverwaltung selbst durchsuchen müssen.  

Diese KI-Lösungen sind nur einige von vielen Beispielen. Nahezu in jedem Bereich der Verwaltung kommen heute KI-Tools zum Einsatz – vom Bürgerservice, über die Stadtentwicklung, dem Bauamt oder bis hin zur Behörde für Klima- und Umwelt. Die Bandbreite ist enorm. Dabei können die KI-Anwendungen intern und extern eingesetzt werden. Die Verwaltungen entscheiden selbst darüber, ob sie die KI-Tools nur als virtuelle Assistenzen für Mitarbeiter nutzen möchten oder ob diese auch die Kommunikationen mit den Bürgern erleichtern und automatisierte Verwaltungsaufgaben übernehmen sollen. Ganz egal, bei welchen Aufgaben die Anwendungen auch eingesetzt werden sollen, es muss immer eine Reihe von rechtlichen Anforderungen beachtet werden.

DSGVO und KI-Verordnung gehen „Hand in Hand“

Um die Sicherheit beim Einsatz von KI-Systemen und die Einhaltung der Grundrechte zu gewährleisten, ist in der Europäischen Union zum 01.08.2024 die KI-Verordnung (KI-VO) in Kraft getreten. Neben den Vorgaben aus der KI-VO müssen aber auch die datenschutzrechtlichen Bestimmungen nach der DSGVO, dem Bundesdatenschutzgesetz und den Landesdatenschutzgesetzen eingehalten werden.

Die DSGVO und die KI-VO sind also keine alternativen Regelungswerke, sondern ergänzen einander. Während die KI-VO die spezialgesetzlichen Regelungen für den Einsatz von KI-Tools enthält, regelt die DSGVO die gesetzlichen Bestimmungen im Umgang mit personenbezogenen Daten. Wenn beim Einsatz von KI-Tools auch personenbezogene Daten von betroffenen Personen im Spiel sind, müssen beide Regelungswerke eingehalten werden. Viele Städte und Kommunen scheuen sich davor, KI-Tools einzusetzen, weil sie einen Datenschutzverstoß befürchten.

Die Stadt Augsburg hat deshalb ihren Chatbot „CiSA“ mit einem „Warnhinweis“ versehen, der lautet: „Verrat mir keine persönlichen Daten – Am liebsten würde ich euch alle persönlich kennen lernen. Aber in meinem Job geht das leider nicht. Also schreibt mir bitte keine persönlichen Daten von euch“.

Datenschutzkonformer Einsatz von KI-Systemen

Was müssen nun öffentliche Verwaltungen im Datenschutzrecht beachten, wenn sie KI-Lösungen einsetzen wollen? Im Datenschutzrecht gilt der Grundsatz des „Verbots mit Erlaubnisvorbehalt“. Wenn personenbezogene Daten in KI-Systeme eingespielt werden sollen, ist dies grundsätzlich nicht erlaubt. Eine Verarbeitung von personenbezogenen Daten durch Einsatz von KI-Systemen ist nur zulässig, wenn eine Rechtsgrundlage dafür vorliegt, etwa die Einwilligung der betroffenen Person. Zudem muss die Verarbeitung von Daten dem datenschutzrechtlichen Grundsatz der Zweckbindung genügen, das heißt es müssen dafür eindeutige und legitime Zwecke vorliegen (Art. 5 Abs. 1 lit. b) DSGVO). Diese Zwecke muss die öffentliche Verwaltung dokumentieren, um später entsprechende Nachweise erbringen zu können.

Transparenzpflichten bei Einsatz von KI-Systemen

Darüber hinaus müssen öffentliche Verwaltungen die Transparenzpflichten beachten, die ihnen sowohl das Datenschutzrecht als auch die KI-Verordnung vorgeben, wenn sie KI-Systeme einsetzen wollen. So ist den Nutzern in jedem Fall offenzulegen, dass sie mit einem KI-System interagieren.  Außerdem müssen die KI-generierten Entscheidungen dem datenschutzrechtlichen Transparenzgebot entsprechen. Sie müssen nachvollziehbar, leicht zugänglich und verständlich sein.

Werden beim Einsatz von KI-Systemen in der öffentlichen Verwaltung personenbezogene Daten verarbeitet, ist darüber hinaus die Wahrnehmung der Betroffenenrechte nach Art. 15 ff. DSGVO sicherzustellen. Danach hat die betroffene Person nicht nur ein Recht auf Auskunft, sondern sie kann auch die Löschung ihrer personenbezogenen Daten verlangen. Bei der Umsetzung von Betroffenenrechten bestehen allerdings KI-spezifische Herausforderungen für die Städte und Gemeinden. Gerade wenn große Datenmengen durch KI-Systeme verarbeitet werden, ist die Umsetzung von Betroffenenrechten in der Praxis nicht einfach. Trotzdem müssen die Verwaltungen sicherstellen, dass Rechte von Betroffenen wahrgenommen werden können.

Sicherheitsmaßnahmen für den KI-Einsatz

Schließlich dürfen KI-Anwendungen nur eingesetzt werden, wenn die notwendigen Sicherheitsvorkehrungen dafür geschaffen werden. Die Verwaltungen haben ein im Verhältnis zum Risiko angemessenes Schutzniveau zu gewährleisten. Dazu gehört zum Beispiel auch, dass Mitarbeiter regelmäßig zum Datenschutz und zur KI geschult und in Hinblick auf die Risiken sensibilisiert werden. Die Verwaltungen haben außerdem sicherzustellen, dass ihre Mitarbeiter über ein ausreichendes Maß an KI-Kompetenz verfügen. Dies ergibt sich aus Art. 4 der KI-VO. Die KI-Kompetenz meint das „Know-how“ im Umgang mit KI-Systemen und wird durch Schulungen, Workshops oder Fortbildungen erworben.

Wegen den hohen Risiken für Rechte und Freiheiten von betroffenen Personen müssen Städte und Gemeinden, die KI-Systeme nutzen wollen, vorher eine umfassende Risikoabwägung durchführen. Sie sind zum einen dazu verpflichtet, eine Datenschutzfolgeabschätzung nach Art. 35 DSGVO durchzuführen. Zum anderen müssen sie auch die zusätzlichen Anforderungen zur Folgenabschätzung für hochriskante KI-Systeme („FRIA“) berücksichtigen, die nach Art. 27 der KI-Verordnung eingeführt wurden, wenn sie solche einsetzen wollen.

Fazit

Für den Einsatz von KI-Systemen in der öffentlichen Verwaltung ist eine Reihe von Vorgaben zu beachten. Während die datenschutzrechtlichen Grundsätze schon jetzt gelten, sind die spezifischen Vorgaben aus der KI-Verordnung erst August 2024 in Kraft und ein Großteil davon erst ab August 2026 anwendbar. Städte und Gemeinden sollten sich dennoch frühzeitig informieren und entsprechende Vorkehrungen treffen, wenn sie KI-Systeme im Rahmen ihrer Verwaltungstätigkeit rechtskonform nutzen wollen.