KIRecht & Compliance

Grundrechte-Folgenabschätzung (FRIA): wer sie durchführen muss und wie

Verfasst von

Die Grundrechte-Folgenabschätzung (FRIA, nach dem englischen „Fundamental Rights Impact Assessment“) ist die Analyse, die Artikel 27 der KI-Verordnung (AI Act) bestimmten Betreibern vorschreibt, bevor sie ein Hochrisiko-KI-System zum ersten Mal einsetzen. Sie hält fest, wofür das System genutzt wird, wen es betrifft, welche Schäden es für deren Rechte verursachen kann und wie es überwacht wird. Pflicht wird sie ab dem 2. Dezember 2027, dem Datum, das der digitale Omnibus zur KI für die Hochrisiko-Pflichten aus Anhang III festgelegt hat.

Erstellt wird sie nicht von dem, der das System entwickelt, sondern von der Organisation, die es einsetzt. Und nicht jeder Betreiber eines Hochrisiko-KI-Systems ist dazu verpflichtet.

Wer die FRIA durchführen muss

Artikel 27 Absatz 1 der Verordnung (EU) 2024/1689 verlangt sie von drei Gruppen von Betreibern von Hochrisiko-KI-Systemen nach Anhang III:

  • Einrichtungen des öffentlichen Rechts, etwa Ministerien, Kommunen, staatliche Hochschulen oder der Gesundheitsdienst.
  • Private Einrichtungen, die öffentliche Dienste erbringen, zum Beispiel ein Verkehrsunternehmen mit Konzession, ein Wasserversorger oder eine staatlich finanzierte Privatschule.
  • Jedes Unternehmen, das KI einsetzt, um die Kreditwürdigkeit natürlicher Personen zu prüfen oder ihre Bonität zu bewerten (außer zur Betrugserkennung), oder um Risiken und Preise bei Lebens- und Krankenversicherungen zu bestimmen. Das sind die Buchstaben b und c der Nummer 5 von Anhang III.

Ausgenommen sind die Systeme der Nummer 2 von Anhang III, also kritische Infrastrukturen, obwohl sie als Hochrisiko-KI-Systeme gelten.

1
Ist das System ein Hochrisiko-KI-System nach Anhang III?Wenn nicht, gibt es keine FRIA. Bei kritischen Infrastrukturen (Nummer 2) ebenfalls nicht.
2
Setzt Ihre Organisation es ein, ist sie also Betreiber?Der Anbieter erstellt die FRIA nicht, kann Ihnen aber Informationen dafür liefern.
3
Sind Sie eine öffentliche Stelle, erbringen Sie einen öffentlichen Dienst oder nutzen Sie das System für Kredite oder Lebens- und Krankenversicherungen?
Dreimal Ja: FRIA vor dem ersten EinsatzEinmal Nein: keine Pflicht, kann aber sinnvoll sein
Drei Fragen, um zu klären, ob ein KI-System eine FRIA braucht, nach Artikel 27 Absatz 1 der KI-Verordnung.

Ein Fall, den man kennen sollte: Ein privates Unternehmen, das Lebensläufe mit KI vorsortiert, betreibt ein Hochrisiko-KI-System (Nummer 4 von Anhang III), muss aber keine FRIA durchführen, wenn es keinen öffentlichen Dienst erbringt. Wir würden sie trotzdem machen. Die Fragen aus Artikel 27 sind genau die, die ein abgelehnter Bewerber mit Beschwerde oder die Behörde bei einer Prüfung stellen wird, und sie zu beantworten kostet kaum mehr Aufwand als das Inventar.

Was sie enthalten muss

Artikel 27 Absatz 1 nennt sechs Inhalte. Praktisch heißt das:

  1. In welchen Prozessen der Organisation das System eingesetzt wird und wofür, entsprechend seiner Zweckbestimmung.
  2. Wie lange und wie häufig es genutzt werden soll.
  3. Welche Personen und Gruppen bei diesem konkreten Einsatz betroffen sein können.
  4. Welche Schadensrisiken für sie bestehen, unter Berücksichtigung der Informationen des Anbieters in der Betriebsanleitung (Artikel 13).
  5. Wie die menschliche Aufsicht umgesetzt wird.
  6. Was geschieht, wenn sich die Risiken verwirklichen, einschließlich interner Governance und Beschwerdeweg.

Unser Rat zum fünften Punkt: Der Satz „Eine Person prüft die Entscheidungen“ reicht nicht. Sie müssen sagen, wer prüft, nach welchen Kriterien und ob diese Person Entscheidungen rückgängig machen kann. Ist die menschliche Aufsicht vorher nicht durchdacht, deckt die FRIA das auf.

FRIA und DSFA: was sich wiederverwenden lässt

Verarbeitet das System personenbezogene Daten, gibt es sehr wahrscheinlich schon eine Datenschutz-Folgenabschätzung (DSFA) nach Artikel 35 DSGVO. Artikel 27 Absatz 4 in der Fassung nach dem Omnibus erlaubt, dass die FRIA auf diese DSFA verweist oder Teile davon übernimmt. Die Arbeit muss also nicht doppelt gemacht werden, die DSFA allein genügt aber auch nicht.

DSFA (DSGVO)FRIA (AI Act)
Was sie schütztDie Rechte der Personen in Bezug auf ihre personenbezogenen DatenAlle Grundrechte: Gleichheit, Nichtdiskriminierung, Zugang zu Leistungen, Rechtsschutz, dazu die Privatsphäre
Wer sie erstelltDer Verantwortliche der VerarbeitungDer Betreiber aus den Gruppen nach Artikel 27 Absatz 1
WannVor einer Verarbeitung mit voraussichtlich hohem RisikoVor dem ersten Einsatz des Hochrisiko-KI-Systems
Wem sie mitgeteilt wirdDer Aufsichtsbehörde nur, wenn das Risiko hoch bleibt (vorherige Konsultation nach Artikel 36)Das Ergebnis geht immer an die Marktüberwachungsbehörde

Der eigentliche Unterschied steckt in der ersten Zeile. Ein Scoring-System kann die DSGVO problemlos einhalten und trotzdem Menschen ab einem bestimmten Alter häufiger ablehnen. Das erfasst keine DSFA, und genau danach sucht die FRIA.

Wann sie erstellt und wann sie aktualisiert wird

Sie wird vor dem ersten Einsatz erstellt und aktualisiert, sobald sich etwas an ihrem Inhalt ändert: der Zweck, die betroffenen Gruppen, das Modell oder die Aufsichtsmaßnahmen. Nach Artikel 27 Absatz 2 darf man auf frühere Abschätzungen oder auf solche des Anbieters für ähnliche Fälle zurückgreifen, sofern sie für den eigenen Einsatz überprüft werden.

Danach wird das Ergebnis der Marktüberwachungsbehörde mit einem Fragebogen mitgeteilt, den das Büro für Künstliche Intelligenz veröffentlichen muss (Artikel 27 Absatz 5). Als wir diesen Artikel überarbeitet haben, war dieses offizielle Muster auf der Website der Kommission noch nicht veröffentlicht. Es lohnt sich daher, die FRIA mit den sechs Inhalten des Artikels vorzubereiten und sie in den Fragebogen zu übertragen, sobald er erscheint.

Wie wir sie angehen

Wir behandeln die FRIA als festen Teil des Eintrags jedes KI-Systems, nicht als separates Dokument, das einmal geschrieben und dann vergessen wird:

  • Vom KI-Inventar ausgehen und mit den drei Fragen oben die Systeme markieren, die eine FRIA brauchen.
  • Die DSFA desselben Systems heranziehen und prüfen, welche Abschnitte sich zitieren lassen.
  • Jedes betroffene Recht mit derselben Skala aus Eintrittswahrscheinlichkeit und Auswirkung bewerten wie die übrigen Unternehmensrisiken, damit das KI-Gremium sie vergleichen kann.
  • Der menschlichen Aufsicht eine namentlich verantwortliche Person geben und sie mit einer Kennzahl messen, etwa dem Anteil der von einem Menschen geprüften Entscheidungen.
  • Die Überprüfung einplanen, wenn sich das Modell oder sein Einsatz ändert.

In GlobalSuite® AI Governance wird die FRIA als Umfrage zu jedem System im Inventar durchgeführt: Jedes betroffene Recht wird nach Wahrscheinlichkeit und Auswirkung bewertet, und der KI-Agent vergleicht mit ähnlichen Systemen und schlägt fehlende Rechte vor. Der Bericht entsteht aus einer Vorlage mit den Daten des Systemeintrags.

Wenn Sie gerade erst mit der Verordnung beginnen, finden Sie auf der Seite zum AI Act den Zeitplan und die Organisation der übrigen Hochrisiko-Pflichten.

Inhaltsverzeichnis