Stellschrauben

Ziele

• Zielsetzung

Daten

• Datenquelle
  • Welche Art von Daten werden genutzt?
  • Wo und wie wurden die Daten gesammelt?
  • Handelt es sich um historische Daten oder werden explizit fürs Projekt zusätzlich Daten erhoben?
  • Wie genau geschieht die Erhebung neuer Daten, durch Fragebogen etc.?
• Zwecke der Datennutzung
  Werden die Daten nur für Zwecke genutzt, denen die Betroffenen explizit zugestimmt haben und die den Betroffenen transparent gemacht wurden?
• Datensparsamkeit & Vollständigkeit
  Die Daten müssen in Bezug auf die jeweilige Problemstellung vollständig sein, wobei jedoch nicht mehr Daten als unbedingt nötig verarbeitet werden sollen.
• Datenqualität
  Gibt es Verzerrungen in den Daten, systematische Unvollständigkeit bei der Datenerhebung oder Inkonsistenzen bei der Bewertung der Daten (Labeling)?
• Sensible Faktoren & Anonymisierung
  Wie wird mit sensible Daten umgegangen, die wirklich notwendig sind? Können sie irreversibel anonymisiert werden?
• Verteilungen in den Merkmalen
  Wie ist die Verteilung der Merkmale in den Daten, welche Folgen hat dies und wie wird damit umgegangen?

Regeln

• Algorithmenauswahl
  Die Auswahl der Algorithmen hat weitreichende Folgen z.B. auf die Interpretierbarkeit oder die Qualität der KI und muss deshalb gut begründet sein.
• Interpretierbarkeit der Methode
  • Wie lassen sich die Regeln und Methoden interpretieren?
  • Falls KI: Je nach ausgewähltem Algorithmus stehen unterschiedliche Optionen zur Verfügung die KI erklärbar zu machen. Wird mit diesen Optionen im jeweiligen Kontext ausreichend Transparenz geschaffen?
• Verifizierung und Validierung
  • Anforderung: Formale Verifikation der Algorithmen und Validierung: Wurde das Verhalten des Modells umfassend getestet? Tut es was es soll? Werden richtige Faktoren für die Vorhersage genutzt?
  • Offenheit über die vorhandenen Diskriminierungen: Welche Diskriminierungen beinhalten die Regeln? Sowohl implizit als auch explizit?
  • Reliabilität, Testbarkeit, Deterministischer Output: Wie sicher ist es, dass bei gleichem Input der gleiche Output kommt?

Architektur

• Modellierung
  Welche Annahmen fließen bei der Modellierung der Ziele und Objektmodellen mit ein, und wo gibt es mögliche Ansatzpunkte für Verzerrungen
• Human-in-the-Loop-Komponenten
  Sind im Prozessablauf ein oder mehrere Menschen eingebunden? Hat ein Mensch das letzte Wort oder validiert er den Prozess? Oder läuft alles automatisiert ab?
• Nutzung von Fremd-Komponenten
  Werden Fremdkomponenten verwendet und sind deren Stellschrauben hinreichend berücksichtigt?
• Datensicherheit & Zugriffsschutz
  Wie anfällig ist das System für unerlaubte Zugriffe von innen oder außen? Wo gibt es gefährliche Schnittstellen?
• Verarbeitungsort & Datenfluss
  Wo erfolgt die Verarbeitung: On premises/ in the Cloud? Wohin werden Daten geschickt, sind Umwege vermeidbar?
• Einstiegs-/Ausstiegsoptionen
  Welche Ausstiegsoptionen haben Betroffene aus der Software?