Generative KI im Unternehmen: Datenschutz, Lizenzen und KI-Agenten richtig gestalten

Generative KI-Systeme wie ChatGPT, Claude oder Gemini halten zunehmend Einzug in betriebliche Prozesse. Sie unterstützen beispielsweise bei der Erstellung von Texten, der Auswertung von Dokumenten, der Softwareentwicklung, der Recherche oder der Automatisierung wiederkehrender Aufgaben.
Die Einführung eines solchen Systems ist jedoch nicht allein eine technische Entscheidung. Sobald Beschäftigtendaten, Kundendaten, Vertragsinformationen oder andere personenbezogene Inhalte verarbeitet werden, müssen auch datenschutzrechtliche, organisatorische und sicherheitsbezogene Anforderungen berücksichtigt werden.
Unternehmen sollten deshalb nicht zuerst ein bestimmtes KI-Produkt auswählen und anschließend nach einer zulässigen Verwendung suchen. Sinnvoller ist die umgekehrte Reihenfolge: Zunächst wird der konkrete Anwendungsfall definiert. Danach lassen sich Anbieter, Modell, Betriebsform und Lizenz sachgerecht auswählen.
Dieser Beitrag gibt einen ersten Überblick über wesentliche Prüfpunkte. Eine abschließende rechtliche Bewertung kann nur anhand des jeweiligen Einsatzszenarios erfolgen.

Der Inhalt im Überblick

• Anwendungszweck und Datenkategorien festlegen
• Anbieter, Lizenzmodell und Rollenverteilung prüfen
• Nutzung von Eingaben für Training und Produktverbesserung bewerten
• Internationale Datenübermittlungen berücksichtigen
• Berechtigungen von KI-Agenten begrenzen
• Generative KI organisatorisch und technisch absichern

1. Vor der Einführung steht der konkrete Anwendungsfall
Am Anfang jeder KI-Einführung sollte eine möglichst genaue Beschreibung des geplanten Einsatzes stehen. Die bloße Aussage, ein Unternehmen wolle „ChatGPT einsetzen“, reicht dafür nicht aus.
Entscheidend ist vielmehr, welche Aufgaben das System übernehmen soll. Es macht einen erheblichen Unterschied, ob Beschäftigte lediglich allgemeine Texte überarbeiten oder ob die KI Bewerbungen bewertet, Kundenakten zusammenfasst, Gesundheitsdaten analysiert oder eigenständig auf interne Systeme zugreift.
Folgende Fragen sollten daher frühzeitig beantwortet werden:

• Für welche betrieblichen Zwecke soll die KI eingesetzt werden?
• Welche Beschäftigten und Abteilungen sollen Zugriff erhalten?
• Welche Arten personenbezogener Daten können verarbeitet werden?
• Können besondere Kategorien personenbezogener Daten betroffen sein?
• Werden Geschäftsgeheimnisse, vertrauliche Vertragsdaten oder sicherheitsrelevante Informationen eingegeben?
• Erfolgt die Nutzung nur gelegentlich oder als fester Bestandteil eines Geschäftsprozesses?
• Soll das System Dokumente lediglich verarbeiten oder auch dauerhaft speichern?
• Erhält die KI Zugriff auf interne Ordner, Datenbanken, E-Mail-Konten oder Fachanwendungen?
• Trifft das System lediglich Vorschläge oder soll es selbstständig Handlungen ausführen?

Besondere Vorsicht ist erforderlich, wenn Daten im Sinne von Art. 9 DSGVO betroffen sind. Hierzu gehören unter anderem Gesundheitsdaten, biometrische Daten, Angaben zur Religionszugehörigkeit oder Informationen über die politische Überzeugung einer Person. Für solche Daten gelten erhöhte Anforderungen an die Zulässigkeit und Absicherung der Verarbeitung.
Neben der Rechtsgrundlage sind auch die Grundsätze der Zweckbindung, Datenminimierung, Speicherbegrenzung, Richtigkeit und Integrität zu berücksichtigen. Die Beschäftigten sollten daher nicht beliebige Daten in ein KI-System eingeben dürfen, nur weil dies technisch möglich ist.

2. Nicht das bekannteste Modell, sondern die passende Lösung auswählen
Erst wenn der Anwendungsfall feststeht, sollte geprüft werden, welches Modell und welche Betriebsform geeignet sind.
In Betracht kommen beispielsweise:

• öffentlich erreichbare KI-Dienste,
• zentral verwaltete Business- oder Enterprise-Angebote,
• KI-Dienste innerhalb einer bestehenden Cloud-Umgebung,
• API-basierte Integrationen,
• speziell konfigurierte Unternehmenslösungen,
• selbst betriebene oder lokal ausgeführte Modelle.

Business- und Enterprise-Lizenzen sind häufig besser für den betrieblichen Einsatz geeignet, weil sie unter anderem zentrale Benutzerverwaltung, Protokollierung, Zugriffskontrollen, vertragliche Datenschutzregelungen und teilweise steuerbare Speicherorte ermöglichen.
Eine solche Lizenz ist jedoch nicht allein aufgrund der DSGVO zwingend vorgeschrieben. Maßgeblich sind vielmehr die tatsächlichen Verarbeitungsprozesse und die vertragliche Ausgestaltung. Ein kostenloser oder individuell verwendeter Account kann dennoch ungeeignet sein, wenn das Unternehmen keine Kontrolle über Benutzerkonten, Datenverwendung, Löschfristen oder Sicherheitseinstellungen besitzt.
Eine zentrale Unternehmenslösung kann außerdem verhindern, dass Beschäftigte unkontrolliert private Accounts verwenden. Eine solche sogenannte Schatten-KI erschwert die Einhaltung interner Vorgaben und kann dazu führen, dass vertrauliche oder personenbezogene Informationen ohne Kenntnis des Unternehmens verarbeitet werden.

3. Datenschutzrechtliche Rollen müssen bestimmt werden
Bei der Auswahl eines Anbieters ist zu klären, in welcher datenschutzrechtlichen Rolle dieser tätig wird.
Verarbeitet der Anbieter personenbezogene Daten ausschließlich nach dokumentierten Weisungen des Unternehmens, kann eine Auftragsverarbeitung vorliegen. In diesem Fall ist grundsätzlich ein Vertrag nach Art. 28 DSGVO erforderlich. Dieser muss unter anderem den Gegenstand und die Dauer der Verarbeitung, die Datenarten, die betroffenen Personengruppen, die Sicherheitsmaßnahmen sowie den Umgang mit Unterauftragnehmern regeln.
Die Einordnung als Auftragsverarbeiter folgt jedoch nicht automatisch aus der Bezeichnung einer Lizenz als „Business“ oder „Enterprise“. Sie hängt davon ab, wer über Zwecke und Mittel der jeweiligen Verarbeitung entscheidet.
Nutzt ein Anbieter bestimmte Daten für eigene Zwecke, etwa zur eigenständigen Produktentwicklung, Sicherheitsanalyse oder Verbesserung seiner Modelle, kann er insoweit selbst Verantwortlicher sein. Denkbar ist auch, dass unterschiedliche Verarbeitungsschritte unterschiedlich einzuordnen sind.
Unternehmen sollten deshalb nicht nur prüfen, ob ein Auftragsverarbeitungsvertrag angeboten wird. Zusätzlich sollten sie untersuchen:

• Welche Daten verarbeitet der Anbieter für die Bereitstellung des Dienstes?
• Welche Daten verarbeitet er für eigene Zwecke?
• Welche Diagnosedaten, Metadaten und Nutzungsinformationen werden erhoben?
• Welche Unterauftragnehmer kommen zum Einsatz?
• Welche Weisungs- und Kontrollmöglichkeiten bestehen?
• Welche Lösch- und Aufbewahrungsfristen gelten?
• Wie werden Betroffenenrechte unterstützt?
• Welche Sicherheitsmaßnahmen werden vertraglich zugesichert?

Ein vorhandener Auftragsverarbeitungsvertrag ersetzt diese Prüfung nicht.

4. Verwendung von Eingaben für Training und Produktverbesserung
Ein besonders wichtiger Prüfpunkt ist die Frage, ob Eingaben, hochgeladene Dokumente oder Ausgaben des Systems für Trainings-, Analyse- oder Produktverbesserungszwecke verwendet werden.
Dabei sollten verschiedene Verarbeitungsvorgänge voneinander getrennt betrachtet werden:

• Verarbeitung zur unmittelbaren Erbringung des KI-Dienstes,
• vorübergehende Speicherung von Eingaben und Ergebnissen,
• Missbrauchs- und Sicherheitskontrollen,
• Fehleranalyse und Telemetrie,
• menschliche Überprüfung einzelner Inhalte,
• Verbesserung bestehender Funktionen,
• Training oder Weiterentwicklung von KI-Modellen.

Unternehmen sollten sich nicht allein auf allgemeine Werbeaussagen wie „Ihre Daten werden nicht zum Training verwendet“ verlassen. Entscheidend sind die konkreten Vertragsbedingungen, Datenschutzhinweise, technischen Einstellungen und möglichen Ausnahmen.
Werden personenbezogene Daten für zusätzliche Zwecke genutzt, müssen insbesondere Rechtsgrundlage, Zweckbindung, Transparenz und die datenschutzrechtliche Rollenverteilung geprüft werden.
Die nachträgliche Entfernung einzelner personenbezogener Informationen aus einem bereits trainierten Modell kann technisch und rechtlich schwierig sein. Ob ein Modell überhaupt personenbezogene Daten enthält, ob diese extrahiert werden können und welche Folgen eine möglicherweise rechtswidrige Verarbeitung für die weitere Nutzung des Modells hat, ist nach Auffassung des Europäischen Datenschutzausschusses stets anhand des konkreten Falls zu beurteilen.
Der wirksamste Schutz besteht deshalb darin, unzulässige oder nicht erforderliche Dateneingaben von vornherein zu verhindern.

5. Speicherort und internationale Datenübermittlungen
Auch der Ort der Datenverarbeitung ist zu untersuchen. Eine Verarbeitung innerhalb des Europäischen Wirtschaftsraums kann die datenschutzrechtliche Gestaltung erleichtern. Sie ist jedoch nicht automatisch mit vollständiger Rechtssicherheit gleichzusetzen.
Zu prüfen ist nicht nur, wo die Daten gespeichert werden. Relevant ist ebenso:

• Von welchen Ländern aus auf die Daten zugegriffen werden kann,
• wo Support- und Administrationsleistungen erbracht werden,
• welche Unterauftragnehmer beteiligt sind,
• wo Protokoll- und Diagnosedaten gespeichert werden,
• ob Daten in Sicherungskopien oder Sicherheitsplattformen übertragen werden,
• ob konzerninterne Zugriffe aus Drittstaaten möglich sind.

Die bloße Auswahl einer „EU-Region“ bedeutet daher nicht zwingend, dass keinerlei Drittlandbezug mehr besteht.
Bei Übermittlungen in ein Drittland ist zunächst zu prüfen, ob für dieses Land ein Angemessenheitsbeschluss nach Art. 45 DSGVO vorliegt. Fehlt ein solcher, können unter anderem die Standardvertragsklauseln der Europäischen Kommission als Übermittlungsinstrument eingesetzt werden.
Der Abschluss von Standardvertragsklauseln allein genügt allerdings nicht in jedem Fall. Nach der Rechtsprechung des Gerichtshofs der Europäischen Union muss geprüft werden, ob das Recht und die Praxis des Empfängerlandes das vertraglich vorgesehene Schutzniveau beeinträchtigen. Erforderlichenfalls müssen ergänzende technische, vertragliche oder organisatorische Maßnahmen vorgesehen werden.
Diese Prüfung wird häufig als Transfer Impact Assessment bezeichnet. Das Ergebnis sollte nachvollziehbar dokumentiert werden.

6. KI-Agenten benötigen besonders restriktive Berechtigungen
KI-Agenten gehen über die klassische Texteingabe in ein Chatfenster hinaus. Sie können eigenständig Informationen abrufen, Anwendungen bedienen und auf Grundlage eines Auftrags weitere Schritte planen.
Ein Agent kann beispielsweise:

• E-Mails lesen oder vorbereiten,
• Kalenderdaten auswerten,
• Dateien durchsuchen,
• Datenbankabfragen ausführen,
• Tickets erstellen,
• Kundendaten aktualisieren,
• Softwarebefehle ausführen,
• Informationen aus mehreren Systemen zusammenführen.

Mit dieser Handlungsfähigkeit steigen auch die Risiken. Während bei einem klassischen Chat-System vor allem kontrolliert werden muss, welche Inhalte eingegeben werden, ist bei Agenten zusätzlich zu klären, welche Aktionen sie ausführen dürfen.
Berechtigungen sollten deshalb nach dem Least-Privilege- und Need-to-know-Prinzip vergeben werden. Ein Agent darf nur auf diejenigen Daten und Funktionen zugreifen, die für seine konkret definierte Aufgabe erforderlich sind. Dies entspricht auch dem Grundsatz der Datenminimierung nach Art. 5 Abs. 1 Buchst. c DSGVO.
Besonders kritisch sind pauschale Freigaben ganzer Laufwerke, E-Mail-Postfächer oder Dokumentenbestände. Vor einer solchen Anbindung muss geprüft werden, welche Daten tatsächlich enthalten sind und ob deren Verarbeitung durch den Agenten erforderlich und rechtlich zulässig ist.
Empfehlenswert sind insbesondere:

• getrennte technische Konten für KI-Agenten,
• keine Verwendung persönlicher Administratorkonten,
• rollenbasierte und zeitlich begrenzte Berechtigungen,
• Beschränkung auf ausdrücklich freigegebene Datenquellen,
• Protokollierung von Zugriffen und Aktionen,
• Freigabeschritte vor kritischen Handlungen,
• Mengen- und Transaktionsbegrenzungen,
• regelmäßige Kontrolle der vergebenen Rechte,
• technische Möglichkeiten zur sofortigen Deaktivierung,
• Tests gegen Prompt-Injection und ungewollte Datenabflüsse.

Ein Agent sollte insbesondere keine Nachrichten versenden, Zahlungen auslösen, Datensätze löschen oder Berechtigungen verändern dürfen, ohne dass hierfür ein angemessenes Kontrollverfahren besteht.

7. Datenschutz-Folgenabschätzung und Sicherheitsmaßnahmen
Bei besonders risikoreichen Einsatzszenarien kann eine Datenschutz-Folgenabschätzung nach Art. 35 DSGVO erforderlich sein. Dies kommt insbesondere in Betracht, wenn neue Technologien mit umfangreicher Verarbeitung personenbezogener Daten, systematischer Bewertung von Personen, Überwachung oder der Verarbeitung besonders sensibler Informationen verbunden werden.
Unabhängig davon sind angemessene technische und organisatorische Maßnahmen festzulegen. Dazu können gehören:

• Verschlüsselung bei Übertragung und Speicherung,
• Mehr-Faktor-Authentisierung,
• rollenbasierte Zugriffskontrollen,
• Vorgaben zur zulässigen Dateneingabe,
• Pseudonymisierung oder Anonymisierung,
• automatische Löschfristen,
• Protokollierung sicherheitsrelevanter Ereignisse,
• regelmäßige Berechtigungsprüfungen,
• Notfall- und Incident-Response-Prozesse,
• vertraglich geregelte Meldung von Datenschutzverletzungen.

Die Ergebnisse der Prüfung sollten unter anderem im Verzeichnis der Verarbeitungstätigkeiten, in der Datenschutzdokumentation und in den internen Sicherheitsvorgaben abgebildet werden.

8. Der EU AI Act erweitert die organisatorischen Anforderungen
Neben der DSGVO ist auch die europäische KI-Verordnung zu berücksichtigen. Welche konkreten Pflichten gelten, hängt insbesondere davon ab, wie das jeweilige KI-System eingesetzt wird und ob es sich um ein Hochrisiko-KI-System oder einen anderen regulierten Anwendungsfall handelt.
Unabhängig von einer möglichen Hochrisiko-Einstufung verlangt Art. 4 der KI-Verordnung von Anbietern und Betreibern Maßnahmen zur Sicherstellung einer ausreichenden KI-Kompetenz der Personen, die mit KI-Systemen arbeiten. Dabei sind unter anderem deren Kenntnisse, Erfahrungen, Ausbildung und der jeweilige Verwendungskontext zu berücksichtigen.
Eine betriebliche KI-Einführung sollte daher mindestens folgende organisatorische Elemente umfassen:

• ein Verzeichnis der eingesetzten KI-Systeme,
• eindeutig definierte und freigegebene Anwendungsfälle,
• eine interne Richtlinie zur KI-Nutzung,
• Verantwortlichkeiten für Datenschutz, Informationssicherheit und Fachbetrieb,
• Schulungen für Beschäftigte,
• Verfahren zur Prüfung neuer KI-Anwendungen,
• Vorgaben zur menschlichen Kontrolle,
• Prozesse für Sicherheitsvorfälle und Fehlentscheidungen,
• regelmäßige Überprüfung der Anbieter und Systeme.

9. Kompakte Prüfliste für die Unternehmenspraxis
Vor der Freigabe eines generativen KI-Systems sollten mindestens folgende Punkte geklärt sein:
1. Der betriebliche Zweck des Einsatzes ist eindeutig beschrieben.
2. Zulässige und unzulässige Datenkategorien sind festgelegt.
3. Anbieter, Modell, Lizenz und Betriebsform wurden verglichen.
4. Die datenschutzrechtlichen Rollen wurden für jeden Verarbeitungsvorgang bewertet.
5. Ein erforderlicher Auftragsverarbeitungsvertrag wurde abgeschlossen.
6. Eigene Verarbeitungszwecke des Anbieters wurden identifiziert.
7. Die Verwendung von Eingaben für Training und Produktverbesserung ist geklärt.
8. Speicherorte, Unterauftragnehmer und internationale Datenflüsse sind dokumentiert.
9. Rechtsgrundlagen und Informationspflichten wurden geprüft.
10. Eine mögliche Datenschutz-Folgenabschätzung wurde bewertet.
11. Berechtigungen und Schnittstellen folgen dem Least-Privilege-Prinzip.
12. Kritische Aktionen erfordern eine menschliche Freigabe.
13. Beschäftigte wurden geschult und auf verbindliche Nutzungsregeln hingewiesen.
14. Der Einsatz wird regelmäßig technisch, rechtlich und organisatorisch überprüft.

Fazit
Generative KI kann betriebliche Abläufe erheblich unterstützen. Eine verantwortungsvolle Einführung beginnt jedoch nicht mit der Freischaltung eines Benutzerkontos, sondern mit der strukturierten Beschreibung des konkreten Anwendungsfalls.
Unternehmen müssen wissen, welche Daten verarbeitet werden, welche Rolle der Anbieter einnimmt, ob Eingaben für eigene Zwecke genutzt werden und in welchen Staaten eine Verarbeitung oder ein Zugriff stattfindet. Bei KI-Agenten kommen Berechtigungen, autonome Handlungen und die sichere Anbindung interner Systeme als zusätzliche Risikofaktoren hinzu.
Business- oder Enterprise-Lizenzen können eine geeignete Grundlage für den kontrollierten Unternehmenseinsatz darstellen. Sie ersetzen jedoch weder die rechtliche Prüfung noch ein tragfähiges Berechtigungs-, Sicherheits- und Governance-Konzept.
Entscheidend ist deshalb nicht nur, welches KI-Modell eingesetzt wird. Ebenso wichtig ist, unter welchen vertraglichen, technischen und organisatorischen Bedingungen dies geschieht.
Unsere Module wie KIMS oder SCHLAUMEIER helfen dabei, alle rechtlichen Anforderungen zu erfüllen!
Hinweis: Dieser Beitrag gibt einen allgemeinen Überblick und stellt keine Rechtsberatung für einen konkreten Einzelfall dar.