Künstliche Intelligenz entwickelt sich vom reinen Chat-Werkzeug zunehmend zum aktiven Bestandteil von Geschäftsprozessen. Moderne KI-Agenten können Dateien auswerten, Programme ausführen, auf Unternehmensdaten zugreifen und Aufgaben über mehrere Arbeitsschritte hinweg erledigen.
Ein aktueller Sicherheitsvorfall bei Anthropic zeigt, warum Unternehmen dabei nicht nur auf die Fähigkeiten der KI achten sollten. Entscheidend ist, welche technischen Berechtigungen ein KI-System tatsächlich besitzt. Das betrifft inzwischen auch Microsoft Copilot – die KI-Funktion in Microsoft 365 –, in der neben anderen Modellen auch Claude von Anthropic eingesetzt werden kann.
Gleichzeitig gewinnt der EU AI Act für Unternehmen praktisch an Bedeutung. Mehrere Pflichten gelten bereits, weitere Vorschriften werden ab August 2026 anwendbar.
Hinweis zum Rechtsstand: Die Angaben zum EU AI Act entsprechen dem Stand vom 31. Juli 2026. Gesetzliche Fristen und konkrete Pflichten können sich ändern und sollten für den jeweiligen Anwendungsfall aktuell sowie bei Bedarf rechtlich geprüft werden.
Was ist bei Anthropic passiert?
Anthropic veröffentlichte Ende Juli 2026 Ergebnisse einer Untersuchung eigener Cybersecurity-Evaluierungen. Dabei sollten verschiedene Claude-Modelle in abgeschotteten Testumgebungen IT-Sicherheitsaufgaben lösen.
Die Modelle erhielten die Information, dass sie sich in einer Simulation befinden und keinen Zugriff auf das öffentliche Internet haben. Aufgrund einer Fehlkonfiguration einer von einem externen Evaluierungspartner betriebenen Umgebung war jedoch tatsächlich Internetzugriff möglich.
Dadurch erreichten die KI-Systeme reale Server und behandelten diese teilweise so, als gehörten sie zur vorgesehenen Testumgebung. Anthropic untersuchte nach eigenen Angaben 141.006 Testläufe und identifizierte drei Vorfälle, bei denen reale Systeme verschiedener Organisationen betroffen waren.
Die KI ist nicht aus einer sicheren Umgebung „ausgebrochen“
Für die technische Einordnung ist ein Unterschied wichtig: Die Modelle überwanden nach Darstellung von Anthropic keine korrekt eingerichtete technische Abschottung. Der Internetzugang war bereits aufgrund einer Fehlkonfiguration vorhanden.
Der Vorfall zeigt deshalb weniger eine eigenständig außer Kontrolle geratene KI als ein bekanntes Sicherheitsproblem in neuer Form: Ein leistungsfähiges System erhielt mehr Zugriffsmöglichkeiten, als für die vorgesehene Aufgabe erforderlich waren.
Für Unternehmen ist genau das relevant. Eine Anweisung an eine KI, bestimmte Systeme oder Daten nicht zu verwenden, ersetzt keine technische Zugriffskontrolle.
Was ist ein KI-Agent?
Ein KI-Agent ist ein KI-System, das nicht nur Text erzeugt, sondern selbstständig mehrere Arbeitsschritte ausführen und dafür Werkzeuge, Anwendungen oder Schnittstellen nutzen kann.
Ein Agent kann beispielsweise Informationen aus Dokumenten auslesen, E-Mails verarbeiten, Daten aus einem CRM-System abrufen oder Aktionen in angebundenen Anwendungen ausführen.
Damit wird aus einem reinen Assistenzsystem technisch betrachtet zunehmend ein weiterer Akteur innerhalb der IT-Infrastruktur. Entsprechend sollten Berechtigungen, Protokollierung und Zugriffsmöglichkeiten kontrolliert werden.
Warum betrifft das auch Microsoft Copilot?
Microsoft 365 Copilot ist für viele Unternehmen ein naheliegender Einstieg in den geschäftlichen Einsatz generativer KI. Dabei ist wichtig zu wissen, dass Microsoft inzwischen nicht ausschließlich Modelle eines einzelnen KI-Anbieters einsetzt.
Microsoft hat Anthropic als Unterauftragsverarbeiter integriert und stellt Claude-Modelle in verschiedenen Microsoft-365-Copilot-Funktionen zur Verfügung. Claude kann abhängig von Region, Funktion und Konfiguration unter anderem in Copilot Chat und verschiedenen Copilot-Funktionen eingesetzt werden. Microsoft ermöglicht Administratoren, den Zugriff auf Anthropic-Modelle zu steuern.
Für Administratoren bedeutet das: Die eingesetzten KI-Modelle und Anbieter sollten Bestandteil der Microsoft-365-Governance sein. Es reicht nicht mehr unbedingt aus, nur zu entscheiden, ob „Copilot“ im Unternehmen verwendet werden darf. Zusätzlich sollte geprüft werden, welche Modelle aktiviert sind, welche Benutzer darauf zugreifen können und welche Daten über diese Funktionen verarbeitet werden.
Besonderheit für Unternehmen in der EU
Für europäische Unternehmen gibt es einen weiteren Punkt zu beachten. Microsoft weist in seiner Dokumentation darauf hin, dass bei der Verwendung von Anthropic-Modellen in bestimmten Copilot-Funktionen in Word, Excel und PowerPoint die Verarbeitung außerhalb der Microsoft EU Data Boundary erfolgt. Anthropic wird dabei als Microsoft-Unterauftragsverarbeiter eingesetzt und unterliegt den entsprechenden Vertrags- und Datenschutzbedingungen von Microsoft.
Das bedeutet nicht automatisch, dass eine solche Nutzung unzulässig ist. Unternehmen mit sensiblen oder besonders geschützten Daten sollten jedoch prüfen, ob die gewählte Konfiguration zu den eigenen Datenschutz-, Geheimhaltungs- und Compliance-Anforderungen passt.
Das ist insbesondere für Kanzleien, Arztpraxen, Pflegeeinrichtungen und Unternehmen mit vertraulichen Kunden-, Personal- oder Patientendaten relevant.
Welche Sicherheitsmaßnahmen sind für KI im Unternehmen sinnvoll?
Die grundlegenden Maßnahmen unterscheiden sich kaum von bewährter IT-Sicherheit. Entscheidend ist, KI-Systeme nicht außerhalb der bestehenden Sicherheitsarchitektur zu betrachten. Unternehmen sollten insbesondere darauf achten, dass:
- KI-Dienste nur die Berechtigungen erhalten, die sie für ihre konkrete Aufgabe benötigen;
- Zugriffe auf Dateien, E-Mails, Datenbanken und externe Schnittstellen nachvollziehbar geregelt sind;
- Administratoren wissen, welche KI-Anbieter und Modelle im Unternehmen freigeschaltet sind;
- Test-, Entwicklungs- und Produktivsysteme voneinander getrennt bleiben;
- kritische Aktionen gegebenenfalls eine zusätzliche Freigabe durch einen Mitarbeiter erfordern;
- Aktivitäten von KI-Agenten möglichst protokolliert und überprüfbar sind;
- API-Schlüssel, Kennwörter und andere Zugangsdaten nicht unnötig für KI-Systeme erreichbar sind.
Gerade bei Microsoft 365 sollte zusätzlich das vorhandene Berechtigungskonzept geprüft werden. Copilot kann Arbeitsinhalte verwenden, für die der jeweilige Benutzer bereits Zugriffsrechte besitzt. Zu großzügig vergebene Berechtigungen in SharePoint, Teams oder OneDrive werden durch KI daher nicht behoben, sondern können noch stärker ins Gewicht fallen.
Was ändert der EU AI Act für Unternehmen?
Der sogenannte EU AI Act, die Verordnung (EU) 2024/1689, ist am 1. August 2024 in Kraft getreten. Die einzelnen Regelungen werden jedoch stufenweise anwendbar.
Bereits seit dem 2. Februar 2025 gelten unter anderem Vorgaben zur KI-Kompetenz. Unternehmen, die KI-Systeme einsetzen, müssen Maßnahmen unterstützen, damit Mitarbeiter und andere Personen, die in ihrem Auftrag mit diesen Systemen arbeiten, einen angemessenen Umgang mit KI entwickeln können. Dabei sind unter anderem das technische Vorwissen, die Erfahrung und der konkrete Einsatzbereich zu berücksichtigen.
Das bedeutet nicht automatisch, dass jeder Mitarbeiter eine umfangreiche Zertifizierung benötigt. Unternehmen sollten jedoch nachvollziehbar dafür sorgen, dass Benutzer die Möglichkeiten, Grenzen und Risiken der verwendeten KI-Systeme verstehen.
Ab 2. August 2026 gelten weitere Transparenzpflichten
Ab dem 2. August 2026 werden weitere wesentliche Vorschriften des EU AI Act anwendbar. Dazu gehören Transparenzpflichten nach Artikel 50. Menschen sollen in bestimmten Situationen erkennen können, wenn sie direkt mit einem KI-System interagieren oder bestimmten KI-generierten beziehungsweise manipulierten Inhalten ausgesetzt sind.
Für normale interne Anwendungen, beispielsweise wenn ein Mitarbeiter mit Copilot einen Text zusammenfasst oder eine E-Mail vorbereitet, entsteht daraus nicht automatisch eine allgemeine Kennzeichnungspflicht für jeden KI-unterstützten Text.
Besondere Anforderungen bestehen jedoch beispielsweise bei Deepfakes sowie bestimmten KI-generierten Veröffentlichungen zu Angelegenheiten von öffentlichem Interesse, wenn keine menschliche Prüfung oder redaktionelle Kontrolle stattfindet.
Müssen mittelständische Unternehmen jetzt ein großes KI-Compliance-Projekt starten?
Nicht zwingend. Ein sinnvoller erster Schritt ist eine strukturierte Bestandsaufnahme. Unternehmen sollten wissen:
- Welche KI-Dienste werden tatsächlich verwendet?
- Welche Mitarbeiter haben Zugriff?
- Welche Unternehmensdaten werden verarbeitet?
- Welche externen KI-Anbieter sind beteiligt?
- Welche Berechtigungen besitzen KI-Agenten?
- Für welche Geschäftsprozesse wird KI eingesetzt?
- Gibt es Regeln für vertrauliche, personenbezogene oder besonders sensible Daten?
Aus diesen Informationen lässt sich ableiten, welche technischen, organisatorischen und gegebenenfalls rechtlichen Maßnahmen notwendig sind. Für kleine und mittlere Betriebe ist dieser Weg ein pragmatischer Baustein solider IT-Sicherheit für KMU.
Bestimmte Vorschriften für sogenannte Hochrisiko-KI-Systeme gelten aufgrund aktueller Änderungen des EU-Rechts erst zu späteren Zeitpunkten. Je nach Klassifizierung wurden entsprechende Fristen unter anderem auf Dezember 2027 beziehungsweise August 2028 verschoben. Ob eine konkrete KI-Anwendung als Hochrisiko-KI einzustufen ist, hängt vom tatsächlichen Einsatzzweck ab. Gerade bei Personalentscheidungen, bestimmten medizinischen Anwendungen oder anderen sensiblen Einsatzgebieten sollte dies individuell geprüft werden.
FAQ: KI, Microsoft Copilot und EU AI Act
Nutzt Microsoft Copilot Claude von Anthropic?
Ja. Microsoft stellt Claude-Modelle inzwischen in verschiedenen Microsoft-365-Copilot-Funktionen bereit. Die konkrete Verfügbarkeit hängt von Region, Funktion und den Einstellungen des Microsoft-365-Tenants ab.
Ist Claude deshalb ein Sicherheitsrisiko?
Nicht grundsätzlich. Entscheidend sind der konkrete Einsatzbereich, die vergebenen Berechtigungen und die technische Absicherung. Der aktuelle Anthropic-Vorfall zeigt vor allem, welche Folgen eine falsch konfigurierte Umgebung haben kann.
Müssen Mitarbeiter im Umgang mit KI geschult werden?
Der EU AI Act verlangt bereits Maßnahmen zur Förderung der KI-Kompetenz von Mitarbeitern und anderen Personen, die im Auftrag eines Unternehmens mit KI-Systemen arbeiten. Art und Umfang sollten zum jeweiligen Einsatzgebiet passen.
Muss jeder mit Copilot geschriebene Text als KI-Inhalt gekennzeichnet werden?
Nein. Eine allgemeine Kennzeichnungspflicht für jeden mit KI unterstützten geschäftlichen Text besteht nicht. Artikel 50 enthält Transparenzpflichten für bestimmte Einsatzfälle und Inhalte. Der konkrete Anwendungsfall sollte bei Unsicherheit geprüft werden.
Was sollten Unternehmen bei Microsoft 365 Copilot zuerst prüfen?
Neben Lizenzen und Funktionen sollten vor allem Benutzerberechtigungen, Datenzugriffe, aktivierte KI-Anbieter, Tenant-Einstellungen und der Umgang mit vertraulichen Daten geprüft werden.
Fazit
Der Anthropic-Vorfall macht deutlich, dass die Sicherheit von KI-Systemen nicht nur vom verwendeten Modell abhängt. Entscheidend ist die gesamte technische Umgebung: Berechtigungen, Schnittstellen, Netzwerke, Datenzugriffe und administrative Einstellungen.
Durch die Integration von Claude in Microsoft Copilot wird dieses Thema auch für Unternehmen relevant, die keine eigenen KI-Systeme entwickeln. Gleichzeitig verlangt der EU AI Act zunehmend einen nachvollziehbaren und verantwortungsvollen Umgang mit künstlicher Intelligenz.
Für Unternehmen ist deshalb ein pragmatischer Ansatz sinnvoll: eingesetzte KI-Dienste erfassen, Berechtigungen überprüfen, klare Regeln für sensible Daten festlegen und Mitarbeiter passend zum jeweiligen Einsatzgebiet informieren. Ein IT-Systemhaus kann dabei unterstützen, Microsoft-365- und Copilot-Einstellungen technisch zu prüfen, bestehende Berechtigungskonzepte zu bewerten und KI-Lösungen kontrolliert in die vorhandene IT-Infrastruktur zu integrieren.
KI und Microsoft Copilot sicher einsetzen? Sprechen Sie mit uns
Sie möchten wissen, welche KI-Dienste in Ihrem Microsoft-365-Tenant aktiv sind, ob Berechtigungen und Datenzugriffe sauber geregelt sind und was der EU AI Act für Sie bedeutet? Als IT-Systemhaus aus Düsseldorf prüfen wir Ihre Microsoft-365- und Copilot-Einstellungen, bewerten Ihr Berechtigungskonzept und integrieren KI kontrolliert in Ihre IT – seit 1992, mit festem Ansprechpartner.
Rufen Sie uns an unter 0211 9779958 oder schreiben Sie uns über unser Kontaktformular. Wir melden uns kurzfristig.
Über den Autor
Klaus Stüber – Geschäftsführer & IT-Sicherheitsexperte. Er leitet das IT-Systemhaus Stüber Computer in Düsseldorf seit 1992. Schwerpunkte: IT-Sicherheit, DATEV-Systembetreuung und Netzwerktechnik. Fragen? Kontakt aufnehmen.
