Die EU-KI-Verordnung gilt seit dem ersten August 2024 in Kraft und greift in gestaffelten Fristen, deren erste Schicht am zweiten Februar 2026 wirksam wurde. Für mittelständische Unternehmen entsteht damit eine konkrete Pflicht zur technischen Dokumentation aller KI-Systeme, die unter die Hochrisiko-Kategorie nach Annex III fallen, und zur Sicherstellung einer angemessenen KI-Kompetenz der Mitarbeitenden. Diese Pflichten sind nicht verhandelbar, ihre praktische Umsetzung ist es allerdings durchaus, weil der Detaillierungsgrad sich an Größe und Risikoprofil orientiert.
Warum die Dokumentationspflicht nicht erst auf der Zielgeraden adressiert werden sollte
Die Dokumentation nach Annex IV unterscheidet sich strukturell von klassischer IT-Dokumentation, weil sie die Trainings- und Validierungsdaten, die Daten-Governance, das Risikomanagement-System und die Pflicht zur menschlichen Aufsicht abdecken muss. Diese Inhalte lassen sich nicht zwei Wochen vor einem Audit zusammenschreiben, weil sie zwingend aus der gelebten Praxis kommen müssen und im Audit gegen die tatsächliche Systemausgestaltung geprüft werden. Wer die Dokumentation erst kurz vor Stichtag aufsetzt, riskiert einen Bruch zwischen Papier und Realität, der von der zuständigen Aufsichtsbehörde sofort erkannt wird.
Hinzu kommt, dass die Dokumentation eine Voraussetzung für die Konformitätsbewertung ist und damit für die Inverkehrbringung oder Inbetriebnahme des Systems. Ohne Dokumentation kein Inverkehrbringen, das ist die Logik der Verordnung. Auch wenn die volle Pflicht für die meisten Hochrisiko-Systeme erst zum zweiten August 2027 greift, ist eine frühzeitige Bestandsaufnahme 2026 sinnvoll, weil das eigene Risikobild oft erst sichtbar wird, wenn alle eingesetzten KI-Systeme transparent aufgelistet sind. Bevor Sie eine externe Beratung beauftragen, prüfen Sie kostenlos die Förderfähigkeit Ihres Unternehmens über unseren BAFA-Förderfähigkeits-Check.
Die neun Punkte aus Annex IV in der Übersicht
Die folgende Tabelle fasst die neun Punkte zusammen, die Annex IV der KI-Verordnung als Mindestinhalt der technischen Dokumentation verlangt. Diese Tabelle ersetzt keine vollständige Lektüre der Verordnung, sie dient als Einstiegsraster, das wir in der Beratung pro System mit konkreten Inhalten füllen.
| Annex IV Punkt | Anforderung an die Dokumentation |
|---|---|
| 1. Allgemeine Systembeschreibung | Sie dokumentieren Zweck, Funktionsweise, Anwender und vorgesehene Einsatzkontexte des Systems. |
| 2. Detaillierte technische Beschreibung | Sie beschreiben die Architektur, die Anbindungen an andere Systeme, die Hardware-Anforderungen sowie den jeweils aktuellen Versionsstand. |
| 3. Trainings- und Validierungsdaten | Sie legen Datenquellen, Datenmengen, Herkunft und Bereinigungsschritte transparent offen. |
| 4. Daten-Governance | Sie benennen Verantwortliche, regeln Zugriffsrechte, dokumentieren Aktualisierungsprozesse und sichern den Datenschutz. |
| 5. Risikomanagement-System | Sie identifizieren systemische Risiken und beschreiben Schutzmaßnahmen mitsamt ihren Wirksamkeitskontrollen. |
| 6. Performance-Metriken | Sie weisen Genauigkeit, Robustheit und Validierungsverfahren mit konkreten Messwerten nach. |
| 7. Menschliche Aufsicht | Sie regeln, wie Menschen das System überwachen, kontrollieren und im Bedarfsfall eingreifen können. |
| 8. Konformitätsbewertung | Sie benennen das gewählte Bewertungsverfahren und legen seine Anwendung lückenlos dar. |
| 9. Nachvollziehbarkeit im Betrieb | Sie sorgen für Logging, Monitoring und die Auditierbarkeit der Systemleistung über den Lebenszyklus hinweg. |
In der Beratung schauen wir gemeinsam, welche dieser neun Punkte für Ihr konkretes System ohnehin in anderen Dokumenten abgedeckt sind, etwa im Datenschutz-Verzeichnis nach Artikel dreißig Datenschutz-Grundverordnung oder in einer ISO 27001 Dokumentation. So vermeiden wir Doppelarbeit und konzentrieren die Beratungszeit auf die neuen Inhalte mit echtem Compliance-Risiko.
Wer überhaupt unter die Hochrisiko-Pflicht fällt
Nicht jedes Unternehmen, das KI einsetzt, muss eine Annex-IV-Dokumentation führen. Annex III der KI-Verordnung listet abschließend die Bereiche auf, in denen ein KI-System als Hochrisiko gilt. Die folgenden Bereiche sind für den Mittelstand besonders relevant.
Die Grenze verläuft nicht entlang der eingesetzten Technologie, sondern entlang des Anwendungsbereichs. Ein KI-gestützter Texteditor ist Minimalrisiko, derselbe Texteditor ist Hochrisiko, sobald er Bewerbungsanschreiben nach Eignung sortiert. Genau diese Abgrenzung machen wir in der Beratung explizit und schriftlich für jedes System.
Was die Pflicht zur KI-Kompetenz nach Artikel 4 bedeutet
Unabhängig von der Annex-IV-Pflicht gilt für alle Unternehmen die Pflicht zur angemessenen KI-Kompetenz der Mitarbeitenden nach Artikel vier der Verordnung. Diese Pflicht ist seit dem zweiten Februar 2026 wirksam und wird in der Praxis am häufigsten unterschätzt. Sie verlangt einen schriftlichen Nachweis, dass die mit KI-Systemen arbeitenden Mitarbeitenden eine ihrer Rolle angemessene Einweisung erhalten haben, dokumentiert in der Personalakte oder in einem zentralen Schulungsregister.
In der praktischen Umsetzung bedeutet das nicht eine ganztägige Schulung pro Person, sondern eine modulare Einweisung, die zu Aufgabengebiet und Risikoprofil passt. Eine Buchhalterin, die ChatGPT for Business für Mahntexte einsetzt, braucht eine andere Schulung als ein Personalreferent, der ein KI-System zur Bewerber-Vorauswahl bedient. Wir liefern in der Beratung pragmatische Schulungsbausteine, die in dreißig bis sechzig Minuten pro Rolle absolviert sind und im Audit Bestand haben.
Welche Aufsichtsbehörde in Deutschland zuständig ist
Die nationale Aufsichtsstruktur für den AI Act wird in Deutschland gerade aufgebaut und wird voraussichtlich beim Bundesnetzagentur-Schwerpunkt verankert, mit fachlicher Unterstützung des Bundesamts für Sicherheit in der Informationstechnik. Für die Übergangszeit bleiben die Landesdatenschutzbehörden Ansprechpartner für DSGVO-bezogene Fragen, die KI-Verordnung selbst wird erst mit dem zweiten August 2026 vollständig sanktionierbar.
Diese Zweistufigkeit ist in der Praxis wichtig, weil ein KI-System, das gegen die Datenschutz-Grundverordnung verstößt, schon heute geahndet werden kann, selbst wenn der spezifische AI-Act-Tatbestand erst 2027 sanktionierbar wird. Wer also die AI-Act-Dokumentation jetzt aufsetzt, profitiert nebenher davon, dass die zugrunde liegende DSGVO-Dokumentation ebenfalls schärfer wird.
Übersicht: Was der Hub AI-Act-Beratung zusätzlich abdeckt
Diese Seite ist Teil unseres größeren Hubs zur AI-Act-Beratung, in dem Sie weitere Detailseiten zu Bußgeldern, Risikoklassen, Konformitätsbewertung, Schulungspflicht und General-Purpose-AI-Pflichten finden. Wenn Sie zuerst klären möchten, ob Ihre Beratung BAFA-förderfähig ist, starten Sie mit dem kostenlosen Förderfähigkeits-Check.
Nächster Schritt
Klären Sie zuerst die Förderfähigkeit Ihres Unternehmens über unseren BAFA-Schnelltest, der die KMU-Schwellen automatisch prüft. Wenn die Voraussetzungen passen, vereinbaren Sie über Calendly ein dreißigminütiges Erstgespräch, in dem wir die Bestandsaufnahme Ihrer KI-Systeme und das passende Beratungsthema festlegen. Die gesamte Antragsabwicklung übernehmen wir, Sie kümmern sich nur um die Bereitstellung der Unterlagen wie Handelsregisterauszug, letzten Jahresabschluss und De-minimis-Erklärung.