Automatisierte Barrierefreiheitstests: Was sie können und was nicht

Automatisierte Tools wie bf-check, axe, WAVE oder Lighthouse sind unverzichtbare Werkzeuge – sie finden schnell und skalierbar technische Fehler wie fehlende Alt-Texte, Kontrastverstöße oder fehlende Formular-Labels. Doch sie haben systembedingte Grenzen: Alles, was menschliches Urteil erfordert – Ist der Alt-Text sinnvoll? Ist die Reihenfolge logisch? Ist die Fehlermeldung verständlich? – bleibt dem automatisierten Test verborgen.

Was automatisierte Tests gut können

Automatisierte Tools sind stark bei klar definierten, technisch messbaren Kriterien:
• Fehlende Alt-Texte: Ein ohne alt-Attribut ist eindeutig identifizierbar.
• Kontrastverhältnisse: Farbwerte sind mathematisch berechenbar.
• Fehlende Formular-Labels: Die Verknüpfung von und ist programmatisch prüfbar.
• Fehlende Sprache (lang-Attribut): Vorhandensein ist eindeutig prüfbar.
• Doppelte IDs: Technisch eindeutig erkennbar.
• ARIA-Fehler: Ungültige ARIA-Attribute oder -Rollen lassen sich gegen die Spezifikation prüfen.
• Heading-Hierarchie: Übersprungene Ebenen (H1 → H3) sind erkennbar.
Diese Prüfpunkte machen ca. 30-40 % der WCAG-Erfolgskriterien aus – und gerade bei großen Websites sind sie die effizienteste erste Maßnahme.

Was automatisierte Tests nicht können

Für diese Bereiche ist menschliche Beurteilung erforderlich:
• Qualität von Alt-Texten: Ein Tool erkennt, ob ein Alt-Text vorhanden ist – nicht, ob er das Bild sinnvoll beschreibt.
• Logische Lesereihenfolge: Tools können die DOM-Reihenfolge prüfen, aber nicht, ob sie inhaltlich sinnvoll ist.
• Verständlichkeit: Ob ein Text, eine Fehlermeldung oder eine Navigation verständlich ist, kann kein Algorithmus bewerten.
• Kontextabhängige Tastaturbedienbarkeit: Ob ein komplexes Widget per Tastatur nutzbar ist, erfordert manuelles Durchspielen.
• Sinnvolle Linktexte: „Hier klicken" ist technisch kein Fehler, aber eine Barriere.
• Korrekte Verwendung von ARIA: Tools erkennen ungültige Attribute, nicht aber inhaltlich falsche.
• Dynamische Inhalte: Modale Dialoge, Dropdown-Menüs, Single-Page-Apps – das Verhalten nach Nutzerinteraktion ist schwer automatisiert testbar.

Die 30-40 %-Zahl: Woher kommt sie?

Die häufig zitierte Zahl stammt aus Studien der Universität von Maryland (2017) und wird von der Web Accessibility Initiative bestätigt. Sie bezieht sich darauf, wie viele der WCAG-Erfolgskriterien vollständig automatisiert überprüft werden können. Einige Kriterien lassen sich teilweise automatisiert prüfen – z. B. kann ein Tool erkennen, dass ein Bild einen Alt-Text hat (automatisiert), aber nicht, ob er zutreffend ist (manuell). Zählt man diese Teilprüfungen mit, steigt die Zahl auf ca. 50-57 %. Entscheidend ist: Auch ein „bestandener" automatisierter Test garantiert keine Barrierefreiheit. Er garantiert nur, dass die automatisiert prüfbaren Anforderungen erfüllt sind.

Optimale Teststrategie: Der Drei-Stufen-Ansatz

Für eine vollständige Barrierefreiheitsprüfung empfehlen wir drei Stufen:
Stufe 1 – Automatisierte Tests: Tools wie bf-check als erste Prüfinstanz. Schnell, skalierbar, ideal für die Erstbewertung und laufendes Monitoring.
Stufe 2 – Manuelle Experten-Tests: Ein geschulter Prüfer navigiert die Seite mit Screenreader und Tastatur, prüft Lesereihenfolge, Verständlichkeit, dynamische Inhalte und die Qualität von Alt-Texten. Orientierung am BIK BITV-Test.
Stufe 3 – User-Tests mit Betroffenen: Echte Nutzer mit verschiedenen Behinderungen testen realistische Szenarien auf ihren eigenen Geräten (→ User-Testing für Barrierefreiheit).
Dieser Drei-Stufen-Ansatz liefert die höchste Abdeckung und Aussagekraft.

bf-check: Transparenz über die eigenen Grenzen

bf-check prüft automatisiert gegen eine Auswahl der WCAG 2.1 AA-Kriterien. Wir machen transparent, welche Kriterien automatisiert geprüft werden und welche manuell geprüft werden müssen. Ein bf-check-Bericht mit 0 Fehlern bedeutet nicht „100 % barrierefrei" – er bedeutet „keine automatisiert erkennbaren Fehler". Deshalb empfehlen wir immer die Kombination mit manuellen und User-Tests. Gleichzeitig ist der automatisierte Test die effizienteste Methode für die laufende Überwachung: Nach jedem Deployment schnell prüfen, ob Regressionen aufgetreten sind.