ISO-Audits im Vergleich zu «richtigen» (IT-)Revisionen
Artikel erschienen in Swiss IT Magazine 2024/09
Artikel erschienen in Swiss IT Magazine 2024/09
Ich gebe es zu: Als «echter» IT-Revisor habe ich manchmal über die ISO- oder PCI-DSS-Audits gelächelt. Zu Beginn meiner unterdessen 40jährigen beruflichen Tätigkeit habe ich in der internen EDV-Revision zuerst bei der SBG und dann bei der SKA gearbeitet, wo wir primär komplexere Sachverhalte angeschaut und dementsprechend umfang-reiche Prüfungen vorgenommen haben. Es war üblich, mehrere Wochen an einem Auftrag zu arbeiten – manchmal alleine, oft auch zu zweit oder zu dritt. Mitte der 90er Jahre kamen dann die ersten BS7799-Zertifizierungsaudits2) auf, die mit oft nur 2–3 Tagen Gesamtaufwand im Vergleich zu unseren eigenen IT-Revisionen unglaublich kurz waren.
Heute sehe ich das Ganze differenzierter: Eine Prüferin, ein Prüfer beurteilt betriebliche Sachverhalte wie die Wirksamkeit von Prozessen, die Funktionsweise von Organisationsformen oder die Einhaltung von internen wie externen Vorgaben unterschiedlichster Art. Die jeweilige «Prüfungstiefe» hängt in aller Regel vom konkreten Auftrag sowie vom dafür anzuwendenden Prüfungs-standard wie ISO27007, ISO27008, PCI-DSS, ISAE3000, ISAE3402, SOC, PS4023) usw. ab – manche verlangen nur die Bestätigung der Existenz eines Prüfobjektes, andere verlangen die konkrete Prüfung eines einzelnen Geschäftsfalles (sogenannte Einzelfallprüfung; «Test of One») – andere verlangen die Bestätigung der dauerhaften Wirksamkeit z.B. eines Prozesses über eine längere Periode bis zu meistens maximal einem Geschäftsjahr und damit die Verifikation zahlreicher Stichproben von Ereignissen oder Geschäftsfällen.
Wesentlich ist die Frage, ob es sich bei der Prüfung um eine aussagegestützte oder um eine direkte Berichterstattung handelt:
- Bei einer aussagegestützten Berichterstattung (assertion-based reporting) geben die Verantwortlichen des geprüften Unternehmens eine Aussage über einen bestimmten Sachverhalt ab und tragen dafür die inhaltliche Verantwortung (wie dies z.B. auch der Abschlussprüfer tut, der im Wesentlichen die Korrektheit der vom Unternehmen selbst erstellten Bilanz und Erfolgsrechnung bestätigt). Typischerweise wird der Sachverhalt z.B. in einem ISAE-Bericht anhand von klaren Kriterien (meist Kontrollzielen) und konkreten Kontrollen beschrieben. Der Prüfer verifiziert diese Aussagen und gibt darüber einen Bericht ab. ISAE3402-Berichte sind zwingend aussagegestützt, bei ISAE3000-Berichten ist dies nicht unbedingt erforderlich.
- Bei einer direkten Berichterstattung (direct reporting) bestätigt ein Prüfer einen Sachverhalt, ohne sich auf Aussagen des geprüften Unternehmens abzustützen. Dementsprechend muss er selber beschreiben, auf welchen Kriterien er seine Beurteilung basiert, um einen Sachverhalt wie z.B. «Auch bei Ausfall der externen Stromversorgung ist ein kontinuierlicher Weiterbetrieb möglich.» in einem ISAE3000-Bericht bestätigen zu können.
Die Art der Berichterstattung, der konkret zu bestätigende Sachverhalt sowie die anzuwendende Prüfungstiefe können sich demnach von Auftrag zu Auftrag klar unterscheiden – und damit auch die Anzahl der dafür aufzuwendenden Arbeitsstunden. Aussagegestützte Prüfungen können oft mit deutlich weniger Aufwand als direkte Prüfungen derselben Sachverhalte durchgeführt werden.
Die IT-Prüfungen, an denen ich persönlich beteiligt war, dauerten von vielleicht 1–3 Tagen für einen einfachen Sachverhalt bis zu einem Aufwand von weit über 300 Arbeitstagen für einen grossen Prüfungsumfang in einem komplexeren Umfeld und unter Beizug verschiedener Fachspezialisten.
Heute sehe ich das Ganze differenzierter: Eine Prüferin, ein Prüfer beurteilt betriebliche Sachverhalte wie die Wirksamkeit von Prozessen, die Funktionsweise von Organisationsformen oder die Einhaltung von internen wie externen Vorgaben unterschiedlichster Art. Die jeweilige «Prüfungstiefe» hängt in aller Regel vom konkreten Auftrag sowie vom dafür anzuwendenden Prüfungs-standard wie ISO27007, ISO27008, PCI-DSS, ISAE3000, ISAE3402, SOC, PS4023) usw. ab – manche verlangen nur die Bestätigung der Existenz eines Prüfobjektes, andere verlangen die konkrete Prüfung eines einzelnen Geschäftsfalles (sogenannte Einzelfallprüfung; «Test of One») – andere verlangen die Bestätigung der dauerhaften Wirksamkeit z.B. eines Prozesses über eine längere Periode bis zu meistens maximal einem Geschäftsjahr und damit die Verifikation zahlreicher Stichproben von Ereignissen oder Geschäftsfällen.
Wesentlich ist die Frage, ob es sich bei der Prüfung um eine aussagegestützte oder um eine direkte Berichterstattung handelt:
- Bei einer aussagegestützten Berichterstattung (assertion-based reporting) geben die Verantwortlichen des geprüften Unternehmens eine Aussage über einen bestimmten Sachverhalt ab und tragen dafür die inhaltliche Verantwortung (wie dies z.B. auch der Abschlussprüfer tut, der im Wesentlichen die Korrektheit der vom Unternehmen selbst erstellten Bilanz und Erfolgsrechnung bestätigt). Typischerweise wird der Sachverhalt z.B. in einem ISAE-Bericht anhand von klaren Kriterien (meist Kontrollzielen) und konkreten Kontrollen beschrieben. Der Prüfer verifiziert diese Aussagen und gibt darüber einen Bericht ab. ISAE3402-Berichte sind zwingend aussagegestützt, bei ISAE3000-Berichten ist dies nicht unbedingt erforderlich.
- Bei einer direkten Berichterstattung (direct reporting) bestätigt ein Prüfer einen Sachverhalt, ohne sich auf Aussagen des geprüften Unternehmens abzustützen. Dementsprechend muss er selber beschreiben, auf welchen Kriterien er seine Beurteilung basiert, um einen Sachverhalt wie z.B. «Auch bei Ausfall der externen Stromversorgung ist ein kontinuierlicher Weiterbetrieb möglich.» in einem ISAE3000-Bericht bestätigen zu können.
Die Art der Berichterstattung, der konkret zu bestätigende Sachverhalt sowie die anzuwendende Prüfungstiefe können sich demnach von Auftrag zu Auftrag klar unterscheiden – und damit auch die Anzahl der dafür aufzuwendenden Arbeitsstunden. Aussagegestützte Prüfungen können oft mit deutlich weniger Aufwand als direkte Prüfungen derselben Sachverhalte durchgeführt werden.
Die IT-Prüfungen, an denen ich persönlich beteiligt war, dauerten von vielleicht 1–3 Tagen für einen einfachen Sachverhalt bis zu einem Aufwand von weit über 300 Arbeitstagen für einen grossen Prüfungsumfang in einem komplexeren Umfeld und unter Beizug verschiedener Fachspezialisten.
Konkretes Beispiel 1: ISAE3402 Typ I vs. ISAE3402 Typ II
Die Prüfungsstandards ISAE34024) (wie auch SSAE185) ) werden primär im Provider-Umfeld verwendet, um für die Finanzbuchhaltung der Provider-Kunden relevanten «generellen IT-Kontrollen» z.B. im IT-Betrieb, Änderungswesen oder Zugriffsschutz zu prüfen und zu beurteilen. Diese Standards unterscheiden zwischen «Design Effectiveness» und «Operating Effectiveness» – auch «Typ I» und «Typ II»-Prüfungen genannt.- In Prüfberichten vom Typ I (Design Effectiveness) bestätigt der Prüfer, dass zu einem bestimmten Zeitpunkt angemessene interne Kontrollen implementiert und dokumentiert sind. Dies entspricht in etwa einer Bestätigung der Existenz des IKS.
- In Berichten vom Typ II (Operating Effectiveness) bestätigt der Prüfer, dass angemessene interne Kontrollen implementiert und dokumentiert sind und in einem definierten Zeitraum (in der Regel zwischen sechs und zwölf Monaten) dauerhaft wirksam waren.
Prüfungen vom Typ II beinhalten offensichtlich eine Prüfung gemäss Typ I. Darüber hinaus müssen weitere Stichproben genommen werden, um die dauerhafte Wirksamkeit der Kontrollen über den gesamten Beobachtungs-zeitraum bestätigen zu können. Es ist offensichtlich, dass Typ II-Prüfungen wesentlich umfassender sind als Typ I-Prüfungen – der Gesamtaufwand der Typ II- kann rasch ein Mehrfaches der Typ I-Prüfungen betragen!
(Quelle: ISACA)
Konkretes Beispiel 2: ISO27001-Audits
Kommen wir zurück auf meine zu Beginn gemachte Anmerkung, dass ich in meinen ersten Jahren die ISO-Audits etwas belächelte. Jahrelang habe ich als Fachexperte im Auftrag des Bundesamtes für Metrologie (früher: Eidgenössisches Amt für Eich- und Messwesen) ISO27001-Zertifizierungsaudits6) überwacht. Dennoch ist es für mich nicht einfach, solche Zertifizierungsaudits korrekt einzustufen: Ist das jetzt eine direkte oder eine aussagestützte Berichterstattung? Und ist es eine Design-Prüfung (Typ I) oder eine Wirksamkeitsprüfung (Typ II)? Um diesen Sachverhalt zu klären, muss man tiefer in die ISO-Normen «hinabsteigen».ISO27001 beschreibt ein Informationssicherheitsmanagementsystem (ISMS) mit den vier Phasen Planen, Betreiben, Überprüfen und Anpassen (das sogenannte PDCA-Modell: Plan-Do-Check-Act). Für jede dieser Phasen sind die wesentlichen Elemente aufgeführt. Im Anhang A von ISO27001 finden wir dann in der aktuellen Version 93 konkrete Sicherheitsmassnahmen (d.h. Kontrollen), welche durch dieses Managementsystem betrieben werden. In ISO27002 werden diese dann recht genau und hilfreich beschrieben. Und für jede dieser vordefinierten Massnahmen wird in einem «Statement of Applicability» (SoA) als Teil des ISMS festgehalten, ob diese Kontrolle für das Unternehmen überhaupt anwendbar ist. Zertifiziert wird das ISMS – rein theoretisch wäre es möglich, dass ein Unternehmen ein ISMS perfekt betreibt aber im SoA praktisch alle Kontrollen ausgeschlossen hat, was übrigens im ISO27001-Zertifikat nicht ersichtlich ist!
Auch wenn die Begriffe in der «ISO-Zertifizierungswelt» nicht so verwendet werden, handelt es sich bei ISO27001-Audits wohl am ehesten um aussagestützte Prüfungen: Der Auditor schaut sich das gesamte Managementsystem des Unternehmens an – so wie es vom Unternehmen selbst in den Organigrammen, Richtlinien, Prozessen usw. beschrieben wird; zusätzlich überzeugt er sich, dass alle im SoA festgehaltenen Sicherheitsmassnahmen auch tatsächlich vorhanden sind. Er fokussiert sich also auf die Existenz des ISMS und der Sicherheitsmassnahmen – für letzteres macht er in aller Regel einen Test-of-One (sog. Einzelfallprüfung).
Trotz verschiedenster Diskussionen mit Zertifizierungsauditoren und dem Studium der Normen selbst bin ich immer noch unsicher. Zwar steht in ISO27007, der Auditor müsse Informationen und Nachweise sammeln, dass ISMS-Prozesse und Kontrollen implementiert und wirksam sind. Und in deren Anhang A stehen für die verschiedenen Elemente des ISMS selbst relativ klare Hinweise, was der Auditor alles tun könnte – aber viel darüber, wann dann eine Kontrolle als wirksam gilt und wie die Wirksamkeit dieser Kontrolle geprüft werden sollte, habe ich in keinem der rund 20 Standards der ISO270xx-Familie gefunden.
Bei den «klassischen» Revisionsstandards steht manchmal, dass sich der Prüfer «sicher» oder «fast sicher» sein muss in Bezug auf seine Schlussfolgerungen z.B. über die Wirksamkeit einer bestimmten Kontrolle. Je nach Standard bedeutet das dann mit 99%-iger oder 95%-iger Sicherheit – als (ursprünglich) Mathematiker glaube ich genau zu verstehen, was das heisst ;-).. Auch vom Bauchgefühl her ist wohl allen Prüfenden klar, dass man für einen solchen Beweis der Wirksamkeit einer bestimmten Kontrolle genau hinschauen und damit sehr viele Stichproben ziehen und beurteilen muss.
ISO27001-Audits scheinen also aussagegestützte Prüfungen zu sein, bei denen einerseits das ISMS und andererseits die vom ISMS gemanagten 93 Sicherheitsmassnahmen im Fokus stehen. Da ich selber noch nie bei einem ISO27001-Audit erlebt habe, dass der Auditor für die 93 Kontrollen je mehr wie eine einzige Stichprobe beurteilt hat, scheint es sich dabei nicht um Wirksamkeits-prüfungen im Sinne der klassischen Revision zu handeln. Es steht auch ausdrücklich in der Norm, der Auditor hätte zu bestätigen, dass eine bestimmte Kontrolle implementiert sei – nicht, dass diese Kontrolle über den ganzen Beobachtungszeitraum wirksam war.
Fussnoten
1) Zur besseren Unterscheidung spreche ich im Zusammenhang mit ISO270xx immer von «Audits» und bei den anderen Prüfungsstandards wie ISAE, SOC von «Revision».
2) BS7799 ist der Vorläufer von ISO27002.
3) Bitte beachten Sie den diesbezüglich immer noch aktuellen Artikel «Im Dschungel der IT-nahen Standards und Zertifikate» von Raffael Schweitzer und Peter R. Bitterli in der Ausgabe 4|2015 der Zeitschrift «Der Schweizer Treuhänder»; der Artikel vergleicht ISAE3402, ISAE3000, SSAE16, SOC1, SOC2, SOC3, PS870, PS920, PS950, RS2008/07, RS2008/21, ISO/IEC27001 und ISO/IEC27002 – im Internet z.B. unter www.isaca.ch gut auffindbar.
4) ISAE3402: International Standard on Assurance Engagements, Assurance Reports on Controls at a Service Organisation
5) SSAE18 vom AICPA Auditing Standards Board ist relevant für alle SOC-Bestätigungen.
6) ISO27001 war ursprünglich als BS7799-2, ISO27002 entspricht in etwa dem BS7799-1
1) Zur besseren Unterscheidung spreche ich im Zusammenhang mit ISO270xx immer von «Audits» und bei den anderen Prüfungsstandards wie ISAE, SOC von «Revision».
2) BS7799 ist der Vorläufer von ISO27002.
3) Bitte beachten Sie den diesbezüglich immer noch aktuellen Artikel «Im Dschungel der IT-nahen Standards und Zertifikate» von Raffael Schweitzer und Peter R. Bitterli in der Ausgabe 4|2015 der Zeitschrift «Der Schweizer Treuhänder»; der Artikel vergleicht ISAE3402, ISAE3000, SSAE16, SOC1, SOC2, SOC3, PS870, PS920, PS950, RS2008/07, RS2008/21, ISO/IEC27001 und ISO/IEC27002 – im Internet z.B. unter www.isaca.ch gut auffindbar.
4) ISAE3402: International Standard on Assurance Engagements, Assurance Reports on Controls at a Service Organisation
5) SSAE18 vom AICPA Auditing Standards Board ist relevant für alle SOC-Bestätigungen.
6) ISO27001 war ursprünglich als BS7799-2, ISO27002 entspricht in etwa dem BS7799-1
Die grosse Herausforderung
In den letzten paar Jahren wurde ich bei verschiedenen Provider-Prüfungen auch schon gebeten, in einem ISAE3402- oder ISAE3000-Bericht (Typ II) so nebenbei gleich noch das ganze ISMS gemäss ISO27001 sowie alle davon gemanagten Kontrollen zu bestätigen. Grundsätzlich geht das schon – aber nicht ohne entsprechenden Vorbereitungs- und Prüfungsaufwand, so dass dies im Vorfeld gut mit dem Auftraggeber (Provider oder Provider-Kunde) abgesprochen werden muss.Überhaupt scheint die Kombination verschiedener Standards wie auch stark unterschiedlicher «inhaltlicher Themen» (z.B. KI mit Nachhaltigkeit) zunehmend gefragt zu sein. Für mich als Prüfender macht das die grosse Attraktivität dieses Berufes aus – ich muss mich immer wieder mit aktuellen technologischen Fortschritten einerseits wie auch mit neuen Fragestellungen andererseits auseinandersetzen.
Fazit
Die Flut an (neuen) Normen und Standards macht es sogar für mich als langjährig Prüfender schwer, den Überblick zu behalten. Ich versuche dann jeweils, meist zusammen mit Berufskollegen tabellarische Beschreibungen zu erstellen. Dies zwingt uns dazu, die Normen und Standards nach einheitlichen Kriterien zu vergleichen, was oft sehr herausfordernd ist, aber zwangsläufig dazu führt, wichtige Kenntnisse über diese Normen und Standards zu erwerben.In diesem Sinne möchte ich Sie als Leserin oder Leser dazu auffordern, beim nächsten Audit diesen nach Kriterien wie verfahrensorientiert vs. ergebnisorientiert, direkt vs. aussagegestützt, Existenz einer Kontrolle vs. ihre Wirksamkeit usw. einzustufen und dann den Revisoren/Auditoren zu diskutieren.
Der Autor
Peter R. Bitterli; CISA, CISM, CGEIT, CRISC, CDPSE; ISACA Switzerland Chapter
ITACS Training AG
Artikel kommentieren
