Storage-Konsolidierung bei der GZO

Kostentransparenz im Gesundheitswesen soll langfristig beim Sparen helfen - für die IT-Abteilungen der Spitäler bedingt sie zuallererst aber zusätzliche Investitionen. Wie die meisten Schweizer Krankenhäuser stand das Spital Wetzikon, Schwerpunktspital der Gesundheitsversorgung Zürcher Oberland (GZO), im letzten Jahr vor einem Problem: Zusätzlich zum neuen Schweizer Tarifsystem TARMED musste auf Januar 2004 im Kanton Zürich obligatorisch die KTR (Kostenträgerrechnung) eingeführt werden. Deshalb werden neu alle erbrachten Leistungen inklusive Medikamenten und Material patientenbezogen erfasst und den Garanten tarifkonform weiterverrechnet. Bisher beschränkten sich die meisten öffentlichen Krankenhäuser auf das Erfassen von ambulanten, verrechenbaren Leistungen. Im stationären Bereich wurde bis vor wenigen Jahren mit reinen Tagespauschalen abgerechnet.

Seit 2002 läuft in Wetzikon auch die Einführung von PHOENIX, einem medizinischen Informationssystem (MEDIS) für den klinischen Bereich. Diese Arbeitsdaten der Ärzte, der Pflegenden und Paramedizin verhiessen eine weitere massive Zunahme der Datenbestände.

Eckdaten 2003 des GZO-Spitals, Wetzikon

Datenmenge explodiert

«Das ergibt eine enorme Datenmenge, die wir managen müssen. Bei der Leistungserfassung steigt das Datenvolumen rasch um das zehn- bis fünfzehnfache», stellt Martin Zurbrügg, Leiter Informatik am Spital Wetzikon, fest. Im Vergleich mit Grossunternehmen ist die Datenmenge pro Applikation mit unter hundert Gigabyte zwar bescheiden, insgesamt ist sie jedoch beträchtlich, und sie wächst laut Zurbrügg jeden Monat um ein bis anderthalb Gigabyte.

Die neue Lösung sollte zudem nicht nur mehr Kapazität und Leistung, sondern auch höhere Verfügbarkeit bringen, denn die Leistungsdaten werden nun direkt von Pflegepersonal und Ärzten ins System eingegeben. Die Spital-IT übernimmt vielfältige Aufgaben. Im administrativen Zentrum stehen drei Anwendungsbereiche: Das Patientenmanagement-System mit Stammdaten und Abrechnung, Finanz-, Material- und Personalwesen sowie ein Management-Informationssystem. Diese Funktionen übernehmen unterschiedliche Windows-Applikationen mit jeweils eigenen MS-SQL-Server-Datenbanken, die jedoch alle ineinandergreifen. Übergeordnet ist die MEDIS-Anwendung, die diese Applikationen mit den entsprechenden Daten versorgt beziehungsweise Daten daraus bezieht. Weitere solche Applikationen sind das Laborsystem, die Telefonvermittlungsanlage, ein Wahlkostsystem der Küche, das Radiologie-Informationssystem undsoweiter. Um die Koordination der applikationsübergreifenden Transaktionen kümmert sich e*Gate, ein speziell im Gesundheitswesen sehr verbreiteter Integrationsserver von SeeBeyond Technologies. Dazu kommen File-, Exchange- und Printserver, die ebenfalls Speicherbedarf haben.

Nach der Vereinheitlichung der Serverlandschaft machte eine Konsolidierung der Datenbestände also nur schon deshalb Sinn, weil ein zentrales Storage-System einfacher zu verwalten und zu erweitern ist als einzelne Direct-Attached-Disks.

Backup kompliziert

Die engen Abhängigkeiten zwischen den Datenbanken bringen auch Backup-Probleme mit sich. Im Fehlerfall genügt es nicht, nur die betroffene Datenbank wiederherzustellen - der Stand des Backup ist nicht auf allen Datenbanken synchron, die Konsistenz der Daten ist nicht gewährleistet. Ein längerer Betriebsunterbruch zum Zweck eines Gesamt-Backup ist nicht möglich: Das System wird rund um die Uhr benötigt - ein Spital steht nie still, Leistungen werden im 7/24-Turnus erbracht und erfasst. Für das neue Hochverfügbarkeits-Szenario musste man also auch beim Backup-Konzept völlig neu ansetzen.

Projekt rasch umgesetzt

Das Spital Wetzikon hatte bereits für die frühere Backup-Lösung den Storage-Integrator ProAct zu Rate gezogen und damit gute Erfahrungen gemacht. Es lag nahe, ProAct auch für die neue Lösung zu berücksichtigen. Im Frühling 2003 präsentierte der Dienstleister zwei mögliche Konzepte, ein Fibre-Channel-SAN und eine iSCSI-basierte Lösung mit einem Network-Attached-Storage-System als zentrale Datenablage. Die Entscheidung fiel leicht: Die iSCSI-NAS-Lösung war technisch mindestens ebenbürtig, und Fibre Channel kam aus Kostengründen ohnehin nicht in Frage.
Danach ging alles ganz schnell. In einem zweitägigen Workshop ermittelten der Systemadministrator des Spitals und der ProAct-Techniker Details wie die zu erwartende Datenmenge. Diese war relativ schwierig abzuschätzen, gute Skalierbarkeit war deshalb ein wichtiger Aspekt der Lösung.

Trotzdem konnte das gesamte, zweiteilige Storage-Konsolidierungs- und Backup-Projekt in kürzester Zeit konkret geplant und umgesetzt werden. Der Systemadministrator war insgesamt eine Woche tätig; auf ProAct-Seite fielen neben der Pauschale für den Workshop zwei Wochen an. Das Storage-System lief bereits nach einer Woche, die zweite Woche wurde für Detailanpassungen und die Dokumentation benötigt.

Viele Fliegen mit einer Klappe

Storage und Backup bilden im Spital Wetzikon heute ein einheitliches, bestens abgestimmtes Bild. Die Hauptrolle spielt ein zentraler NAS-Filer vom Typ NetApp FAS250 mit derzeit vierzehn 72-Gigabyte-SCSI-Disks, insgesamt also einem Terabyte Kapazität. Die Server sind mit einer separaten Gigabit-Ethernet-Karte, notabene ohne hardwarebasierten TCP-Offload oder native iSCSI-Unterstützung, über einen Switch mit dem Filer verbunden und greifen so auf ihre Datenbanken zu, die in virtuellen Partitionen gehalten werden. Jeder Server «sieht» seine Datenbank im SAN-Stil auf einem dedizierten Volume.

Der NAS-Filer hat aber noch eine zweite Funktion. Neben den virtuellen Volumes für die Datenbanken präsentiert er sich als simpler Fileserver mit CIFS-Zugriff übers Netz. Diese Eigenschaft nutzt man als Ausgangspunkt für das Backup: Jeder Server erstellt in seinem CIFS-Directory mehrmals täglich einen Datenbank-Dump inklusive Sicherung der Transaction Logs. Die gesammelten Dumps werden zunächst mit der gleichen Periodizität als Snapshot gesichert – zunächst ebenfalls noch auf dem NAS-Filer, dann mit Hilfe eines separaten Backup-Servers auf ein Fast-Restore-Cache-Device (FRC) mit drei Terabyte Kapazität. Beim FRC handelt es sich um eine von ProAct zusammengestellte, als Bundle angebotene Kombination von ATA-Disk-System und Legato-Backupsoftware, mit der sich «Backup-to-Disk»- Konzepte realisieren lassen.

Vom FRC gelangen die Daten schliesslich in längeren Abständen, typischerweise wöchentlich, auf eine Tape-Library. Das Spital Wetzikon kann damit auf ein mehrstufiges Backup zurückgreifen, das rasche Recovery von Daten aus der jüngeren Vergangenheit ebenso erlaubt wie langfristige Archivierung: Von Disk (Datenbank) auf Disk (Snapshot) auf Disk (FRC) auf Tape.

Exchange-, File- und Printserver sind über ein 100-Megabit-LAN direkt an den Backup-Server angeschlossen. Diese Daten werden also nicht auf dem NAS-Filer gehalten, laut Zurbrügg vor allem aus einem Grund: Mail-Daten und User-Files müssen zwingend auf Viren geprüft werden; für die Datenbanken ist dies laut Zurbrügg vorläufig nicht nötig. Die Installation eines Virenscanners auf dem NAS-Filer - technisch durchaus realisierbar - brächte jedoch Performance-Einbussen mit sich. Das Backup-Konzept berücksichtige dank dem separaten Backup-Server auch ausserhalb des NAS-Filers gelagerte Daten; der Virenscan kann somit wie bisher den File-, Exchange- und Printservern überlassen werden. Da immer mehr Informationen über die Datenbankanwendungen und nicht mehr in Form von Dateien eingegeben werden, zum Beispiel sämtliche Berichte, werden die Fileserver allerdings immer weniger wichtig.

Investition überschaubar, Maintenance günstig

Eines kann mit Sicherheit gesagt werden: Zur vielgerügten Kostenexplosion im Gesundheitswesen trägt das Storage- und Backup-Projekt am Spital Wetzikon wenig bei. Neben dem bereits erwähnten, vergleichsweise geringen Arbeitsaufwand musste die GZO laut ProAct-Offerte mit folgenden Investitionskosten rechnen: rund 55'000 Franken für den Netapp-Filer inklusive CIFS- und Snapshot-Lizenz und Installation, 35'000 Franken für die 800-Gigabyte-FRC-Appliance sowie 20'000 Franken für den Ausbau der Tape-Library mit einem LTO-2-Laufwerk samt neuen Medien. Auch die Wartungsverträge für Software und Hardware sind mit rund 13'000 Franken ab dem zweiten Jahr überschaubar. Längerfristig spart man sogar - statt vielen Backup-Software-Lizenzen für die einzelnen Server arbeitet man nun mit einer einzigen für den NetApp-Filer, die insgesamt günstiger ist.

Eine Fibre-Channel-basierte Lösung hätte mit mindestens 150'000 Franken deutlich mehr gekostet, und dies ohne Features wie Snapshots und dynamische Speicherzuteilung. Nur schon für den Anschluss eines einzigen Servers ans SAN wäre mit 3200 statt unter 500 Franken zu rechnen (Kosten für Host-Bus-Adapter und Switch-Port), und Speichergeräte mit Fibre-Channel-Interface sind nicht gerade als preisgünstig bekannt. Der Aufwand für Installation und Administration, bei Fibre Channel wesentlich komplexer, darf ebenfalls nicht vernachlässigt werden. Das Fazit für Martin Zurbrügg: «Auf Fibre-Channel-Basis hätten wir so ein Projekt aus Kostengründen kaum machen können, da der finanzielle Aufwand nicht zu rechtfertigen wäre. Es gibt natürlich andere Spitäler, die ein FC-SAN haben, diese müssen aber auch mit viel grösseren Datenmengen umgehen, wie sie zum Beispiel beim Speichern von Röntgenbildern oder Tonaufnahmen anfallen.»

Zurbrügg betont zudem den einfachen Umgang mit den browserbasierten Administrationstools des NetApp-Filers: «Die Speicherzuteilung kann vom Systemadministrator jederzeit dynamisch dem Bedarf angepasst werden. So etwas macht mittlerweile auch unser Lehrling.» Auch den Anschluss zusätzlicher Server erledigt das Sysadmin-Team des Spitals ohne Beizug externer Kräfte.
Der Managing Director der ProAct Datasystems AG, Stephan Schneider, kann die Tendenz zur Selbständigkeit von Kunden mit iSCSI-Projekten bestätigen: «Für die Administration und einfachere Erweiterungen brauchen die Kunden unsere Services nach der Installation meist nicht mehr. Das steht in angenehmem Gegensatz zu Fibre-Channel-Projekten, wo man uns auch nach längerer Zeit für jede Neuinstallation eines Host-Bus-Adapters bemüht. Mit iSCSI verkaufen wir zwar weniger Dienstleistungen, dafür ist das Projekt aber klar abgeschlossen, und der Kunde hat die volle Kontrolle über die Kosten, weil er weitere Schritte selbst erledigen kann.»

Speicher-Infrastruktur im GZO-Spital, Wetzikon

Projektcharakteristik

Problemstellung:

• Rasches Wachstum der Gesamtdatenmenge aufgrund veränderter gesetzlicher Bestimmungen (mindestens 1 bis 1,5 GB mehr pro Monat).

• Viele separate Datenbanken mit gegenseitigen Abhängigkeiten.

• Hohe Anforderung an Verfügbarkeit:7/24-Betrieb, also kein Backup-Window mehr.

Weitere bestimmende Faktoren:

• Relativ geringe Datenmenge pro Datenbank (<100 GByte).

• Relativ wenig Datenverkehr (nur DB-Transaktionen).

• Hohe Kostensensitivität (öffentliche Gelder).

• Absolute Datensicherheit gefordert (Gesundheitswesen).

Konzept:

• Storage-Konsolidierung auf zentralem Speichergerät.

• Mehrstufiges Backup für schnelle Recovery und langfristige Sicherung.

Lösung Storage-Konsolidierung:

• Storage-Netzwerk auf iSCSI-Basis.

• Keine Spezialhardware nötig (gewöhnliche Gigabit-NICs ohne TCP-Offload oder native iSCSI-Unterstützung).

• Separates Gigabit-LAN mit NIC in allen Applikationsservern und Switch.

• NetApp-Filer mit virtuellen Volumes für die Datenbanken.

Lösung Backup:

• Mehrmals täglich Snapshots für erste Backup-Stufe, dazu Snapshot- und CIFS-Lizenz von NetApp benötigt.

• Zwischenlagerung auf FRC-Device via Backup-Server.

• Langfristige Sicherung im Wochenrhythmus auf LTO-2-Tape.

• Einbezug weiterer Dienste (File, Print, Exchange) via Backup-Server.