Speichersystem inklusive Server

Sun hat mit dem Fire x4500 ein Speichersystem mit integriertem Server lanciert, das mit 48 Festplatten auf vier Höheneinheiten 24 Terabyte Speicher bietet.

Artikel erschienen in Swiss IT Magazine 2007/04

Server sind in der Regel dazu da, Dienste zur Verfügung zu stellen, und weniger aufgrund ihrer Speicherkapazität. Wer mehr Speicher braucht, schliesst beispielsweise per (i)SCSI oder Fibre Channel externe Storage Arrays oder spezielle Speichersysteme wie ein NAS an. Doch Sun war die Platzverschwendung ein Dorn im Auge und hat kurzerhand Server und Speichersystem verschmolzen. Resultat ist der x86-Server Fire x4500.

48 Festplatten

Herausstechendes Merkmal des Fire x4500, der vier Höheneinheiten in einem 19-Zoll-Rack belegt, sind die 48 Festplatteneinschübe, die 3,5-Zoll-Laufwerke mit SATA-Anschluss aufnehmen. Dies ist mehr als die dreifache Anzahl an Festplatten herkömmlicher Speichersysteme, die auf drei Höheneinheiten gewöhnlich 15 Einschübe bereitstellen. Beim Vollausbau mit 500-GB-Festplatten erhält man auf diese Weise 24 Terabyte Speicherkapazität.
Ermöglicht wird diese Speicherdichte durch die vertikale An-ordnung der Festplatten. Insofern entspricht der Gehäuse-Aufbau nicht ganz den landläufigen Vorstellungen. Das Gehäuse lässt sich von oben öffnen. An der Vorderseite befindet sich eine Batterie von Lüftern, die für die nötige Frischluft sorgt. Dahinter sitzen die Festplatten in vier Reihen mit je 12 Laufwerken, die sich nach oben herausnehmen und im laufenden Betrieb austauschen lassen – sofern dies das Betriebssystem unterstützt. Status-LEDs an den Platteneinschüben zeigen den Zustand der Platte an. Damit kann eine defekte Festplatte problemlos lokalisiert werden.

Grosser Durchsatz

Erst ganz am Schluss auf den letzten 20 Zentimetern findet man den Servereinschub. Auf dem Mainboard sitzen zwei Dual-Core-AMD-Opteron-Prozessoren, je mit 2,6 GHz getaktet. Auf insgesamt acht DDR-RAM-Steckplätzen, von denen je eine Hälfte einem Prozessor exklusiv zur Verfügung steht, können bis zu 16 GB Hauptspeicher installiert werden. Netzwerktechnisch bietet der x4500 vier Gigabit-Kupfer-Ports und einen Netzanschluss, auf dem Suns ILOM-Service-Prozessor fürs Remote Management läuft. Damit lässt sich die Maschine mit einem einfachen Java-fähigen Browser fernsteuern. Daneben sind ein VGA-Anschluss für das Display und vier USB-Ports (davon zwei an der Vorderseite) vorhanden, die zum Anschluss von Tastatur und Maus dienen. Weitere Steckkarten können über die zwei internen PCI-X-Slots im Low-Profile-Format nachgerüstet werden (64 Bit, 133 MHz).
Die Platten sind über insgesamt sechs SATA-3.0-Gbps-Controller, welche jeweils acht Ports haben, angeschlossen. Allerdings bieten sie keine Unterstützung für Hardware-RAID, sodass man auf eine Software-RAID-Lösung zurückgreifen muss, wie sie Solaris 10 mit ZFS und RAID-Z bietet. Alle Controller sind über PCI-X und Hypertransport mit dem im Prozessor integrierten Memory Controller verbunden und bieten einen theoretischen Datendurchsatz von 2 Gbps von der Festplatte zum Hauptspeicher.

Fallstricke

Als Betriebssystem ist, wenig verwunderlich, Solaris 10 vorinstalliert. Es lässt sich aber auch Linux oder gar Windows darauf betreiben. Wer die Solaris-Installation durch eine eigene oder ein anderes System ersetzen möchte, muss darauf achten, dass die Maschine nicht von der «ersten» Festplatte im System (c0t0d0) bootet. Ebenfalls bedenken muss man, dass Solaris 10 im Gegensatz zum aktuellen OpenSolaris noch nicht ab ZFS booten kann und darum noch ein UFS als Boot-Partition benötigt wird.
Da Serial-ATA-Festplatten mit nur 7200 Umdrehungen in der Minute zum Einsatz kommen, ist der Zugriff im Vergleich zu SCSI- oder Fibre-Channel-Laufwerken relativ behäbig, was auch beim Setup berücksichtigt werden muss. Deshalb empfiehlt es sich nicht, ein grosses RAID 5/RAID-Z über alle Platten zu legen. Ein Schreibzugriff müsste im ungünstigsten Fall die Metainformation über alle Platten verteilen, was sich wegen der verhältnismässig schlechten Reaktionszeit der einzelnen Laufwerke akkumuliert. Ein guter Mittelweg zwischen Performance und Zuverlässigkeit stellt ein Stripe über RAID-Z dar, womit man aber Storage-Kapazität verliert. Über je eine Platte pro Controller wird ein RAID-Z angelegt – etwa über die jeweils erste, zweite, dritte Platte des Controller. Die resultierenden RAID-Zs verbindet man dann zu einem Stripe (RAID 0). Sinnvollerweise lässt man ein oder zwei Platten als Spare-Platten übrig, damit sich ZFS im Bedarfsfall selbst reparieren kann und man nur noch – nachdem das System den Defekt gemeldet hat – die defekte Platte austauschen muss.

Kluges Setup gesucht

Mit der genannten Konfiguration hat man einen Stripe über insgesamt neun RAID-Z- und zwei Spare-Platten und alles so verteilt, dass theoretisch ein kompletter Controller ausfallen könnte und das System trotzdem weiterläuft. Die resultierende Kapazität dieser Konfiguration mit 500-GB-Platten liegt dann bei knapp 16 TB, womit man einen Drittel der Speicherkapazität verliert. Eine andere sinnvolle und ausfallsichere Konfiguration könnte ein gestripter Mirror sein, also jeweils ein Stripe über zwei Hälften der Platten auf den Controllern, die dann gespiegelt werden. Die resultierende Kapazität ist dann allerdings noch niedriger, wobei die Performance beim Schreiben etwas höher ist als beim RAID-Z-Stripe.
Je nach Einsatzbereich könnte die eine oder andere Lösung interessant sein. Eine rein auf Performance ausgelegte Speicherlösung ohne Redundanz und Sicherheit würde ein Stripe über alle Platten darstellen. Allerdings legt man auf so einem Server besser keine wichtigen Daten ab!

Gute Figur

Im Vergleich zu anderer Hardware schneidet der x4500 durchaus passabel ab. Im Vergleich mit einem HP DL385 (Dual-Core-Opteron, 4 GB Hauptspeicher und interner gespiegelter SCA-SCSI-Platten) sieht man, dass die Zugriffe pro Sekunde (Seeks) bei allen drei Tests in etwa gleich schnell erfolgen (siehe Tabelle). Hier spielen die SCSI-Platten im HP-Server ihren Vorteil gegenüber den SATA-Platten in der Sun-Maschine voll aus. Auch der Unterschied beim Schreiben von Daten auf dem empfohlenen Stripe über RAID-Z gegenüber dem RAID-Z über alle Platten ist deutlich erkennbar. So eine Konfiguration ist empfehlenswert, wenn etwa gleich viel gelesen wie geschrieben ist, etwa bei einem Server, der Home-Verzeichnisse zur Verfügung stellt. Dafür ist für ein Nur-Lese-System ein RAID-Z über alle Platten durchaus schnell und unter Umständen die Konfiguration der Wahl, wenn Daten selten geschrieben und öfter gelesen werden (etwa in einem Archivsystem).

Speicherhobel

Mit den vier Opteron-Kernen und den 16 GB Hauptspeicher ist der x4500 auch beim Rechnen ganz flott und braucht sich gegenüber anderen Servern nicht zu verstecken. Allerdings ist das System rein auf Datendurchsatz ausgerichtet. Somit liegt der Anwendungsbereich eines x4500 hauptsächlich im Back-end-Storage-Bereich. Aber auch als Server zum Ausliefern grosser Datenmengen – etwa als Video-Streaming-Server oder als FTP-Server – ist ein x4500 durchaus geeignet. Zumal eine Mehrkomponenten-Konfiguration im Endeffekt finanziell einen grösseren Aufwand bedeuten würde. Zum gleichzeitigen Transcodieren und Ausliefern von Videos oder als Middleware- respektive Bussiness-Intelligence-Server ist ein x4500 nicht geeignet.

Ein Modell

Wer einen Sun Fire x4500 anschaffen will, muss mit 84’500 Franken für die vollausgestattete Version mit 48 500-GB-Festplatten tief in die Tasche greifen. Allerdings relativiert sich der Anschaffungspreis, wenn man bedenkt, dass man pro Gigabyte mit 3.52 Franken doch günstig wegkommt.
Ärgerlich ist, dass man den x4500 nicht leer oder mit anderen Laufwerken kaufen kann. So kann man ihn weder mit den mittlerweile erhältlichen 750-GB-Laufwerken bestücken, um den verfügbaren Speicher um einen Drittel zu erhöhen, noch flinkere SATA-Laufwerke wie die Raptors von Western Digital einsetzen, die mit 10’000 Umdrehungen pro Minute rotieren. Ebenso wünschenswert wären SAS-Controller gewesen, da man mit ihnen sowohl SATA- als auch SAS-Festplatten hätte verwenden können.
Beim Einbau sollte man übrigens beachten, dass so viele Platten natürlich ein gewisses Gewicht mit sich bringen. Bei fast 80 Kilogramm kann ein solches Ungetüm auf keinen Fall alleine und ohne Hub-Werkzeug in ein Rack geschraubt werden. Ebenso sollte das Rack gut stehen, damit es beim Herausziehen der schweren Maschine nicht kippt.

Disk I/O von Sun x4500 und HP DL 385 im Vergleich