Aufbau eines Storage Area Networks (SAN)

Ende des Jahres wird mit dem Aufbau eines Storage Area Networks begonnen. Damit führen wir eine zeitgemäße Technologie zum Umgang mit Speichersystemen ein und stellen schrittweise wichtige Dienste auf diese Technologie um. Außerdem ist der Aufbau eines SAN eine wesentliche Voraussetzung für die Server-Virtualisierung.

Technischer Hintergrund

Direct Attached Storage vs. Storage Area Network

Die folgende Abbildung gibt einen Überblick zu den Prinzipien der bisher eingesetzten und der zukünftigen Technologie.

Bisher setzen wir für alle Speicherzwecke auf sogenannte Direct Attached Storage (DAS), also Speichersysteme (Festplatten in RAID-Systemen), die direkt an die Server-Maschinen über eine SCSI-Verkabelung angeschlossen sind. Durch diesen direkten Anschluss entstehen unter den heutigen Bedingungen einige Nachteile, insbesondere hinsichtlich der Flexibilität:

• Einzelne Speichersysteme besitzen auf Grund der modernen Festplattentechnik teilweise beachtliche Kapazitäten. Der direkte Anschluss an einen Server kann dazu führen, dass solche Kapazitäten an einigen Servern brachliegen, weil sie dort nicht benötigt werden, während andere Server auf größere Kapazitäten angewiesen sind.
• Der Ausfall eines Servers bedeutet immer, dass die direkt angeschlossenen Speichersysteme und damit die dort abgelegten Daten nicht mehr verfügbar sind.
• Planmäßige Wartungsarbeiten an den Servern (System-Upgrades, Bugfixes) haben ähnliche Auswirkungen wie der Ausfall eines Servers, da die angeschlossenen Speichersysteme für den Zeitraum der Wartungsarbeiten nicht von anderen Servern übernommen werden können und das Volumen der gespeicherten Daten eine Verlagerung auf andere Server/Speichersysteme viel zu aufwändig macht.
• Reorganisationen von Datenbeständen laufen unter Regie der Server ab - schränken also deren Leistungsfähigkeit während der Reorganisationen ein.

Mit dem Aufbau eines sogenannten Storage Area Networks (SAN) wird eine Technologie eingeführt, die diese Nachteile eliminiert. Dabei handelt es sich um ein separates Netz (auf Basis von Fibre Channel - FC). Dieses Netz ist physisch und logisch vom IP-Netz getrennt. Es verbindet die Speichersysteme mit den Servern und ermöglicht eine flexible Zuordnung von Speicherressourcen zu den einzelnen Servern. Wie aus der Abbildung hervorgeht, ist durch die redundante Anbindung der Speichersysteme und Server die Voraussetzung geschaffen, flexibel und automatisch auf Ausfälle einzelner Komponenten reagieren zu können und somit die Verfügbarkeit zu erhöhen. Flexibilität bedeutet in diesem Zusammenhang außerdem nicht nur die Aufhebung der o.g. Nachteile, sondern auch deutlich bessere Möglichkeiten hinsichtlich der Aufstellung (räumliche Trennung von Speichersystemen und Servern) sowie eine signifikante Verbesserung der Leistungsparameter (Datenrate, Kapazität). Weitere Vorteile ergeben sich aus der Tatsache, dass es in einem SAN deutlich bessere Möglichkeiten gibt, Reorganisationen der gespeicherten Datenbestände durchzuführen und Datensicherung zu betreiben - ohne Beteiligung der Server.

Eingesetzte Technik

Herzstück eines SAN sind die FC-Switches. Wir setzen dafür folgende Technik ein:

• ein Cisco MDS 9506 Multilayer Director mit
  • zwei Module mit je 24 FC-Ports (4Gbps)
  • zwei Module mit je 14 FC-Ports (2Gbps) und 2 GE-Ports (iSCSI)
• zwei Cisco MDS 9020 Series Fabric Switches mit
  • 20 FC-Ports (4Gbps)

Im SAN kommen Speichersysteme unterschiedlicher Größe zum Einsatz:

• Sun StorageTek STK 6540 mit
  • redundantem Controller mit je 4 FC-Ports (4Gbps)
  • sieben Disk-Shelfs mit je 16 FC-Festplatten (je 300GB)
  • sieben Disk-Shelfs mit je 16 SATA-II-Festplatten (je 500GB)
• mehrere FC-SATA-II-RAID-Systeme mit unterschiedlichen Festplatten-Konfigurationen (Bruttokapazitäten zwischen 2,5 TB und 18 TB). Einige dieser Systeme gehören Professuren bzw. zentralen Einrichtungen und werden für deren Datenhaltung im Rahmen des Dienstes Serverhousing eingesetzt.

Es werden insgesamt 30 Hosts in das SAN integriert, die ebenfalls teilweise einzelnen Professuren bzw. zentralen Einrichtungen gehören und vom URZ für Speicherdienste administriert werden.

Der Anschluss einzelner Geräte an das SAN erfolgt immer redundant, so dass sich für Ein-/Ausgabeoperationen verschiedene Effekte ergeben. Vom Host zum Speichersystem gibt es mehrere Zugriffspfade, die im Normalfall zur Lastverteilung führen. Beim Ausfall einzelner Komponenten (und damit einzelner Zugriffspfade) werden Ein-/Ausgabeoperationen automatisch über die noch intakten Zugriffspfade geleitet.

Die gesamte Technik ist über zwei Serverräume verteilt. Damit können wir auch weiterführende Anforderungen an Datensicherungsverfahren realisieren.

Umstellung von Diensten

Von der Konsolidierung unserer Speichersysteme sind zunächst folgende Dienste betroffen:

• Filesystem AFS
• Mailbox-Server
• FTP-Server
• Lokalsystem der Universitätsbibliothek

Die Arbeiten zur Umstellung werden sich über einen längeren Zeitraum erstrecken. Wir sind bemüht, dabei Beeinträchtigungen der Verfügbarkeit zu vermeiden.

Es ist geplant, nach Abschluss der Umstellungen, die Nutzungsbedingungen einzelner Dienste zu verändern (z.B. größere Kapazitäten) und weitere Dienste zu integrieren. Das endgültige Ziel ist die vollständige Abschaffung von Direct Attached Storage an den Servern des URZ.