Neue Technologien im Data-Center

Das Data Center - die Umgebung für den Betrieb von Servern im URZ - wird auf neue Technologien umgestellt. Ziele der Umstellung sind Performance-Verbesserungen, Umsetzung von Sicherheitszonen, eine Reduzierung des Managementaufwandes und die Erhöhung der Verfügbarkeit. Kern und treibender Keil dabei sind Virtualisierungstechniken: Virtual Switching System (VSS), Fibre Channel over Ethernet (FCoE) und Servervirtualisierung.

Bestandsaufnahme

Das Data Center bietet für den Betrieb von Netzwerk-, Server und Speichertechnik ideale Umgebungsbedigungen: USV-gestützte Energieversorgung, Klimatisierung, Zugangstechnik. Auf dieser Basis wurde im Verlauf der vergangenen Jahre eine komplexe Umgebung geschaffen, die aktuell ihre Aufgaben erfüllt, aber wachsenden Anforderungen nur schwer gerecht werden kann. Dazu gehören:

Performance und Betriebsaufwand
- komplexe, parallel betriebene Netzwerke
  - Local Area Network - LAN (Ethernet)
  - Storage Area Network - SAN (Fibre Channel)
- zeit- und ressourcenaufwändige Betriebs- und Managementaufgaben
  - Management-Werkzeuge
  - Dokumentation (change management)
- multi-core-Server + neue Anwendungen (Servervirtualisierung)
  - mehr Bandbreite
  - größere Kapazitäten
Verfügbarkeit und Sicherheit
- Unterbrechungen werden nicht (mehr) toleriert
  - keine Wartungsfenster (mehr)
- umfassendes und konsistentes Sicherheitsmodell erforderlich
  - Security
  - Datensicherung, Recovery, Havarievorsorge
effiziente Ressourcennutzung
- Energie und Klima (Stichwort: "Greening")
- hochbelastete vs. kaum genutzte Ressourcen

Netzwerke im Data Center

Typischerweise erfolgt die Einbindung von Hosts in die Netzwerke des Data Centers auf traditionelle Art und Weise nach dem Schema im Bild 1.
Bild1: Traditionelle Einbindung von Hosts in die Netzwerke des Data Centers

Dabei sind die Netzwerke durch folgende Charakteristika geprägt:

LAN SAN

Technologie Ethernet (10Gbit/s (10GE), 1Gbit/s (GE), 100Mbit/s (FE)) Fibre Channel (4Gbit/s, 2Gbit/s)

Strukturierung VLANs/IP-Subnetze VSANs

Verbindungs-Mangement Spanning Tree Multipathing

Security Firewalls/ACLs Zoning, LUN-Masking

Technik NICs, Switches, Kabel, Management-SW HBAs, Switches, Kabel, Management-SW

Anwendung TCP/IP SCSI

Ausbreitung Campusnetz Data Center

Es ist offensichtlich, dass diese Netzeinbindung für jeden einzelnen Host erhebliche Aufwendungen verursacht. Bild 2 zeigt die typische Verkabelung eines Hosts nach diesem Modell.

Bild2: Typische Verkabelung eines Hosts

Dieser Host ist insgesamt mit sieben Ethernet-Verbindungen ins LAN und mit zwei Fibre Channel-Verbindungen ins SAN integriert. Gut zu erkennen sind die Interface-Karten, die dafür benötigt werden (eine 4-Port Gigabit-Ethernet-Karte (NIC) und eine Dual-Port Fibre Channel-Karte (HBA)). Neben dem Aufwand bei der Verkabelung schlägt der Aufwand beim Betrieb entsprechender Swichtes zu Buche, über die der Host jeweils in die Netzwerke eingebunden ist. Die Anzahl der Verbindungen dient nur bedingt der Durchsatzerhöhung, vielmehr sichert die Verteilung der Anbindung auf verschiedene Switches bzw. Switch-Module die Verfügbarkeit bei Ausfall einzelner I/O-Pfade.

Redundante Auslegung von I/O-Verbindungen, die sich auf der Seite der Switches fortsetzen muss, sichert also in entscheidendem Maße die Erreichbarkeit eines Hosts und damit der Verfügbarkeit der Dienste - selbst wenn Teile der Infrastruktur nicht zur Verfügung stehen (wegen Wartung oder Fehlfunktionen/Ausfall).

I/O-Konsolidierung

Das oben dargestellte Schema skaliert nur in geringem Maße, da die Anforderungen an die umgebende Netzwerk-Infrastruktur (Switches, Kabel) und deren Management erheblichen Aufwand verursacht.

Einen Ausweg aus dieser Situation bietet eine Entwicklung, die auf Basis einer Erweiterung der Ethernet-Standards (Convergence Enhanced Ethernet oder Data Center Ethernet) zu einer neuen Technologie geführt hat: Fibre Channel over Ethernet (FCoE). Dabei werden Fibre Channel Frames vom Host mit Hilfe eines speziellen Netzwerkadapters (Converged Network Adapter) in Ethernet Frames eingepackt und vom FCoE-fähigen Switch ausgepackt und ins SAN weitergeleitet. Die Technologie basiert auf 10 Gigabit-Ethernet.

Bild3: Einbindung über FCoE

Wie das Bild 3 zeigt, sind dabei auf Seite der Hosts anstelle eines FC-HBAs und eines Ethernet-NICs nur noch dieser Converged Network Adapter (CNA) und zwei Kabel zur Einbindung in die Data Center Netzwerke erforderlich. Über beide Ports kann mit 10Gbit/s gearbeitet werden, so dass auch der Durchsatz gegenüber dem traditionellen Modell deutlich verbessert wird. Ein weiterer Vorteil kommt hinzu: die Konzentration auf eine Technologie (Ethernet) im Host macht den Einsatz einzelner Hosts flexibler. Mussten bisher einzelne Systeme hinsichtlich ihrer Netzwerkanschlüsse genau auf den Einsatzzweck abgestimmte werden (Art und Anzahl von traditionellen Ethernet-NICs und Fibre Channel-HBAs) kann jetzt ein Dual-Port CNA für alle Arten von I/O eingesetzt werden: blockorientierte I/O über Fibre Channel Protokoll oder iSCSI, fileorientierte I/O über Netzwerkfilesysteme (OpenAFS, NFS,CIFS) und klassischer IP-Verkehr im Datennetz.

Bild 4 zeigt den offensichtlichen Unterschied bei Einsatz von CNAs im Vergleich zu Einsatz von NICs und HBAs. Hinzu kommt der verringerte Aufwand für das Management der beteiligten Switches - ein Host benötigt nur noch fünf statt bisher neun Ports an Switches.

Bild4: Host mit CNA

Data Center Architektur

Bild 5 zeigt die prinzipielle Netzwerk-Architektur des Data Center. Sie ist geprägt durch zwei neuartige Technologien: Virtual Switching System (VSS) und das bereits erwähnte DCE/FCoE. Die dargestellten Hosts werden mit VMware ESX betrieben - das sind also die Maschinen, auf denen die virtuellen Server im Dienst Virtual Private Server Hosting (VPSH) laufen.

Bild5: Data Center Architektur

Virtual Switching System (VSS)

VSS ermöglicht es, zwei eigenständige Ethernet-Switches der Familie Catalyst 650x zu einem virtuellen Switch zu kombinieren. Dieser verhält sich wie ein einzelner Switch bzw. Router, stellt also nur noch eine Management/Routing-Instanz dar. Router-Redundanzprotokolle wie das Virtual Router Redundance Protocol (VRRP) oder Hot Standby Routing Protocol (HSRP) werden damit überflüssig. Die Verringerung der Routing-Instanzen vereinfacht den Betrieb von Routingprotokollen (z.B. OSPF) oder Multi Protocol Label Switching (MPLS) im Datennetz. Neben einem Switching-Durchsatz von 1.44 Tbps ergeben sich eine Reihe weiterer Vorteile. MultiChassis EtherChannel (MEC) ermöglicht die redundante Anbindung von Switchtechnik verteilt auf beide Catalyst 650x mittels EtherChannel-Technologie. EtherChannel, die Bündelung mehrerer Ethernetschnittstellen zu einem logischen Kanal, terminiert von Haus aus auf nur einem Gerät. Mittels MEC im VSS wird diese Einschränkung umgangen. Damit lässt sich auf Layer-2-Ebene eine loopfreie Topologie aufbauen. Broadcast-Stürme durch kreisende Pakete im Netz und andere Probleme des Spanning Tree Protokolls (STP) gehören damit der Vergangenheit an. Anstelle STP-blockierter Links erhöht nun effizientes Loadsharing die Bandbreite über alle geschalteten Verbindungen. Ausfall einzelner Links innerhalb eines EtherChannels führen nicht zu Verbindungsunterbrechungen. Als erstes VSS im Campusnetz wird der Datacenter Core Switch (siehe Bild 5) betrieben. Die Verbindung zum Backbone basiert derzeit auf 2 x 20 GE EtherChannel, zum Datacenter auf 2 x 40 GE EtherChannel.

Data Center Ethernet

DCE/FCoE wird realisiert durch die im Bild5 gezeigten Switches Nexus5020. Gemeinsam mit den CNAs in den angeschlossenen Hosts bilden sie die sogenannte Unified Fabric. Jeder Host ist mit jeweils 10GE an beide Nexus5020 angeschlossen und benutzt beide Switches sowohl für klassischen Ethernet-Traffic für IP-Verbindungen als auch für FCoE-Traffic, um die Speichersysteme zu erreichen, die an den Fibre Channel Directors (MDS950x) angeschlossen sind. Weiterhin sind im Bild noch Geräte vom Typ Nexus2148T zu sehen, dabei handelt es sich um sogenannte Fabric Extender. Die Hosts sind daran per GE jeweils über zwei weitere Ethernet-Verbindungen angeschlossen - diese Verbindungen werden für Management-Aufgaben genutzt (VMware ESX Service Console), die FE-Verbindung dient der Überwachung und für Management-Aufgaben für die Serverhardware.

IP-Security

Mit der Umsetzung dieser Architektur ist auch die Einführung einer neuen Security-Policy verbunden. Deutlich wird das an neu eingeführten IP-Subnetzen, deren Routing durch den Data Center Core Switch erfolgt, in dem dann auch die Security-Policy umgesetzt wird. Eines der Subnetze wird als sogenanntes DMZ betrieben, für die zugehörigen Server sind also alle Kommunikationsbeziehungen sowohl ins Internet als auch innerhalb des Campusnetzes durch Firewall-Regeln definiert. Generell gilt, dass Systeme im Data Center nur auf den erforderlichen Ports aus dem Internet erreichbar sind, bestimmte Subnetze (insbesondere für Management-Zwecke, aber auch für dedizierte Anwendungen, z.B. der Zentralen Universitätsverwaltung, für VOIP u.ä.) werden sowohl für den Verkehr zum Internet als auch innerhalb des Campusnetzes geeignet isoliert.

Diese neue Security-Policy hat auch Auswirkungen auf die Vorgehensweise beim Betrieb von Servern: Bei Bedarf werden einzelne Ports am Übergang zum Internet gezielt freigeschaltet.

Stand und Ausblick

Die hier beschriebene Architektur setzt Technologien ein, die weltweit als innovativ gelten und erst zaghaft umgesetzt werden. Insofern ist der Ansatz ausgesprochen modern und es mangelt noch an Erfahrungen im Umgang mit diesen Technologien. Die von uns durchgeführten Tests haben jedoch die Erwartungen weitestgehend erfüllt und wir haben begonnen, schrittweise den Produktionsbetrieb aufzunehmen. So betreiben wir z.B. neben einigen ESX-Hosts seit Anfang Juni den FTP-Server ftp.tu.chemnitz.de in dieser Umgebung. Dieses System hat einen I/O-Durchsatz von durchschnittlich mehr als 100GB pro Stunde und hatte während dieser Zeit keine Ausfälle - trotz Wartungen an den beteiligten Netzwerkkomponenten.

Voraussichtlich bis zum Jahresende werden wir einen Großteil der von uns betriebenen Server und ESX-Hosts in diese Umgebung umsetzen.