Vom URZ wurde in diesem Sommer ein HBFG-Projekt initiiert, welches dem weiteren Ausbau der Kommunikations- und Applikationsserver-Infrastruktur des Campusnetzes dient.
Das URZ betreibt für die Universität eine Server-Infrastruktur für Kommunikationsdienste im Netz (WWW, E-Mail, FTP, NetNews), Compute- und Applikationsserver unterschiedlicher System-Plattformen sowie Fileserver, welche die Daten für die verschiedenen Dienste halten. Die dafür eingesetzte Technik wurde in den letzten neun Jahren angeschafft. Dabei ist nicht nur eine inhomogene Server-Landschaft entstanden, sondern ein Großteil der Komponenten ist inzwischen veraltet und technisch verschlissen. Diese Technik erfüllt zwar noch die gegenwärtigen Leistungsanforderungen, wird aber künftigen Ansprüchen nicht mehr gerecht.
Der Preisverfall bei gleichzeitigem Leistungszuwachs von herkömmlicher PC-Technik hat in den vergangenen Jahren dazu geführt, dass wir einen Plattform-Wechsel bei der eingesetzten Server-Technik vollzogen haben. Während wir bis etwa 1997 nahezu ausschließlich Maschinen mit RISC-Prozessoren (vorwiegend aus der SPARC- und HP-PA-Familie) für Server-Leistungen eingesetzt haben, arbeiten wir in den letzten Jahren überwiegend mit PC-Systemen unter Linux. Als Server-Software setzen wir ausschließlich auf Open-Source-Produkte.
Die unterschiedlichen Hard- und Software-Plattformen führen allerdings zu Problemen hinsichtlich der gegenseitigen Ersetzbarkeit der Maschinen. So betreiben wir gegenwärtig WWW-Server auf den Plattformen Solaris und Linux. Insbesondere entstehen hohe Aufwendungen bei der Bereitstellung von CGI-Programmen und der Pflege verschiedener serverseitiger Module (SSL, PHP, u.a.).
Da diese Systeme ohnehin veraltet sind und ersetzt werden müssen, ist dabei eine Bereingung der Server-Plattformen angebracht. Außer für Spezialanwendungen, die auf Applikationsservern untergebracht werden, setzen wir für Server-Systeme unterschiedlicher Funktion (Kommunikations- und Fileserver) ausschließlich herkömmliche PC-Technik unter Linux ein.
Als Compute- und Applikationsserver betreibt das URZ RISC-Systeme verschiedener Hersteller und erfüllt damit Anforderungen mehrerer Anwender aus der Universität hinsichtlich der Bereitstellung von Applikationen und Rechenleistung. Auch hier hat es in den letzten Jahren eine Verschiebung des Schwerpunktes bezüglich der Plattformen gegeben. So ist einerseits im unmittelbaren Umfeld einiger Professuren selbst entsprechende Rechenleistung geschaffen worden, andererseits konzentriert sich der Bedarf auf wenige Plattformen. Zur Zeit gibt es vor allem Bedarf an Rechenleistung und Applikationen auf den Plattformen HP-UX, Linux und Systemen der Windows-Familie. Die für HP-UX vorhandenen Systeme sind zumindest teilweise ebenfalls veraltet, für Linux und Windows können wir derzeit nur Maschinen anbieten, die die Anforderungen hinsichtlich Rechenleistung und Hauptspeicherkapazität nur zum Teil erfüllen.
Das folgende Bild skizziert die beantragte Lösung und zeigt die Einbindung in das Campusnetz.
Im folgenden werden die einzelnen beantragten Komponenten genauer beschrieben:
Die Kommunikationsserver betreiben wir durchgängig mit Open Source Software: Apache mit PHP, MySQL, Exim, Cyrus, IMP, ProFTP, INN.
Der zentrale WWW-Server der TU Chemnitz (www.tu-chemnitz.de) dient seit
1994 der Präsentation der Universität im Internet und der Publikation
von Dokumenten der meisten Fakultäten und zentralen Einrichtungen.
Mehr als 100 000 Dokumente werden darüber bereitgestellt.
Daneben betreiben wir WWW-Server für Homepages unserer Nutzer
(www-user.tu-chemnitz.de) sowie Server für spezielle Aufgaben
(rechenintensive CGI/PHP-Programme, Intranet-Dienste, virtuelle Server).
Als Experimentier-Plattform für WWW-Programmierung (CGI/PHP) stellen wir
einen dedizierten Server bereit (www-usercgi.tu-chemnitz.de).
Der zentrale Server ist redundant ausgelegt: Hinter einem Level-4-Switch
arbeiten drei identisch konfigurierte Server.
Bei Ausfall eines Servers wird dieser vom Switch nicht mehr angesprochen.
Die WWW-Server beziehen ihre Daten (Dokumente) von AFS-Fileservern, die für
wichtige Dokumente ebenfalls redundant ausgelegt sind (Read-only Kopien).
Gleichzeitig sind die Dokumente auch über AFS an allen Maschinen
im Campusnetz zugänglich und können auf einfache Art und Weise direkt
bearbeitet werden.
Dieses System hat sich seit zwei Jahren bewährt und soll fortgeführt
werden.
Die derzeit im Einsatz befindlichen drei SPARC-Maschinen sind den
Anforderungen nicht mehr gewachsen und müssen durch drei leistungsfähige
PC-Server abgelöst werden.
Für andere WWW-Server ist diese Redundanz ebenfalls zu erreichen.
Deshalb sollen jeweils zwei PC-Systeme für WWW-CGI, WWW-User und WWW-UserCGI
zum Einsatz kommen.
Neben der Verbesserung der Leistungsparameter möchten wir auch neuen
Anforderungen gerecht werden.
WWW-Dokumente haben zunehmend dynamische Inhalte, da die
Informationen bei Anforderung aus Datenbanken zusammengestellt werden.
Mit den zentralen WWW-Servern bieten wir als Dienstleistung
die Einrichtung und den Betrieb von virtuellen Servern für
Professuren und Projekte an.
Diese Dienstleistung wird immer mehr in Anspruch genommen, da für
die einzelnen Professuren und Projektgruppen die Notwendigkeit entfällt,
selbst WWW-Server konfigurieren und betreiben zu müssen.
Die Arbeitsgruppe "'Internet"' der Universität schlägt die Einführung eines
Content-Management-Systems vor.
Zudem sind personalisierte Angebote geplant.
Aus diesem Grunde ist auch ein als WWW-DB bezeichneter dedizierter
Datenbankserver vorgesehen.
Der Betrieb von WWW-Cache-Servern hat sich auch in Zeiten schneller
Netzanbindung bewährt, da die Kontingente des Datenvolumens unseres
GWin-Zugangs sonst nicht ausreichen würden.
Allerdings müssen die WWW-Cache-Server den immer steigenden
Anforderungen genügen, um nicht selbst zum Engpass zu werden.
Deshalb sollen hier vier leistungsfähige PC-Server mit jeweils 160 GB
Speicherkapaztität zum Einsatz kommen.
Wir setzen diese Server hinter einem Level-4-Switch ein, der die
Lastverteilung und Ausfallüberwachung übernimmt.
Wir erhalten damit eine skalierbare Lösung, da bei Bedarf leicht
neue Server hinzugefügt werden können.
Die Server selbst sind mit lokalen und entsprechend großen
Festplatten ausgelegt.
Über ein zweites Netz-Interface können die Server untereinander
schnell kommunizieren.
Das anonyme FTP spielt weiterhin eine große Rolle.
Unser Server dient insbesondere der Verteilung von Open Source Software.
Auch hier erfolgt die Lastteilung und Ausfallüberwachung am
Level-4-Switch, hinter dem sich eine Reihe von FTP-Server-Maschinen verbergen.
Die Daten befinden sich auf AFS-Fileservern, die über das zweite
Netz-Inferface angesprochen werden.
Um den Dienst auch in Spitzenzeiten gewährleisten zu können, sind hier
vier PC-Systeme vorgesehen.
Das Spiegeln der Inhalte von den Original-Servern im Internet
übernimmt einer der Server.
Die FTP-Server übernehmen damit auch eine Caching-Funktion für oft genutzte
und per FTP zugängliche Open Source Software (z.B. verschiedene Linux
Distributionen) und entlasten wie die WWW-Cache-Server das
Datenvolumenkontingent unseres GWin-Zugangs.
Die Mail-Relays wickeln sämtlichen E-Mail-Verkehr der TU mit externen Partnern ab. Sie sind mit momentan zwei Rechnern redundant ausgelegt. Neue Anforderungen erfordern auch hier mehr Leistung: Mechanismen zum Schutz vor unerwünschter und gefährlicher Mail (Spam bzw. E-Mail-Würmer) sowie neue Software zur Verwaltung von Mailing-Listen. Deshalb sind nun drei PC-Systeme für diesen Dienst vorgesehen.
Die vom URZ betriebenen zentralen Mailbox-Server werden von der
großen Mehrheit unserer Nutzer (ca. 6000) zur Verwaltung ihrer E-Mail verwendet.
Aus historischen Gründen gibt es in einigen Struktureinheiten noch
dezentrale Mailbox-Server.
Für diesen Dienst enthält ein Rechner mit entsprechender Speicherkapazität
(externes RAID-System) sämtliche Daten und bietet den Zugang via POP- und
IMAP-Protokoll.
Ein anderer Server bietet den Zugang über eine WWW-Schnittstelle (IMP).
Da ein redundanter Betrieb dieses Dienstes momentan nicht realisierbar
ist, soll ein dritter Server als Stand-By für diese eminent wichtigen Funktionen dienen.
Auch hier sind zunehmend höhere Anforderungen zu verzeichnen: Nutzer
steigen von POP auf das leistungsfähigere IMAP-Protokoll um, so dass
die Folder-Verwaltung auf dem Mailbox-Server erfolgt.
Gleichzeitig werden zunehmend kryptographisch gesicherte Übertragungstechniken
(TLS/SSL) eingesetzt.
Zudem kommen mehr und mehr Filterfunktionen beim Server zum Einsatz.
Insgesamt sind für diesen Dienst drei PC-Server vorgesehen.
Der News-Server stellt eine Reihe von Newsgruppen für Nutzer der TU Chemnitz zur Verfügung. Das gegenwärtige System ist an der Grenze der Leistungfähigkeit. Eine Redundanz ist hier schwierig zu realisieren und bei der relativ geringeren Bedeutung des Dienstes nicht geplant. Deshalb wird hier ein PC-System zum Einsatz kommen.
Für nahezu alle Dienste des URZ spielt das Bereitstellen von
Filesystem-Kapazität eine zentrale Rolle.
Seit 1994 betreiben wir AFS als einziges verteiltes Filesystem in einer
campusweiten AFS-Zelle.
Dabei sind alle vom URZ verwalteten Systeme und darüber hinaus viele
dezentral verwaltete Maschinen Klienten im AFS.
Ende 2000 haben wir begonnen, schrittweise OpenAFS zum Einsatz zu bringen.
Gegenwärtig setzen wir insgesamt 13 AFS-Fileserver ein, von denen
vier Maschinen 1996 oder früher beschafft worden sind.
Diese Maschinen sind hinsichtlich ihrer Leistungsfähigkeit
den gestiegenen Anforderungen nicht mehr gewachsen und müssen ersetzt werden.
Die angeschlossene Peripherie (sofern es sich um neuere SCSI/EIDE-RAID-Systeme
handelt) kann teilweise weiterverwendet werden.
Die Konfiguration der neu zu installierenden Fileserver-Maschinen
folgt dabei den Erfahrungen, die wir seit Ende 2000 mit der Installation und
dem Betrieb eines vergleichbaren Servers gewinnen konnten.
Als Server kommen PC-Systeme zum Einsatz.
Daran angeschlossen sind über separate UW-SCSI-Controller
zwei SCSI/EIDE-RAID-Systeme, die mit Raid-Level 5 betrieben werden.
Insgesamt sollen drei derartige Fileserver installiert werden, was zu einer
Brutto-Filesystemkapazität von 2400 GB führt (3 * 2 * 400GB).
Die derzeit betriebenen und veralteten Fileserver werden - nach dem Kopieren
der Daten - außer Betrieb genommen.
Entsprechend den Wachstumsraten der letzten Jahre
gehen wir davon aus, damit mindestens dem Bedarf der nächsten vier Jahre
gerecht werden zu können.
Gemeinsam mit den Fileservern soll eine neue Datensicherungstechnologie für die im AFS liegenden Daten eingeführt werden. Das ist erforderlich, weil das bisher im Einsatz befindliche System den zusätzlichen Kapazitäten nicht mehr gerecht werden kann. Das neu aufzubauende System zur Datensicherung wird Erfahrungen berücksichtigen, welche wir bei der Installation und beim Betrieb des Backup-Systems für dezentrale Fileserver sammeln konnten. Dieses System wird seit Oktober 2000 betrieben und zeichnet sich aus durch den Verzicht auf herkömmliche Backup-Datenträger (Tapes, o.ä.). Verwendet werden hier preisgünstige SCSI/EIDE-RAID-Systeme, die die Daten sichern und über Standard-PC's unter Linux betrieben werden.
Nach diesem Vorbild sollen im Rahmen dieses Antrags drei Backup-Server
installiert werden, an die jeweils vier SCSI/EIDE-RAID-Systeme angeschlossen
sind.
Die Bruttokapazität beträgt damit 4800GB (3 * 4 * 400GB).
Im Unterschied zu Tape-basierten Technologien ist hier jedoch das
damit zu sichernde Datenvolumen wesentlich größer, weil
Direktzugriffsdatenträger benutzt werden und man Probleme aus dem
Umgang mit nur sequentiell nutzbaren Datenträgern vermeiden kann.
Somit kommt die zur Verfügung stehende Bruttokapazität nahezu vollständig
der Speicherung von gesicherten Daten zugute, während bei
Tape-basierter Technologie berücksichtigt werden muss, dass die
Bänder nur teilweise mit aktuellen Daten gefüllt sind.
Die drei zu installierenden Server werden also ohne weiteres in der Lage sein,
ein Datenvolumen von etwa 1400 GB in drei Generationen zu sichern.
Dieser Ansatz hat mehrere Vorteile:
Die Einbeziehung von Compute- und Applikationsservern in die zu
schaffende Infrastruktur hat mehrere Gründe.
Zum einen dienen diese Server der Erreichung von Forschungsergebnissen
(Compute-Leistung), die heute typischerweise elektronisch publiziert und
per WWW präsentiert werden.
Andererseits stellen wir dort Applikationen zur Verfügung, die die
Aufbereitung von Ergebnissen
(z.B. grafische Gestaltung, Visualisierung, Erzeugen von Video-Sequenzen,
etc.) ermöglichen.
Die Konzentration auf drei verschiedene Plattformen ist bedingt durch
die jeweils erreichbare Rechenleistung, den Umfang an verfügbarer
und benötigter Software und berücksichtigt den Aufwand,
der in den vergangenen Jahren in die Softwareentwicklung
für diese Plattformen investiert wurde.
Weiterhin erzielen wir mit dem Bereitstellen zentraler Applikationsserver
einige Synergieeffekte.
Der Bedarf an solchen Maschinen existiert an mehreren Stellen innerhalb der
Universität, jedoch sind einzelne Nutzer oft nicht in der Lage
derartige Systeme auszulasten bzw. effektiv zu betreiben.
Durch diesen Antrag sollen Applikationsserver der Plattformen
HP-UX, Linux und Windows installiert werden.
Die Plattform HP-UX spielt in der Universität traditionell eine große Rolle, vor allem bedingt durch die Leistungsparameter, die mit der Prozessorfamilie HP-PA zu erreichen sind. So betreibt das URZ seit 1996 zwei Maschinen HP9000/889 K460 mit je 4 CPU HP-PA 8000 und 3840MB RAM als Superscalarcluster sowie seit 1992 eine HP9000/735 mit 208MB RAM als Computeserver. Darüber hinaus werden an verschiedenen Professuren HP-Systeme als Computeserver betrieben. Das URZ unterstützt die Betreiber solcher Systeme durch zentrale Bereitstellung und Pflege von Software in der campusweiten AFS-Zelle. Die Nutzung der Maschinen des Superscalarcluster erfolgt in einem festen Regime über ein Batchsystem (DQS), während die HP9000/735 allen Nutzern zur Verfügung steht. Hauptanwendungen sind CFX, Marc, Mathematica, FIDAP und Fluent. Insbesondere die HP9000/735 ist inzwischen veraltet.
Die Maschinen des Superscalarclusters genügen mit ihrer Rechenleistung
und RAM-Kapazität auch nicht mehr den aktuellen Anforderungen. Insbesondere
bei der Nutzung von CFD-Software ist die Leistungsfähigkeit des
Superscalarcluster ausgereizt. Es werden z.B.
mit der Software FIDAP
und mit der Software CFX Modelle erstellt, deren
Grösse die Speicherresourcen des Superscalarcluster bei weitem übersteigen.
Deswegen sind diese Nutzer gezwungen, grobgranularere Modelle zu generieren,
um überhaupt Berechnungen durchführen zu können. Sie erhalten dementsprechend
weniger qualitativ aussagefähige Ergebnisse. Desweiteren gestaltet sich
eine aufgegliederte Berechnung eines kompletten Modells so zeitintensiv,
dass die experimentelle Durchführung gegenüber der Simulation
nur ein Drittel der Zeit (3h) in Anspruch nimmt.
Wenn es die Problemstellungen zulassen, wird daher auf das Linux-Cluster
(CLiC)
ausgewichen. Dies ist jedoch nur selten möglich.
Daher wollen wir durch die Installation einer HP9000/L3000 mit 4 CPU HP8700/750
und 8GB RAM den Nutzern eine bessere Arbeitsbasis bieten und andererseits die
Voraussetzungen schaffen, die dezentral betriebenen Systeme dieser Klasse
besser unterstützen zu können.
Die Installation einer solchen HP9000/L3000 birgt gegenüber der unten
aufgeführten Intel basierten SMP Maschinen
(Plattform Linux) zusätzlich
einen Performance-Vorteil um den Faktor
Einige der traditionellen Unix-Systemplattformen sind in den letzten Jahren in der Universität stark zurückgedrängt worden (IRIX, AIX, Tru64) und finden heute nur noch an Spezialarbeitsplätzen Berücksichtigung. Dafür hat Linux eine starke Verbreitung gefunden, was nicht zuletzt durch das Chemnitzer Linux Cluster (CLiC) mit 530 Linux-PC's zum Ausdruck kommt, welches das URZ im Auftrag des Sonderforschungsbereichs 393 betreibt. Vom URZ werden darüber hinaus weitere Linux-Systeme als Server für verschiedene Dienste und Arbeitsplatzrechner eingesetzt. Die Ausstattung dieser Systeme lässt jedoch die Bearbeitung einiger Probleme nicht oder nur unvollkommen zu. Dazu gehören insbesondere einige Anwendungen von Standardsoftware wie Mathematica, sowie die Aufbereitung und Formatkonvertierung komplexer Dokumente, die insbesondere an die Menge des verfügbaren RAMs hohe Anforderungen stellen.
Desweiteren ist bei der von den Nutzern in Anspruch genommenen Spezialsoftware
(Marc, Fluent, Ansys, ...) mittlerweile meist auch eine Linux-Version
verfügbar oder eine solche ist seitens der Hersteller angekündigt.
Uns mangelt es jedoch bisher an der hardwareseitigen Unterstützung, um
den Nutzern diese Software auch auf Linux-Basis bereitstellen zu können.
Die Software stellt in der forschungsnahen Nutzung
ebenfalls recht grosse Ansprüche an die Ressourcen Rechenleistung und
Hauptspeicher.
Bei der hauptsächlich zum Einsatz kommenden
Software (Marc, Ansys, FIDAP) bieten teilweise
SMP-Maschinen einen signifikanten Leistungsgewinn gegenüber
der Performance adäquader Cluster-Rechner oder gar leistungsgeringerer
Einzel-Prozessor-Maschinen. Bei sehr rechenzeit-intensiven
Applikationen werden die Nutzer dem oben
spezifizierten HP-System den Vorzug geben. Kommt es lediglich auf die
Größe des zur Verfügung stehenden RAMs an, dann bieten die CPU-seitig
etwas weniger performanten SMP-Maschinen auf Intel-Basis
mit gleichem Speicherausbau eine gute Alternative in Bezug auf das
Preis-/Leistungsverhältnis.
Die beantragten Applikationsserver für die Linux-Plattform sollen diese Lücke
schließen. Zum Einsatz kommen zwei identisch ausgestattete Systeme mit jeweils
4 CPU Intel Xeon 700 MHz und 8 GB RAM.
Zusätzlich sind diese Applikationsserver eine gute Basis für die weitere
Migration der Nutzer auf eine einheitliche Arbeits-
(Arbeitsplatzrechner) und Produktionsumgebung (Applikationsserver)
und unterstützen somit ein schnelleres Erzielen von
Forschungsergebnissen.
Die Maschinen sind AFS-Klienten und demzufolge bezüglich der
Nutzerverwaltung im URZ eingebunden.
Mit dem Einsatz von Applikationsservern unter Windows-Betriebssystemen wollen wir einen neuen Dienst anbieten. Zur Zeit betreiben wir mehrere zentrale Computer-Pools, die sowohl unter Linux als auch unter Windows NT genutzt werden können. Die Einführung von Applikationsservern unter einem System der Windows-Familie soll einerseits die Notwendigkeit der Bereitstellung und Pflege von Windows-Betriebssystemen auf Arbeitsplatz-Maschinen und in Computer-Pools minimieren und andererseits dem gelegentlichen Nutzer von Windows-Applikationen eine geeignete Möglichkeit zum Zugriff auf solche Applikationen schaffen. Wir erreichen damit eine Stabilisierung und Vereinfachung des Managements der zentralen Pools. Es werden nur noch in solchen Pools lokale Windows-Installationen bereitgestellt und gepflegt, wo in der Lehre Applikationen zum Einsatz kommen, die ohne Alternative unter Linux sind und die auf bestimmte Fähigkeiten der Hardware angewiesen sind (z.B. Grafikbeschleuniger). Andere Windows-Applikationen werden über die Applikationsserver bereitgestellt. Dieses Vorhaben geht einher mit dem Bestreben, für die meisten Anwendungsgebiete Open Source Software zu finden und bereitzustellen, um so die Notwendigkeit weitestgehend einzuschränken, auf proprietäre Software zugreifen zu müssen. Diese Applikationsserver sollen daher ein campusweites Angebot von Windows-Applikationen schaffen, welches genutzt werden kann
Der Anschluss an den Campusbackbone erfolgt im zentralen Switchrouter
vom Typ Catalyst 6509. Dazu soll dieser Switch so
erweitert werden, dass die Technologie
"distributed forwarding" eingesetzt werden kann.
Zur Bildung der Serverfarmen für WWW, FTP und WWW-Cache soll ein Level-4-Switch
zum Einsatz kommen. Mit den bereits vorhandenen Geräten dieses Typs
liegen gute Erfahrungen vor.
Die Leistungssteigerungen aktueller Geräte
bieten neue Möglichkeiten (URL-Parsing, L7-Switching, etc.).
Durch die einheitliche Produktlinie können wir das Vorgängermodell in
ein gemeinsames "Fail Over"-System integrieren, d.h. bei Ausfall eines
Switches ist eine Weiterarbeit möglich.
Für die lokale Kopplung der Fileserver an die Kommunikationsserver und
teilweise für den Anschluss an den Bachboneswitch wollen wir
Konzentrationsswitche einsetzen. Solche Produkte werden bereits in
größerer Stückzahl bei uns eingesetzt.
Wenn das Projekt im Rahmen des HBFG-Verfahrens bewilligt wird, werden wir damit einen großen Teil der zentral betriebenen Servertechnik auf den dann aktuellen Stand bringen können. Insofern haben die hier genannten technischen Daten vorläufigen Charakter, da die Realisierung des Antrags voraussichtlich nicht vor Mitte nächsten Jahres erfolgen kann und zu diesem Zeitpunkt entsprechend den dann verfügbaren technischen Parametern angepasst wird.
| Thomas Müller, Oktober 2001 |