Der Chemnitzer Linux Cluster ist in die Jahre gekommen. Dennoch entwickelt
das URZ diesen Hochleistungsrechner weiter, um die Stabilität und den
Service zu erhöhen.
Aktueller Stand
Seit nunmehr fünf Jahren betreibt das URZ den Chemnitzer Linux Cluster
(CLiC). Auf diesem Hochleistungsrechner können Nutzer Berechnungen für
verschiedenste Projekte durchführen.
Der Dauerbetrieb über diesen langen Zeitraum führt vermehrt zum Ausfall
einzelner Hardwarekomponenten. Am häufigsten betroffen sind hierbei
Festplatten und Netzteile. Falls Ersatzteile vorhanden sind oder sich
Komponenten zwischen Rechnern tauschen lassen, sorgen die Techniker des URZ
dafür, dass einzelne Knoten wieder nutzbar werden. Aus wirtschaftlichen
Gründen können jedoch keine Ersatzteile neu beschafft werden.
Von den insgesamt 528 Rechnern des CLiC sind derzeit etwa 40 defekt und
daher dauerhaft nicht nutzbar.
Trotz der mittlerweile in die Jahre gekommenen Technik und des moralischen
Verschleißes trat der für uns unerwartete Effekt ein, dass die Auslastung
des CLiC seit Anfang des Jahres deutlich zunahm und jetzt größtenteils
über 100% liegt. Dieser Effekt wird am
besten in der graphischen Nutzungsstatistik sichtbar:
Jobverteilung
In Folge der hohen Auslastung stehen für Berechnungen oft nicht sofort die
benötigten Ressourcen zur Verfügung, so dass davon betroffene Rechenaufträge (Jobs)
in einer Warteschlange
auf ihre Zuteilung warten müssen. Für die Verwaltung der im Cluster vorhandenen
Ressourcen und deren exklusive Freischaltung für zugeordnete Jobs sorgt das
Batch-Systems "OpenPBS". Der darin eingebundene Scheduler
trifft die Entscheidung, wie angeforderte Ressourcen auf reelle Ressourcen
zugeordnet werden.
In der Vergangenheit wurde diese Komponente des OpenPBS von
einem einfachen FIFO-Scheduler realisiert, der den Jobs in der Reihenfolge
Ihres Eintreffens freie Ressourcen zuteilte. Eine Ausnahme in dieser
Zuteilungsregel bildeten Ressourcenbeschränkungen pro Nutzer, um eine übermäßige
Nutzung durch einzelne Personen zu verhindern. Da Jobs mit geringem
Ressourcenbedarf kontinuierlich die freien Resourcen verbrauchen können, blieben
große Jobs oft übermäßig lange in der Warteschlange.
Scheduler "Maui"
Seit einigen Wochen ist auf dem CLiC der leistungsfähigere Scheduler
Maui im Einsatz. Jobs
werden nun nicht mehr nur strikt nach ihrem Eintreffen sortiert. Ein als
"backfilling" bezeichneter Mechanismus nutzt kleine Jobs mit kurzen Laufzeiten
als "Lückenfüller" für Ressourcen, die bis zur Zuteilungsreife eines großen Jobs
bisher ungenutzt blieben. Die Zuteilung von Jobs kann nun nicht mehr durch
andere Jobs verzögert werden.
Backfilling funktioniert desto besser, je kleiner und präziser die Laufzeiten
(walltime) der Jobs spezifiziert wurden. Nur dann können "freigezogene"
Ressourcen, welche für den Start großer Jobs benötigt werden, optimal mit
kleinen Jobs aufgefüllt werden.
Ein weiterer Vorteil von Maui ist, dass ein Jobstart durch das interne
Reservierungssystem von Maui im Vorfeld festgelegt bzw. zugesichert
wird. Die Startzeit kann unter der
Status-Seite
eingesehen werden. Zusätzlich zu diesen Informationen können nun
detaillierte Informationen zu jedem Job über diese Seite abgefragt werden.
Des Weiteren besteht nun auch die Möglichkeit Ressourcen, beispielsweise für
eine Lehrveranstaltung,
reservieren zu
lassen.
AFS-Probleme
Eine deutliche Verbesserung für die Nutzung des CLiC konnte auch in Bezug
auf die Integration des AFS erzielt werden. Um sich für Zugriffe im AFS
authentifizieren zu können, muss der Nutzer über ein gültiges AFS-Token
verfügen. Die Gültigkeit dieser Tokens ist auf 30 Tage begrenzt. Damit die
Jobs während ihres Aufenthaltes in der Warteschlange, beziehungsweise
während der Berechnung auf den Knoten, ein gültiges AFS-Token besitzen,
werden diese von speziellen Prozessen periodisch verlängert.
Bisher sorgte eine künstliche Bremse dafür, dass diese periodische
Verlängerung keine Überlast auf den AFS-Servern erzeugte. Diese Verzögerung
ist auf Grund von Systemänderungen im AFS-Umfeld nicht mehr nötig. Somit ist
der Job-Start bzw. -Abbruch nicht mehr so fehleranfällig. Für den Nutzer
bedeutet dies im Endeffekt kürzere Job-Startzeiten und weniger Störungen
zur Laufzeit eines Jobs.
Nachfolgeprojekt CHIC
Wie bereits informiert, ist die Beschaffung eines neuen Hochleistungsrechners (CHIC)
beantragt (HBFG-Verfahren). Nach gegenwärtigem Kenntnisstand wird dieser Cluster
nicht vor Mitte 2006 einsatzbereit sein.
Der "alte" CLiC wird erst in den wohlverdienten Ruhestand gehen können, wenn das
neue System im Routinebetrieb gefahren wird. Dies gilt allerdings nur unter der Voraussetzung, dass keine weiteren kritischen Hardwareausfälle am CLiC auftreten.
Thomas Pöhnitzsch, Ronald Schmidt, Juli 2005
