HBFG-Projekt: File- und Archivserver

Das im Jahre 1995 initiierte HBFG-Projekt File- und Archivserver steht kurz vor dem erfolgreichen Abschluß.

Die Hauptzielstellung dieses Projektes läßt sich im wesentlichen auf die folgenden Punkte fokussieren (ausführliche Erläuterung siehe http://www.tu-chemnitz.de/~wmc/fileserving/fileserving.html):

Ausbau der auf Fileserver-Leistungen basierenden Dienste des URZ durch spürbare Erweiterung des online zur Verfügung stehenden Speicherplatzes
Realisierung einer zukunftsorientierten Technologie bei der Erweiterung der Speicher-Ressourcen

Die Ziestellungen sind durch Einsatz preiswerter und skalierbarer Speichertechnik zu realisieren. Stand der Technik ist der Einsatz von robotergesteuerten Tape-Libraries in Verbindung mit einem auf Medienunabhängigkeit orientierten Fileserving-Konzept.
Solche Konzepte werden durch HSM-Software realisiert. HSM steht für Hierarchical Storage Management und bedeutet die (automatische) Migration von Daten von einem primären Speichermedium auf sekundäre oder noch weitere Speichermedien/-hierarchien.

Folgende Hard- und Software wurde nun in den letzten Monaten im Rahmen dieses HBFG-Projekts beschafft:

Primäres Speichermedium

1 Server Sun Ultra Enterprise 3000 (2 Prozessoren Ultra SPARC 250Mhz, 256 MB RAM) mit (brutto) 218 GByte Plattenspeicher, in Form eines RAID-Systems.
2 Server Sun Enterprise 2 (je 2 Prozessoren Ultra SPARC 167Mhz, 128 MB RAM) mit zusammen 200 GByte (brutto).

Sekundäres Speichermedium

Tape-Robotersystem STK9710 mit 4 DLT7000-Laufwerken und 238 Kassettenstellplätzen.

HSM-Software

SAM-FS (Storage and Archive Manager - FileSystem) zur Verwaltung des als RAID-System verfügbaren Plattenspeichers sowie für die Steuerung der Tape-Library STK9710.
Die AFS-Komponente MR-AFS wurde außerhalb des HBFG-Antrags beschafft.

Software-System SAM-FS

SAM-FS wird auf auf dem Server Enterprise 3000 betrieben und zeichnet sich durch folgende Eigenschaften aus:

Verwaltung von Plattenspeicherplatz als sog. SAM-Cache in erweiterbaren Partitionen.
Automatische Migration (automatisches Umspeichern) von in SAM-Cache stehenden Files in den Sekundärspeicher (hier DLT-Tapes im Robotersystem STK9710), in Abhängigkeit vorgegebener variierbarer Kriterien (z.B. Filegröße, Alter eines Files). Sobald der Füllstand des SAM-Caches eine definierte Marke überschreitet, wird im Cache Platz geschaffen, indem einzelne Files, die bereits auf Tape übernommen wurden, im Cache gelöscht werden. Zum Zugriff auf ein solches Files existiert dann nur noch ein Verweis auf das Tape, der das Auffinden des Files ermöglicht, ohne daß sich ein Programm/Nutzer explizit darum kümmern muß. (Der Zugriff auf ein solchesFile beinhaltet somit immer das Laden eines Tapes sowie das Lesen vom Tape!)
Möglichkeiten zum Beeinflußen der Migrationsstrategien
Nutzung bzw. Bildung von File-/Verzeichnisgruppen zwecks unterschiedlicher Aus- und Einlagerungsstrategien
SAM-FS enthält eine Komponente zur Einbeziehung weiterer Fileserver. Dies kann die Erweiterung der Speicherkapazität eines Fileservers ermöglichen, indem auf die Kapazitäten des File- und Archivservers zugegriffen wird.

Software AFS/MR-AFS

AFS befindet sich seit mehreren Jahren an unserer Einrichtung im Einsatz. Die Komponente MR-AFS erweitert die Filezugriffsmethode AFS um Migrationsmöglichkeiten, also die Nutzung unterschiedlich zu bewertender Speicherebenen.
MR-AFS besitzt ähnliche Eigenschaften wie SAM-FS, setzt jedoch auf AFS auf (demgegenüber basiert SAM-FS auf der UNIX-Filesystem-Philosophie):

Files können (gleichzeitig) in mehreren sog. Residenzen existieren
eine Residenz ist ein unabhängig verwaltetes Speichermedium (bei uns mehrere von SAM-FS verwaltete Filesysteme)
Files bewegen sich nach ähnlichen Kriterien wie im SAM-FS (Filegröße, -alter, -zugriffshäufigkeit, ...) zwischen den Residenzen

Die konkreten technologischen Ziele beim Einsatz des File- und Archivservers sind folgende:

Erweiterung des zur Verfügung stehenden Speicherplatzes durch eine automatische Migration auf langsame Medien derjenigen Files und Verzeichnisse, die sehr speicherintensiv sind und längere Zeit nicht benutzt wurden. Diese Files existieren scheinbar noch auf Platte, real jedoch auf Tapes (im sekundären Speicher). Diese Art der Speicherung wird jedoch nicht für alle Daten eingesetzt, sondern gezielt für bestimte Einsatzzwecke, wie z.B. Projekt- und HOME-Verzeichnisse (oder Teile davon) mit großem Speicherbedarf. Somit hat es der Nutzer selbst in der Hand, zu entscheiden (und zu wissen), welche Files/Verzeichnisse u.U. auf Tapes existieren.
Wesentliche Erweiterung der Speicherkapazität für nutzerübergreifende (nicht an einen einzelnen Nutzer gebundene) Projekte, wie auch für ftp-Archiv und Multimedia ONline ARchiv CHemnitz (MONARCH).
Ablösung der jetzigen Datensicherungsverfahren.

Aktuelle Arbeiten

Zur Zeit wird die Sicherung von mehr als 100 GByte AFS-Volumes in den File- und Archivserver umgestellt.
Die 200 GByte Plattenspeicherplatz an den beiden Enterprise-2-Servern werden schon von AFS/MR-AFS verwaltet und sind bereits teilweise mit Daten belegt.

Für möglichst produktionsnahe Tests der Technologie werden Nutzer gesucht, die sich frühzeitig mit den neuen Speichermöglichkeiten vertraut machen wollen, es winkt mehr Speicherplatz.

Inbetriebnahme

Die offizielle Inbetriebnahme des File- und Archivservers wird im Januar erfolgen, der Termin wird noch bekanntgegeben. (Die Betonung liegt auf "offiziell" , da der Übergang aus dem Testbetrieb fließend erfolgt.)

Christoph Ziegler, Thomas Müller, 05.12.1997)