Taurus-Phasen jetzt zusammen Abschaltung von

Taurus-Phasen jetzt zusammen
Die Knoten beider Installationsphasen von Taurus laufen jetzt in einem gemeinsamen System.
Hinzugekommen sind vier weitere große SMP-Knoten mit jeweils 2 TB RAM und 56 cores.
Standardmäßig werden die neueren Haswell- und Sandybridge-Knoten für Jobs genutzt.
Abschaltung von Atlas
Nach der Integration der beiden Installationsphasen von Taurus besteht kein Bedarf mehr, den Cluster
Atlas weiter als Hochleistungsrechner zu betreiben. Er wird am 1. Dezember abgeschaltet; seine
Hardware wird ZIH-intern weiter genutzt. Die verbleibende Rechenzeit Ihrer Projekte wird auf Taurus
übertragen.
Umzug von Venus
Die Venus wird voraussichtlich noch im November in den neuen Rechnerraum (LZR) umziehen. Dort
wird sie an die Infrastruktur von Taurus angebunden, um Zugriff auf das größere und schnellere /scratch
von Taurus zu erhalten. Diese Migration ist mit einer Downtime von wenigen Tagen verbunden. Sobald
der genaue Termin feststeht, werden Sie genauer informiert.
Abschaltung des alten Scratch-Dateisystems
Zugleich wird das Scratch-Dateisystem dieser beiden Maschinen (/fastfs auf Atlas) abgeschaltet. Bitte
migrieren Sie in eigener Verantwortung ihre Daten von dort. Sinnvolle Ziele wären am ZIH (siehe
https://doc.zih.tu-dresden.de/hpc-wiki/bin/view/Compendium/DataManagement)
• /scratch-Filesystem auf Taurus: Für die weitere Bearbeitung Ihrer aktuellen Produktionsdaten auf
Taurus.
• Projekt-Verzeichnis (/projects/<projectname>): Zum Speichern wichtiger projektrelevanter
Daten im HPC-Kontext, mit backups und snapshots.
• Zwischenarchiv: Aufbewahrung von Daten über einen Zeitraum von 3 Jahren auf einem
hierarchischen Filesystem (Platten, Bänder) in kompletter Nutzerverantwortung.
Bitte dort nicht viele kleine Files ablegen.
• Langzeitarchiv: Aufbewahrung forschungsrelevanter Daten gemäß DFG-Empfehlung über 10
Jahre im Bandarchiv.
Bei Bedarf wenden Sie sich bitte an Dr. Köhler ([email protected]).
Für diese Datentransfers stehen Ihnen von Taurus aus asynchrone Befehle dtcp, dtrsync, dttar u.a.
zur Verfügung, z.B.
dtrsync av /atlas_scratch/mark/current_data/ /scratch/mark/current_data/ (/scratch Taurus)
dttar czf /archiv/mark/results.01112015.tgz /atlas_scratch/mark/results (Zwischenarchiv)
Diese Transfer-Jobs werden in eine Warteschlange auf dem Datentransferknoten eingereiht. Nach ihrer
Beendigung erhält der Nutzer eine e-Mail.
Nutzer, die ein Datenvolumen über 1 TB verschieben müssen, wenden sich bitte zeitnah (!) an
unseren Support ([email protected]). Für sie müssen individuell angepasste Transfermöglichkeiten diskutiert werden.
Mit freundlichen Grüßen
Ulf Markwardt
Taurus phases now integrated
The nodes of both installation phases are joined now. Additionally, we have got four more large SMP
nodes with 2 TB RAM and 56 cores, each. Per default, your jobs will be scheduled to the newer
Haswell and Sandybridge nodes.
Shutdown of Atlas
After the integration of the two installation phases of Taurus, there is no need to continue the operation
of our cluster Atlas as a high-performance computer. It will be switched off on December 1. Its
hardware will be used for other purposes. The remaining CPU time of your projects will be transferred
to Taurus.
Relocation of Venus
SGI will relocate Venus to the new computer room (LZR) in November. There, it will be connected to
the infrastructure of Taurus to get access to its faster and larger /scratch . This migration will require a
downtime of a few days. Once the exact date is set, you will be informed in more detail.
Shutdown of the old scratch file system
The scratch file system of these two machines (/fastfs on Atlas) is switched off at the same moment.
Please migrate your data from there on your responsibility. These plases are best suited as destinations
inside ZIH (see https://doc.zih.tu-dresden.de/hpc-wiki/bin/view/Compendium/DataManagement):
• / scratch file system on Taurus:. For the further processing of your current production data on
Taurus
• Project directories (/projects/<projectname>): To save important project-relevant data in the
HPC context, with backups and snapshots.
• Intermediate archive: storage of (larger) data for about 3 years on a hierarchical file system
(disk, tape) on complete user responsibility.
Please do not drop a lot of small files there.
• Long-term archive: Storage research-related data in accordance with DFG recommendation
over 10 years in the tape library.
Please contact Dr. Köhler ([email protected]).
Please use asynchronous commands dtcp, dtrsync, dttar on Taurus for these data transfers, like e.g.
dtrsync av /atlas_scratch/mark/current_data/ /scratch/mark/current_data/ (/scratch Taurus)
dttar czf /archiv/mark/results.01112015.tgz /atlas_scratch/mark/results (intermediate archive)
These transfer jobs are then automatically submitted to a queue on the data transfer node. After their
completion you get an e-mail.
Users who want to move a data volume larger than 1 TB, please contact our support team
([email protected]) as soon as possible. We will then discuss better suited transfer
options.
Best regards,
Ulf Markwardt

Download Report