Die SDIL-Plattform ist eine leistungsstarke in-memory Computing-Infrastruktur, die Forschungsprojekten kostenfrei durch unsere Projektpartner zur Verfügung gestellt wird.
Sie wird vom Steinbuch Centre for Computing (SCC) am KIT betrieben und bietet modernste Software und Hardware.
Die SDIL-Plattform wird durch mehrere gestaffelte Firewalls geschützt. Der Zugriff ist ausschließlich über spezielle Login-Maschinen möglich und nur Nutzern erlaubt, die vorher in unserem Identitäten-Management-System registriert wurden. Die Hardware selbst wird in einem abgetrennten Server-Raum mit dedizierter Zugangskontrolle betrieben.
Jede Datenverarbeitung erfolgt unter Einhaltung deutschen Datenschutzrechts. Der Zugriff auf Datenquellen ist nur möglich, wenn dieser im Vorfeld durch den Datenanbieter explizit genehmigt wurde.
Zum Schutz vor Datenverlust führen wir regelmäßige verschlüsselte Sicherungen in unserer Bandbibliothek durch. Nach Beendigung eines SDIL-Projektes werden die Daten des Projekts von der Plattform gelöscht.
Datenspeicher für Projekte
Nachdem Sie Ihren Benutzeraccount für SDIL registriert haben, können Sie Daten in die Plattform laden und verarbeiten. Für das Kopieren in die Plattform stehen die SFTP- und SCP-Protokolle zur Verfügung. Alle Nutzer erhalten ein dediziertes, privates Verzeichnis für Ihre Dateien. Für Projekte, in denen mehrere Nutzer gemeinsam arbeiten, stellen wir Projektverzeichnisse zur Verfügung, auf die nur Mitglieder des Projektes Zugriff haben.
Um Ihnen die Möglichkeit zu geben, versehentlich gelöschte oder veränderte Dateien wiederherzustellen, bieten wir verschlüsselte Dateisystem-Snapshots. Diese sind sowohl für Nutzer- als auch Projektverzeichnisse verfügbar.
Virtualisierung und Ressourcen-Management HTCondor Um die SDIL-Rechenressourcen effizienter nutzen zu können und Beeinflussungen durch verschiedene Nutzer zu vermeiden, verwenden wir das HTCondor Batchsystem. Dieses verwaltet verfügbare Ressourcen und garantiert Nutzern exklusiven Zugriff auf angeforderte Ressourcen. Des weiteren verhindert HTCondor die Überlastung unserer Rechenknoten durch zu viele parallel laufende Rechnungen. Nutzer können Informationen über momentan laufende […]
IBM Open Platform mit Hadoop und Spark Mit der IBM Open Platform verfügt die SDIL-Plattform über ein Cluster von IBM Power8-Knoten mit Apache Hadoop. Dieses umfasst unter anderem Spark als dezentrale in-memory Berechnungsengine, MapReduce, Hbase, Hive und Pig. Als Basis dient unser zentrales SpectrumScale-Cluster-Dateisystem. IBM SPSS Modeler Der SPSS Modeler ist eine Daten- und Text-Mining-Plattform […]
Terracotta BigMemory Max Terracotta BigMemory Max ist eine in-memory Datenmanagement-Plattform entwickelt von der Software AG für Echtzeit-Massendaten-Anwendungen. Sie unterstützt verteilte in-memory Datenspeicher-Topologien. Dies erlaubt es, Daten in verschiedenen verteilten Caches und in-memory Speicherbereichen zu verwalten. BigMemory Max Cluster verwenden dabei Terracotta Server Arrays, um Daten, die auf mehreren Anwendungsknoten verteilt sind, zu verwalten. BigMemory Max […]
SAP HANA ist eine revolutionäre Plattform, die es Kunden ermöglicht, große Datenmengen in Echtzeit zu analysieren, flexible Analysemodelle zu erstellen sowie Anwendungen in Echtzeit zu entwickeln und in Betrieb zu nehmen. Die SAP HANA in-memory Appliance steht Ihnen auf der SDIL-Plattform zur Verfügung. Zusätzlich haben wir die Application Function Library (AFL) auf unseren HANA-Instanzen installiert. […]
