Daten-Management (Teil 1)
In Gesprächen mit anderen 3D-Artists und Projektpartnern geht es meist um kreative Fragen und Prozesse, gelegentlich auch um neue Tools und Hardware aber eher selten um die trockene Frage der Datensynchronisierung. Dabei spielt gerade dieser Aspekt eine zentrale Rolle in der täglichen Organisation von Arbeitsabläufen und bei der Frage der Arbeitseffizienz. Dies gilt insbesondere für kleine Studios, wo sich nicht eine eigene IT-Abteilung um die Fragen von Backups, Datensynchronisierung, Cloud-Anwendungen usw. von mehreren mobilen oder stationären Geräten kümmert und die damit anderen den Rücken für die kreativen Aspekte des Jobs frei hält.
Jedes 3D-Studio häuft über die Jahre ein gewaltiges Reservoir an digitalen Daten an. Zigtausende Bilddateien, die für die Generierung bzw. zur Verfeinerung von komplexen Materialshadern oder als Hintergrund-Billboards und Oberflächenreferenzen usw. verwendet werden, finden sich ebenso darin, wie umfangreiche 3D-Modell-Bibliotheken, die fertig texturierte Objekte zur zeitsprarenden Ausgestaltung von Aussen- oder Innenansichten enthalten. Ergänzend kommen Plugins, Skripte und andere Tools (z.B. Generatoren, die Abläufe im 3D-Modeling beschleunigen) hinzu, die sortiert und leicht auffindbar abgelegt werden müssen. Zwar hat jeder 3D-Visualisierer ein bevorzugtes Grundrepertoire an Werkzeugen und Arbeitsabläufen, doch stellt jedes Projekt wieder neue Anforderungen, die das beschriebene Archiv rasch um neue Tools und Hilfsmittel anwachsen lassen.
Datensynchronisierung bei kommerziellen Cloud-Diensten
Um auf allen Geräten diese Daten zur Verfügung zu haben und um sich in der gewohnten Ordnerstruktur zu bewegen, ist eine planmässige Datensynchronisierung notwendig. Das manuelle Kopieren der Daten von einem System auf das andere ist mühsam und fehleranfällig. Es empfielt sich hier also nach einer praktikableren Möglichkeit der Datensynchronisierung Ausschau zu halten.
Wer nur geringe Datenmengen verarbeitet oder für den eine schnelle Datenübertragung keine Priorität darstellt, der kann natürlich auf einen der vielen Cloud-Anbieter zurückgreifen, die seit einigen Jahren ihre Dienste für genau solche Synchronisierungs-Prozesse anbieten. Allerdings stellen die kommerziellen Cloud-Systeme auf der kostenfreien Ebene nur sehr begrenzten Speicherplatz von max. 1 GB zur Verfügung (Stand 08/2020) bzw. sind sicherheitstechnisch bedenklich. Wer mehr Platz benötigt, muss tiefer in die Tasche greifen und sich bei teuren Abo-Modellen verpflichten. Je höher das genutzte Datenvolumen ist, desto eher bindet man sich allerdings auch dauerhaft an den betreffenden Anbieter, da der spätere Umzug der Daten zu einem anderen Cloud-Anbieter ein mühsamer Prozess bleibt.
Gerade im geschäftlichen Bereich ist auch die Offenlegung von möglicherweise sensiblen Kundendaten ein Kriterium: wer einen kommerziellen Cloud-Anbieter wählt, lässt damit datentechnisch „die Hosen herunter“ – alle Daten zur eigenen Firma, Projekten oder privaten Angelegenheiten liegen auf einem fremden Speicher, von dem man kaum mehr als die im Impressum angezeigte Firmenadresse und Versprechen bezüglich der angestrebten Serversicherheit kennt?
Dann lieber ein eigenes System zur Datensynchronisierung aufstellen, über das man die volle Kontrolle hat und das je nach Bedarf beliebig skalierbar ist. Vor diesem Hintergrund habe ich für mein eigenes Studio eine Lösung entwickelt, die seit einigen Monaten unkompliziert, störungsfrei und vor allem schnell arbeitet. Da ausschliesslich marktübliche Komponenten zum Einsatz kommen, ist sie problemlos nachzureproduzieren und zu erweitern.
Bedarfsanalyse
Zunächst gilt es bei solchen Datensynchronisierungs-Systemen den eigenen Bedarf zu definieren und die notwendige Hardware entsprechend einzugrenzen. Es gibt auf dem Markt der Sync- und Backup-Systeme diverse Anbieter, die sich im Segment der Solo-Selbständigen bzw. kleinen Studios und Agenturen positioniert haben. Von der Hardware-Seite hatte ich mit einigen dieser Anbieter gute Erfahrung gemacht, doch trennte sich die Spreu vom Weizen vor allem bei der Software-Ebene, und den Tools, die zumeist über ein „Dashboard“, also eine browserbasierte Benutzeroberfläche, gesteuert werden können. Hier sollte man sich vor einer solchen Anschaffung nicht nur die Schlagwörter der Produktwerbung ansehen, sondern die Benutzerhandbücher der mitgelieferten Synchronisierungssoftware durchlesen, um sicher zu gehen, dass die Leistungen vor allem auf der Software-Ebene dem eigenen Bedarf entsprechen.
Als Bedarf habe ich für mich unter Rücksichtsnahme meines üblichen Workflows eine Datensynchronisierung definiert, bei der
- frei definierbare Ordner/Dateien
- auf beliebig vielen Rechnern,
- über ein Gigabit-LAN bzw. von aussen über das Internet
- mittels einer 2-Wege-Synchronisierung*
- in eine geräteübergreifend identische Laufwerks- und Ordnerstruktur ablegt werden, und
- in die bei Bedarf weitere Speichermedien (z.B. für wöchentl. Backups) integriert
- und später mit Blick auf die Speicherkapazität skaliert werden können.
* Daten, die auf einem der Clients gelöscht werden, werden auch auf dem NAS gelöscht bzw. umgekehrt.
Dieser Bedarf hängt in meinem Fall mit den Spezifika der von mir verwendeten 3D-Software zusammen. Bei der Erstellung eines 3D-Projekts werden zahlreiche Bild-, Textur- und Presetdateien aus anderen Ordnern mit dem 3D Modell verknüpft. Ändert sich der Ordnerpfad zu diesen Quelldaten, lassen sich die entsprechenden 3D Materialien/Shader im 3D Modell nicht mehr laden und alle Dateiverknüpfungen müssen teils händisch neu aufgebaut werden – ein fehleranfälliger und vor allem zeitraubender Prozess.
Eine weitere Motivation zur Einrichtung des Synchronisierungs-Archivs ist die effiziente Nutzung von Preset-Ordnern wie sie z.B. von Cinema 4D oder ZBrush zur Einrichtung benutzerspezifischer Objekt- und Texturbibliotheken verwendet werden. Der Zielordner auf den etwa ein Preset-Objekt in Cinema 4D für Texturen usw. verweist, muss auf unterschiedlichen Rechnern, an denen das Projekt bearbeitet wird, identisch sein, da sonst die verwendeten Materialien der Bibliothek nicht auf anderen Rechnern dargestellt werden.
Wie die zu synchronisierende Ordnerstruktur exemplarisch aussehen könnte, illustriert Abbildung 2:
Technischer Überblick
Als Hardware zur Datensynchronisierung nutze ich die Synology Diskstation DS218+ mit 2 WD red-Festplatten sowie mehrere über USB mit der Diskstation verbundene externe Festplatten mit jeweils 8 TB sowie einer internen RAM-Erweiterung des NAS. Die allgemeinen technischen Leistungsmerkmale des NAS-Systems können auf der Herstellerseite eingesehen werden.
Die Grundeinrichtung des NAS mit dem Aufspielen des NAS-Betriebssystems auf der Diskstation sowie die Installation und Einrichtung der Synology-Apps auf dem Dashboard des NAS-Betriebssystems nimmt etwa 1 Stunde in Anspruch und sollte mit Sorgfalt und nach Studium des online-Handbuchs bzw. der Video-Tutorials vorgenommen werden. Die zentralen Elemente der späteren Synchronisierungsabläufe sind die „Synology Drive“-App (zusammen mit der „Synology Drive Admin-Konsole“) sowie die „Hyper Backup“-App (für die regelmässigen Backups auf einen mobilen Datenträger, s.u.).
Ist das NAS einsatzbereit werden in der „File Station“-App (vergleichbar mit dem „Explorer“ bei Windows) die Team-Ordner angelegt, über die später die Synchronisierung mit den an das NAS angebundenen Computern erfolgen soll. Die Team-Ordner müssen natürlich nicht denselben Namen tragen wie die damit synchronisierten Ordner auf den einzelnen Rechnern, doch empfiehlt sich dies zur besseren Übersicht (vgl. Abb. 2).
Die Synchronisierung erlaubt es nun, dass z.B. auf allen Rechnern die Bild-Datei metall-zink015.png im Ordner F:\texturen\metalle\ liegt und bei Änderungen in Echtzeit auf allen eingebundenen Geräten aktualisiert wird. Texturen und Shader, die auf diese Bild-Datei zugreifen, können also auf allen Rechnern, die in das Netzwerk eingebunden sind, denselben Dateipfad verwenden und müssen die Textur nicht mehr im jeweiligen Textur-Ordner des Projektes abspeichern, um rechner-übergreifend den Texturpfad erhalten zu können. Dies spart viel Speicherplatz und vereinfacht den Zugriff und die Anpassung von Texturen enorm. Identisch läuft es bei Skripten, Plugins und Presets ab. Auch hier liegen die jeweiligen Daten auf allen Rechnern in denselben Verzeichnissen. So etwa eine Presets-Bibliothek für Holz-Materialien im Verzeichnis E:\sync\liberary\. Alle Rechner, auf denen z.B. ein 3D-Modell geöffnet wird, das auf einen speziellen Shader aus dieser Presets-Vorlage zugreift, beziehen sich somit auf denselben Dateipfad. Dadurch ist ausgeschlossen, dass Dateipfade nach Verschieben eines Projektordners oder nach Übertragung auf einen anderen Rechner ins Leere laufen und die Dateiverknüpfungen jedes Mal neu eingerichtet werden müssen.
Vorteile des Systems
Da alle Daten auf den eingebundenen Geräten auch Lokal gespeichert sind, liegt eine x-fache Sicherung vor. Zugleich verursacht ein Serverausfall kaum Probleme, da lokal an allen Geräten voll weitergearbeitet werden kann und die Synchronisierung nach Beheben des Server-Problems wieder angestossen werden kann.
Ein mobiles Arbeiten mit ALLEN Daten ist uneingeschränkt möglich. Wird der Laptop nach der Phase des mobilen Arbeitens wieder ins System eingebunden, läuft die Datensynchronisierung über das LAN in wenigen Sekunden. In Ausnahmesituationen ist der Zugriff auf die NAS von aussen und eine externe Synchronisation natürlich auch jederzeit möglich.
Durch die parallele Speicherung auf mehreren Geräten plus den NAS-Speichermedien ist der Verlust von Daten quasi ausgeschlossen. Die NAS-interne „Papierkorb“-Funktion bzw. die Versions-Speicherung (von jeder geänderten Datei werden x frühere Versionen gesichert) schafft hier ebenfalls Absicherung vor Datenverlust bzw. ungewolltem Löschen von Dateien/Ordnern.
Speichereffizienz, Flexibilität und Skalierbarkeit
Synology bietet – ähnlich den bekannten Cloud-Anbietern – die Möglichkeit, Dateien und Ordner als lokale Kopien zu deklarieren, damit diese permanent auf dem jeweiligen, lokalen System gespeichert werden. Alternativ kann man vom NAS nur „bei Bedarf“ die betreffenden Dateien herunterladen, um hierdurch Speicherplatz zu sparen. Den unterschiedlichen Status einzelner Ordner und Dateien markiert das NAS im Datei-Explorer des Clients mit unterschiedlich farbigen Symbolen (grüner Kreis mit weissem Haken = permanent gespeicherte Kopie, usw.).
Bislang bieten die verbreiteten Cloud-Anbieter nur ein sehr begrenztes Speichervolumen für kostenlose Accounts. Wechselt man zu einem kostenpflichtigen, kommerziellen Account erhöht sich damit zwar der verfügbare Speicherplatz, doch reicht dieser in den meisten Fällen nicht aus, um grosse Datenvolumen zu archivieren. Hier spielt das Synology-System ganz klar seine Vorzüge aus, ist doch die Speichergrösse im Grunde nicht beschränkt und zu jedem späteren Zeitpunkt relativ kostengünstig erweiterbar. Auch die komplette Übertragung auf ein grösseres RAID-System (etwa vom 2-Slot System der DS218+ auf das 4-Slot System DS420+) ist ohne Einschränkungen möglich und in kurzer Zeit realisiert.
Datentransfer-Leistung
Ein lokales Netzwerk auf Gigabit-Basis lässt sich parallel auf mehreren Rechnern einsetzen, ohne dass die Synchronisation zu Verzögerungen in der Übertragung führt. Dateien werden somit quasi in Echtzeit von einem System auf das andere übertragen. Die schnelle Verbindung im LAN sorgt dafür, dass selbst mehrere TB grosse Dateien innerhalb weniger Sekunden übertragen werden. Im Gegensatz dazu quälen sich bei einer Cloud-Lösung (s.o.) alle Dateien zunächst durch das schmale Upload-Nadelöhr, um dann auf die anderen Systeme im Netzwerk über dasselbe Nadelöhr wieder heruntergeladen zu werden. Bedenkt man die Grösse von 3D-Projektdateien, die häufig im Gigabyte-Bereich liegen, ist die schnelle Übertragung über das lokale Netzwerk ein grosser Vorteil des Systems, zumal die dual-core Prozessoren (2 GHz bis 2.5 GHz) der DS218+ ausreichend Power bieten, um mehrere Applikationen (Backup, Kopien/Verschieben von Daten, Indizierung u.a.) parallel bewältigen zu können. Eine RAM-Erweiterung der Diskstation bringt weitere Leistungsvorteile. In meiner bisherigen Nutzungszeit gab es keinen Fall, in dem tatsächlich 100% Leistung vom Prozessor abverlangt wurden. Mehrere Widgets im Browser-Interface der DS geben laufend Auskunft über die Resourcen von Prozessor, Arbeitsspeicher und Speichermedien.
Sicherheit
Dank 250 Bit-Verschlüsselung sind die Daten auf der Synology sicher. Auch der Diebstahl des Geräts aus den Büroräumen würde kein Sicherheitsleck bedeuten, da der Zugriff z.B. auf sensible Kundendaten ohne die entsprechenden digitalen Zugangsschlüssel zum Entsperren der jeweiligen Ordner blockiert bleibt.
Es empfielt sich auf jeden Fall neben dem normalen Synchronisations-Kreislauf aller Geräte ein zusätzliches Backup einzurichten, bei dem die Daten vom NAS auf einen externen Datenträger gesichert werden. Hierfür bietet die DS218+ USB-Anschlüsse, über die die Daten schnell auf eine externe Festplatte übertragen werden können. Der externe Datenträger kann dann nach der Sicherung ausgeworfen und an einem anderen Ort deponiert werden. Im Falle eines Feuers oder Einbruchs sind die Dateien dann nicht verloren. Das UI des Synology-Assistenten bietet hierfür z.B. mit der Hyper Backup-App eine intuitive und sehr zuverlässige Lösung an, die ich seit Einrichtung des Systems laufend nutze. Die Festplatte wird am Front-USB-Anschluss der DS angeschlossen, der Backup-Vorgang mit einem Klick angestossen und die Speicherung der zuletzt aktualisierten Dateien läuft automatisch.
Fazit
Die DS218+ bietet eine sehr gute Lösung, um Daten entsprechend des oben beschriebenen Bedarfs zu synchronisieren und zu verwalten. Die zahlreichen Einstellungsmöglichkeiten erlauben es mir, die Datensynchronisierung einzelner Ordner und Dateien zu administrieren und den wechselnden Erfordernissen entsprechend anzupassen.
