Wichtig: Bevor Du eine der folgenden Connections erstellen kannst, musst Du folgende Dinge beachten: 1. Diese Art der Connections müssen separat lizenziert werden 2. Stelle sicher, dass alle Voraussetzungen erfüllt wurden: alle Informationen findest Du hier
Voraussetzungen
Das Speicherkonto für die Verbindung mit dab Nexus konfigurieren:
Anmelden beim Azure-Portal und zum Azure-Speicherkonto navigieren. Im linken Bereich zu Datenverwaltung -> Datenschutz navigieren. Diese 3 Optionen deaktivieren: Vorläufiges Löschen für Blobs aktivieren, Vorläufiges Löschen für Container aktivieren und Unterstützung für Unveränderlichkeit auf Versionsebene aktivieren. Änderungen speichern.
Data Lake Gen2 upgrade - Im Speicherkonto im linken Fensterbereich navigieren zu Einstellungen -> Data Lake Gen2-Upgrade. Es gibt 3 Schritte. Alle Schritte ausführen, um das Upgrade durchzuführen.
ADLS
Im Nexus auf Settings -> Connections dann auf + Connection klicken. Azure Data Lake Storage auswählen.
Name: Gib der neuen Verbindung einen Namen.
General
ADLS Endpoint URL - Im Azure-Portal wählen im Data Lake Storage Gen2-Konto die Option Datenspeicher -> Container aus. Den Container auswählen. Im linken Fensterbereich Einstellungen -> Eigenschaften auswählen. Die URL kopieren. Das allgemeine Format lautet: https://<adlsstroageaccount>.blob.core.windows.net/<container>
Directory Structure Bestimmen auf welche Weise die Daten innerhalb des Azure Data Lake Storage-Containers organisiert werden sollen:
Flat - Dateien werden in einer flachen Hierarchie gespeichert, in der Regel in einem einzigen Ordner oder in wenigen Ordnern ohne tiefe Struktur. Es gibt keine Unterverzeichnisse, die eine zeitliche oder inkrementelle Trennung darstellen.
Incremental - Die ADLS Gen2-Verzeichnisstruktur für inkrementelle Updates umfasst in der Regel die Organisation von Ordnern nach Datum oder Uhrzeit, z. B. JJJJ/MM/TT/HH/ oder JJJJMMTT, sodass nur neue Dateien innerhalb eines bestimmten Zeitraums von Datenpipelines verarbeitet werden.
File Format
CSV
Parquet
Authentication
Authentication Type
Service Principal - Siehe den Artikel zu den Service Principal- Bereichen, um die entsprechenden API-Bereiche und die zuzuweisenden Rollen hinzuzufügen. Dieser Schritt muss abgeschlossen werden, um Service Principal zu konfigurieren. Die Zugangssteuerung (IAM) konfigurieren: Navigieren Sie auf der Ebene des Containers und des Speicherkontos (im Azure ADLS-Konto) zu Zugriffssteuerung (IAM) und fügen Sie die Rollen Speicherkontobeitragender und Speicher-Blob-Datenbeitragender für den Dienstprinzipal hinzu.
Tenant ID - Im Azure-Portal unter Microsoft Entra Id -> Overview.
Client ID - Im Azure-Portal unter Microsoft Entra Id -> Manage -> App registrations -> <DeinApp>. Gehen Sie zu deiner App und kopiere die Anwendungs-ID (Client-ID).
Client Secret - Im Azure Active Directory -> App registrations -> Dein App. Navigieren zur App. Klicken auf Verwalten -> Zertifikateund Geheimnisse. Unter Clientgeheimnisse enthält der Wert das Clientgeheimnis.
Shared Access Signature
SAS Token - Um die Shared Access Signature Authentication zu verwenden, navigieren Sie in Ihrem ADLS-Speicherkonto zu Sicherheit + Netzwerkbetrieb -> Shared Access Signature. Bei der Erstellung einer Shared Access Signature müssen unter Zulässige Ressourcentypen auch Dienst, Container und Objekt ausgewählt werden.Klicken Sie auf SAS und Verbindungszeichenfolge generieren, um das SAS-Token zu erstellen. Kopieren Sie die Zeichenfolge.
Access Key
Access Key - Beziehen Sie den Access Key vom ADLS Storage. Navigieren Sie im linken Bereich zu Sicherheit + Netzwerkbetrieb -> Zugriffschlüssel. Kopieren Sie den Wert von Schlüssel“.
