Verbindung zu Azure Data Lake Storage

Wichtig

1. ADLS arbeitet im Rahmen der Fabric-Replikation innerhalb der Lizenz.
2. Alle Anforderungen müssen erfüllt sein – die benötigten Informationen finden Sie hier.

Übersicht

In der Übersicht sehen Sie alle vorhandenen Connections. Sie können gezielt nach einer bestimmten Connection suchen, die Spaltenauswahl anpassen oder mit dem Button New Connection eine neue Connection anlegen.

Anlage

Wechseln Sie zu Einstellungen > Connections, klicken Sie auf New Connection und Azure Data Lake Storage. Vergeben Sie einen Namen für die neue Connection.

ADLS Endpoint-URL – diese finden Sie im Azure Portal unter Ihrem Data Lake Storage Gen2-Konto im Bereich „Endpoints“ oder „Data Lake Storage“.

Verzeichnisstruktur

• Flat: Dateien werden in einer flachen Hierarchie gespeichert, typischerweise in einem Ordner oder in wenigen Ordnern ohne tiefere Struktur. Es gibt keine Unterverzeichnisse, die eine zeitliche oder inkrementelle Trennung darstellen.
• Inkremental: Die ADLS Gen2-Verzeichnisstruktur für inkrementelle Aktualisierungen umfasst gewöhnlich eine Organisation nach Datum oder Zeit, zum Beispiel YYYY/MM/DD/HH oder YYYYMMDD, sodass nur neue Dateien innerhalb eines bestimmten Zeitraums von Datenpipelines verarbeitet werden.

Dateiformat

• CSV
• Parquet

Authentifizierungstypen

1. Service Principal
   Bitte ziehen Sie den Artikel zu den Service Principal-Abschnitten heran, um die entsprechenden API-Berechtigungen und zuzuweisenden Rollen einzusehen. Dieser Schritt muss abgeschlossen werden, um Service Principal zu konfigurieren.
   Richten Sie die Zugriffssteuerung (IAM) ein: Navigieren Sie im Azure ADLS-Konto auf Container- und Speicherkonto-Ebene zu Access control (IAM), und fügen Sie die Rollen Storage Account Contributor sowie Storage Blob Data Contributor für Service Principal hinzu.

• Tenant ID: Sie finden die Tenant ID im Azure Portal unter Microsoft Entra ID
• Client ID: Sie finden die Client ID im Azure Portal in Ihrer App-Registrierung
• Client Secret: Azure Portal > App Registration > Ihre App > Manage > Certificates & secrets > Value (dies enthält den Client Secret)

2. Shared Access Signature
   Um Shared Access Signature Authentication zu verwenden, wechseln Sie zum ADLS Storage-Konto > Security + Networking > Shared access signature.
   Im Abschnitt „Allowed resource types“ müssen alle Optionen aktiviert sein (Service, Container, Object):
   
   Klicken Sie auf Generate SAS and connection string, um die SAS Token zu erzeugen. Kopieren Sie den String.

3. Access Key – beziehen Sie den Access Key im ADLS Storage > Security + Networking > Access keys > Wert von Key kopieren

4. User Assigned Managed Identity – geben Sie die Client ID ein

5. System Assigned Managed Identity

Connection testen – falls der Verbindungstest fehlschlägt, erhalten Sie mögliche Lösungsvorschläge. Sie können zudem weitere Details zur möglichen Ursache einsehen.

Berechtigungen

Hinweis

Wenn Sie keine Teams oder Benutzer auswählen, können alle Benutzer von dab Nexus diese Connection verwenden.
Wählen Sie ein oder mehrere Teams oder Benutzer aus, können nur diese die Connection nutzen.

Bearbeiten

Sie können eine bestehende Connection bearbeiten. Klicken Sie dafür einfach im Überblick auf deren Namen – Sie gelangen dann zurück zu den Einstellungen der Connection.

Löschen

Wichtig

Das Löschen einer Connection kann aktive (geplante) Tasks beeinflussen und dazu führen, dass diese fehlschlagen.
Das Löschen kann nicht rückgängig gemacht werden.