Direkt zu Hauptinhalt

Verbindung zu Azure Data Lake Storage

Wichtig
  1. ADLS arbeitet unter der Fabric-Replikation in der Lizenz.
  2. Alle Anforderungen müssen erfüllt sein – die Informationen, die Sie benötigen, finden Sie hier.
Hinweis

dab Nexus erstellt für jede Tabelle ein Verzeichnis im Storage Container. Es wird wie folgt benannt: /sap-export/<table-name>/. Die folgende Konvention gilt für die Parquet-Dateien in diesem Verzeichnis: yyyyMMddHHmmSS_SID_CLIENT_delta.

Übersicht​

In der Übersicht sehen Sie alle derzeit bestehenden Verbindungen. Sie können nach einer bestimmten Verbindung suchen, die Spaltenauswahl anpassen oder eine neue Verbindung mit der Schaltfläche New Connection erstellen.


Erstellung​

Navigieren Sie zu Einstellungen > Verbindungen, klicken Sie auf New Connection und Azure Data Lake Storage. Geben Sie einen Namen für die neue Verbindung ein.

ADLS Endpoint-URL – diese finden Sie im Azure Portal unter Ihrem Data Lake Storage Gen2-Konto im Bereich „Endpoints“ oder „Data Lake Storage“.

Verzeichnisstruktur

  • Flach: Dateien werden in einer flachen Hierarchie gespeichert, meist in einem einzelnen Ordner oder wenigen Ordnern ohne tiefgehende Struktur. Es gibt keine Unterverzeichnisse, die eine zeitliche oder inkrementelle Trennung darstellen.
  • Inkremental: Die ADLS Gen2-Verzeichnisstruktur für inkrementelle Updates beinhaltet in der Regel die Organisation von Ordnern nach Datum oder Zeit, wie YYYY/MM/DD/HH oder YYYYMMDD, sodass nur neue Dateien innerhalb eines bestimmten Zeitbereichs von Datenpipelines verarbeitet werden.

Dateiformat

  • CSV
  • Parquet

Authentifizierungstypen​

  1. Service Principal Lesen Sie den Artikel zu den Service Principal-Abschnitten, um die entsprechenden API-Berechtigungen und die zuzuweisenden Rollen hinzuzufügen. Dieser Schritt muss abgeschlossen werden, um Service Principal zu konfigurieren. Konfigurieren Sie die Zugriffssteuerung (IAM): Auf Containerebene und Speicherkontoebene (im Azure ADLS-Konto) zu "Access control (IAM)" navigieren und die Rollen Storage Account Contributor sowie Storage Blob Data Contributor für Service Principal hinzufügen.
  • Tenant ID: Sie finden die Tenant ID im Azure Portal unter Microsoft Entra ID
  • Client ID: Sie finden die Client ID im Azure Portal in Ihrer App-Registrierung
  • Client Secret: Azure Portal > App-Registrierung > Ihre App > Verwalten > Zertifikate & Geheimnisse > Wert (dies enthält die Client Secret)

  1. Shared Access Signature Um die Shared Access Signature Authentifizierung zu verwenden, gehen Sie zu Ihrem ADLS Storage-Konto > Sicherheit + Netzwerk > Shared Access Signature. Im Abschnitt „Zulässige Ressourcentypen“ müssen alle Optionen aktiviert sein (Service, Container, Objekt):
    nexus_conn_adls_1 Klicken Sie auf „Generate SAS and connection string“, um die SAS Token zu erstellen. Kopieren Sie den String.

  2. Access Key – erhalten Sie den Access Key unter ADLS Storage > Sicherheit + Netzwerk > Zugriffs-Schlüssel > Wert von „Key“ kopieren

  3. User Assigned Managed Identity – geben Sie die Client ID ein

  4. System Assigned Managed Identity

Verbindung testen – falls der Verbindungstest fehlschlägt, erhalten Sie mögliche Lösungen. Sie sehen auch weitere Details zum möglichen Problem.

Berechtigungen​

Hinweis

Wenn Sie keine Teams oder Benutzer auswählen, können alle Benutzer von dab Nexus diese Verbindung nutzen. Wählen Sie ein oder mehrere Teams oder Benutzer aus, können nur diese die Verbindung nutzen.


Bearbeiten​

Sie können eine bestehende Verbindung bearbeiten. Klicken Sie einfach auf deren Namen in der Übersicht und Sie gelangen zu den Einstellungen der Verbindung zurück.


Löschen​

Wichtig

Das Löschen einer Verbindung kann aktive (geplante) Aufgaben beeinflussen und möglicherweise zum Fehlschlag dieser führen. Dieser Löschvorgang kann nicht rückgängig gemacht werden.