Przejście do głównej treści

Polaczenie z Azure Data Lake Storage

Wazne
  1. ADLS funkcjonuje w ramach replikacji Fabric okreslonej w licencji.
  2. Wszystkie wymagania musza zostac spelnione — niezbedne informacje znajda Panstwo tutaj.
Wskazowka

dab Nexus tworzy katalog dla kazdej tabeli w Storage Container. Zostanie on nazwany: /sap-export/<table-name>/. Dla plikow Parquet w tym katalogu obowiazuje nastepujaca konwencja: yyyyMMddHHmmSS_SID_CLIENT_delta.

Przeglad​

W tej sekcji mozna zobaczyc wszystkie aktualnie istniejace polaczenia. Istnieje mozliwosc wyszukania konkretnego polaczenia, dostosowania wyswietlanych kolumn lub utworzenia nowego polaczenia za pomoca przycisku New Connection.


Tworzenie​

Nalezy przejsc do Ustawien > Polaczenia, kliknac New Connection oraz Azure Data Lake Storage. Prosze podac nazwe dla nowego polaczenia.

ADLS Endpoint URL — znajda Panstwo ten adres w Azure Portal pod swoim kontem Data Lake Storage Gen2, w sekcji „Endpoints” lub „Data Lake Storage”.

Struktura katalogow

  • Plaska: Pliki sa przechowywane w uproszczonej hierarchii, zwykle w jednym folderze lub w kilku folderach bez rozbudowanej struktury. Nie wystepuja podkatalogi odzwierciedlajace rozdzielenie czasowe lub inkrementalne.
  • Inkrementalna: Typowa struktura katalogow ADLS Gen2 dla aktualizacji inkrementalnych polega na organizacji folderow wedlug daty lub czasu, np. YYYY/MM/DD/HH lub YYYYMMDD, tak aby przetwarzane byly jedynie nowe pliki z okreslonego przedzialu czasowego w ramach przeplywow danych.

Format plikow

  • CSV
  • Parquet

Typy uwierzytelnienia​

  1. Service Principal W celu dodania odpowiednich zakresow API oraz nadania wymaganych ról, prosze przeczytac artykul dotyczacy sekcji Service Principal. Wykonanie tego kroku jest niezbedne do prawidlowej konfiguracji Service Principal. W ustawieniach kontroli dostepu (IAM): Na poziomie kontenera i konta magazynowego (w koncie Azure ADLS), nalezy wybrac Access control (IAM), dodac Storage Account Contributor oraz Storage Blob Data Contributor dla Service Principal.
  • Tenant ID: Tenant ID znajda Panstwo w Azure Portal w ramach Microsoft Entra ID
  • Client ID: Client ID widoczny jest w Azure Portal w sekcji App Registration
  • Client Secret: Azure Portal > App Registration > Your App > Manage > Certificates & secrets > Value (pole to zawiera Client Secret)

  1. Shared Access Signature Aby zastosowac uwierzytelnianie Shared Access Signature, nalezy przejsc do konta ADLS Storage > Security + networking > Shared access signature. W sekcji „Allowed resource types” nalezy aktywowac wszystkie opcje (Service, Container, Object):
    nexus_conn_adls_1 Proszę kliknac Generate SAS and connection string, aby wygenerowac SAS Token. Nastepnie nalezy skopiowac wygenerowany ciag.

  2. Access Key — klucz dostepowy mozna pobrac z ADLS Storage > Security + networking > Access keys > kopiuj wartosc Key

  3. User Assigned Managed Identity — nalezy podac Client ID

  4. System Assigned Managed Identity

Testowanie polaczenia — w przypadku niepowodzenia testu polaczenia, zostana zaprezentowane mozliwe rozwiazania. Istnieje rowniez mozliwosc sprawdzenia szczegolowych informacji o przyczynie bledu.

Uprawnienia​

Uwaga

Jezeli nie zostanie wybrany zaden zespol ani uzytkownik, kazdy uzytkownik dab Nexus bedzie mogl korzystac z tego polaczenia. Gdy zostanie wybrany jeden lub kilku uzytkownikow lub zespolow, tylko oni uzyskaja dostep do tego polaczenia.


Edycja​

Mozna edytowac istniejace polaczenie. Wystarczy kliknac jego nazwe w widoku przegladu, aby powrocic do ustawien tego polaczenia.


Usuwanie​

Wazne

Usuniecie polaczenia moze wplynac na aktywne (zaplanowane) zadania i potencjalnie spowodowac ich niepowodzenie. Ta operacja jest nieodwracalna.