Przejście do głównej treści

Polaczenie chmurowe z Azure Data Lake Storage

Wazne
  1. ADLS funkcjonuje zgodnie z Fabric Replication przewidzianym w licencji.
  2. Wszystkie wymagania musza byc spelnione — niezbedne informacje mozna znalezc tutaj.
Wskazowka

dab Nexus tworzy katalog dla kazdej tabeli w Storage Container. Nazwa katalogu to: /sap-export/<table-name>/. Dla plikow Parquet znajdujacych sie w tym katalogu obowiazuje nastepujacy schemat nazw: yyyyMMddHHmmSS_SID_CLIENT_delta.

Przeglad​

W przegladzie widac wszystkie polaczenia chmurowe, ktore w danej chwili istnieja. Mozna wyszukac konkretne polaczenie, dostosowac wybor kolumn lub utworzyc nowe polaczenie, uzywajac przycisku New Connection.


Tworzenie​

Nalezy przejsc do ustawien: Ustawienia > Polaczenia chmurowe, kliknac New Connection oraz Azure Data Lake Storage. Prosze wprowadzic nazwe nowego polaczenia chmurowego.

ADLS Endpoint URL — znajdzie Pan/Pani w Azure Portal, pod swoim kontem Data Lake Storage Gen2, w sekcji 'Endpoints' lub 'Data Lake Storage'.

Struktura katalogow

  • Flat: Pliki sa przechowywane w plaskiej hierarchii, zazwyczaj w jednym folderze lub w kilku folderach bez rozbudowanej struktury. Nie wystepuja podkatalogi rozdzielajace pliki w sposob czasowy lub inkrementalny.
  • Incremental: Wykorzystuje strukture katalogu tabeli + plikow z oznaczeniem czasowym. Dla kazdej eksportowanej tabeli tworzony jest dedykowany katalog, a kazde uruchomienie ekstrakcji generuje nowy plik z oznaczeniem czasowym, umieszczony w odpowiednim katalogu tabeli. Umozliwia to inkrementalne przetwarzanie nowych, wygenerowanych plikow.

Format pliku

  • CSV
  • Parquet

Typy uwierzytelniania​

  1. Service Principal Prosze zapoznac sie z artykulem dotyczacym sekcji Service Principal, aby dodac odpowiednie zakresy API oraz przypisac wymagane role. Ten etap jest niezbedny, aby skonfigurowac Service Principal. Konfiguracja Access control (IAM): Na poziomie kontenera i konta magazynu (w Azure ADLS account), nalezy przejsc do Access control (IAM), dodac Storage Account Contributor oraz Storage Blob Data Contributor dla Service Principal.
  • Tenant ID: Tenant ID znajduje sie w Azure Portal pod Microsoft Entra ID
  • Client ID: Client ID mozna znalezc w Azure Portal — w sekcji App Registration
  • Client Secret: Azure Portal > App Registration > Your App > Manage > Certificates & secrets > Value (zawiera Client Secret)

  1. Shared Access Signature Aby skorzystac z Shared Access Signature Authentication, nalezy przejsc do konta magazynu ADLS > Security + networking > Shared access signature. W sekcji 'Allowed resource types' wszystkie opcje musza byc aktywowane (Service, Container, Object):
    nexus_conn_adls_1 Prosze kliknac Generate SAS and connection string, aby utworzyc SAS Token. Nastepnie trzeba skopiowac wygenerowany ciag znakow.

  2. Access Key — klucz uzyskuje Pan/Pani z ADLS Storage > Security + networking > Access keys > prosze skopiowac wartosc Key

  3. User Assigned Managed Identity — nalezy wprowadzic Client ID

  4. System Assigned Managed Identity

Test polaczenia — jesli test nie przejdzie pomyslnie, pojawia sie sugestie rozwiazania. Mozna tez sprawdzic szczegoly dotyczace wystepujacego problemu.

Uprawnienia​

Uwaga

Jesli nie zostana wybrane zadne zespoly ani uzytkownicy, polaczenie moze wykorzystywac kazdy uzytkownik dab Nexus. Jesli wybrany zostanie co najmniej jeden zespol lub uzytkownik, tylko oni zyskaja dostep do polaczenia.


Edycja​

Istniejace polaczenie chmurowe mozna edytowac. Wystarczy kliknac jego nazwe w przegladzie, aby powrocic do ustawien tego polaczenia.


Usuniecie​

Wazne

Usuniecie polaczenia chmurowego moze wplynac na aktywne (zaplanowane) zadania i doprowadzic do ich bledow. Tego procesu nie da sie cofnac.