Przejdź do głównej treści

Polaczenie z Azure Data Lake Storage

Wazne
  1. ADLS funkcjonuje zgodnie z replikacja Fabric w ramach licencji.
  2. Nalezy spelnic wszystkie wymagania — potrzebne informacje mozna znalezc tutaj.

Przeglad​

W sekcji przegladu widoczne sa wszystkie aktualnie istniejace polaczenia. Mozna wyszukac konkretne polaczenie, zmodyfikowac wybor kolumn lub utworzyc nowe polaczenie, korzystajac z przycisku New Connection.


Tworzenie​

Nalezy przejsc do Settings > Connections, kliknac New Connection oraz Azure Data Lake Storage. Prosze podac nazwe nowego polaczenia.

ADLS Endpoint URL — mozna go znalezc w Azure Portal w swoim koncie Data Lake Storage Gen2, w sekcji 'Endpoints' lub 'Data Lake Storage'.

Struktura katalogow

  • Flat: Pliki sa przechowywane w plaskiej hierarchii, zwykle w jednym folderze lub kilku folderach bez zlozonej struktury. Nie wystepuja podfoldery odwzorowujace rozdzielenie czasowe lub inkrementacyjne.
  • Incremental: Struktura katalogow ADLS Gen2 dla inkrementacyjnych aktualizacji obejmuje organizacje folderow wedlug daty lub czasu, na przyklad YYYY/MM/DD/HH lub YYYYMMDD, dzieki czemu przetwarzane sa tylko nowe pliki ze wskazanego zakresu czasowego.

Format pliku

  • CSV
  • Parquet

Typy uwierzytelnienia​

  1. Service Principal W celu dodania odpowiednich zakresow API i wymaganych rol, prosze zapoznac sie z artykulem dotyczacym sekcji Service Principal. Ten krok nalezy wykonac, aby skonfigurowac Service Principal. Konfiguracja kontroli dostepu (IAM): Na poziomie kontenera oraz konta magazynu (w koncie Azure ADLS), nalezy przejsc do Access control (IAM) i dodac role Storage Account Contributor oraz Storage Blob Data Contributor dla Service Principal.
  • Tenant ID: Tenant ID mozna znalezc w Azure Portal pod Microsoft Entra ID
  • Client ID: Client ID znajduje sie w Azure Portal, w sekcji App Registration
  • Client Secret: Azure Portal > App Registration > Twoja aplikacja > Manage > Certificates & secrets > Value (zawiera Client Secret)

  1. Shared Access Signature Aby uzyc uwierzytelnienia Shared Access Signature, nalezy przejsc do konta ADLS Storage > Security + networking > Shared access signature. W sekcji 'Allowed resource types' wszystkie opcje musza zostac aktywowane (Service, Container, Object):
    nexus_conn_adls_1 Nalezy kliknac Generate SAS and connection string, aby utworzyc SAS Token. Nastepnie prosze skopiowac wygenerowany ciag znakow.

  2. Access Key — nalezy pobrac Access Key z ADLS Storage > Security + networking > Access keys > skopiowac wartosc klucza

  3. User Assigned Managed Identity — nalezy podac Client ID

  4. System Assigned Managed Identity

Test polaczenia — w przypadku bledu testu polaczenia, wyswietlone zostana mozliwe rozwiazania. Dodatkowo mozna sprawdzic szczegolowe informacje dotyczace potencjalnego problemu.

Uprawnienia​

Uwaga

Jesli nie zostana wybrane zadne zespoly lub uzytkownicy, polaczenie bedzie dostepne dla wszystkich uzytkownikow dab Nexus. Jesli zostanie wybrany co najmniej jeden zespol lub uzytkownik, tylko oni beda mogli korzystac z tego polaczenia.


Edycja​

Mozna zmodyfikowac istniejace polaczenie. Wystarczy kliknac jego nazwe w przegladzie, aby powrocic do ustawien tego polaczenia.


Usuniecie​

Wazne

Usuniecie polaczenia moze miec wplyw na aktywne (zaplanowane) zadania i spowodowac ich niepowodzenie. Operacji usuniecia nie mozna cofnac.