Przejdź do głównej zawartości

Połączenie z chmurą Google Cloud Storage

Wymaganie licencyjne

Google Cloud Storage stanowi rozszerzenie licencji dab Nexus. Musi zostać uwzględnione w licencji dab Nexus, zanim możliwa będzie konfiguracja połączenia.

Przegląd​

Google Cloud to zbiór usług chmurowych dostarczanych przez firmę Google. Oferuje infrastrukturę, platformę, usługi magazynowania, przetwarzania danych oraz aplikacji, którymi można zarządzać za pomocą konsoli Google Cloud. Google Cloud Storage to zarządzana usługa przechowywania obiektów w Google Cloud. Dane przechowywane są jako obiekty w kontenerach zwanych koszykami. W dab Nexus połączenie z Google Cloud Storage może być wykorzystane jako docelowa lokalizacja wyeksportowanych danych w formacie CSV lub Parquet. Dodatkowe informacje dostępne są w oficjalnej dokumentacji Google: Google Cloud

Wymagania wstępne​

Przed przystąpieniem do konfiguracji Google Cloud Storage w dab Nexus należy upewnić się, że spełnione są następujące wymagania:

  • Konto Google oraz aktywne konto Google Cloud z włączonym rozliczaniem.
  • Projekt Google Cloud. Podczas pierwszego korzystania z Google Cloud, może być dostępny projekt domyślny, np. My First Project. Alternatywnie można utworzyć lub wybrać dedykowany projekt dla połączenia dab Nexus.
  • Koszyk Google Cloud Storage do przechowywania eksportowanych danych.
  • Konto usługi Google Cloud z odpowiednimi uprawnieniami do odczytu i zapisu w wybranym koszyku. W celu nadania minimalnych niezbędnych uprawnień zaleca się przyznanie jedynie tych, które są konieczne dla operacji wykonywanych przez połączenie. Wymagane uprawnienia i dostępne role IAM opisuje oficjalna dokumentacja Google Cloud:
  • Plik klucza konta usługi służący do uwierzytelniania połączenia w dab Nexus. Konto usługi identyfikowane jest przez parę kluczy RSA. Podczas generowania kluczy użytkownik otrzymuje od Google plik z danymi dotyczącymi konta.
informacje

Koszyk musi istnieć przed utworzeniem połączenia w dab Nexus. Nazwa koszyka powinna zostać wprowadzona dokładnie taka, jak figuruje w Google Cloud Storage.

Tworzenie połączenia z Google Cloud Storage​

Proszę przejść do: Ustawienia > Miejsca docelowe danych > Połączenia chmurowe > Nowe połączenie > Google Cloud Storage Proszę podać nazwę połączenia i skonfigurować poniższe pola.

Koszyk​

Nazwa koszyka docelowego. Wartość ta musi być identyczna z nazwą koszyka w Google Cloud Storage.

Struktury katalogów​

Płaska​

Pliki wyeksportowane trafiają bezpośrednio do wybranego katalogu głównego, bez podziału na podkatalogi. Opcję Płaska należy wybrać, gdy dane mają być umieszczone w strukturze płaskiej. Przykład:

<target-directory>/
├── BKPF_S4H_100_Init.csv
└── MARA_S4H_100_Init.csv

Przyrostowa​

Pliki wyeksportowane zapisywane są w osobnym katalogu dla każdej tabeli, a każdy eksport generuje plik z oznaczeniem czasowym. Opcję Przyrostowa należy wybrać, jeśli dane mają być zapisywane w strukturze przyrostowej.

Wybrana struktura katalogów decyduje o sposobie, w jaki dab Nexus rozmieszcza wyeksportowane pliki w określonym koszyku i folderze bazowym.

<target-directory>/
└── <table-name>/
    └── <timestamp>_<SID>_<CLIENT>_<type>.<format>
Ważne

W przypadku struktury Incremental, Merge nie łączy nowych danych z istniejącym plikiem. Zamiast tego, każdy eksport powoduje utworzenie nowego, oznaczonego czasowo pliku w odpowiednim katalogu tabeli, a istniejące pliki pozostają niezmienione. Struktura Katalogów determinuje obsługiwane Strategie Replikacji:

  • Płaska → Nadpisywanie
  • Przyrostowa → Scalanie

Te kombinacje są wymuszane podczas walidacji zadania.

Format pliku​

Proszę wybrać format pliku dla eksportowanych danych:

  • CSV
  • Parquet

Folder bazowy​

Opcjonalnie można wskazać folder w koszyku, w którym będą przechowywane eksportowane dane. Jeśli nie zostanie podany folder bazowy, domyślnie wykorzystywana jest wartość sap-export.

Uwierzytelnianie​

Połączenia z Google Cloud Storage korzystają z uwierzytelniania typu Service Account Key.

  1. Należy ustawić Typ uwierzytelniania na Service Account Key.
  2. W sekcji Service Account Key wybrać opcję Wybierz.
  3. Wskazać plik klucza konta usługi.

Konto usługi musi posiadać odpowiednie uprawnienia do skonfigurowanego koszyka Google Cloud Storage i operacji eksportu danych.

Testowanie i utworzenie połączenia​

Aby zweryfikować poprawność konfiguracji oraz dostęp do docelowego koszyka, należy wybrać Testuj połączenie. Po zakończeniu testu można zapisać połączenie, wybierając Utwórz.

W przypadku niepowodzenia testu połączenia należy zweryfikować poniższe elementy:

  • Czy podana nazwa koszyka dokładnie odpowiada nazwie koszyka w Google Cloud Storage.
  • Czy wybrany plik klucza konta usługi jest prawidłowy.
  • Czy konto usługi posiada wystarczające uprawnienia do wybranego koszyka.
  • Czy opcjonalny folder bazowy został wpisany zgodnie z zamierzeniem. W przypadku braku potrzeby podawania niestandardowej wartości, stosowana jest domyślna wartość sap-export.