Zarządząnie projektami i środowiskami oraz migracja projektów w Apache HOP

Projekty w Apache HOP

Projekt to zbiór wszystkich plików używanych przez HOP które są powiązane z naszą pracą. Zwykle obejmuje to metadane, potoki, przepływy pracy, pliki referencyjne, dokumentację i tak dalej. Dobrą praktyką jest wykorzystywanie systemu kontroli wersji, np. GIT, by zapewnić spójność plików.

Organizacja prac w projekty jest wskazana jeśli prace nad rozwiązaniem prowadzi więcej niż jedna osoba. Definiowanie wspólnych zmiennych środowiskowych i konfiguracji na poziomie projektu umożliwia spójność i ułatwia współpracę. Wszyscy członkowie zespołu mogą korzystać z tych samych ustawień, co minimalizuje błędy wynikające z niezgodności konfiguracji.

Konfiguracje projektu przechowywane są w pliku hop-config.json, z którego hop/configdomyślnie odczytywany jest plik hop-config.json. Użyj zmiennej systemu operacyjnego HOP_CONFIG_FOLDER aby zapisać konfigurację Hop w folderze poza folderem Hop. Umożliwi to zachowanie listy projektów w przypadku zmiany instalacji Hop lub aktualizacji do nowszej wersji Hop.

Projekty mogą dziedziczyć metadane i zmienne z projektu nadrzędnego.

Projekty w Hop Gui będą pamiętać otwarte pliki, poziomy powiększenia i inne ustawienia interfejsu użytkownika.

Tworzenie projektu

Aby utworzyć nowy projekt należy w pasku zadań wybrać symbol 'p+':

W wyniku kliknięcia na tę ikonę pojawi się okno 'Project Properties' w którym zdefiniujemy lokalizację projektu (jeśli folder nie został utworzony wcześniej możemy użyć opcji by go utworzyć), opis projektu, nazwę pliku przetrzymującą ustawienia projektu i inne cechy:

Modyfikacja projektu

W każdej chwili możesz modyfikować ustawienia projektu klikając na symbol 'p_'.

Kasowanie projektu

Użyj ikony oznaczonej 'Px' by skasować projekt. Kasowanie projektu nie powoduje usunięcia folderu, zawartości i pliku konfiguracyjnego projektu. To tylko usunięcie informacji o projekcie w globalnym pliku konfiguracyjnym. Przy kasowaniu projektu nie są usuwane także skojarzone z projektem środowiska.

Środowiska w Apache Hop

Środowisko jest skrótem od "środowiska cyklu życia projektu". Opisuje fazę projektu w jego cyklu życia, przechodzącą od rozwoju, przez testowanie, akceptację do produkcji. Może również opisywać projekt w środowisku ciągłej integracji i tak dalej. W związku z tym następujące atrybuty definiują środowisko:

  •     Jego nazwa
  •     Nazwa projektu
  •     Faza
  •     Pliki konfiguracyjne, których chcesz użyć do zdefiniowania zmiennych specyficznych dla środowiska

Podobnie jak projekty, środowiska definiowane są w jednym lub kilku plikach konfiguracyjnych. Przechowuj pliki konfiguracyjne środowiska poza folderem projektu. Możesz nawet chcieć zaewidencjonować je w oddzielnym repozytorium kontroli wersji.

Każdy projekt może mieć kilka środowisk ale środowisko może być przypisane tylko do jednego projektu.

W zestawie plików projektu zazwyczaj nie znajdują się konfiguracje metadanych i wartości zmiennych wymagane do poprawnego działania projektu w danym środowisku.

Wszystkie zmienne umożliwiające połączenie z infrastrukturą, np. parametry połączenia z bazą danych, serwery pocztowe itp., które przyjmują różne wartości w różnych środowiskach, należy tworzyć na poziomie środowiska. Na przykład na laptopie deweloperskim możesz ustawić zmienną ${DB_HOSTNAME} na localhost, na serwerze produkcyjnym ta wartość może wskazywać na produkcyjny serwer bazy danych. Taka jest właśnie rola środowiska Hop.

Tworzenie środowiska

W momencie tworzenia nowego projektu Hop zaproponuje Ci utworzenie skojarzonego z projektem środowiska:

Kliknij na 'Yes' by przejść do okna w którym nadasz środowisku nazwę, określisz cel i przypiszesz środowisko do projektu. Sekcja 'Configuration files' pozwala Ci zdefiniować plik(i) konfiguracyjne środowiska w którym przechowywane będą zmienne używane w projekcie: w polu 'Filename' powinna byc lokalizacja pliku konfiguracyjnego a klikając na 'edit' edytujesz zmienne ktore się w tym pliku znajdują (dodawanie, edytowanie).

Nowe środowisko możesz też utworzyć w każdym momencie wybierając ikonę 'e+'.

Modyfikowanie środowiska

W każdej chwili możesz zmienić ustawienia środowiska lub jego przypisanie do danego projektu. By to wykonać użyj ikony oznaczonej symbolem 'e_'

Kasowanie środowiska

Kasowanie środowiska nie powoduje skasowania katalogu projektu lub katalogu w którym są przechowywane są pliki ustawienia środowiska ani samych plików. Jest to tylko usunięcie widoczności środowiska w programie.

Aktualizacja Apache Hop - migracja projektów

Kopiowanie konfiguracji do nowej wersji

Folder hop/config w Apache Hop przechowuje pliki konfiguracyjne, które są niezbędne do prawidłowego działania platformy. Pliki te zawierają ustawienia konfiguracyjne dotyczące różnych aspektów działania Apache Hop, takich jak połączenia do baz danych, zmienne środowiskowe, ustawienia użytkowników i inne parametry.

Folder hop/audit  przechowuje dane audytowe dotyczące wykonania potoków i przepływów pracy. Zawiera informacje takie jak:

  • Czas rozpoczęcia i zakończenia procesów
  • Status wykonania (sukces, niepowodzenie)
  • Szczegółowe logi błędów i wyjątków
  • Metadane dotyczące wykonania

Te dane są używane do monitorowania, analizowania wydajności oraz diagnozowania problemów w procesach ETL.

Jeśli chcesz używać nowej wersji Hop do pracy ze swoimi projektami, po prostu skopiuj te foldery do nowej wersji programu. Katalog hop/audit nie jest bezwzględnie wymagany - logi programu zostaną utracone i utworzone ponownie.

Użycie zmiennych systemowych

Drugą, wygodniejsza opcją jest użycie zmiennych systemowych HOP_AUDIT_FOLDER dla plików konfiguracyjnych i HOP_CONFIG_FOLDER dla logów i plików monitoringu. Utwórz te zmienne wskazujące na foldery na dysku i przy korzystaniu z różnych wersji Hop zawsze będzie widzieć te projekty i logi.