Praca z dużymi plikami MS Excel - co zrobić by Excel działał szybciej
Największe firmy mimo deklaracji posiadania "data lake" i podejmowania "data driven" decyzji posługują się często... plikami Excela. Głównymi powodami dlaczego tak robią jest brak niezbędnych umiejętności wśród pracowników. Excel jest znaną aplikacją, zatem jeśli jest do przygotowania raport czy analiza używane jest narzędzie które jest znane. Pozyskanie nowych umiejętności wymaga inwestycji; czy to czasu czy też środków na szkolenie. Excel kusi łatwością tworzenia - szybko możesz stworzyć coś w arkuszu lub kilku. Rezygnacja z takiego stylu pracy wymaga też determinacji i uporządkowana obiegu informacji wewnątrz firmy.
Co "zyskujesz" analizując dane w Excelu? Eksportowanie dużych ilości danych z wielu źródeł jest czasochłonne, nudne i podatne na błędy. Dopiero po zakończeniu raportowania wiesz, co się dzieje. Zazwyczaj jest to tylko raz w tygodniu. Do tego czasu utracono wiele okazji do optymalizacji i podjęcia działań naprawczych. Do czasu wypełnienia raportu jest on prawie nieaktualny. Niezbyt dobra sytuacja.
Konsekwencja pracy z Excelem jest powstawanie "silosów" - dane i rezultaty są bardzo lokalne. Nie musisz rezygnować z Excela całkowicie. Używaj go jednak tam gdzie ma to sens. Najczęściej najlepszym powodem będzie przygotowanie raportu ad hoc na niewielkiej ilości zagregowanych danych, sprawdzenie obliczeń, nadanie raportowi finalnego wyglądu, stworzenie nietypowych wykresów na podstawie przygotowanych danych, użycie go jako formularza do spontanicznego zebrania potrzebnych danych od współpracowników.... Microsoft Excel ma swoje miejsce w firmie ale używaj go z głową.
Uruchamianie skryptów Python w Pentaho PDI
Python jest jednym z najbardziej popularnych języków programowania. Różne statystyki pokazują że jest to albo lider albo zajmuje jedno z trzech miejsc na podium. Dlaczego Python jest tak popularny? Python to język wysokiego poziomu, który charakteryzuje się bardzo prostą składnią. Jest językiem o bardzo szerokim zastosowaniu, pozwalającym na napisanie dosłownie wszystkiego przy użyciu odpowiednich bibliotek lub frameworków. Python jest też często używany jako język skryptowy w aplikacjach napisanych w innych językach. Trzeba podkreślić również fakt, że środowisko Python jest banalnie proste do instalacji a rozszerzanie możliwości przez dodatkowe biblioteki błyskawicznie szybkie i nie absorbujące użytkownika.
Czasami w Pantaho robimy rzeczy które trudno zrealizować używając standardowych komponentów - dlatego bardzo łatwo możemy rozszerzyć możliwości Pentaho wstawiając odpowiedni skrypt napisany w Python'ie.
Google Colaboratory
Czy słyszałe(a)ś o notatniku Jupyter? Jeśli nie, możesz przeczytać ten artykuł by dowiedzieć się czym jest ten projekt i jak go używać. Notatnik Jupyter integruje kod i jego dane wyjściowe w jednym dokumencie, który łączy wizualizacje, opis, równania matematyczne i inne multimedia. Jest to dokument, w którym można uruchamiać kod, wyświetlać dane wyjściowe, a także dodawać objaśnienia, formuły, wykresy i sprawić, że praca będzie bardziej przejrzysta, zrozumiała, powtarzalna i udostępniana. Sam notatnik pobierasz np. jako pakiet Python i po uruchomieniu serwisu masz dostęp do prostego serwisu web w którym tworzysz i zarządzasz swoimi notatnikami. Lokalnie.
Wyobraź sobie że jest jednak znacznie wygodniejsze środowisko by tworzyć notatniki zawierające szczegóły twoich projektów w języku Python. Środowisko gotowe do użycia, zawierające wszystko czego potrzebujesz bez tracenia czasu na instalację, pobierania wymaganych modułów i pakietów. Tym gotowym serwisem jest Google Colaboratory - w skócie Google Colab.
Co to jest Colaboratory?
Colaboratory (czyli w skrócie „Colab”) to usługa opracowana przez Google Research. Colab umożliwia każdemu użytkownikowi pisanie i uruchamianie w przeglądarce dowolnego kodu Python. Usługa ta nadaje się zwłaszcza do analizy danych, 'machine learning' i nauki. Od strony technicznej Colab to hostowana usługa notatników Jupyter, do której używania nie trzeba niczego konfigurować. Zapewnia ona bezpłatny dostęp do zasobów obliczeniowych obejmujących m.in. układy GPU.
Tech Trends 2022
The beginning of the year is always the time when the Internet is full of predictions of what technologies will dominate the next year and other Paulo Coelho’s hints what really matters in life. Here comes our top four:
Small businesses can do more now thanks to software
Since the software "automates", if the software "analyzes" and "makes decisions," you don't need a human to perform a large number of these tasks. So smaller companies can act like larger ones. They can afford it. An organization of several people can fulfill all the functions of large companies. The power of small businesses is particularly evident in the technology sectors - when small meets large, small almost always wins. Now, thanks to the software, we will see it more often in other industries [read more].
Knowledge Even More Pricey
Someday, we will be able to write an AI that can actually think and be creative. It will be able to learn and extend itself beyond its current programming…. Stanislaw Lem would have written.
However, the software is made by people. Today, creating IT solutions means putting together a puzzle - a relatively short list of functions and algorithms creates the most complex system. But to put these puzzles into a meaningful picture, you need knowledge. Therefore, skills come at a higher price than the software itself. The computer programs make a difference not because they are easy, but because they are hard to make.