ETLExtract, Transform, Load

Co to jest ETL

Nazwa ETL pochodzi od trzech kroków: extract, transform, load, czyli pobierz, przekształć, załaduj.

• Pobieranie: dane trafiają z systemów źródłowych, np. z CRM, ERP, sklepu, programu do faktur czy arkuszy, przez API, eksport plików albo połączenie z bazą.
• Przekształcanie: dane są ujednolicane. Daty dostają jeden format, nazwy klientów są porządkowane, duplikaty usuwane, waluty przeliczane, kody produktów mapowane na wspólny słownik.
• Ładowanie: gotowe dane zapisuje się w miejscu docelowym, najczęściej w bazie lub hurtowni danych, z której korzystają raporty.

Do czego ETL służy w firmie

Najczęściej do raportowania. Gdy sprzedaż jest w CRM, faktury w programie księgowym, a koszty w arkuszu, nikt nie ma pełnego obrazu bez ręcznego składania danych. ETL robi to automatycznie i regularnie, a narzędzia Business Intelligence pokazują wynik na wykresach.

Drugie zastosowanie to przenoszenie danych między systemami, na przykład przy zmianie programu. Wtedy ETL jest częścią migracji danych, którą opisujemy na stronie usługi migracja danych.

Jak to wygląda w praktyce

To przykład ilustracyjny. Agencja marketingowa chce widzieć rentowność klientów. Każdej nocy przepływ pobiera godziny pracy z systemu do ewidencji czasu, faktury z programu do fakturowania i koszty mediów z arkusza. Przypisuje je do klientów według wspólnego identyfikatora, przelicza godziny na koszt i zapisuje w bazie raportowej. Rano zarząd widzi raport rentowności bez ręcznego składania arkuszy. Szerzej piszemy o tym w artykule rentowność klientów agencji.

ETL a ELT

W nowszym podejściu, ELT, dane najpierw ładuje się w surowej postaci do hurtowni, a przekształca dopiero tam. Dla małej i średniej firmy różnica jest zwykle mniej ważna niż to, żeby proces był opisany, powtarzalny i miał właściciela.

Jak zacząć

Zacznijcie od jednego raportu, który dziś składa się ręcznie z kilku źródeł. Spiszcie, skąd pochodzi każda liczba, jak ją przeliczacie i jak często raport jest potrzebny. To wystarczy, żeby zbudować pierwszy przepływ ETL. Kolejne raporty zwykle korzystają z tych samych danych, więc każdy następny powstaje szybciej.

Na co uważać

• Wspólne identyfikatory. Bez jednego numeru klienta lub produktu w różnych systemach nie da się poprawnie połączyć danych.
• Jakość źródeł. ETL nie naprawi danych, które od początku są wpisywane niedbale. Pomaga deduplikacja danych i jasne zasady wprowadzania.
• Monitoring. Gdy jedno źródło przestanie odpowiadać, raport pokaże niepełne liczby. Przepływ powinien zgłaszać takie sytuacje.
• Jedno źródło prawdy. Trzeba ustalić, który system jest nadrzędny dla danej informacji, o czym piszemy w haśle jedno źródło prawdy.

Budową takich przepływów i raportów zajmujemy się w usłudze automatyzacja raportów.