Jak sprawnie zbudować model danych korzystając z różnych źródeł?

[Przemysław Żukowski]: Witam Was wszystkich bardzo serdecznie na drugim dniu naszej wiosennej Akademii Analizy Danych. Wczorajszy dzień poświęciliśmy na to, aby nauczyć się w jaki sposób użytkownik biznesowy porusza się po narzędziu natomiast dzisiaj już będziemy mówili sobie o podłączeniu do konkretnych źródeł danych i zbudowaniu dobrego fundamentu pod naszą aplikację.

Ja nazywam się Przemek Żukowski i poprowadzę dla Was Cały ten cykl naszej wiosennej akademii, więc jeżeli będziecie mieli jakiekolwiek jeszcze pytania no to zachęcam jak zawsze do kontaktu. Kwestie organizacyjne tak na początek ponieważ jest nas bardzo dużo na naszym cyklu. Więc chciałbym zaproponować coś takiego, że jeżeli macie pytania to standardowo zadawajcie je podczas webinaru na czacie.

Wszystkie takie, powiedzmy, kwestie związane typowo z Qlikiem czy coś da się zrobić albo jak coś zrobić. Do tego z przyczyn oczywistych dotrę na końcu. Jeżeli nie uda mi się odpowiedzieć na wszystkie pytania, to będę starał się też jakby to wplatać w tematy kolejnych naszych spotkań. No i oczywiście jeżeli macie jakieś pytania bezpośrednio do mnie, to też możecie oczywiście korzystać z maila Bardzo ważna rzecz organizacyjna ponieważ też tak jak wspomniałem jest nas dużo i ciężko by było na bieżąco Wam wszystkim pomagać w trakcie tutaj ewentualnie robienia tego równolegle za mną Oczywiście nie zabraniam jak ktoś bardzo chce to może próbować, ale sugerowałbym aby skupić się na tym co Będę dzisiaj pokazywał, żeby sobie wszystkie te niuanse dobrze wyłapać a przejść przez to szkolenie już w dowolnym dogodnym dla Was czasie.

Najważniejsze jest to, że plik który potrzebujecie do Do pracy z naszą aplikacją, możecie go pobrać sobie później, a wszystkie nasze webinary są nagrywane, więc jeżeli z różnych względów część informacji gdzieś tam stracicie, bo akurat wskoczy na Was dziecko które jest z Wami i coś Wam umknie, to spokojnie są nagrania dostajecie je regularnie po każdym webinarze, także będziecie mogli Sobie do tego na spokojnie wrócić.

Nic wam nie umknie, więc sugeruję skupmy się dzisiaj na tym, co będę prezentował, tak abyście wyciągnęli z tego jak najwięcej. Plan zajęć naszej Akademii. Wczorajszy dzień, tak jak wspomniałem, omówiliśmy sobie to, co widzi, to, co potrafi zrobić, co może zrobić użytkownik biznesowy dzisiaj. Skupimy się na tym, aby właśnie zacząć stawiać dobre fundamenty pod naszą aplikację.

Czyli właśnie podłączyć się do różnych źródeł danych i zacząć je wizualizować. Jutro właśnie zajmiemy się wizualizacjami 2 kwietnia skupimy się na analizach geograficznych i na koniec dowiemy się, w jaki sposób możemy dzielić się tymi analizami z naszymi współpracownikami Więc to jest ten nasz plan, dzisiaj jesteśmy na etapie budowania właśnie modelu danych.

Dobra co już wiemy? Jak poruszać się po systemie, jak zadawać pytania, jak korzystać z różnego typu wizualizacji i w jaki sposób model asocjacyjny Qlik różni się od innych systemów opartych o zapytania SQLowe. Czego dowiesz się dzisiaj? Dzisiaj będziemy odkrywali, do jakich źródeł danych możemy się wspiąć Jak poskładać te różne źródła danych w jeden model, na podstawie którego później będziemy sobie tworzyli różnego typu analizy.

No i oczywiście, jakie triki mogę stosować, aby działać z zasadą jak to zrobić, żeby się nie narobić, czyli żeby zrobić sprytnie szybko i jak najmniej problemów. Jednym z tych właśnie problemów, które będziemy chcieli zniwelować to w jaki sposób przetwarzać te dane w sposób automatyczny tak aby te wszystkie procesy manualne, które nie daj Boże wykonujecie od czasu do czasu w swojej firmie, żeby móc je po prostu zautomatyzować.

Więc to są tematy na dzisiaj. Mogli się dobrze poruszać w naszych aplikacjach, no to dobrze by było wiedzieć z czego one się właśnie składają. Generalnie są to trzy proste elementy. Pierwszy z nich to są nasze dane. Drugi element to jest model danych i trzeci element to są wizualizacje. Te trzy elementy składają się kompletnie na jedną aplikację Qlik Sense.

Tak można bardzo z grubsza by było to powiedzieć. Jeśli chodzi o dane, to wszystko to, co właściwie ma postać elektroniczną możecie do Qlik’a podłączyć. Zaczynając od plików płaskich typu .txt, .excel .csv i tak dalej, to wszystko może być źródłem danych do Qlik’a. Różnego typu bazy danych ODBC, OLEDB, jakiekolwiek inne sterowniki w których będziecie chcieli korzystać, są też dla Was dostępne.

Jeżeli mówimy o jakichś systemach które są bardziej powiedzmy wysublimowane, Chociażby SAP, to też jest to źródło danych z którego możemy korzystać i w przypadku SAP też możemy to robić w bardzo fajny sposób, sięgając do różnych obszarów w SAPie, tak aby wykorzystać z niego jak najwięcej tego, co już tego SAPa de facto włożyliście.

No i też oczywiście źródła które należą do kategorii chmurowych. Są to też źródła do których możemy się podłączać. Dzisiaj pokażę Wam, gdzie szukać opcji na to, żeby się właśnie do nich dodać. Oczywiście to nie jest kompletny katalog. Jeżeli chcecie zobaczyć z czym działamy i w jaki sposób działamy, zawsze zachęcam też do zerknięcia na naszą stronę.

Tam znajdziecie Pełen obraz tego, co możecie zrobić. Model danych czyli ten drugi element, to już wczoraj troszeczkę poznaliście, czyli mówimy tutaj o modelu asocjacyjnym, gdzie właściwie każda dana jest połączona z każdą inną i wiemy w jaki sposób te połączenia następują. Natomiast między Z surowymi danymi a tym, aby one były spięte w model, musi coś nastąpić.

Tu nie ma magii, musi nastąpić pewien proces, który to zrobi. I bardzo ogólnie nazywamy ten proces procesem ETL, czyli Extraction Transformation in Cloud. Czyli dane pozyskujemy, transformujemy i ładujemy już do naszego docelowego modelu I to, co jest super istotne do podkreślenia jeśli chodzi o Qlika To oprócz tej warstwy wizualizacyjnej którą widzieliście już troszeczkę wczoraj, a jutro będziemy rozwijać oprócz tej warstwy wizualizacyjnej mamy w Plikach budowany naprawdę potężny silnik ETL-owy, więc jeżeli potrzebujecie w bardzo zaawansowany sposób przetwarzać dane, to znajdziecie to w tym filmie.

Narzędziu i nie musicie sięgać po żadne inne. Dzisiaj to, co będziemy sobie robili, tak na dobrą sprawę dotkniemy tylko czubka góry lodowej, czyli pokażę Wam, jak dostać się do tych obszarów właśnie związanych z modelowaniem danych. Natomiast jeżeli będziecie chętni do tego żeby zrobić krok dalej, zawsze dajcie proszę mi znać, chętnie pokażę, co i jak co jeszcze można wykorzystać Więc pomiędzy danymi surowymi, a naszym modelem będzie zachodził pewien proces i oczywiście ten proces będzie w pełni zautomatyzowany.

Dobra dane testowe. Tak jak wspomniałem, potrzebujesz tych danych dopiero po webinarze, więc na spokojnie zajrzyj sobie do maila po webinarze, tam znajdziesz link do nich, a za chwilkę też pokażę, w jaki sposób się do nich dobrać. Co tam znajdziesz? Są to przykładowe dane firmy które ja handluję, różnego typu Znajdziesz tam około 180 klientów około 2800 zamówień i około 80 produktów.

Dane zupełnie przykładowe, ale posłużą do tego żeby zrozumieć cały ten proces. Dane dotyczą sprzedaży, a więc to jest też taki najbardziej Dla nas oczywisty przykład z życia, bo jeżeli nawet ktoś zaczyna startować powiedzmy w obszarze analityki, to na co dzień robi zakupy wie mniej więcej jak to działa, więc jest w stanie się w tym procesie odnaleźć Stąd właśnie dane zakupowe i sprzedażowe będą tutaj używane.

Co jest jeszcze istotne, po zakończeniu tego webinara właśnie w tym miejscu na Google Drive, gdzie są dostępne też te dane źródłowe, opublikuję też wersję aplikacji na stan po zakończeniu dzisiejszego webinara. Tak, żeby jeżeli ktoś z Was gdzieś z czymś utknie, czegoś nie zrobi powiedzmy Dokładnie to będzie mógł skorzystać z mojego pliku aby po prostu skorzystać z kolejnej lekcji jutro.

Także nic się nie martwcie, jesteście tutaj w pełni zabezpieczeni. Dobra, tyle chyba gadania. Przejdźmy do live demo. Pierwsza rzecz, którą będę chciał Wam pokazać, to te właśnie pliki źródłowe. Czyli w momencie, kiedy w mailu odnajdziecie sobie link do nich, no to to będzie taka strona, do której się dostaniecie.

Czyli mamy tutaj dane źródłowe i te dane źródłowe po prostu pobierzmy sobie gdzieś tam w dowolne miejsce. Zachęcam do tego, żeby to było po prostu na pulpicie. Dobra, dane nam się zapisały, tego okienka już nie potrzebuje, więc wróćmy już do live demo. Tutaj tylko słowo komentarza dla wszystkich z was, którzy zarejestrowali się dosłownie w ostatnich minutach i zaczynają przygodę z nami Ważne jest to, byście założyli sobie konto na tzw.

Qlik Sense Business. Wszystkie szczegóły znajdziecie w mailu, także czytajcie się dobrze w niego, podążać dobrze instrukcją i jednym z etapów będzie właśnie ten moment, do którego tutaj dojdziecie, czyli po ustawieniu Qlik Sense Businessa będziecie mogli już się tutaj zalogować. No więc ja się loguję.

I wczoraj robiłem Wam tutaj trochę wprowadzenia więc dla wszystkich, którzy ominęli wczorajszą lekcję, zachęcam do tego, żeby się cofnąć Ja sobie skasuję tę podpowiadają i od razu zaczniemy sobie tworzyć aplikację. Jak widzicie W prawym górnym rogu mamy opcję do tworzenia właśnie takich aplikacji.

Jeżeli to Kliknę, to zobaczycie co jest tutaj dostępne. A, może jedną rzecz spróbuję. Mam nadzieję, że nam się to uda. Chyba teraz powinniście widzieć troszeczkę też lepiej bo pozbyłem się Górnych pasków, przeglądarki więc mam nadzieję, że będzie trochę przyjaźniej dla Was. Dobra więc jeszcze raz Klikamy sobie na utwórz i to, co zobaczycie tutaj, to są trzy opcje.

Idąc od dołu Utwórz łącza to jest możliwość podpięcia po prostu dowolnego linku który będzie tutaj też na tym naszym hubie opublikowany. To może być www.onet.pl albo jakieś wskazanie na przykład na serwer QlikView i odesłanie do aplikacji właśnie w QlikView. To jest ta ostatnia opcja Środkowa opcja czyli załaduj aplikację, to jest opcja dla tych wszystkich z Was, którzy do tej pory korzystaliście z Qlik Sense’a Desktop I już wiecie, że z końcem czerwca ten Qlik Sense Desktop darmowy przestanie być darmowy.

I tak na dobrą sprawę trzeba będzie się przesiąść na Qlik Sense Enterprise, żeby dalej z Qlik Sense Desktop’a móc korzystać. Więc jeżeli chcecie gdzieś tam zachować Waszą dotychczasową pracę i powoli migrować się do tych takich docelowych rozwiązań jak Qlik Sense Enterprise, no to tutaj możecie załadować swoje aplikacje I je podglądać.

Natomiast to co nas będzie interesowało to będzie stworzenie aplikacji zupełnie od zera. Czyli Klikamy sobie tutaj Ja tą aplikację nazwę jako Akademia, natomiast warto jeszcze tutaj wspomnieć o trzech elementach czyli przestrzeniach to są takie katalogi do których możemy publikować nasze aplikacje i za pomocą tych przestrzeni możemy decydować, kto z naszych współpracowników będzie to widział.

Tutaj możemy wpisać jakiś opis tej naszej aplikacji, tak aby był zrozumiały dla użytkowników końcowych. No i oczywiście, jeżeli to jest na przykład aplikacja dotycząca sprzedaży, to warto dodać jej różnego typu znaczniki, za pomocą których też będziemy mogli później po tej aplikacji się poruszać.

Stworzyliśmy sobie taką definicję naszej aplikacji. Klikamy na utwórz W tej chwili od razu zostaliśmy przekierowani do tej właśnie przestrzeni. Czyli jak widzicie mamy nasz tytuł aplikacji, mamy ten nasz opis, więc warto go umieszczać tak żeby właśnie było dla Użytkowników od razu zrozumiałe. Jeżeli chcemy wejść i zacząć już edytować tą aplikację, no to po prostu na nią Klikamy.

Aplikacja zaczyna nam się otwierać. Dobra więc to, co możemy tutaj zrobić, to jest nasz pierwszy krok, czyli dodajemy nasze źródła danych i możemy to zrobić tak na dobrą sprawę na trzy sposoby. Pierwszy z nich To opcja najtrudniejsza od razu powiem, więc do niej zajrzymy sobie później. Dla tych z Was, którzy już mają doświadczenie w QlikView, mogą sobie spokojnie startować z tego miejsca.

Druga opcja to jest korzystanie właśnie z tego kreatora, czyli w momencie, kiedy sobie tutaj Qlikniemy, Będziemy mieli dostęp do właśnie źródeł danych które możemy sobie tutaj podpinać. Na chwilkę będą nam się ładowały… No i jesteśmy.

Słowo wprowadzenia tutaj, tak jak pokazywałem wcześniej na prezentacji, mogą być to pliki płaskie mogą być to pliki baz danych. Natomiast tutaj już widzicie dokładnie do czego możemy się podpinać. Najczęściej pewnie jakiś SQL Server, będziemy mogli u Was znaleźć jakiegoś Oracle’a, ale jeżeli potrzebujecie się dostać do danych typu REST, to jak najbardziej tak Jeśli macie jakieś dane trzymane na Google Drive, to też jak najbardziej będzie można to zrobić w prosty sposób.

Jeżeli będziecie chcieli się podpiąć do SAP-a też jak najbardziej. Jeżeli jesteście użytkownikiem Snowflake’a, też jak najbardziej. Więc to są te miejsca z których możecie sobie startować, więc jeżeli będziecie chcieli się np. podpiąć do SQL Server’a Wprowadzamy jego dane i zaczynamy działać. Natomiast z racji tego, że będziemy sobie pracowali na pliku płaskim to pokażę Wam, jak to zrobić najprościej Czyli możemy sobie ten nasz pliczek Akademia po prostu przenieść tutaj.

W tej chwili wczytywany jest nie tylko ten Excel, ale jak później, mam nadzieję, uda mi się pokazać Qlik robi też kilka innych fajnych rzeczy. No dobra, w tym naszym Excelu może go jeszcze na sekundkę otworzę, tak żeby pokazać o co tutaj,

Mamy cztery zakładki, czyli zaczynamy sobie od klientów, mamy naszych dostawców Mamy jakieś produkty podzielone na kategorie z opisem, no i mamy poszczególne zamówienia czyli ID zamówienia, kiedy ono było złożone jaki produkt był wtedy kupiony, w jakiej wartości. To jest wszystko, co w tym Excelu w tej chwili siedzi.

No i teraz wszystko to, co sobie przeczytaliśmy do Qlika jest reprezentowane w formie takich właśnie bąbelków, które w tej chwili widzicie. Czyli tak, mamy naszych klientów mamy nasze zamówienia, mamy produkty jeżeli Kliknę na któryś z tych bąbli, to od razu poniżej mogę zobaczyć podgląd tego, co tam w tej tabelce siedzi.

I do tego miejsca na pewno jeszcze wrócimy, natomiast ponieważ pojawiały się już wczoraj pewne pytania na ile można, powiedzmy pracować z tymi danymi i je modyfikować w trakcie ładowania, to od razu pokażę, co jest tutaj jeszcze możliwe, a do tego miejsca na pewno wrócimy. Czyli w prawym górnym rogu mamy takie miejsce jak tabelek.

Jeżeli sobie w nie przejdziemy no to ten widok mamy dosyć podobny. Wybierając sobie poszczególny kafelek, widzimy jego podgląd. Widzimy też że te dane oczekują na dodanie i w tabelkach klienci i dostawcy widzimy też takie informacje taki jakby globusik, więc wiemy że to są dane geograficzne gotowe do podpięcia tutaj.

I w tym samym miejscu też możemy zacząć dodawać zupełnie nowe dane. Co możemy tutaj zrobić? Jeżeli wejdziemy sobie do tabelki z klientami

To możemy też wpływać na to, co jest tutaj prezentowane i w jaki sposób będzie to prezentowane. Czyli przykładowo wczytaliśmy sobie tutaj trochę informacji i takie informacje jak na przykład miasto, Qlik od razu zrozumiał, że są to informacje geograficzne i od razu odpowiednio je zaznaczył. Natomiast jeżeli byśmy się z tym nie zgadzali i potrzebny byłby jakiś nam inny format, to możemy to dowolnie zmienić, więc nic jak najbardziej możemy to na tym etapie modyfikować.

To jest pierwsza rzecz. Druga rzecz jest taka, że często jest tak, Dane które wczytujemy nie jesteśmy w stanie ich zmodyfikować u źródła, więc musimy wymyślić różnego typu mapowania albo podmianki, które błędne wartości będą nam przedstawiały w sposób poprawny Jak to zrobić w pliku? Jeden z najprostszych sposobów który w tej warstwie graficznej możemy zrobić to ujednolicenie nazewnictwa.

Czyli mamy tutaj nasze miasta. Ale wiem, że na przykład gdzieś tam w danych źródłowych występuje też warszawa 1. Jest to wartość błędna, chciałbym, aby ona była przedstawiona zawsze jako warszawa, więc tą warszawę możemy sobie ustawić już poprawnie i za chwilkę ta wartość z 36 zmieni się na 37. Więc już zadbaliśmy trochę o to, aby te nasze dane były czystsze i oczywiście tego typu operacje możemy sobie wykonywać na każdej z tych kolumn i możemy robić dużo więcej jeszcze oczywiście.

Możemy też na przykład stworzyć pola kalkulowane, czyli Jeżeli nie mamy jakiejś wartości wyliczonej wprost w danych źródłowych, które sobie ładujemy, możemy dodać pole obliczane. No i to pole obliczane może być wynikiem działania jakiejś funkcji, jakiegoś powiedzmy, mnożenia jednej kolumny przez drugą.

Tutaj macie dostęp do wszystkich funkcji, które możecie w ten sposób zastosować. Czyli na przykład jeżeli mówimy o Danych geoprzestrzennych i tak jak tutaj w tych danych mamy Lokalizację geograficzną tutaj już co prawda sklejoną w jedno pole, ale gdybyśmy mieli to oddzielne, to za pomocą funkcji Geo Make Point możemy zbudować sobie reprezentację geograficzną.

Tych funkcji mamy tutaj bardzo dużo do dyspozycji, jeżeli je wybierzecie to każda z nich też jest dobrze opisana, więc będzie można z tego helpa skorzystać. Więc tak, przede wszystkim zmiana typów pól, oczywiście wpływ na to, jak dana kolumna się nazywa, oczyszczanie tego, co w tych danych jest i możliwość stworzenia pól kalkulowanych to jest to, co już na tym etapie możecie sobie zrobić.

To, co jeszcze możemy robić w tym ujęciu takim kreator owym To jest na przykład możliwość dzielenia pól. Bardzo często spotykamy się z czymś takim, że jeżeli podłączamy się na przykład do danych maszynowych to one nadają pewien ciąg znakowy, gdzie pierwsze trzy znaki powiedzmy, znaczą partię, kolejne kilka oznacza kolor i tak dalej.

Więc przykładowo akurat tutaj danych maszynowych nie mamy, ale na przykładzie danych dostawcy możemy to pokazać jak to wygląda. Czyli możemy graficznie bardzo fajnie podzielić sobie Tą kolumnę na dwie nowe które będą zawierały na przykład trzy pierwsze albo dwie pierwsze wartości, które sobie ustawimy za pomocą tutaj tego kreatora i w drugiej kolumnie zostawimy tylko to, co jest tutaj po prawej stronie.

Oczywiście nazewnictwo tego możemy sobie tutaj dowolnie zmienić. Więc w ten sposób możemy też sobie na tych danych takich Nieprzygotowanych u źródła dobrze, możemy też sobie tutaj dobrze zadziałać.

To jest miejsce, w którym możemy właśnie jeszcze wpływać na nasze dane. Natomiast wróćmy sobie do asocjacji, bo bez tego Elementu tak na dobrą sprawę dużo więcej nie zrobimy. O co tutaj chodzi? Mamy w tej chwili zaczytanego jednego Excela ale jak widzicie każdy z tych bąbli jest od siebie odseparowany, nie jest w żaden sposób połączony.

No i teraz tak, przeważnie każdą czynność w Qliku możemy zrobić na kilka sposobów I jeszcze bardzo często do każdej z tych czynności mamy takiego, nazwałbym to, wirtualnego asystenta, który będzie nam trochę podpowiada jak to możemy zrobić. Oczywiście nie zawsze musimy się z nim zgadzać możemy zdecydować zupełnie po swojemu, ale czasami te sugestie są bardzo fajne.

Więc jak to działa? Musimy teraz połączyć te informacje ze sobą, ale pytanie jak? Więc zobaczmy, co na to nasz wirtualny asystent. Jeżeli złapie teraz za ten mój bąbelek nazwany klientami, to Qlik zasugeruje mi, że powinienem podłączyć jego do bąbelka z zamówieniami. Nie z dostawcami bo tutaj według niego takiego połączenia nie ma.

Niekoniecznie z produktami, Ale właśnie z zamówieniami, jeżeli się na to zgodzę to takie połączenie zostaje utworzone. Zaczyna to trochę wyglądać jak taki powiedzmy łańcuch w rowerze i jeżeli Klikniemy sobie na ten środkowy łącznik To będziemy wiedzieli po jakich polach po jakich kolumnach de facto zostało to połączone.

Tutaj mieliśmy zadanie proste bo i w tabeli klienci i w tabeli zamówienia mieliśmy pole, które nazywało się id klienta Więc tutaj Qlik miał dosyć proste zadanie, ale pierwotnie w tych danych źródłowych mieliśmy tutaj bodajże customer name, więc jakby nazewnictwo różne. Miałem info, że przez chwilkę mnie dosyć mocno cięło.

Wracając do tego miejsca nie wiem w którym momencie dokładnie mnie wycięło,

To powiem tak, czyli tak, połączyliśmy sobie te elementy może ja je rozłączę jeszcze na wszelki wypadek żeby cofnąć się, o, to jakieś dwie minutki. Więc tak, mieliśmy niepołączone nasze elementy z Excela, natomiast chcemy je w jakiś sposób połączyć. Nasz wirtualny asystent o którym wspominałem wcześniej, pozwoli nam to zrobić, czyli jeżeli złapie sobie za klientów Qlik zarekomenduje mi, że powinienem to połączyć do zamówień nie do dostawców, nie do produktów tylko właśnie do zamówień.

Skąd on to wie? Generalnie w przypadku tych dwóch tabelek, które włączymy, mamy tutaj dosyć prostą w tej chwili sytuację, czyli w jednym i w drugim mieliśmy pola ID klienta Qlik to fajnie zrozumiał. Natomiast pierwotnie w tych danych źródłowych, które dla Was przygotowałem, mieliśmy tutaj Customer ID. Mimo tego, że te nazewnictwo było różne, Qlik też poprawnie rekomendował nam to połączenie.

Dlaczego? No bo patrzę sobie też na zawartość tych pól, czyli nie tylko jak one się nazywają, ale także też co widać tu i co widać tu. Więc jeżeli te połączenie Jest dla niego odpowiednio mocna, to on to jej nam zarekomenduje. Jeżeli Klikniemy sobie w to miejsce, to zobaczymy że takich na przykład rekomendacji Qlik mógłby dać tutaj kilka w postaci takich boksów.

I możemy też zbudować sobie taką asocjację zupełnie niestandardową, czyli to my tutaj już w pełni przejmujemy stery i decydujemy po jakim polu chcielibyśmy to zrobić, czyli na przykład klient i datę zamówienia. Oczywiście te pola się tutaj nie połączą, ale pokazuję Wam tylko, w jaki sposób to może być zrobione i oczywiście może być to też pewna zlepka pól I to wszystko też jesteśmy w stanie robić na etapie właśnie kreatora graficznego.

Jeżeli te połączenia wam się nie podobają, możecie je po prostu rozciągnąć i w ten sposób je właśnie zerwaliście. I to była pierwsza podpowiedź naszego wirtualnego asystenta Możecie też skorzystać z tej podpowiedzi w pełnym wydaniu. Czyli tutaj po prawej stronie będziecie mogli zobaczyć takie rekomendacje.

Jeżeli ich nie widzicie trzeba włączyć taki wizard. Jak widać on się potrafi tutaj schować. Więc chcemy zobaczyć sobie podgląd tego, w jaki sposób Qlik połączyłby te dane za nas, więc Klikamy na wyświetl podgląd wszystkich i jeżeli to połączenie nam pasuje, to po prostu je zatwierdzamy. Więc istotne jest to, żeby Kliknąć tutaj na Zastosuj wszystkie.

Efekt będzie taki, że te niebieskie połączenia które przed chwilą widzieliśmy będą już szare więc wiemy że to zostało wykonane i jest ok.

Co jeszcze? Może tak pokażę dla użytkowników bardziej zaawansowanych, którzy by chcieli też w tej warstwie graficznej troszeczkę podziałać. W tej chwili te połączenia zostały wykonane. Natomiast jeżeli będziecie chcieli możemy też tworzyć tutaj różnego typu joiny Można to też robić na etapie skryptów To dla osób, które by chciały bardziej Gdzieś tutaj w czeluściach ustawień jeszcze pogrzebię.

No dobra to co musimy teraz zrobić, to załadować nasze dane. Czyli w tej chwili Qlik podłączy się do tego naszego Excela. Równie dobrze, gdybyśmy się podłączali do bazy danych, to właśnie teraz będzie wykonanie połączenia do bazy danych czy do jakiegokolwiek innego źródła. I teraz gdybym Kliknij na Edytuj arkusz to od razu przyszedłbym do tej części graficznej, ale to zostawiamy sobie na jutro.

Tak, żeby dokończyć tą kwestię związaną z budowaniem modelu danych, pokażę Wam co tutaj jeszcze możemy zrobić i jakie macie jeszcze możliwości. Więc Klikam sobie na Zamknij i udaje się w lewy górny róg naszej aplikacji Tutaj do waszej dyspozycji w tym menu, takim hambrgu mamy kilka pozycji. Te, które chciałbym wam w tej chwili pokazać to będzie przeglądarka modelu danych.

Zachęcam do Klikania tutaj Otwórz w nowej karcie, wtedy po prostu będziecie mogli sobie równolegle pracować i nad modelem i nad wizualizacjami. Więc to, co w tej chwili nam się, Wytworzyło to będzie właśnie podgląd na nasz model danych. On będzie bardzo podobny do tego co widzieliśmy przed chwilą czyli mamy nasze zamówienia, mamy naszych klientów i dostawców.

Każdą z tych tabelek możemy sobie podejrzeć i z tego miejsca gdyby ktoś bardzo chciał możemy też od razu tworzyć różnego typu wymiary, O tym będziemy sobie rozmawiali jutro w szczegółach, natomiast jeśli ktoś by chciał, to można już z tego poziomu to zrobić. To co jeszcze chciałbym Wam pokazać to jest ta cała magia która się wykonała w momencie kiedy składaliśmy sobie bąbelki.

Bo w momencie kiedy będziecie chcieli w jakiś sposób na nie wpłynąć albo je rozbudować, no to warto będzie też na przykład cofnąć się do skryptu Dla użytkowników biznesowych którzy gdzieś tam podłączają swoje proste Excele, a może nawet bardziej skomplikowane Excele, te opcje które do tej pory pokazałem będą w zupełności wystarczające Natomiast jeżeli chcielibyście zrobić krok dalej, to możemy sobie zerknąć jeszcze w to miejsce.

Otworzył nam się tutaj skrypt czyli to co działo się, że tak powiem, w tle tego naszego Klikania i mamy coś takiego tutaj jak sekcję wygenerowaną automatycznie. Jeżeli sobie do niej przejdziemy no to zobaczymy co tutaj się wydarzyło. Przede wszystkim w momencie, kiedy ładowaliśmy sobie dane, mieliśmy tam informacje geograficzne, więc Qlik rozpoznając je od razu dołączył do naszej aplikacji właśnie informacje o miastach, o krajach po to, żebyśmy mogli później też bardzo fajnie pracować z tymi danymi właśnie w wydaniu takim geograficznym.

Później zmienialiśmy naszą Warszawę 1 na Warszawę, tak aby jakby poprawnie wyświetlać wszystkie dane i informacje o tym znajdziecie tutaj. To jest taki prosty mapping, który też można później dalej rozbudowywać o kolejne opcje. Tutaj ładujemy już informacje o naszych klientach czyli poszczególne pola Tak jak widzicie możemy je w każdym momencie sobie przemianować na jakieś inne nazewnictwo nie takie jakie jest w źródle, tylko takie jakie nam jest potrzebne właśnie dla użytkowników biznesowych i widzimy że te dane pochodzą nam z konkretnego No i np.

gdybyście chcieli sobie zadanie uprościć macie np. wiele takich samych plików które chcielibyście załadować jednym prostym ruchem, wymagają one po prostu tylko tego samego formatu, możecie sobie odblokować ten skrypt czyli prawy górny róg, odblokuj i w tej chwili on jest już w pełni edytowalny. Czyli zakładając że informacje o klientach mam na przykład w wielu plikach bo na przykład mam je podzielone w poszczególnych latach, to żeby je zastać wszystkie za jednym razem z tego samego folderu, po prostu zmienię tutaj nazwę na gwiazdkę i wtedy wszystkie pliki, które tam się znajdują Będą w ten sposób zastosowane, tylko one po prostu wymagają tego, żeby były w takim samym formacie.

Więc tak jak widzicie możemy tutaj już po odblokowaniu możemy tutaj wpływać na to, jak to jest nazywane i możecie oczywiście dokładać kolejne I przeważnie to będzie tak że właśnie będziemy startowali sobie od tej sekcji main, która ustawia nasze główne zmienne, później na przykład skorzystamy z takiego szybkiego ładowania, a na końcu zaczniemy sobie dokładać na przykład jeszcze jakieś kolejne dane, które chcielibyśmy w naszej aplikacji mieć.

Klikamy sobie tutaj na utwórz nowe połączenie i analogicznie jak to pokazywałem wcześniej możemy je sobie po prostu wybrać. I tutaj uwaga będzie jedna z obowiązkowych prac domowych, zajęcia dodatkowe Polecam pobawić się na przykład tym konektorem, jeżeli prowadzicie jakiś fanpage albo chcecie przeanalizować jakiś publicznie dostępny fanpage, to skorzystajcie z tego konektora czyli stwórzcie sobie nową aplikację i podłączcie się do tego, zobaczcie jakie ciekawe dane możemy wyciągać także z Facebooka pomijając też oczywiście wszystkie inne źródła które tutaj widzicie.

Dobra, zapisujemy sobie tą aplikację. De facto ona zapisuje się sama, wszystkie zmiany są wykonywane w tle. Więc dane mamy zaczytane, model danych mamy przygotowany. No więc teraz wróćmy sobie do naszego huba Czyli znowu lewy górny róg i to menu hamburger, tak go nazywamy i wracam sobie do naszego huba Na naszym hubie mamy naszą aplikację, niewiele jeszcze tutaj się zmieniło, zmieniać się będzie mocno jutro Bo jutro dotykamy tej części wizualnej.

Niemniej jednak zadbaliśmy już o to, aby podstawy tej aplikacji i fundament były dobrze zbudowane, czyli mamy podłączone źródło danych, mamy tam ten właśnie bardzo prosty póki co, mechanizm ETL-owy, ale ten prosty mechanizm ETL-owy załatwia nam całą robotę ręczną, którą być może musimy wykonywać codziennie.

To już jest gotowe. Aby to jeszcze dodatkowo zautomatyzować robimy prostą rzecz czyli na aplikacji wchodzimy sobie w jej szczegóły i wybieramy opcję zaplanuj przeładowanie. Harmonogram jest w tej chwili nieaktywny, chciałbym go ustawić, chciałbym żeby wykonywał się np. co godzinę i zapisuję. I w tej chwili, jeżeli jestem podpięty do jakiegoś źródła typu baza danych albo właśnie plik excelowy, który jest gdzieś tam na bieżąco uaktualniany, to co godzinę będę miał w tej aplikacji świeże dane i nie będę musiał w żaden sposób o nie dbać.

Co więcej, jeżeli ktoś znowu w dane źródłowe wprowadzi nam do Warszawy jeden, Nieszczęsną, Talk Script zadba już o to, aby to przetworzyć do poprawnej wersji. Oczywiście, ponieważ kreatywność ludzka nie zna granic to takich przypadków będziemy mieli zdecydowanie więcej, więc nad tym mappingiem na pewno warto popracować lub wykorzystywać wszystkie funkcje Które macie w pliku dostępne właśnie z racji tego, że to jest potężne też narzędzie do przetwarzania danych i narzędzie TL-owe.

Więc na zakończenie dzisiejszego dnia mamy aplikację, która jest podpięta do czterech źródeł danych. Zbudowany jest z tego prosty bo prosty ale model danych i jesteśmy gotowi do tego, żeby zacząć budować wizualizację. Tę wersję aplikacji umieszczę Wam też w Google Drive, tak żebyście mogli ją sobie w razie czego wczytać i zobaczyć jak została stworzona.

Jak ją wczytać? Prawy górny róg tutaj, utwórz i załaduj aplikację. Wtedy wskazujecie ten plik i jest już OK. Dobra wracam w takim razie do naszej prezentacji. Live domowe mamy załatwione. Praca domowa podobnie jak wczoraj, jeśli jeszcze nie założyłeś sobie konta jeśli jeszcze nie pobrałeś danych zrób to dzisiaj, abyś mógł sobie swobodnie dalej z aplikacjami pracować, podążać za akademią lub robić zupełnie niezależne od akademii analizy Tych wszystkich informacji szukaj w mailach od nas.

No i ta praca domowa, zachęcam do tego żeby w wolnej chwili podpiąć się do jakiegoś oficjalnego profilu facebookowego, czy to wasza firma, czy to wasza konkurencja, czy może coś, co was interesuje. Pobawcie się po prostu, zobaczcie jakie to proste Zachęcam też do tego, żebyście zasubskrybowano nasze profile, żebyście dostali najważniejsze informacje na bieżąco.

No i oczywiście zachęcam do tego, zostańcie w domu, Klikajcie i bądźcie zdrowi. Czego dowiesz się jutro? Jutro zaczynamy już kwestie związane z wizualizacjami. Czyli opakujemy troszeczkę naszą aplikację, żeby ona była ładniejsza na wejściu i w momencie kiedy zaczynamy z niej korzystać. Więc dowiesz się, jakie formy wizualizacji masz do dyspozycji.

Jeżeli zastanawiasz się, jaką formę wizualizacji dobrać do danych które chciałbym przedstawiać, to też pokażę Ci, jak sobie z tymi tematami radzić. No i wskażę Ci też, jeśli chcesz szukać niestandardowych form wizualizacji Tak aby wszystko to, co macie szczegółowo w standardzie w pliku, móc sobie rozwinąć o rzeczy zupełnie niestandardowe.

Standardowo zachęcam też was do korzystania z naszych webinarów. DataWizards.pl, ukośnik webinary tam znajdziecie różnego typu informacje i właśnie tak nagrane

Różnego typu tematy, czyli przykładowo jak analizować dane z social media, możecie je sobie obejrzeć po to, żeby się zainspirować właśnie do wykonania tej pracy domowej lub na przykład jeśli prowadzicie systemy premiowe na przykład w Excelu to bodajże 18 kwietnia Dowiecie się, jak można to zrobić w sposób zautomatyzowany i mieć temat premii raz na zawsze załatwiony w sposób zautomatyzowany.

Kontakt do mnie i kontakt do naszej firmy. Jeżeli będziecie mieli jakieś pytania, to zachęcam do kontaktu. Ja w tej chwili już włączę pokazy używania ekranu i zobaczymy czy pojawiły się jakieś pytania

Ktoś jest już.

Dobra pojawiło się pytanie pierwsze, gdzie jest plik Akademia? Szukajcie w mailach od nas, tam jest taka szczegółowa instrukcja jak założyć sobie konto i pod tą instrukcją znajdziecie też informacje o tym właśnie gdzie znaleźć potrzebne dane. Pokazywałem też w trakcie webinarium jak to wygląda od strony Google Drive.

Więc po udostępnianiu też naszego nagrania będziecie mogli sobie to obejrzeć.

Pojawiło się pytanie o dane geograficzne. Podczas naszego czwartego spotkania będę o tym mówił troszeczkę szerzej czyli o różnych możliwościach które w Qliku mamy, czyli mamy na przykład Nie mamy informacji o szerokości, długości geograficznej, ale mamy na przykład adres naszego punktu handlowego naszego odbiorcy itd.

Więc pokażę jakie mamy możliwości w tym, żeby na przykład to z Go kodować do długości szerokości geograficznej. I o różnych innych kwestiach związanych z analizami GEO też oczywiście będę opowiadał, więc może dzisiaj się tym mocno nie skupię, przepraszam że może nie odpowiedziałem tak super dokładnie ale będziemy mieli dokładnie cały webinar na to, więc mam nadzieję, że odpowiedzi tam będą satysfakcjonujące.

Czy proces ETL odbywa się w czasie rzeczywistym czy nie? Proces ETL odbywa się w momencie, kiedy ten nasz harmonogram zostaje uruchomiony. Czyli tak jak pokazywałem, możemy go ustawić w jakimś trybie na przykład co godzinnym i po prostu on całą godzinę będzie się wykonywał. Równie dobrze możecie taki proces wykonać też na żądanie, w momencie kiedy potrzebujecie.

Czyli tak jak sobie budowaliśmy aplikację i w pewnym momencie Qliknęłem na załaduj dane, To de facto wykonałem cały ten proces ETL-owy, czyli wszystko to, co w skrypcie było zapisane, zostało w tym momencie wykonane, więc jeżeli potrzeba To po pierwsze możemy to zrobić na żądanie, możemy to zrobić według harmonogramu i na Qlik Sense Enterprise pojawiają się różnego typu inne opcje gdzie na przykład dane możemy sobie wczytywać w trybie live.

Jest mnóstwo każdy na pewno znajdzie coś dla siebie i każde wymaganie myślę, że będzie możliwe do spełnienia. Czy jest możliwe, że dane z linku są inne niż te pokazane dzisiaj? Nie sądzę, ale jeżeli taki case jest, to proszę o kontakt bezpośrednio i sprawdzę, ale nie sądzę, bo dane powinny być dokładnie takie same.

Czy te zmiany zapisują się w kodzie ładowania

Zakładam że te zmiany które pokazywałem w tym kreatorze graficznym jeżeli tego dotyczy pytania to tak, jak najbardziej tak, co zresztą później wyjdzie było w skrypcie, że te zmiany które wprowadziłem w warstwie graficznej, Zostały przeniesione do skryptu, więc to jest bardzo fajne dla użytkowników biznesowych, którzy raczej będą chcieli pracować z kreatorem, który jest dla niego przyjazny, który przełoży te polecenia kreatora na język bardziej techniczny.

Więc tak, jak najbardziej to jest później realizowane. Jedziemy sobie dalej.

Pojawiło się pytanie, ładnie to działa dla pliku Excel, a jak z wydajnością dla dużych baz danych na przykład tabele z jednym milionem rekordów? Powiem tak, w momencie, kiedy zaczynam rozmawiać z moimi klientami na przykład o sprzęcie, które miałby być używany pod Qlika, to zaczynam się sprzętem martwić w momencie, kiedy mówimy o kilkuset milionach rekordów.

Kiedy mówimy o pojedynczych milionach tak na dobrą sprawę na moim laptopie chodziły aplikacje, które miały około 100 milionów rekordów a nie jest to demo prędkości. Dlaczego tak to działa? Tutaj by trzeba było troszeczkę więcej wejść w szczegóły ale najprostsze wyjaśnienie jest takie, że Qlik bardzo kompresuje sobie dane, które do aplikacji wciągamy.

Czyli mówiąc jeszcze inaczej jeżeli na przykład jesteśmy retailowym i w naszych danych źródłowych mamy bardzo często powtarzające się pewne produkty kontrahentów ceny i tak dalej, to Qlik to bardzo mocno kompensuje, czasami w najbardziej sprzyjających warunkach To ten poziom kompresji może sięgać nawet 90%.

Więc plik źródłowy który może ważyć na dysku bardzo dużo, w Qliku będzie bardzo malutki. Możemy to przetestować Mogę też być może na zakończeniu naszego cyklu webinarów pokazać jak klient działa sobie z dużymi wolumenami danych. Też na stronie webinarów naszych znajdziecie informacje i webinar o klip i big data.

Tak jak mówiłem, milion rekordów to zdecydowanie nie jest wyzwanie.

Połączenie do Facebooka widzę że wywołałem dobry temat.

Może zróbmy tak, że do tych materiałów które umieszczę na Google Drive dorzucę tutaj kawałek na ten temat. Tak, żeby było Wam łatwiej, bo to bardzo fajne dane są. Mam nadzieję, że będzie ok. Pojawiło się pytanie, w jakim języku jest skrypt i czy gdzieś można znaleźć jego dokumentację. Ja bym powiedział, że to jest taka mieszanka SQL-a i trochę Qlikowych, że tak powiem naleciałości Dokumentację jego możecie znaleźć w kilku miejscach.

Tam znajdziecie wszystkie informacje łącznie z opisem wszystkich funkcji których możemy stosować i języka. I jutro kiedy będziemy sobie budowali wizualizację, też pokażę Wam dokładnie gdzie z poziomu narzędzia można sięgać sobie właśnie do helpa który pokaże Wam, w jaki sposób na przykład konstruować sobie konkretne zapytania.

Pojawiło się takie pytanie, że była taka sytuacja, że wgrałem dwa pliki CSV i zostało utworzone tylko jeden bąbelek. Tak, jeżeli to były pliki o takiej samej strukturze to de facto one zostały gdzieś tam skonkatynowane, po prostu spięte w jedną tabelę. Więc na przykład w tego typu sytuacjach gdybyście chcieli sobie jeszcze Jakby dywersyfikować z którego pliku pochodzi dany wiersz to można jeszcze dołożyć na etapie skryptu takie polecenie File Name i wtedy będziecie widzieli, z którego pliku dany rekord poszedł.

Jest pytanie z problemem z założeniem konta konfiguracją wyrzutelniania wieloskładnikowego. Panie Justyno, tu bym prosił o konta generalnie nie jest to potrzebne żeby z Qlik Sense biznesa korzystać więc proszę o bezpośredni kontakt do mnie na mojego maila i chętnie tutaj pomogę. Tak, czy zmieniono dane, na przykład Warszawa, te zmienione mogą być wyeksportowane?

Na to pytanie zawsze mam problem z odpowiedzią bo generalnie nie zalecam eksportowania danych do Excela, bo i po co, skoro mamy je wszystkie w Qliku. I zdecydowanie lepiej jest pracować z nimi oczywiście w Qliku. Natomiast tak, można dane eksportować do Excela i jutro też to wszystko sobie zobaczycie.

Odnośnie pracy domowej, czy można się podpinać tylko do Facebooka czy można się podpiąć również do Instagrama Nie znam jakby konektora do Instagrama, znaczy nie jest on dedykowany, ale jeżeli do Instagrama istnieje tak zwane API, gdzie za pomocą odpowiedniego użytkownika jesteśmy w stanie się dostać na przykład do konkretnego profilu to jak najbardziej tak.

To chętnie temat zgłębię i pani Lidio jeśli mógłbym, Prosić o maila bezpośrednio to chętnie podpowiem jak to zrobić. I chyba ostatnie pytanie. Czy można napisać skrypty w Pythonie i załadować do Qlika? Działa to w ten sposób, że Qlik’a możecie zintegrować sobie z Pythonem albo z R’em na zasadzie jak gdyby takiej zewnętrznej, czyli w momencie, kiedy na przykład wizualizacje Qlik’owe sobie pracują, to mogą odwoływać się do zewnętrznych skryptów erowych, czy Pythonowych, które obrabiają dane i zwracają je do wizualizacji, ale można też je stosować na poziomie skryptu, więc jak najbardziej tak.

Dobra i chyba wydaje mi się, że na wszystkie pytania odpowiedziałem, wydaje mi się, że tak, jeżeli o czymś coś przegapiłem, to tak jak mówię, proszę bezpośredni kontakt chętnie pomogę. Za dzisiaj bardzo Wam dziękuję, dziękuję za taką liczną obecność i sporo pytań bardzo mnie to cieszy. Znajduj, przepraszam, zapraszam na jutro godzina 13, termin jest stałym Jutro zaczniemy bawić się w wizualizację, jeżeli będziecie mieli jakieś pytania zachęcam do kontaktu.

Za dzisiaj bardzo Wam dziękuję, do usłyszenia do zobaczenia jutro.