Uwolnij dane SAP z użyciem najnowszego Qlik Talend Cloud i platformy Snowflake

Witam Państwa serdecznie na webinarze na którym chciałem Wam przedstawić jak świetnym zestawem technologii jest SAP Qlik Talend Cloud i platforma Snowflake. Dzięki tej architekturze możemy uwolnić Wasze dane zbierane w SAP, dorzucić do nich dane z innych systemów i z danych zewnętrznych, tworząc analitykę w pełnym jej spektrum.

Ale przy zachowaniu niskiego całkowitego kosztu czyli TCO platformy. Nowoczesna analityka dla SAP z rozwiązaniami Qlik używana jest przez wielu klientów przykładowe logotypy poniżej i krótko widok z perspektywy helikoptera Mamy systemy SAP, najróżniejsze aplikacje SAP, bazy danych SAP, mamy też również inne dane.

Te wszystkie informacje te wszystkie surowe dane jesteśmy w stanie Qlik Talend Cloudem wyekstraktować, replikować i zautomatyzować tworzenie hurtowni danych Data Lake’u lub Lake House’a. Technologia na której ta hurtownia danych Data Lake czy Lake House może powstać jest możliwa w wielu technologiach, na wielu platformach.

Dzisiaj chcę Państwu pokazać jak to będzie zrobione po to, żeby powstał snowflake’owy zbiór. I teraz jedna ciekawostka. Ten obrazek w tej części jest opcjonalny w tym sensie że najlepszym zestawem do kompletu jest oczywiście Qlik Analytics, czyli Qlik Sense i szereg innych narzędzi typu Qlik Answers, typu Qlik Insights typu AutoML, które mogą z tych danych zebranych W tym środowisku zrobić jakiś użytek, zoperacjonalizować je i pokazać w formie przystępnej wizualnej Natomiast nie musi to być element infrastruktury on jak gdyby tutaj linią przerywaną może być zastąpiony również innymi rozwiązaniami typu Power BI, Tableau Qlik nie wymaga żeby to był na końcu Qlik Sense to ważna uwaga, dlatego że jest jakiś taki mit że musi to być wszystko Qlikowe nieprawda, Qlik Talend Cloud może działać w tym obszarze gromadzenia, ekstrakcji danych tworzenia Hurtowni data lake ów czy lake house’ach na tych technologiach.

Snowflake dla tego przypadku opiszę tutaj w telegraficznym skrócie. Jest to platforma chmurowa, która ma bardzo elastyczny model Który skaluje się w dowolnej ilości danych obrabia najróżniejsze typy danych i ustrukturyzowane, i nieustrukturyzowane, jest możliwa do wykorzystania przez szereg języków programistycznych czy to SQL, czy to Python, Java, Scala, szereg możliwości AI-owych, szereg serwisu związanych z bezpieczeństwem, optymalizacją, zarządzaniem metadanych Tu po środku jeszcze zapomniałem wspomnieć taki dobrze współpracujący z różnymi technologiami storage, który można wymieniać z innymi platformami, chociażby dzięki użyciu katalogów i tabel Iceberg, o czym ostatnio jest głośno na rynku To co ciekawe, Snowflake może operować w różnych regionach chmury ale nie tylko w regionach różnych dostawców chmury, także pomiędzy chmurami pomiędzy regionami dzięki tej koncepcji Snowgrid.

Platformą Snowflake można zorganizować I klasyczną hurtownię danych i Data Lake i Data Lake House w którym w zależności od workloadu wybierany będzie inny silnik do tego żeby wykonać jakieś AI-owe rzeczy czy analitykę Czy wejść również w najnowszą koncepcję organizowania danych kiedy dane są produktem a wszystkie je przedstawiamy w formie data mesh, data fabric i jest to koncepcja taka governance, w której dane są rozproszone, zorientowane domenowo i wymieniane między różnymi interesującymi w firmie O Snowflake będzie w tym webinarze mało, koncentruję się na tym co potrafi Qlik Talend, więc zacznijmy od początku.

Do dyspozycji mamy ponad 100 konektorów do najróżniejszych technologii O czym za chwilę natomiast w świecie SAP-a możemy się podłączyć i do SAP-a Hany, i do aplikacji, i do baz danych pod tymi aplikacjami, i do ekstraktorów SAP-owych, czy do ODP. Tutaj lista możliwych konektorów jak widzicie Państwo, są to i rozwiązania z pudełka typu SAP Concur, czyli dziedzinowe aplikacje SAP-a, jak również takie core’owe, Metody dostępu do SAP-a SAP Extractor, SAP HANA, SAP ODP, ODP te wszystkie konektory są certyfikowane przez SAP-a.

Mamy na to od Qlik’a certyfikaty i w ten sposób nie naruszacie Państwo w żaden sposób integralności środowisk SAP, SAP dopuszcza taką łączność i jest ona dostępna. A Qlik Talend Cloud Jest beneficjentem bo dzięki tym certyfikowanym konektorem możemy stworzyć ładowanie danych. I teraz jedna ciekawostka ładowanie danych w trybie Change Data Capture Czyli podążanie za zmianami w systemach transakcyjnych, ładowanie najpierw tego initial loadu czyli całej historii jaka jest zgromadzona w bazie danych, a później wychwytywanie zmian i przenoszenie wyłącznie różnicowe, wyłącznie tego, co przybędzie, ubędzie lub się zmieni.

To się może dziać w czasie rzeczywistym, każda zmiana może być odzwierciedlona w tym świecie Naszej docelowej technologii analitycznej w przypadku tutaj mojego webinara Snowflake’a może być odzwierciedlona w czasie rzeczywistym czyli zaraz jak się zdarzenie w systemie transakcyjnym wydarzyło lub też batchowo, czyli o jakiejś konkretnej godzinie raz dziennie na to mamy wpływ.

Wszystkie te konektory, i te SAPowe i nie SAPowe dzięki mechanizmowi Change Data Capture pozwalają na to, że Mają one zerowy wpływ na system źródłowy. To nie jest metoda dostępu w której baza źródłowa jest obciążana ekstrakcją co godzinę wszystkich tabel w całej ich wielkości. Podążamy za tym, co logi baz danych nam mówią, że przyrosło i przechodzi to przez taki pipeline, który tutaj jest rozrysowany.

Tutaj dla przykładu finansowa baza SAP Hany, w którym lądujemy z danymi I tu jest fragment takiego pajączka, który jest wizualną stroną Qlik Talend Cloud’a, w którym to tworzymy taki pipeline. Tworzenie tego pipeline’u jest całkowicie no-code’owe albo low-code’owe, bo miejscami można ten kod we własny sposób napisać.

I co później? Jeżeli te dane są zreplikowane, jeżeli złapaliśmy i cały czas je replikujemy, następne etapy tego procesu mogą Dokonywać dalszych transformacji danych, bo celem tych transformacji są oczywiście modele analityczne, takie które będą gotowe dla systemu BI, takie które będą gotowe dla konkretnych obliczeń nie wiem, AI-owych, ML-owych już zdenormalizowane w przeciwieństwie do tego co tutaj jest wcześniej czyli idziemy Klasycznym medalionowym podejściem gdzie bronze layer, silver layer i gold layer są tymi etapami głównymi przetwarzania po to, żeby mieć dane i czyste i ułożone i zaopiekowane gotowe dla analityków do analiz.

To tworzenie docelowych form Pozwala nam zautomatyzować czy to tworzenie hurtowni danych czy data lake’u, czyli na końcu to może być inny rodzaj jak gdyby storage’u, to może być albo tabela W bazie danych docelowej, albo może być to zbiór na przykład na S3 plików w formacie Iceberg. Dotyczy to również Snowflake’a, możemy wybrać czy te dane lądują na koniec w tabelach Iceberga zarządzanych przez Snowflake’a czy nie przez Snowflake’a I w jaki sposób te dane są też procesowane, bo do dyspozycji mamy chociażby snowpipa w Snowflake’u albo manualne zasilanie.

To wszystko, co tutaj powstaje jest jak gdyby kompilowane, no może nie kompilowane, tylko tworzy kod natywny dla systemu w którym działamy, czyli te wszystkie rzeczy w QlikTalend’zie są orkiestrowane, a dzieją się po stronie bazy danych Snowflake. Żeby było ciekawiej, Tutaj w architekturze jest jeszcze tak zwany Data Gateway Movement, który można posadowić w on-premie, można posadowić tam, gdzie są te systemy no chyba że są w chmurze, po to, żeby te dane bezpiecznie zostały transferowane do Snowflake’a, nie latając po internecie tylko latając po,

O tych prywatnych połączeniach na przykład do Snowflake’a, który jest za Firewall. Co więcej mogę tu powiedzieć? W każdym z tych etapów jest podgląd jak ten SQL wygląda, skąd się danych biorą, ale o tym jeszcze za chwilę. Na koniec w środowisku już Qlika, czyli jeżeli docelowo wybierają Państwo, że Qlik i zajmuje się tym przetwarzaniem ładowaniem danych i transformacją, ale też służy do zadań dalszych Mamy do dyspozycji zaprezentowanie danych jako produktu Na czym to polega?

Powstaje karta konkretnego zbioru taki Qlik Data Set Card, na której to karcie widzimy ocenę jakości danych w środku, liniowość, czyli skąd ten lineage, data lineage, skąd to się wzięło, jakie dane zostały zebrane żeby osiągnąć na końcu nie wiem, tą tabelę ze sprzedażą. Czy z przychodami czy z fakturami.

To wszystko można zapakować w produkt danych nazwać zaprezentować dla użytkowników końcowych w formie takiego marketplace, na którym te dane łatwiej wyszukać łatwiej znaleźć punkt startu. Tak to wygląda z wyższej perspektywy, a teraz chciałbym trochę podrasować takie pytanie No dobrze. To co? Musimy wziąć tego Qlika Talenda, wyKlikać sobie to wszystko, znać się na tym SAPie, połączyć tego Qlika czy to nie jest zbyt trudne?

Otóż ciekawą rzeczą jest to, że mamy do dyspozycji akceleratory wdrożeniowe. W obszarach takich procesów jak order to cash, finanse czy zarządzanie zapasami mamy cały ten łańcuszek kroków który jest potrzebny żeby z SAPa zrobić Analitykę w chlika i mamy gotowe. I może to stanowić punkt wyjścia do dalszej customizacji w projekcie.

Czyli są ekstraktory danych są skonfigurowane zadania replikacyjne, dane są wymodelowane, mamy gotowe datamarty i na tych datamartach Oparte aplikację Qlik, w których to aplikacjach Qlik można natychmiast analizować podejmować decyzje biznesowe. Także akcelerator przyspiesza proces wdrożenia, bo nie wychodzimy z punktu białej kartki, tylko mamy już punkt rozbiegu i to może się zacząć zwracać tak naprawdę W pierwszym miesiącu wdrożenia.

Te gotowe aplikacje analityczne Qlik, czyli dla tych którzy są w świecie Qlik’a i chcą mieć tą architekturę w pełni Qlik’ową No duży benefit dlatego, że gotowe aplikacje w których chociażby tu dla przykładu order to cash można analizować czy stronę finansową SAPową zaraz po że tak powiem podpięciu do systemów produkcyjnych więc też skraca to gwałtownie cały ten proces wdrożeniowy idąc dalej chciałem też opowiedzieć krok po kroku jak to się robi że się podłącza Qlika do SAPa i do innych źródeł Tu mam ekran, w którym chciałem w jakiś sposób pokazać wszystkie logotypy możliwych konektorów w tak zwanym Connector Factory Qlika Jest tego mnóstwo, także tutaj animowany obrazek przeglądania strony, którą mogą sobie Państwo swobodnie znaleźć pod Qlik.com.

Product Data Sources, albo googlując za Connector Factory Qlik, tych możliwości jest ogrom. Do technologii chmurowych, jakichś takich core’owych, do storage’ów na różnych chmurach, do aplikacji biznesowych takich SaaS’owych dla przykładu nie wiem, Salesforce’a, jakichś Google Ads’ów, danych z Google Play, HubSpota, przelatują tutaj te logotypy nam przed oczami.

Długo by o tym mówić, ale co jest najważniejsze w tym wszystkim? To nie jest świat, w którym zbierzemy dane wyłącznie z systemów SAPowych, czyli najpierw musimy zaplanować jak to Najpierw wciągnąć w świat tych baz SAP’owych, czy nie wiem, do DataSphere’a, czy do Hany, możemy to zmieszać już zupełnie poza SAP’em i też obniżyć, jak gdyby, całkowity koszt wdrożenia analityki, która jest szersza niż tylko SAP’owa.

Lecąc dalej. Qlik Talend ma szereg Celów do których może dane zapisać To o czym mówiłem, szereg technologii i proszę zobaczyć tutaj, że po pierwsze są to technologie przechowywania plików, czyli ten storage u hyperscale rów w Amazonie w Azure i w Google pod postacią Amazon S3, Azure Data Lake Storage, czyli ADLS, czy Google Cloud Storage, GCS od Google.

I w ten sposób budujemy Ten według koncepcji Data Lake czy Lake House. Natomiast również mamy tutaj na liście platformy albo hurtownie, które są w chmurze. Synapse Analytics od Microsoftu Databricks, Big Query od Googla, Microsoft Fabric od Microsoftu i Snowflake, o którym dzisiaj opowiadam. I trzecia kategoria to to, co w tej środkowej kolumnie ma oznaczone jako database Czyli możemy pisać do SQL Servera MySQL, Oracle, Postgresa kiedy chcemy zbudować praktycznie hurtownię danych na tych technologiach.

Jak to się dzieje? Tworzymy nowy projekt. Tu w tym wypadku chcę przegrać dane z SAP-a do Snowflake’a. Wybieram że chcę replikować dane, ustawiam połączenie, decyduję o tym, czy będę te dane wczytywał na zasadzie wczytywania od razu do natywnych tabel Snowflake’a, czy może chcę te dane zapisać do storage’u, który będzie wykorzystywany przez Snowflake Czyli te dane będą zewnętrzne i nadal możliwe do wykorzystania dla innych platform, gdyby taka była potrzeba.

I jaki typ tabel właśnie? Czy to mają być iceberg’owe tabele snowflake’owe, czy natywne tabele snowflake’a? Ma możliwość, Po pierwsze z onboardowania dowolnych tych danych z systemu źródłowego, tak, wybieram sobie SAP-a i wybieramy tabelę i w ten sposób, tak jak na tym obrazku jest, mówię jakie przestrzenie, jakie schematy jakie tabele mają być replikowane.

Natomiast mogę również zarejestrować już istniejące dane, czyli wyobraźmy sobie, że na Snowflake’u Już mamy jakiś schemat który zawiera dane wczytane jakąś inną technologią albo wypełnione np. ręcznie, to można je też do tego pipeline dodać czy również zrobić takie przecięcie z innymi projektami, czyli takie zasilanie może być wieloprojektowe.

I między tymi projektami mogą być zależności, a więc istniejący projekt też może być źródłem takiego przetwarzania. Kiedy na przykład nie wiem, kilka technologii naraz zasilamy, bo niektóre firmy używają szeregu technologii, może coś tam ma wylądować na Snowflake’u, a coś tam jeszcze w jakimś Postgresie do wyboru do koloru.

No i właśnie ten ekran konfiguracji, jakie tabele mają z SAPa Hany wylądować w tej replikacji. I następny etap to jest właśnie Change Data Capture, czyli cały ten pajączek powiązań doprowadza do tego, że replikujemy te dane z tej bazy źródłowej, one według koncepcji ELT, czyli najpierw ekstrakcja, Później ładowanie, a dopiero później transformacja są przekształcane w systemie Snowflake.

Czyli jak gdyby te wszystkie tutaj gwiazdki to już jest operacja na Snowflake’u, która jest wykonywana natywnym SQL-em Snowflake’owym, czy to w postaci jakiegoś widoku, czy w postaci SQL-a, który będzie dany ze źródła do docelowego zbioru Przerzucał. Wszystko nadal kompatybilne z Change Data Capture, czyli jeżeli gdzieś tutaj się pojawia jeden rekord to dalej przetwarzamy przez cały ten łańcuszek jeden rekord, a nie powtarzamy tworzenie wszystkiego od początku.

Ten proces Change Data Capture można obserwować, tu jest taki przykład. Chodzi sobie to zadanie Dziewięć zmian pojawiło się w tabeli Save Person i je kumulujemy. Pokazujemy, że dziewięć update’ów zostało przetworzonych To mogą być inserty to mogą być update’y, delete’y lub wcześniej, zanim podążaliśmy za zmianami mogło być to initial load, czyli initial load, później zmiany Inserty update’y, delete’y na bieżąco przerzucane są w system źródłowego do Snowflake’a w tym wypadku.

I można decydować jak często się to dzieje, nie musi być to takie super real time. I na koniec modelujemy dane. W Talendzie tworzymy modele danych żeby powstał z tego datamat, żeby to się zdenormalizowało do takiej postaci, jaka jest szybko do strawienia przez narzędzia BI. Jest to też wizualizowane, wspierane na przykład tym, co jest normalne Do czego podobne.

Po drodze w trakcie tych transformacji, mamy do dyspozycji transformacje takie z użyciem komponentów no-code, które zebrane na jednej takiej kanwie mogą nam tutaj na przykład przeliczyć jakieś dane, odfiltrować, wyczyścić. Takie operacje są wykonowane bez wiedzy programistycznej, nie trzeba wiedzieć jak w Snowflake’u należy taki proces przeprowadzić, do tego dobierane są odpowiednie funkcje.

Dla przykładu jednym z takich najnowszych komponentów tutaj Jest używanie chociażby AI-owych funkcji z Cortex’a. Cortex AI od Snowflake’a gdzie na przykład dane tekstowe można zaklasyfikować, można policzyć sentyment, można kilka takich operacji przetłumaczyć kilka takich operacji na danych nieustrukturyzowanych wykonać tymi transformacjami.

To wszystko się kompiluje, no może nie kompiluje, nadużywam tego słowa ale Jest wykonywany jako kod SQL na źródłowej bazie danych. No i finalny taki schemat zasilania analityki SAP-owej z tego przykładowego SAP-a HANA tak będzie wyglądał w tym akceleratorze. Gdzie mamy nie tylko dane pochodzące z SAP, ale również jakieś konfiguratory z boku, które możemy zainstalować i powstają datamarty order to cash, inwentory, procure to pay i tak dalej i tak dalej.

Następnie w Qlik Talend widać liniowość czyli jakaś tabela w datamarcie pochodziła z jakiegoś widoku ten widok był stworzony jako część data capture z jakiejś tabeli I w jedną czy w drugą czyli pochodzenie jak również wpływ można śledzić. Na koniec co jest najnowszą możliwością QlikTalenda. Dzięki akwizycji Talenda koncepcja Trust Score została przeniesiona do środowiska Qlik Talend.

Czyli na końcu powstający datamart ma swoje strony opisujące jakość i opisujące te zbiory. Dla przykładu mamy tutaj tablicę klientów zreplikowaną z SAP. Ta tablica jest opisana. Ten opis jest możliwy do wyedytowania lub wygenerowania nawet LLM-em, jeśli ktoś jest na tyle leniwy, a to sobie spojrzy na te typy i je opisza, co tam w środku jest.

Liczona jest jakość, ona tu jest na poziomie 82% i dekomponuje się na cztery czynniki. Czy dane są valid, jak gdyby. I teraz może wytłumaczę A to za chwilę wytłumaczę, na czym polega to validity. Completeness, czyli czy są wypełnione kolumny, czy jakieś mają dużą ilość nuli. Discoverability, czyli czy zbiór jest opisany, czy kolumny mają swoje opisy tagi czy zbiór jest opisany, czyli czy ktoś później będzie mógł sobie znaleźć łatwo te dane w tym repozytorium danych w Qlik Talend.

Następnie Usage, czyli używalność. Czy ten zbiór jest dalej podpięty do analityki? Czy jakaś analityka z tego zbioru korzysta? Czy jakieś aplikację Qlik Sense są wytworzone i podpięte do tego zbioru? I teraz co do Validity, co do ważności tych danych Tu jedna ciekawa rzecz, na każdym polu mechanizm Qlik Talend ocenia do czego to pole jest podobne.

I tak o ile tutaj jest cyferka, tutaj tekst tutaj tekst, tutaj mamy oznaczenie że są to nazwiska, czyli informacje personalne, o tyle dalej. W tej kolumnie mamy formę, czyli pan, pani tego typu informacje. I one się upodobniły do takiego typu semantycznego Polskiego, polski tytuł tak, i są w pełni zgodne, czyli w tych danych widać że jest używany pan, pani, więc jest to typ semantyczny tytuł i wszystkie wartości są zgodne.

Gdyby były jakieś niezgodne pojawiłby się tu czerwony czerwony kawałek tak. Ulice, skrytka pocztowa czy kod pocztowy, tak, tutaj też odkrył QlikTalend, że to są polskie kody pocztowe i wszystkie są zgodne To też zaklasyfikowane zostało jako PII, jako Personal Information, więc mamy pełną wiedzę. To jest później sumowane statystycznie do góry z całego zbioru jak ta jakość wygląda, ile jest niewłaściwych danych Niewłaściwe to są te, które nie korelują z tym typem semantycznym.

Semantycznym te typy semantyczne można definiować można im definiować swobodnie jakieś lokalne rzeczy albo prywatne do danej firmy jakiś format identyfikatorów Schematy typu nie wiem, pole NIP, jest możliwe do zdefiniowania w systemie także nie jest to ograniczone tylko do jakichś tam, nie wiem, amerykańskich stanów listy stanów w Stanach Zjednoczonych czy tego typu rzeczy, to może być zlokalizowane No i jeszcze, kiedy po raz ostatni te dane zostały zasilone?

Dwie godziny temu do tych danych doszło coś, tak? Z tego ekranu można też wytworzyć analitykę Qlik Sense, jeżeli to środowisko ma tą przestrzeń gotową Ale co ciekawe z Qlik Talend, z podstawową wersją Qlik Talend Cloud idzie w zestawie małe środowisko Qlik Sense, więc tych możliwości można odrobinę spróbować mając to.

Następny ekran to profilowanie danych gdzie widzimy rozkłady tych zmiennych tu na przykładzie jakiegoś zbioru sprzedażowego pokazałem najróżniejsze kolumny, nie wiem Ilościówka sprzedajemy średnio, tak, dwie sztuki różnych rzeczy średnio cena za sztukę to 2,83 i tego typu rzeczy. Szybki taki pogląd na to, czy dana jest jak gdyby kategorią, kategoryzująca, czyli czy ma niską kardynalność czy wysoką i widzimy to w formie graficznej Widać też tę liniowość co się z czego wzięło po kolei jak i możemy policzyć na co może mieć wpływ zmiana, czyli do tego przykładu na przykład dla Na jakąś aplikację Sales Order Detail, może wpłynąć zmiana w tymże datamarcie.

Dane można zebrać w tzw. data marketplace, gdzie zbiory mogą być opisane, zgromadzone razem i są łatwe do wyszukiwania, mają swój opis, swoją ocenę jakości, Tutaj te miniaturowe wykresiki mówią o każdym z tych trzech zbiorów. Wszystkie te zbiory można sobie wczytać do Qlik Sense. Tu jeszcze ekran na którym mam opisane AI’em co w tym zbiorze jest i oczywiście mógłbym to wyedytować i zadbać o to proaktywnie.

Mogę wymienić kto jest ownerem tych danych wprowadzając koncepcję Data Mesh głębiej w organizację. I teraz przeskakując trochę szybciej dalej, w świecie QlikTalend Cloud mamy dostępne też następujące narzędzie, które się nazywa Data Stewardship. Na tym ekranie widać przykład, w którym możemy sobie zaplanować kampanię czyszczenia danych.

W tym wypadku deduplikację danych o kliencie. Kiedy wczytuję do tego systemu dane na przykład Salesforce’a, Marketo, NetSuite’a, powiedzmy wcześniej wymienionego SAP’a, sam Talend wylicza statystyką, że te cztery rekordy są do siebie bliźniaczo podobne na poziomie dosyć istotnym takim statystycznym Natomiast potrzebna jest wiedza ekspercka, żeby te dane wyczyścić wyrównać.

Tu dla przykładu klient Arnold ma wpisany niewłaściwy e-mail, można go wyedytować manualnie A dla tego przykładu numer telefonu w tych trzech systemach ma inną wartość. I na poziomie tutaj tej linii głównej można wybrać jakie te dane docelowe mają pozostać czy mają pozostać jakieś konkretne, czy takie, które są najczęściej używane w systemach i po przejściu tego procesu deduplikacji danych wyznaczania tego złotego rekordu, ten złoty rekord możemy z powrotem zasilić do Wszystkich systemów źródłowych, konektorami do tych wszystkich systemów źródłowych lub wyłącznie w systemie w którym utrzymywany jest złoty rekord.

Pod spodem Qlik Talend Cloud’a dostępne jest również bardzo mocne środowisko Data Studio i rzeczy z tym powiązanych. To jest środowisko bardziej dla roli inżyniera danych, który chce wykonać integrację danych w najróżniejszych, że tak powiem według najróżniejszych wzorców. Czyli to nie do końca jest trzymanie się paradygmatu I LTE, i zasilanie analityki, to mogą być już integracje które wywołują jakieś operacje w systemach, to może być szyna danych, to może być tworzenie API, w Talend Data Studio Mamy najszerszy zbiór takich technicznych konektorów a dla przykładu tutaj na skinshocie widzą Państwo możliwość wykorzystywania resta, możliwość połączenia się na las ze snowflake’iem, outputu w postaci iceberg’a najróżniejsze rzeczy.

Tutaj jest około Kilkuset takich konektorów i jest to środowisko low code, już nie no code w którym również Javą można sobie pewne rzeczy głębiej zdefiniować głębiej operować i czasami Do kompletu w tych zadaniach które nie są integracją do analityki, w których nie chodzi o przepływ danych agregację i tworzenie modeli analitycznych, tylko na przykład integrację między systemową, czy właśnie wytwarzanie jakichś API tym narzędziem zawartym w pakiecie Qlik Talend Cloud Możemy te zadania rozwiązać, zaadresować też.

Następnym takim narzędziem już nie z zakresu Qlik Talend Cloud, ale coś co uznałem, że warto o tym również opowiedzieć, to jest Qlik Gold Client dla SAP-a. Narzędzie SAP-owe od Qlik-a w którym to narzędziu możemy wziąć dowolną bazę SAP-ową, produkcyjną i Też w certyfikowany sposób narzędziem Qlik Gold Client wytworzyć środowisko Dla celów szkoleniowych, sandboxy QA, test dev, wszystkie takie środowiska, które na przykład podczas przejścia na HAN-e, na S4 HAN-e powstają w procesie wytwórczym i to narzędzie pozwala wygenerować na przykład próbkę tych danych, potrafi te dane zanonimizowane, potrafi szybko je ograniczyć Tak maskować.

W pełni pozostaje to w świecie SAP-a i daje możliwość zmniejszenia kosztów utrzymania takiej infrastruktury testowej zwiększenia efektywności. W tym procesie jest bardzo łatwe do wdrożenia. Wdrażamy to wspólnie z ekspertami z Qlika, dając takie narzędzie replikacyjne, które nie zakłóca działalności systemów produkcyjnych a pozwala,

Generować dane dedykowane w procesach testowania SAP-a Następna rzecz, która nadchodzi i wkrótce ukaże się w General Availability, w Qlik Talend, to jest wykorzystanie również AI-owej mocy Snowflake-a w zakresie danych nieustruktyzowanych które to dane nieustruktyzowane, wykorzystywane w RAG-ach, czyli Retrieval Augmented Generation, w aplikacjach które Dociągają ściągają dodatkowy kontekst z bazy wiedzy zebranej przez firmę, używając oczywiście w tle LLM-ów, potrzebują, te rozwiązania potrzebują takich składnic wektorowych, w formie bazy wektorowej.

Snowflake ma taką bazę wektorową, a QlikTalendem można tym procesem przetwarzania nieustrukturyzowanych i ustrukturyzowanych danych Wykonać wszystkie operacje które są potrzebne, bo tam wchodzi w rachubę, no po pierwsze replikacja, po drugie podzielenie tego na kawałki tzw. chunking, wytworzenie embeddingów i zapisanie tego jako wektorów, te wszystkie operacje będą możliwe wkrótce Z poziomu Qlik Talend Cloud w też takim no-code’owym środowisku dla klientów Snowflake’a i nie tylko Snowflake’a.

Wszystko to oczywiście jest operacją wykonywaną Z perspektywy Snowflake’a te dane nie wychodzą na zewnątrz To jest zastosowanie mechanizmów natywnych dla bazy Snowflake więc też bardzo bezpieczny w swojej formie mechanizm translacji tych danych na to, w jaki sposób jest to zjadane przez AI w dzisiejszych czasach.

I zbliżając się trochę do końca mojej opowieści, Chciałem tutaj nadmienić historię z firmą ABB, która jest takim sukcesem współpracy ABB z Qlikiem i Snowflake, gdzie integracja danych z SAP dzieje się naprawdę na dużą skalę. Wyobraźcie sobie Państwo, 37 systemów SAP dostarcza dane do Data Lake w Snowflake co dwie minuty Średnio po 550 tabel z każdego z tych systemów SAP-owych, 10 lat historii, 63 TB danych, największa tabela z 2,3 miliarda rekordów 250 milionów rekordów przetwarzanych dziennie, 7 tysięcy wspólnych atrybutów danych dostępnych do analiz i sekundowy czas odpowiedzi na zapytania przy 80 milionach transakcji.

To jest taki przykład, który pokazuje ten zestaw w bardzo dużej skali I bardzo zadowolonego jak widzicie na zdjęciu klienta który o tym nieraz opowiadał czy to na eventach Qlika konferencji wielkiej, która się również zbliża, na którą również zapraszamy. I to wszystko. Dziękuję Państwu za uwagę.

Zapraszam do kontaktu. Zapraszam do odblokowania swoich danych SAP-owych dzięki Qlik Talend Cloud.