Úvod do Talend Open Studio

Talend nabízí Open Studio, které je otevřeným zdrojem pro integraci dat. Má více než 800+ komponent pro různé integrační účely. Stáhněte si Talend Open Studio z https://www.talend.com/download/

Integrace dat znamená kombinovat data z různých zdrojů a kombinovat je do jediného pohledu, aby se získaly některá smysluplná data z toho, co může společnosti nebo organizaci pomoci zlepšit jejich podnikání analýzou těchto dat. Integrace pomáhá získat data, vyčistit data a provést potřebnou transformaci atd. A poté je načíst do datového skladu.

Co je Talend?

Talend je nástroj ETL, který se používá pro integraci dat. Talend poskytuje řešení pro přípravu dat, kvalitu dat, integraci dat a velká data. Zde budeme diskutovat o některých složkách. Aby bylo snadné vidět níže uvedený příklad Sim operátor má obrovské údaje o plánech, zákaznících, sim podrobnostech atd. Tato data jsou obrovská, takže velká data se také používají při integraci.

Zákazník Kupující sim pomocí vládního id

Jmenuje se AB AB

adresa jako Chennai, Chennai

telefonní číslo jako 1234567890

Po integraci dat

Křestní jméno: AB

Příjmení: C

Adresa: Chennai, Indie

Telefonní číslo: +911234567890

Zde jsou data očištěna a přeměněna na něco smysluplnějšího.

Výhody

  • Analýza obchodních trendů pomocí datové integrace
  • Kombinace dat do jednoho systému
  • Úspora času a efektivnější a méně přepracování
  • Snadné generování sestav - využívané nástroji BI
  • Údržba a vkládání dat do datového skladu a datových serverů

aplikace

Níže jsou uvedeny následující aplikace

1. Práce s Talendem

  • Ujistěte se, že máte nainstalovanou Javu a jsou nastaveny proměnné prostředí.
  • Stáhněte si open-source z webu Talend a nainstalujte software.
  • Vytvořte nový projekt a dokončete nastavení
  • Talend se otevře s kartou návrháře.
  • Talend je nástroj založený na zatmění a komponenty lze přetáhnout z palety nebo můžete kliknout a zadat název komponenty.

2. První úloha Čtení souboru

  • Vyhledejte komponent tFileinputdelimited. Tato komponenta se používá pro čtení všech oddělených souborů.
  • Umístěte tfileinputdelimited komponent. Vyhledejte tlogrow a umístěte jej do návrháře pracovních míst.
  • Klikněte pravým tlačítkem myši na tfileinputdelimited a vyberte řádek-> main a nakreslete čáru pro tlogrow.
  • V komponentě karta vybere cestu k souboru, který chcete číst, a oddělí řádek jako \ n. Pokud soubor obsahuje oddělovač, můžete jej uvést.
  • Klikněte na schéma a zadejte podrobnosti o typu sloupce nebo celý řádek můžete přečíst jako řetězec s jedním sloupcem a hodnota oddělovače by měla být prázdná.
  • Můžete také přeskočit záhlaví a zápatí.
  • Ve složce tlogrow vyberte způsob, jakým chcete data zobrazit. Formát tabulky nebo jednořádkový formát.
  • tlogrow zobrazuje výstup v konzole pro běh.
  • Po připojení tfileinputdelimited a tlogrow spusťte úlohu ze záložky run.
  • V konzole můžete vidět obsah souboru.

3. Druhá úloha pomocí Tmapu

  • Přečtěte si soubor a filtrujte jej do různých výstupních souborů.
  • Přečtěte si soubor v komponentě tfileinputdelimited s jedním sloupcovým schématem jako záznam.
  • Komponenta Tmap - Tato komponenta pomáhá při transformaci dat pomocí některých vestavěných funkcí, jako je vyhledávání, připojení atd.
  • V tmap vytvořte dva výstupy out1 a out2.
  • Do filtru out1 přidejte row3.record.contains („talend“) a nakreslete záznam na out1.
  • Nakreslete řádek záznamu na jiné out2.

  • Z tmapu vezměte hlavní řádky a připojte se ke dvěma tfileoutputdelimited.
  • out1 odkaz na jeden tfileoutputdelimited1 jako file1.txt a out2 na jiný tfileoutputdelimited2 jako file2.txt.
  • txt bude mít záznamy, které obsahují talend.
  • txt bude mít záznamy, které mají jiné názvy.

4. Vestavěné úložiště

  • Vestavěný znamená, že byste měli nastavit schéma nebo podrobnosti pro připojení k databázi pokaždé.
  • Úložiště se hodí k uložení podrobností do metadat, takže můžete znovu použít stejné údaje pokaždé, aniž byste pokaždé ručně museli zadávat podrobnosti. V metadatech můžete ukládat schémata souborů, připojení k databázi, připojení Hadoop, připojení podregistru, připojení s3 a mnoho dalších.

Součásti Talend Open Studio

Níže jsou uvedeny níže uvedené součásti Komponenty Talend Open Studio

1. tFileList

  • Tato součást uvádí soubory v adresáři nebo složce s daným vzorem masky souboru.

2. tMysqlConnection

  • Tato komponenta se používá pro připojení k databázi mysql.
  • Komponenty Mysql mohou toto připojení použít pro snadné nastavení připojení k databázi.

3. tMysqlinput

  • Tato součást pomáhá spouštět dotaz databáze mysql a získat tabulku nebo sloupce. Tato součást se používá k výběru dotazů a získání podrobností.

4. tMysqlOutput

  • Tato součást se používá pro vkládání nebo aktualizaci dat v databázi Mysql.

5. tprejob

  • Tato součást je první, která se v úloze spustí, a lze ji spojit s dalšími součástmi pomocí příkazu Subob ok.

6. tpostjob

  • Tato součást je poslední, která se v úloze provede. Můžete to spojit pomocí připojení blízkých komponent.

7. tlogcatcher

  • Tato součást zachycuje varování a chyby v úloze.
  • Nejdůležitější komponenta použitá v technice zpracování chyb.
  • Protokoly chyb lze zapisovat pomocí této komponenty spolu s tfileoutputdelimited.
  • Existuje více než 800+ součástí.

Kontextová proměnná

  • Kontextové proměnné jsou proměnné, které lze v úloze použít kdekoli.
  • Obsahuje hodnoty a může být předán do jiné úlohy také pomocí komponenty trun.
  • Použití kontextových proměnných je, že můžeme změnit hodnotu pro různé účely.
  • Například můžeme mít sadu hodnot pro vývojovou kontextovou skupinu a jinou sadu hodnot kontextu pro výrobu.
  • Tímto způsobem nemusíme měnit práci, stačí změnit kontextové parametry.

Budování práce

  • Chcete-li vytvořit úlohu, klikněte na ni pravým tlačítkem myši a vyberte sestavení úlohy.
  • Úlohu sestavení můžete importovat do TAC.
  • V konzole pro správu talentů naplánujete úlohu tak, aby se spustila také závislost sady úloh.
  • Úlohu můžete také importovat z úložiště Nexus pomocí úlohy artefaktu.

Vytvořte úlohu v TAC

  • Otevřete dirigenta úlohy v TAC
  • Klikněte na nové úkoly a vyberte normální nebo artefaktové úkoly.
  • Importujte vytvořenou úlohu nebo vyberte ze spojení.
  • Vyberte server úloh, na kterém bude Talend spuštěn.
  • Uložte úkol.
  • Nyní můžete úlohu nasadit a spustit.

Závěr - Talend Open Studio

„Zjednodušte ETL a ELT pomocí předního bezplatného nástroje ETL s otevřeným zdrojovým kódem pro velká data.“ Je slogan pro otevřené studio. Talend Bigdata má mnoho komponent pro zpracování obrovských dat. Standardní úlohy, úlohy Bigdata a Bigdata pro streamování jsou různé typy úloh dostupných v programu Talend. Bigdata úlohy lze vytvořit v rámci jiskry nebo mapreduce.

Doporučené články

Toto je průvodce Talend Open Studio. Zde diskutujeme výhody, aplikace a komponenty Talend Open Studio. Další informace naleznete také v následujících článcích -

  1. Průvodce integrací dat Talend
  2. Důležité dotazy na rozhovor s Talendem
  3. Talend vs Mulesoft: Rozdíly
  4. Talend vs Pentaho: 8 užitečných srovnání, které je třeba se naučit

Kategorie:

Velká data