Talend Tools - Různé nástroje nebo komponenty Talend pro integraci dat

Úvod do nástrojů Talend

Talend open studio má více než 700 komponent v oblastech, jako jsou velká data, databáze, cloud atd. Talend open studio lze rozdělit do mnoha typů, jako je Talend otevřené studio pro integraci dat a otevřené studio Talend pro velká data atd. V tomto článku jsme detailně uvidí různé nástroje talentu.

Součásti / nástroje Talend Open Studio

Talend Open Studio pro integraci dat pokrývá následující oblasti / technologie některými integrovanými komponenty, které pomáhají při snadném zpracování.

Komponenty velkých dat
Obchodní komponenty
Komponenty Business Intelligence
Cloudové komponenty
Komponenty uživatelského kódu
Složky kvality dat
Databáze - tradiční komponenty
Databáze - komponenty zařízení / datového skladu
Databáze - další komponenty
Komponenty DotNET
Komponenty ELT
Komponenty ESB
Komponenty souborů
Internetové komponenty
Součásti protokolů a chyb
Různé komponenty skupiny
Komponenty orchestrace
Zpracování součástí
Komponenty systému
Komponenty Talend MDM
Technické komponenty
Komponenty XML

Zde budeme diskutovat o několika komponentách z Talend Open Studio pro integraci dat.

1. tS3Connection: Tato komponenta se používá pro spojení s amazonem s3. Komponenty mohou toto připojení použít pro snadné nastavení připojení k amazon s3.

2. tS3Input: Používá se ke čtení souboru ze systému souborů S3. Má některé funkce podobné tfileinputdelimited, ale používá službu Amazon Simple Storage.

3. tS3Output: Slouží k zápisu dat do systému souborů S3. Má některé funkce podobné tfileoutputdelimited, ale používá službu Amazon Simple Storage.

4. ts3Put: Slouží k vložení souboru do systému souborů S3 z lokálního systému.

5. ts3Get: Tato komponenta se používá k načtení souboru ze S3 do lokálního systému.

6. tS3BucketCreate: Tato komponenta se používá k vytvoření kbelíku na S3.

7. tS3BucketDelete: Tato součást se používá k odstranění kbelíku na S3.

8. tS3BucketExist: Tato součást se používá ke kontrole, zda daný kbelík existuje na S3. Vrací výsledek ve skutečné nebo falešné booleovské hodnotě, kterou lze použít jako globální mapu.

9. tS3BucketList: Tato komponenta se používá pro výpis všech segmentů na S3.

10. tS3Copy: Tato komponenta se používá ke kopírování objektu S3 z jednoho kbelíku do druhého kbelíku. Je to podobné tFileCopy.

11. tS3Delete: Tato součást se používá k odstranění objektu S3 z kbelíku. Je to podobné tFileDelete.

12. tS3Close: Tato součást se používá k uzavření spojení S3, které je vytvořeno pomocí tS3Connection.

13. tCreateTemporaryFile: Tato komponenta vytvoří dočasný soubor, jako je tFileOutputDelimited, ale tento dočasný soubor může být automaticky vymazán po dokončení úlohy nebo může být zachován.

14. tFileArchive: Tato součást se používá k vytvoření komprimovaného souboru z jednoho nebo více souborů. Šifrování lze také použít v kompresi.

15. tFileCompare: Tato komponenta se používá k porovnání dvou souborů a vrací porovnávací data.

16. tFileUnarchive: Tato komponenta se používá k dekomprimaci souboru ZIP.

17. tFileCopy: Tato komponenta se používá ke kopírování souboru nebo složky do cílového adresáře.

18. tFileDelete: Tato součást se používá k odstranění souboru nebo složky.

19. tFileExist: Tato součást se používá ke kontrole, zda soubor existuje nebo ne. Vrací výsledek ve skutečné nebo falešné booleovské hodnotě, kterou lze použít jako globalMap.

20. tFileInputExcel: Tato komponenta se používá ke čtení souboru Excel na základě definovaného schématu.

21. tMsgBox: Tato komponenta se používá k zobrazení dialogového okna s tlačítkem OK.

22. tRowGenerator: Tato komponenta se používá k vytvoření libovolného počtu řádků se sloupci, které mají specifické hodnoty nebo náhodné hodnoty. Používá se většinou pro účely testování a vytváření vzorových testovacích souborů.

23. tIterateToFlow: Používá se k transformaci seznamu toků na hlavní tok, což znamená iterovat-> řádek-> hlavní.

24. tFlowToIterate: Používá se k transformaci hlavního toku na seznam toků, což znamená main-> row-> iterate.

25. tLoop: Slouží ke smyčce konkrétního úkolu.

26. tReplicate: Slouží k replikaci příchozího schématu do dvou výstupních toků.

27. tRunJob: Používá se ke spuštění další talendové úlohy v rámci aktuální úlohy po subjob ok.

28. tSleep: Slouží k pozastavení provádění úlohy nebo konkrétního subjektu v daném čase v sekundách.

29. tWaitForFile: Prohlédne konkrétní adresář a spustí další komponentu na základě podmínek.

30.tMysqlBulkExec: Tato komponenta se používá k nabídnutí zvýšení výkonu při provádění operací vložení v databázi Mysql.

31. tMysqlClose: Tato komponenta se používá k uzavření spojení mysql, které je vytvořeno pomocí tMysqlConnection.

32. tMysqlRow: Tato komponenta se používá pro přímé spuštění dotazu SQL v databázi MySQL.

33. tMysqlTableList: Tato komponenta se používá k výpisu názvů tabulek.

34. tMysqlColumnList: Tato komponenta se používá k iteraci všech sloupců tabulky.

35. tMysqlCommit: Tato komponenta se používá k potvrzení změn provedených v databázi Mysql.

36. tMysqlLastInsertId: Tato komponenta se používá k získání poslední vložené hodnoty klíče

37. tMysqlOutputBulk: Tato komponenta se používá k zápisu souboru se sloupci na základě oddělovače

38. tMysqlOutputBulkExec: Tato komponenta se používá k zápisu souboru se sloupci na základě oddělovače a poté spustí soubor v databázi Mysql.

39. tContextLoad: Tato komponenta se používá pro načítání hodnot do kontextu ze vstupního toku. Kontextové proměnné by měly být vytvořeny před načtením hodnot do kontextových proměnných. Pokud kontextové proměnné nejsou vytvořeny, zobrazí se varování.

40. tHiveClose: Tato komponenta se používá k uzavření připojení vytvořeného pomocí tHiveConnection.

41. tHiveConnection: Tato součást se používá k vytvoření připojení podregistru a může být znovu použita jinými komponenty podregistru.

42. tHiveRow: Tato komponenta se používá k přímému spuštění dotazů Úlu.

Závěr

Komponenty HDFS lze vidět v otevřeném studiu Talend pro velká data.
thdfsinput, thdfsoutput jsou některé komponenty a jsou podobné komponentám souborů.
tHDFSInput - Čte soubor umístěný na daném distribuovaném systému souborů Hadoop (HDFS). Má některé funkce podobné tfileinputdelimited, ale používá distribuovaný systém souborů Hadoop.
tHDFSOutput - Zapíše soubor do distribuovaného systému souborů Hadoop (HDFS).
Má některé funkce podobné tfileoutputdelimited, ale používá distribuovaný systém souborů Hadoop.
tHDFSPut - Slouží k vložení souboru do systému souborů HDFS z lokálního systému.
tHDFSGet - Tato komponenta slouží k načtení souboru z HDFS do lokálního systému.

Doporučené články

Toto je průvodce nástroji Talend Tools. Zde diskutujeme úvodní a talentované komponenty otevřeného studia nebo nástroje pro integraci dat, které zahrnují tS3Connection, tS3Input, tS3Output a ts3Put atd. Další informace najdete také v následujících článcích -