Úvod do talentu a SSIS
Talend je nástroj ETL, který pomáhá organizaci s dostupnými daty. To vám umožní připojit se k řadě datových základen. Talend je flexibilní pro práci s různými zdroji dat a platformami. Pomáhá při integraci dat, řízení podnikových procesů, správě kmenových dat a kvalitě dat. Lze to říci jako budoucnost datové integrace. SSIS je zkratka pro „SQL Server Integration Services“. Pomáhá při migraci dat, transformaci, ETL a dalších funkcích. Toto je další nástroj ETL, který pomáhá při provádění složitých řešení, jako je čtení dat z různých zdrojů, a také zahrnuje analýzu a čištění dat, provozování procesů ETL pro aktualizaci datových skladů. Obsahuje sadu nástrojů s názvem SQL Server Data Tools pro vývoj a testování integračních programů.
Podívejme se podrobněji na Talend a SSIS:
V tomto článku porovnáme dva z nejlepších nástrojů ETL dostupných na trhu - Talend a SSIS. Před zahájením tohoto vhazování se pokusíme zjistit, co je Talend a SSIS? A co jsou schopni?
Co je Talend?
Talend je nástroj ETL stejně jako Informatica, který společnostem pomáhá zvyšovat dostupnost dat. Umožňuje vám připojit se k řadě datových základen. Talend je postaven tak, že je dostatečně flexibilní, aby pracoval se všemi zdroji dat a platformami tam na trhu. Zahrnuje integraci dat, kvalitu dat, správu kmenových dat a správu obchodních procesů. Má pro vás vše, aby vaše data pro vás znamenala. Myslíme si, že je to budoucnost datové integrace.
Vlastnosti Talendu:
- Talend běží na platformě Java.
- Talend využívá JDBC pro připojení k jiným databázovým systémům.
- Talend ukládá připojovací řetězce do metadat, kde jsou definovány připojovací řetězce.
- Talend využívá Palette ke stanovení typu úkolu v závislosti na typu práce ETL.
- Paleta zpracování má různé úkoly, které se používají k filtrování a agregaci dat a připojení k více zdrojům dat pomocí primárního.
Co je SSIS?
SSIS je zkratka pro „SQL Server Integration Services“. Aby společnost Microsoft mohla konkurovat v oblasti migrace dat, ETL a transformace, zavedla SSIS. Microsoft jej zmocňuje celou municí, aby pomohl s migrací dat, transformací, ETL a dalšími funkcemi. Tento nástroj ETL může provádět komplexní řešení, jako je čtení dat z různých zdrojů, analýza a čištění dat, spuštění procesů ETL k aktualizaci datových skladů, zápis dat do různých zdrojů a e-mail konkrétní osobě nebo skupině. Zahrnuje sadu nástrojů pro vývoj a testování integračních programů s názvem SQL Server Data Tools
Vlastnosti SSIS:
- SSIS může zpracovávat data z heterogenních zdrojů dat.
- Údržba SSIS je snadnější.
- SSIS je úzce integrován s SQL Server a Microsoft Visual Studio.
- SSIS načítá data do SQL rychleji pomocí cíle serveru SQL.
- SSIS odstraní problém s úzkým profilem sítě při vkládání dat do SQL.
- SSIS je lepší pro komplexní transformace, vícestupňové operace, agregaci dat z různých zdrojů nebo typů dat a pro strukturované zpracování výjimek.
Srovnání hlava-hlava mezi Talendem a SSIS (Infografika)
Níže je prvních 8 Porovnání mezi Talendem a SSIS
Porovnání rychlosti mezi Talendem a SSIS
POUŽITÍ PŘÍPADU
Abychom otestovali schopnost obou nástrojů ETL, nahráli jsme 1 oddělený plochý soubor do jiného odděleného plochého souboru na stejném serveru. Soubor se skládá z 20 milionů záznamů a přibližně velikost je asi 1, 5 GB.
Konfigurace klastru
- Server: IBM - System x3650 M3
- Procesor: Intel Xeon X5680 při 3, 33 GHz (2 procesory)
- RAM: 76 GB
- OS: Windows Server 2008 R2 - 64 bitů
- Talend v5.3.1 Otevřené studio
- JDK 1.7.0
- JRE 7
- SQL Server 2008 - SP1
POROVNÁNÍ -Talend vs SSIS
Pro získání dostatečně velkého vzorku jsem test provedl 3krát.
| Zkouška | Evidence | Talendův čas | SSIS Čas |
| 1 | 20000000 | 92, 28 | 49, 71 |
| 2 | 20000000 | 92, 99 | 50.2 |
| 3 | 20000000 | 86, 69 | 51, 83 |
V průměru dokončil Talend 67, 69 sekund, zatímco SSIS dokončil stejnou práci s průměrnou dobou 39, 8 sekund.
Srovnávací tabulka Talend vs SSIS
| Základ pro srovnání | SSIS | Talend |
| Vývojář | Microsoft | Talend |
| Objektivní | Extrahování, transformace a načítání dat z více zdrojů s různým formátováním | Vytváření ETL úloh nebo zdrojů dat z více umístění a pro jejich lepší kompatibilitu je třeba je integrovat |
| Profesionálové |
|
|
|
|
|
| Nevýhody |
|
|
|
|
|
| Návratnost investic | Jakmile jsou vaše balíčky vyvinuty, jsou velmi stabilní a vyžadují relativně malou údržbu, což šetří spoustu pracovní doby | Integrace dat Talend Integration zjednodušila správu datového skladu, což může snížit jak náklady, tak čas |
| Prostor pro zlepšení | SSIS může zlepšit zpracování různých typů dat. Velkou výzvou pro SSIS bude také připojení s různými zdroji dat, jako je připojení Salesforce, připojení Oracle Cloud atd.. Očekáváme tedy zlepšení v těchto oblastech. | Verze s otevřeným zdrojovým kódem by měla zahrnovat funkce, jako je verze zdrojového kódu a paralelní provádění. |
| Problémy se škálovatelností | Žádný | Než se dostaneme k optimálnímu výkonu, vyžaduje to trochu vyladění. |
| Podpěra, podpora | Podpora je vynikající. Můžete také získat předepsané skriptové úlohy s celou řadou funkcí, které šetří spoustu času. | Dobrá podpora, zejména pokud se týká prostředí PROD. |
Závěr - Talend vs SSIS
Po tomto testu je jasně vidět, že SSIS má v některých jednoduchých transformacích lepší výkon než Talend. To však neznamená, že SSIS překoná Talend ve všech oblastech. Tato velikost testu byla malá a víme, že Talend umí mnohem efektivněji dělat to, co SSIS a je open source. Nakonec můžeme konstatovat, že oba tyto nástroje mají své vlastní klady a zápory a záleží na vašem požadavku, můžete si mezi nimi vybrat.
Doporučené články
Toto byl průvodce Talendem vs SSIS, jejich významem, srovnáváním hlava-hlava, srovnáváním rychlosti, srovnávací tabulkou a závěrem. Další informace naleznete také v následujících článcích -
- Zjistěte 12 nejlepších rozdílů mezi Informatica PowerCenter a Talend Vs
- Data Mining Vs Vizualizace dat - který z nich je lepší
- Nejlepší rozdíl 7 mezi analýzou dat těžby dat Vs
- Business Intelligence vs BigData - 6 úžasných srovnání