Příkazy Sqoop - Základní příkazy s tipy a triky

• Úvod do příkazů Sqoop

Úvod do příkazů Sqoop

V příkazech Sqoop je každý řádek považován za záznamy a úkoly jsou vnitřně rozděleny do dílčích úkolů. Databáze, které jsou podporovány pomocí sqoop, jsou MYSQL, Oracle, IBM, PostgreSQL. Sqoop poskytuje jednoduchý příkazový řádek, můžeme načíst data z jiné databáze pomocí příkazů sqoop. Jsou psány v Javě a používají JDBC pro připojení k jiným databázím.

To znamená 'SQL to Hadoop' a Hadoop to SQL a open source nástroj. Je to nástroj pro připojení aplikací, který přenáší hromadná data mezi relačním databázovým systémem a Hadoopem (Hive, map redukovat, Mahout, Pig, HBase). Umožňují uživatelům specifikovat cílové umístění uvnitř Hadoopu a přimět sqoop přesunout data z RDMS do cíle. Poskytují optimalizované konektory MySQL, které používají databázové rozhraní API k úplnému provádění hromadných přenosů. Uživatel importuje data z externích zdrojů, jako je Hive nebo Hbase. Sqoop má dva formáty souborů: formát oddělených textových souborů a formát sekvenčních souborů.

Zde jsou základní příkazy příkazů Sqoop:

1. Tabulka seznamu:

Tento příkaz vypíše konkrétní tabulku databáze na serveru MYSQL.

Příklad:

2. Cílový adresář:

Tento příkaz importuje tabulku do konkrétního adresáře v HDFS. -m označuje argument mapovače. Mají celočíselnou hodnotu.

Příklad:

3. Ochrana heslem:

Příklad:

4. sqoop-eval:

Tento příkaz rychle spouští dotazy SQL příslušné databáze.

Příklad:

5. sqoop - verze:

Tento příkaz zobrazí verzi sqoop.

Příklad:

6. sqoop-job

Tento příkaz nám umožňuje vytvořit úlohu, vytvořené parametry lze kdykoli vyvolat. Berou možnosti jako (–create, –delete, –show, –exit).

Příklad:

7. Načítání souboru CSV do SQL:

Příklad:

8. Konektor:

Příklad:

9. gen gen:

Tento příkaz Sqoop vytváří soubory třídy java, které zapouzdřují importované záznamy. Všechny soubory javy jsou znovu vytvořeny a generovány nové verze třídy. Vytvářejí kód pro interakci s databázovými záznamy. Načte seznam všech sloupců a jejich datových typů.

Příklad:

10.Seznam databáze:

Tento seznam příkazů Sqoop obsahuje veškerou dostupnou databázi na serveru RDBMS.

příklad:

Průběžné příkazy příkazů Sqoop:

1.sqoop -meta store:

Tento příkaz je hostitelem sdíleného úložiště metadat. Více / vzdálených uživatelů může spouštět několik úloh.

Příkaz:

$ sqoop .metastore.client.autoconnect.url

příklad: jdbc: hsqldb: hsql: // metastore .example.com / sqoop

2. sqoop -help:

Tento příkaz uvádí seznam dostupných nástrojů v sqoop a jejich účel.

Příkaz:

$ sqoop help

$ bin / sqoop help import

3. Export:

Tento příkaz exportuje data z HDFS do databáze RDMS. V HDFS jsou data ukládána jako záznamy.

Příkaz:

$ sqoop export \ –connect jdbc: mysql: // localhost / inventář - uživatelské jméno jony –tabulka lib –export -dir / user / jony / inventář.

4. Vložit:

Tento příkaz vloží nový záznam z tabulky HDFS do tabulky RDBMS.

Příkaz

$ sqoop export –connect JDBC: MySQL: // localhost / sqoop_export - tabulka emp_exported –export -dir / sqoop / newemp -m -000

5. Aktualizace:

Tento příkaz Sqoop aktualizuje záznamy v RDBMS z dat HDFS.

Příkaz

$ sqoop export –connect JDBC: MySQL: // localhost / sqoop_export - tabulka emp_exported –export -dir / sqoop / newemp -m -000 –update -key id

6. Šarže:

Tento příkaz vloží více řádků dohromady, optimalizují rychlost vložení pomocí ovladače Sqoop JDBC.

Příkaz

$ sqoop export \ -connect JDBC: MySQL: // hostname / –username -password -export -dir

7. Split:

Při použití tohoto příkazu se klauzule where použije na celý SQL.

Příkaz

$ sqoop import -D mysql: // jdbc: // where.clause.location = SPLIT –tabulka JUNK - kdekoli „rownum <= 12“

8. AVRO soubor do HDFS:

Ukládají data RDBMS jako soubor Avro.

Příkaz

$ sqoop import –connect JDBC: MySQL: // localhost / Acadgild - root root -password pp.34 –table payment -m1 –target -dir / sqoop_data / payment / avro / == as -avrodatfile.

Pokročilé příkazy příkazů Sqoop:

Import příkazů:

Příkazy importu mají argumenty pro řízení importu. různé argumenty jsou následující:

• hranice: používá se k vytváření rozdělení.
• as - textový soubor: importuje prostá textová data
• -columns (: import sloupců pro tabulku
• -m, - num: pro import úloh paralelního mapování
• split-by: Rozdělí sloupec tabulky
• -z, - compress: komprese dat je povolena.

Argumenty přírůstkového importu:

• check - column: Označuje sloupce pro určení, které řádky se mají importovat.
• inkrementální (režim): označuje nové řádky (zahrnout připojovat a poslední modifikovat řádky)

Argumenty výstupního řádku:

• lines -terminated -by: Nastaví znak eol
• MySQL - oddělovače: nastavují \ n pole: řádky:

Importovat do Úlu

-hive - import: Importují tabulky do podregistru

-hive - partition-key: Název oddílu je sdílen.

-hive - overwrite: Přepíší data v existující tabulce.

Importovat do argumentů Hbase:

-accumulo-table: Určuje cílovou tabulku v HBase.

-accumulo -column: Při importu nastaví cílový sloupec.

-accumulo -: K importu názvu akumulátoru

–Accumulo -: Importování hesla akumulátoru

Ukládání do souborů sekvencí:

$ sqoop import -connect jdbc: mysql: //db.foo.com/emp -table inventář \ - class-name com.foo.com.Inventory -as - sekvencefile

Import dotazu:

Tento příkaz specifikuje příkaz Sql argumentem -query.

$ sqoop import \ –query 'SELECT a. *, b. * z JOIN b on (a.id = b.id), kde $ podmínky' \ -split - / target-dir / user

Přírůstkový vývoz:

$ sqoop export –connect –table –username –password –krementální –check-row –last-value

Import všech tabulek do HDFS:

$ sqoop import -all - tables –connect jdbc: mysql: // localhost / sale_db - root uživatelského jména.

Import dat do Úlu:

$ sqoop import –connect –table –username –password –hive -import - hive -table

Import dat do HBase:

příkaz:

$ sqoop import –connect –table –username –password –hive -import - HBase -table

Kódovat nulové hodnoty:

příkaz:

$ mysql import \ –connect JDBC: MySQL: //mysql.ex.com/sqoop \ –usname sqoop \ -password sqoop \ –table lib \ –null -string '

Tipy a triky k použití příkazů Sqoop:

Pokud chceme efektivně provádět datové operace, musíme použít sqoop, jen pomocí jednoho příkazového řádku můžeme v něm provádět mnoho úkolů a dílčích úkolů. Sqoop se připojuje k různým relačním databázím prostřednictvím konektorů, využívají k interakci s ovladačem JDBC. Protože sqoop běží na vlastním zdroji, můžeme provést sqoop bez procesu instalace. Spuštění příkazu sqoop je snadné, protože provádějí data paralelně. Pomocí funkce Map redu můžeme importovat a exportovat data, což zase zajišťuje paralelní provádění.

Závěr - příkazy Sqoop:

Závěrem Sqoop Commands reguluje proces importu a exportu dat. Sqoop poskytuje možnost aktualizovat části tabulky přírůstkovým zatížením. Import dat v sqoop není řízen událostmi. A přichází sqoop2 s povoleným GUI pro snadný přístup spolu s příkazovým řádkem. Přenos dat je rychlý, protože se přenášejí paralelně. Hrají zásadní roli v prostředí Hadoop. Svou práci provádějí samostatně, při importu malých datových sad není nutné.

Doporučené články

Toto byl průvodce příkazy Sqoop. Zde jsme diskutovali základní i pokročilé příkazy Sqoop a některé okamžité příkazy Sqoop. Další informace naleznete také v následujícím článku -

1. Sqoop Interview Otázky a odpovědi
2. Cheat sheet SQL (příkazy, tipy zdarma a triky)
3. Důležité příkazy VBA
4. Tableau Příkazy