Úvod do otázek a odpovědí na Hive Interview
V nové datové éře je Úl otevřeným zdrojovým balíčkem infrastruktur nástrojů ETL a Data warehousing pro ukládání strukturovaných a nestrukturovaných dat založených na distribuovaném systému souborů (HDFS).
pro analýzu, dotazování a těžbu obrovských objemových datových souborů umožněním jazyka typu SQL nazývaného HiveQL (HQL) a snadného provádění dotazů pomocí plánování Hadoop MapReduce.
Úl je postaven na Hadoopu pro zpracování a analýzu velkých dat a usnadňuje dotazování.
Úl byl původně vytvořen Facebookem, později byl dále vylepšen a vyvinut jako otevřený zdroj Apache Software Foundation a pojmenován jako Apache Hive. Existuje mnoho společností, které nyní využívají Apache Hive pro jejich řešení Big Data.
Pokud hledáte práci, která souvisí s Úlem, musíte se připravit na 2018 Hive Interview Questions. Ačkoli každý rozhovor je jiný a rozsah práce je také jiný, můžeme vám pomoci s top 2018 Hive Interview Otázky a odpovědi, které vám pomohou udělat skok a získat úspěch v rozhovoru.
Níže je hlavní seznam otázek Hive Interview, které jsou nejčastěji kladeny v rozhovoru. Tyto otázky jsou rozděleny do dvou částí:
Část 1 - Otázky k pohovoru úlu (základní)
Tato první část se zabývá základními otázkami a odpověďmi na Hive Interview.
1. Vyjmenujte různé komponenty architektury Úlu?
Odpovědět:
V architektuře Úlu je uvedeno pět základních komponent:
• Uživatelské rozhraní (UI): Funguje jako komunikátor mezi uživateli a ovladači, když uživatel zapisuje dotazy, které jej uživatelské rozhraní přijímá, a spouští jej na ovladači. Existují dva typy rozhraní, které jsou k dispozici, a to rozhraní příkazového řádku a rozhraní GUI.
• Driver: Udržuje životní cyklus dotazu HiveQL. Přijme dotazy z uživatelského rozhraní a vytvoří relaci pro zpracování dotazu.
• Kompilátor: Přijme plány dotazů od ovladače a získá požadované informace od Metastore, aby mohl plán provést.
• Metastore: Ukládá informace o datech jako tabulku; může to být vnitřní nebo externí stůl. Odesílá informace metadat do kompilátoru k provedení dotazu.
• Execute Engine: Služba Hive provede výsledek ve spouštěcím motoru; provede dotaz v MapReduce ke zpracování dat. Je zodpovědný za řízení každé fáze pro všechny tyto komponenty.
2. Jaké jsou různé typy režimů, které může Úl pracovat?
Odpovědět:
Toto jsou běžné otázky Hive Interview. Úl může pracovat ve dvou režimech na základě velikosti dat,
Jedná se o tyto režimy:
• Režim zmenšení mapy
• Místní režim
3. Jaké jsou scénáře, kde Hive lze použít a nelze jej použít?
Odpověď :
Když vytváříte aplikace datového skladu, když jsou vaše data statická, když vaše aplikace nevyžaduje vysokou dobu odezvy, když je objem dat obrovský, když se data rychle nemění a když místo skriptování používáte dotazy. Podregistr podporuje pouze transakci OLAP, která není vhodná pro transakce OLTP.
Přejdeme k dalším otázkám Hive Interview.
4. Jaké formáty souborů podporuje Hive? Seznam typů aplikací, které jsou podporovány HIVE?
Odpovědět:
Ve výchozím nastavení Hive podporuje formát textových souborů a také podporuje binární formát souborů, jako jsou soubory Sequence, ORC, Parquet, Avro Data.
• Sequence file: Obecně se jedná o soubor binárního formátu, který lze komprimovat a rozdělit ho.
• Soubor ORC: Optimalizovaný soubor sloupců řádků je zaznamenáván soubor založený na sloupcích a úložný soubor orientovaný na sloupce.
• Parketový soubor: Jedná se o binární soubor orientovaný na sloupce, který je vysoce účinný pro rozsáhlé dotazy.
• Avro Data file: Je stejný jako formát souboru sekvence, což je rozdělitelný, komprimovatelný a řádkově orientovaný soubor.
Maximální velikost datového typu řetězce povoleného v Úlu je 2 GB.
Hive je rámec datového skladu, který je vhodný pro aplikace napsané v jazycích Java, C ++, PHP, Python nebo Ruby.
5. Jaké jsou různé typy tabulek dostupných v Úlu?
Odpovědět:
V aplikaci Hive existují dva typy tabulek:
• Spravované tabulky: Data a schéma jsou pod kontrolou Úlu.
• Externí tabulky: Úl řídí pouze schéma.
Část 2 - Rozhovory s Hive Interview
Podívejme se nyní na pokročilé otázky Hive Interview.
6. Co je Metastore v Úlu? Seznam a vysvětlení různých typů konfigurace Hive Metastores?
Odpovědět:
Metastore v Úlu se používá k ukládání informací o metadatech, je to centrální úložiště v Úlu. Umožňuje ukládat informace o metadatech do externí databáze. Ve výchozím nastavení Hive ukládá informace o metadatech do databáze Derby, ale lze je také uložit do jiných databází, jako je Oracle, MySql atd.
Existují tři typy konfigurace Metastore:
• Embedded metastore: Je to výchozí režim; může lokálně přistupovat do knihovny Hive, všechny operace příkazového řádku jsou prováděny ve vestavěném režimu. Služba Hive, metastore service a database běží ve stejném JVM.
• Local metastore: Ukládá data v externí databázi, jako je MySql nebo Oracle. Služba Hive a metastore běží ve stejném JVM, připojuje se k databázi, která běží v samostatném JVM.
• Vzdálené metastory: Používá vzdálený režim pro spouštění dotazů, zde se služba metastor a služba podregistru spouští v samostatném JVM. Pro zvýšení dostupnosti můžete mít více serverů metastorů.
7. Co je procesor dotazů podregistru? Jaké jsou různé komponenty procesoru dotazů úlu?
Odpovědět:
Toto jsou nejčastěji kladené otázky Hive Interview. Procesor Hive Query se používá k převodu SQL na MapReduce úlohy. Na základě pořadí závislostí jsou úlohy prováděny.
Složky procesoru Hive Query Processor jsou uvedeny níže:
• Sémantický analyzátor
• UDF a UDAF
• Optimalizátor
•Operátor
• Parsery
• Prováděcí motor
• Kontrola typu
• Generování logického plánu
• Generování fyzického plánu
8. Jaká je funkce Object-Inspector v Úlu?
Odpovědět:
Skládá se z Úlu, který slouží k identifikaci struktury jednotlivých sloupců a vnitřní struktury řádkových objektů. Ke složitým objektům, které jsou uloženy ve více formátech, lze přistupovat pomocí Object-Inspector v Úlu.
Inspektor objektů identifikuje strukturu objektu a způsoby přístupu k vnitřním polím uvnitř objektu.
Přejdeme k dalším otázkám Hive Interview.
9. Jaké jsou různé způsoby připojení aplikací k serveru Hive?
Odpovědět:
Existují tři způsoby, jak připojit aplikace k serveru Hive, jsou:
• Thrift Client: Používá se ke spuštění všech příkazů podregistru pomocí jiného programovacího jazyka, jako je Java, C ++, PHP, Python nebo Ruby.
• ODBC Driver: Podporuje protokol ODBC
• JDBC Driver: Podporuje protokol JDBC
10. Jaké jsou výchozí třídy čtení a zápisu v Úlu?
Odpovědět:
Níže jsou třídy čtení a zápisu dostupné v Úlu:
• TextInputFormat - Tato třída se používá ke čtení dat ve formátu prostého textu.
• HiveIgnoreKeyTextOutputFormat - Tato třída se používá k zápisu dat ve formátu prostého textu.
• SequenceFileInputFormat - Tato třída se používá ke čtení dat ve formátu souboru Hadoop Sequence.
• SequenceFileOutputFormat - Tato třída se používá k zápisu dat ve formátu souboru Hadoop Sequence.
Doporučený článek
Toto byl průvodce seznamem otázek a odpovědí na seznam pohovorů z úlu, aby mohl kandidát snadno provést zátahové otázky na pohovor. Další informace naleznete také v následujících článcích -
- 5 hlavních užitečných otázek a odpovědí na rozhovor s DBA
- 12 nejčastějších dotazů a odpovědí na rozhovor GitHub
- 15 nejdůležitějších otázek a odpovědí na rozhovor s Ruby
- Top 10 nejužitečnějších otázek rozhovoru s HBase