Úvod do seznamu příkazů Hadoop FS
Hadoop pracuje na svém vlastním systému souborů, který je distribuován v přírodě známý jako „Hadoop distribuovaný systém souborů HDFS “ . Hadoop spoléhá na distribuované úložiště a paralelní zpracování. Tento způsob ukládání souboru v distribuovaných umístěních v klastru je známý jako distribuovaný systém souborů Hadoop, tj. HDFS. Aby bylo možné provádět různé operace na úrovni souborů, poskytuje HDFS vlastní sadu příkazů známých jako příkazy systému souborů Hadoop. Prozkoumejme tyto příkazy. V tomto tématu se budeme učit o Hadoop FS Command.
Příkazy Hadoop FS
Každý příkaz HDFS má předponu „hdfs dfs“. To znamená, že určujeme, že výchozí systém souborů je HDFS. Pojďme prozkoumat příkazy jeden po druhém
1. Verze
Příkaz version se používá k nalezení verze Hadoop nainstalované v systému.
Syntaxe: Hadoop version
2. Příkaz ls
Příkaz ls v Hadoop se používá k určení seznamu adresářů v uvedené cestě. Příkaz ls bere jako parametr cestu hdfs a vrací seznam adresářů přítomných v cestě.
Syntaxe: hdfs dfs -ls
Příklad: hdfs dfs -ls / user / harsha
Můžeme také použít -lsr pro rekurzivní režim
Syntaxe: hdfs dfs –lsr
3. Kočičí příkaz
Příkaz Cat se používá k zobrazení obsahu souboru na konzoli. Tento příkaz bere cestu souboru hdfs jako argument a zobrazuje obsah souboru.
Syntaxe: hdfs dfs -cat
Příklad: hdfs dfs -cat /user/harsha/empnew.txt
4. Příkaz mkdir
Příkaz mkdir se používá k vytvoření nového adresáře v systému souborů hdfs. Vezme hdfs cestu jako argument a vytvoří nový adresář v zadané cestě.
Syntaxe: hdfs dfs -mkdir
Příklad: hdfs dfs -mkdir / user / example
Na výše uvedeném snímku je jasně ukázáno, že vytváříme nový adresář s názvem „example“ pomocí příkazu mkdir a stejný je zobrazen pomocí příkazu ls.
Také pro příkaz mkdir můžeme dát volbu '-p'. Vytvoří nadřazené adresáře v cestě, pokud chybí.
Příklad: hdfs dfs -mkdir -p / user / test / example2
Na výše uvedeném snímku obrazovky je zcela zřejmé, že máme volbu -p a v adresáři cesta / uživatel / test / example2 jsou vytvořeny adresáře testů i example2.
5. dal příkaz
příkaz umístit do HDFS se používá ke kopírování souborů z daného zdrojového umístění do cílové cesty hdfs. Umístění zdroje zde může být cesta k místnímu systému souborů. Příkaz put má dva argumenty, první je cesta zdrojového adresáře a druhý cílená cesta HDFS
Syntaxe: hdfs dfs -put
Příklad: hdfs dfs -put /home/harsha/empnew.txt / user / test / example2
Na výše uvedeném snímku obrazovky jasně vidíme, že soubor je zkopírován ze zdroje do cíle.
6. příkaz copyFromLocal
Příkaz copyFromLocal v HDFS se používá ke kopírování souborů ze zdrojové cesty na cílovou cestu. Zdroj v tomto příkazu je omezen na místní systém souborů
Syntaxe: hdfs dfs -copyFromLocal /home/harsha/empnew.txt/user/harsha/example
Rozdíl mezi příkazem put a copyFromLocal Command: Mezi těmito dvěma příkazy shellu hdfs není velký rozdíl. Oba se používají ke kopírování z lokálního systému souborů k cílení cesty souboru HDFS.
Příkaz put je však užitečnější a robustnější, protože umožňuje kopírovat více souborů nebo adresářů na místo určení v HDFS
hdfs dfs -put
7. získat příkaz
Příkaz get v hdfs se používá ke kopírování daného souboru hdfs nebo adresáře na cílovou cestu k místnímu systému souborů. Vyžaduje dva argumenty, jeden je cesta ke zdrojovému hdfs a druhý je cílová cesta k místnímu systému souborů
Syntaxe: hdfs dfs -get
Příklad: hdfs dfs -get / user / test / example2 / home / harsha
8. copyToLocal příkaz
Příkaz copyToLocal v hdfs se používá ke kopírování souboru nebo adresáře v hdfs do místního systému souborů. V tomto příkazu je cíl opraven v místním systému souborů. Tento příkaz copyFromLocal je podobný příkazu get.
Syntaxe: hdfs dfs -copyToLocal
Příklad: hdfs dfs -copyToLocal / user / harsha / example / home / harsha
9. příkaz count
Příkaz count v hdfs se používá k výpočtu počtu adresářů přítomných v dané cestě. Příkaz count bere danou cestu jako argument a udává počet adresářů přítomných v této cestě.
Syntaxe: hdfs dfs -count
Příklad: hdfs dfs -count / user
10. mv příkaz
Příkaz mv v hdfs se používá k přesunutí souboru mezi hdfs. Příkaz mv vezme soubor nebo adresář z dané zdrojové cesty hdfs a přesune jej na cílovou cestu hdfs.
Syntaxe : hdfs dfs -mv
Příklad : hdfs dfs -mv / user / test / example2 / user / harsha
Na výše uvedeném snímku obrazovky vidíme, že adresář example2 je nyní přítomen v / user / harsha
11. příkaz setrep
Příkaz setrep v hdfs se používá ke změně faktoru replikace daného souboru. Ve výchozím nastavení má hdfs faktor replikace '3'. Pokud je zadaná cesta adresářem, změní tento příkaz faktor replikace všech souborů v tomto adresáři.
Syntaxe: hdfs dfs -setrep (-R) (-w)
-w: Tento parametr určuje, že příkaz by měl čekat na dokončení replikace.
rep: replikační faktor
Příklad: hdfs dfs -setrep -w 5 /user/harsha/empnew.txt
12. du příkaz
Příkaz du v hdfs ukazuje využití disku pro danou cestu hdfs. Bere cestu hdfs jako vstup a vrací využití disku v bajtech.
Syntaxe : hdfs dfs -du
Příklad: hdfs dfs -du /user/harsha/empnew.txt
13. rm příkaz
Příkaz rm v hdfs se používá k odstranění souborů nebo adresářů v dané cestě hdfs. Tento příkaz vezme cestu hdfs jako vstup a odstraní soubory přítomné v této cestě.
Syntaxe : hdfs dfs -rm
Příklad : hdfs dfs -rm / user / harsha / example
Závěr - příkaz Hadoop FS
Tímto jsme se seznámili s různými příkazy hdfs, jejich příslušnými syntaxemi a příklady. Měli bychom si všimnout kick startu jakékoli hdfs příkazy, potřebujeme spustit bin / hdfs skript. Po hdfs následuje možnost známá jako dfs, což znamená, že pracujeme s distribuovaným systémem souborů Hadoop. S pomocí výše uvedených příkazů můžeme jednat se systémem souborů HDFS.
Doporučené články
Toto je průvodce příkazem Hadoop FS. Zde diskutujeme nejčastěji používané příkazy HDFS. Další informace naleznete také v následujícím článku -
- Hadoop architektura
- HADOOP Framework
- Nainstalujte Hadoop
- Hadoop Tools
- Verze Tableau
- Průvodce seznamem unixových příkazů shellu