HDFS 常见命令

> 文章作者：亚马逊云科技加油站/罗技123 <!--StartFragment--> Hadoop Distributed File System (HDFS) 是一个分布式文件系统，设计用于运行在商用硬件上。它是 Apache Hadoop 项目的一部分。对于 HDFS，存在几种图形用户界面(GUI)客户端，可以帮助用户更容易地管理和操作 HDFS，包括浏览文件系统、上传和下载文件、以及管理文件和目录。以下是一些较为知名的 HDFS 图形客户端： 1. **Hue** - Hue 是一个开源的 Web 界面，支持浏览HDFS，运行和调度作业，查询数据等。Hue 集成了许多Hadoop生态系统中的组件，如 Hive、Pig、Impala 和其他服务，提供了一个用户友好的界面来交互这些服务。 2. **HDFS Explorer** - HDFS Explorer 是一个简单的桌面应用程序，提供类似于 Windows 资源管理器或 MacOS Finder 的界面来浏览和管理 HDFS 上的文件和文件夹。用户可以通过拖放文件进行上传或下载。 3. **Ambari** - Apache Ambari 是一个用于管理、配置和监控 Hadoop 集群的 Web 应用程序。Ambari 提供了一个简单的 Web 界面，通过 Ambari Files View 可以浏览、上传和下载 HDFS 中的文件。 4. **Cloudera Manager** - 对于使用 Cloudera 发行版的用户，Cloudera Manager 提供了一个全面的管理界面，包括对 HDFS 的图形管理工具。用户可以通过 Web 界面轻松访问、管理和配置 HDFS。 5. **Apache Hadoop HDFS UI** - Apache Hadoop 自带了一个简单的 Web 界面来浏览 HDFS 文件系统。它是 Hadoop 自带的一部分，可以通过访问 NameNode 的 Web UI 来使用。 HDFS 命令以`hadoop fs`开头，后跟各种选项来执行文件系统操作，如列出文件、复制文件、移动文件等。 这里是一些基本的步骤和命令示例来帮助你开始使用 HDFS 命令行工具： ### 基本命令 * **查看根目录下的文件和目录：** ``` hadoop fs -ls / ``` * **查看指定目录下的文件和目录：** ``` hadoop fs -ls /user/hadoop ``` * **创建一个新目录：** ``` hadoop fs -mkdir /user/hadoop/newdir ``` * **上传文件到 HDFS：** ``` hadoop fs -put localfile.txt /user/hadoop/newdir ``` * **从 HDFS下载文件：** ``` hadoop fs -get /user/hadoop/newdir/remotefile.txt ./localdir ``` * **删除 HDFS 上的文件：** ``` hadoop fs -rm /user/hadoop/newdir/remotefile.txt ``` * **删除 HDFS 上的目录：** ``` hadoop fs -rm -r /user/hadoop/newdir ``` [](https://summit.amazoncloud.cn/2024/register.html?source=DSJAVfG2GS7gEk2Osm6kYXAa+8HnSEVdbCVjkuit7lE= )