HDFS的常用命令

news/2024/12/22 20:39:59 标签: hdfs, hadoop, 大数据

HDFS(Hadoop Distributed File System)是Hadoop项目的核心组件之一,它是一个分布式文件系统,设计用于存储大规模数据集。以下是一些常用的HDFS命令:

1. **查看文件系统状态**
   - `hdfs dfsadmin -report`:显示文件系统的总体状态和空间使用情况。
   - `hdfs dfs -df -h`:显示文件系统的可用空间和已用空间。

2. **文件和目录操作**
   - `hdfs dfs -ls [path]`:列出指定目录下的文件和目录。
   - `hdfs dfs -ls /`:列出根目录下的文件和目录。
   - `hdfs dfs -mkdir [path]`:创建新目录。
   - `hdfs dfs -touchz [path]`:创建一个空文件。
   - `hdfs dfs -put localpath ... hdfs://hdfsnamespace/path/...`:将本地文件上传到HDFS。
   - `hdfs dfs -get [hdfs_path] [local_path]`:从HDFS下载文件到本地。
   - `hdfs dfs -getmerge ... localpath`:合并多个HDFS文件并下载到本地。
   - `hdfs dfs -mv ...`:移动或重命名文件/目录。
   - `hdfs dfs -rm [path]`:删除文件或目录。
   - `hdfs dfs -rmdir [path]`:删除空目录。
   - `hdfs dfs -rm -r [path]`:递归删除目录及其内容。

3. **文件权限和所有权**
   - `hdfs dfs -chown [-R] [owner][:[group]] ... [path]`:更改文件/目录的所有者。
   - `hdfs dfs -chmod [-R] [mode] ... [path]`:更改文件/目录的权限。
   - `hdfs dfs -chgrp [-R] [group] ... [path]`:更改文件/目录的组。

4. **查看文件内容**
   - `hdfs dfs -cat [path]`:显示文件内容。
   - `hdfs dfs -text [path]`:显示文件内容,显示行号。

5. **文件复制**
   - `hdfs dfs -cp [src] ... [dst]`:复制文件。
   - `hdfs dfs -cp -p [src] ... [dst]`:复制文件并保留属性。

6. **文件压缩**
   - `hdfs dfs -tar [options] [tarfile]`:打包文件。
   - `hdfs dfs -untar [options] [tarfile]`:解包文件。

7. **文件系统元数据操作**
   - `hdfs dfs -checksum [path]`:显示文件的校验和。
   - `hdfs dfs -du [path]`:显示目录或文件的磁盘使用情况。
   - `hdfs dfs -du -s [path]`:显示目录的总磁盘使用情况。

8. **快照操作**
   - `hdfs dfs -allowSnap [path]`:允许在目录上创建快照。
   - `hdfs dfs -disallowSnap [path]`:禁止在目录上创建快照。
   - `hdfs dfs -createSnapshot [path] [snapshotName]`:创建快照。
   - `hdfs dfs -deleteSnapshot [path] [snapshotName]`:删除快照。
   - `hdfs dfs -listSnapshot [path]`:列出目录的所有快照。

这些命令是HDFS操作的基础,用于文件管理、权限控制、文件复制和查看文件系统状态等。在使用这些命令之前,确保你已经配置好了Hadoop环境,并且HDFS服务正在运行。
 


http://www.niftyadmin.cn/n/5795828.html

相关文章

Linux之压缩解压相关命令

1、gzip/gunzip 作用:压缩和解压文件 语法: #压缩 压缩后缀是.gz gzip 文件 # 解压 gunzip 文件.gz 注意: (1)只能压缩文件不能压缩目录 (2)不保留原来的文件 (3)同时多个文件会产生多个压缩包 2、zip/unzip 作用:压缩和解压…

Linux IPC:读写锁汇总整理

读写锁(Readers-Writers Locks)是一种同步机制,用于允许多个线程同时读取共享资源,但只允许一个线程写入。这种锁的设计目的是为了提高并发性能,尤其是在读操作远比写操作频繁的情况下。下面详细介绍读写锁的概念、用途…

k8s迁移——岁月云实战笔记

新系统使用rockylinux9.5,旧系统虚拟机装的是centos7 1 目标服务器 1.1 禁止swap swapoff -a vi /etc/fstab #/dev/mapper/rl-swap none swap defaults 0 0 #执行,swap一行都是0 free -h 1.2 关闭防火墙 只是为了减…

RK3588 , mpp硬编码yuv, 保存MP4视频文件.

RK3588 , mpp硬编码yuv, 保存MP4视频文件. ⚡️ 传送 ➡️ Ubuntu x64 架构, 交叉编译aarch64 FFmpeg mppRK3588, FFmpeg 拉流 RTSP, mpp 硬解码转RGBRk3588 FFmpeg 拉流 RTSP, 硬解码转RGBRK3588 , mpp硬编码yuv, 保存MP4视频文件.

【单片机】IIC需要注意什么(企业级回答)

问:IIC需要注意的有哪些 初步测试实现阶段: 1、从应用层来看,先看数据手册确定下手册中的从机地址指的是八位地址还是七位地址。 2、确定下要对应操作的读写的寄存器 3、直接在原有的demo上尝试运行,看看能不能通讯成功&#xff0…

Powershell(1)

1.Powershell认识&版本信息输出 powershell自身很强大,cmd能做到powershell都能做,cmd可以写一些简单的脚本程序,但是实现起来并不容易,它的功能和可拓展性并不是很好。但是linux shell写起来就会方便很多,在目前…

CIC滤波器算法详解与Python实现

目录 CIC滤波器算法详解与Python实现第一部分:CIC滤波器概述1.1 什么是CIC滤波器?1.2 CIC滤波器的应用1.3 CIC滤波器的优势1.4 CIC滤波器的缺点 第二部分:CIC滤波器的原理与工作机制2.1 CIC滤波器的结构2.2 CIC滤波器的工作流程2.3 CIC滤波器…

OceanBase 数据库分布式与集中式 能力

OceanBase分布式数据库与集中式数据库的差异 分布式数据库能解决金融行业最有挑战的高并发低延迟的核心交易系统的稳定性、扩展性、高性能问题。OB之所以一直强调分布式是说它具备很强的数据处理能力,当然从OB4.0开始也支持集中式了。 在实际业务场景中20%是分布式…