ZHYCarge的博客

旧平台,已不再维护,请点击下方链接转至新平台访问

0%

使用命令行上传文件到HDFS(Hadoop)

前言

继续配置以及学习相关配置技巧

老师的第二次作业完成

参考资料

老师的云笔记

官方帮助文档

前提准备

需要完成前者的配置过程这个(如果访问过慢可以将网址中的github更换成gitee)(对于第二个配置自己服务器而言)
或者需要电脑上拥有putty等其他ssh连接软件

过程

完成老师的任务(必做)

过程比较简单,因此相对内容较少

自己电脑上需要完成的

使用putty连接到老师的服务器

地址:39.105.6.205

用户名:hadoop

密码:hadoop01

在老师服务器上需完成的

  1. 进入到hadoop的目录:

    cd /usr/local/hadoop/

  2. 执行以下命令来创建一个自己的Hadoop目录(以学号为例):

    hadoop fs -mkdir /1900301500

  3. 在hadoop用户的家目录下面创建一个文件:

    vim ~/1900301500姓名

    直接在打开的界面中输入:wq进行保存退出

  4. 检查一下是不是目录下有这个文件:

    ls ~/

  5. 将这个文件上传到自己的Hadoop目录下面:

    hadoop fs -put ~/1900301500姓名 /1900301500

  6. 删除这个文件:

    rm ~/19003015300姓名

  7. 之后打开浏览器输入39.105.6.205:9870按照下面的点击顺序查看是否完成

Utilities—>Browse the file system

image-20210927140859323

整体操作步骤以及终端反馈内容如下:

image-20210927141016128

创建一个文件夹(自己服务器的操作)(可不做)

  1. 首先进入到自己的Hadoop目录:

    cd /usr/local/hadoop

  2. 然后执行以下命令来创建一个自己的Hadoop目录(后面的文件夹名字可以自定义):

    bin/hadoop fs -mkdir /test

  3. 尝试将一个文件复制到自己的Hadoop目录下

    bin/hadoop fs -put ~/hadoop-3.3.0-aarch64.tar.gz /text

    过程展示如下:

image-20210927093804615

之后通过相关点击便可以实现完成

image-20210927094051303

其他

bin/hadoophadoop指令区别

不知道老师进行了别的配置还是由于其他原因,因此使用hadoop命令的时候在自己服务器上使用hadoop会出现没有命令的情况,因此需要将其更改为bin/hadoop进行使用,也可以使用alias命令进行设置操作快捷键

尾言

如果配置过程中出现什么问题,留言或者私聊我

-------------我也是有底线的哦如需更多,欢迎打赏-------------