一、虚拟机安装下载。

根据自己在很多软件、镜像安装之后的经验,我主张在官网去下载正版的东西,避免出现一些不必要的问题和麻烦。如果你觉得下载慢就多切换一下网络,结合我自己的实际条件,我发现校园网下载什么都慢,相反,用自己的流量就很快。

官网网址:Free Downloads - Support Portal - Broadcom support portal

1、先登录。

(没有账号的自己注册一下,一般是邮箱,选择QQ邮箱就行,记住自己的密码,因为我自己老是忘记。。。)

登录之后显示:

下拉找到:

点击下载就好。

2、安装。

下载完成后,安装。

基本上就是选择默认选项(更改安装地址到D盘),一直点击下一步就行。

可以参考:安装虚拟机(VMware)保姆级教程(附安装包)_vmware虚拟机-CSDN博客

二、Ubuntu安装。

还是那句话,建议下载官网的镜像。我这里选择的是ubuntu-22.04-beta-desktop-amd64.iso。我发现版本再高点我的小电脑承受不住,会花屏,所以选择了这个。

官网链接:

Ubuntu 22.04.5 LTS (Jammy Jellyfish)

找到这个点击下载。

下载完成后打开VM虚拟机:

1、点击文件,选择新建虚拟机。

2、选择下一步。

3、选择刚才下载好的镜像:

点击下一步。

4、设置用户名和密码。

点击下一步。

可以修改自己的虚拟机名称:

点击下一步。

点击下一步。

点击完成。

右击刚刚的虚拟机,找到设置。

根据自己需要进行修改:

5、ubuntu安装。

选择语言(官网一般没有中文选项,但是影响不大):

点击继续。

点击继续。

点击Install Now.

点击继续。

点击继续。

设置你的Ubuntu用户名和密码:

点击继续。

等待安装:

重启虚拟机:

输入自己之前设置的Ubuntu密码就好了;

进去后会有一些网站,软件更新什么的让你选择,根据自己需求看情况选择就好了。

安装好的界面:

到这里ubuntu就安装完毕了。

如果你还想搭建做下面的东西,Ubuntu可以不用关闭,后面还会用到。

三、Xshell下载安装和连接虚拟机

为什么要下载安装Xshell,主要虚拟机不能复制粘贴,传输文件,我觉得很麻烦,所以下载了Xshell,也是为Hadoop搭建做准备。

1、Xshell下载安装。

还是去官网下载:家庭/学校免费 - NetSarang Website

点击下载:

然后就是更改安装地址到D盘,其他就是选择默认选项,点击下一步就完事了。

进去之后会显示一个免费许可的认证界面,设置用户名,填写自己的扣扣邮箱认证一下就OK了。

2、连接虚拟机。

(1)打开安装好的Xshell,点击新建。

更改存放数据到D盘:

新建:

(2)接着在Ubuntu终端完成(为了得到主机地址):

到这就可以使用ifconfig查看主机地址了:

(3)接下来在Ubuntu终端安装SSH:

安装 SSH 服务:

如果 SSH 服务未安装,你需要先安装它。运行以下命令安装 OpenSSH 服务器:

sudo apt update
sudo apt install openssh-server

 

启动 SSH 服务:

安装完成后,启动 SSH 服务:

sudo systemctl start ssh

检查 SSH 服务状态,确保它正在运行:

sudo systemctl status ssh

如果服务已启动,你会看到类似以下的输出:

● ssh.service - OpenBSD Secure Shell server
   Loaded: loaded (/lib/systemd/system/ssh.service; enabled; vendor preset: enabled)
   Active: active (running) since ...

设置 SSH 服务开机自启:

为了确保 SSH 服务在系统重启后自动启动,可以启用开机自启:

sudo systemctl enable ssh

 配置无密码 SSH 登录:

Hadoop 需要无密码 SSH 登录。如果你尚未配置 SSH 密钥,可以按照以下步骤操作:

  • 生成 SSH 密钥对:

    ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa

  • 将公钥添加到 authorized_keys 文件中:

    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

  • 设置正确的权限:

    chmod 600 ~/.ssh/authorized_keys

  • 测试无密码 SSH 登录:

    ssh localhost

  • 如果连接成功,你会看到类似以下的提示:

    Welcome to Ubuntu ...

    如果不需要输入密码,说明配置成功。

点击连接。

点击接受并保存。

输入之前登录ubuntu的用户名和密码:

连接成功:

四、Hadoop搭建

这个时候就可以直接在Xshell里搭建了,一些指令和代码就可以粘贴复制过去了。(借鉴了2024年最全ubuntu安装hodoop详细步骤_ubuntu安装hadoop-CSDN博客

1.下载安装JDK、配置环境变量。

执行:

sudo apt update
sudo apt install openjdk-8-jdk

查看jdk版本,看有没有安装好

java -version

出现这个就是安装好了。

配置环境变量:

  • 打开 .bashrc 文件:

使用 vim 编辑器打开 .bashrc 文件(如果没有vim指令,可以执行sudo apt install vim 安装):

vim ~/.bashrc
  • 进入插入模式:

    按下 i 键进入插入模式。

  • 添加环境变量:

  • export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
    export PATH=$JAVA_HOME/bin:$PATH

    在文件的第一行或适当位置添加以下内容:

  • 保存并退出:

    • 按下 Esc 键退出插入模式。

    • 输入 :wq 然后按 Enter 键保存并退出 vim 编辑器。

  • 使更改生效:

    执行以下命令使更改立即生效:

    source ~/.bashrc

  • 验证配置:

    您可以通过以下命令验证 Java 环境变量是否配置正确:

    echo $JAVA_HOME
    java -version

    如果配置正确,echo $JAVA_HOME 应该输出 /usr/lib/jvm/java-8-openjdk-amd64,而 java -version 应该显示您安装的 Java 版本。

2、下载hadoop

去ubuntu里的火狐浏览器搜索:Apache Hadoop

这里的版本选择为3.3.6,你想选择其他版本,你可直接更改网址中的版本号。

3、搭建hadoop 

下载完成后,解压(一般都放在/usr/local目录下):

sudo tar -xzvf /home/test/Downloads/hadoop-3.3.6.tar.gz -C /usr/local

更改目录名:

sudo mv /usr/local/hadoop-3.3.6/  /usr/local/hadoop

修改目录权限:

sudo chown -R test /usr/local/hadoop

查看hadoop版本:

cd /usr/local/hadoop
./bin/hadoop version

在HDFS(/usr/local/hadoop)中创建hadoop用户:

./bin/hdfs dfs -mkdir -p /user/hadoop


然后在HDFS的‘/user/hadoop’目录下创建pint目录

./bin/hdfs dfs -mkdir /user/hadoop/pint


需要将本地配置文件上传到hdfs中的‘/user/hadoop/pint’下

./bin/hdfs dfs -put ./etc/hadoop/*.xml /user/hadoop/pint

 检查目录结构:

./bin/hdfs dfs -ls /user/hadoop

 发现存在:

 验证上传结果:

./bin/hdfs dfs -ls /user/hadoop/pint

 

在当前目录下(/usr/local/hadoop)配置文件:

  • 修改core-site.xml:
vim ./etc/hadoop/core-site.xml

红框中间输入:

	<property>
		<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
		<description>Abase for othertemporary directories.</description>
	</property>
	<property>
		<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
	</property>

之后点击Esc,再输入

:wq

保存退出。

  • 修改hdfs-site.xml:
vim ./etc/hadoop/hdfs-site.xml

输入:

	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:/usr/local/hadoop/tmp/dfs/name</value>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:/usr/local/hadoop/tmp/dfs/data</value>
	</property>

完成初始化:

./bin/hdfs namenode -format

最后显示: 

启动HDFS:

./sbin/start-dfs.sh

显示如图:

这样就算成功了。

接下来可以查看运行中的进程,执行:

jps

在ubuntu火狐浏览器里输入http://localhost:9870 查看hadoop信息:

成功了!

五、总结

到这里就结束了,感谢别的大佬的先驱制作。除此之外别的作者或者我的东西有时并不能完全适用于你的电脑实际情况,这个时候万一你又不懂,特别是代码什么的不敢改,那么我建议你好好利用我们手边的高级工具,比如说deepseek。如果有其他不足请在评论区留言。

    Logo

    欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

    更多推荐