大数据平台集群的创建准备

大数据平台集群的创建准备

1.创建虚拟机，正常创建即可

2.开机后，进入系统

【1】修改网络配置

按照步骤依次修改

（1）VMware Workstation 的虚拟网络编辑器

（2）本地的VMware Network Adapter VMnet8的IP地址

（3）修改虚拟机中的本地ip地址配置，（注意本地ip地址所在文件）

（4）关闭防火墙，测试网络

（5）修改主机名，修改虚拟机本地host网络映射，绑定主机名与ip地址

（6）创建hadoop用户，设置hadoo用户权限

（7）克隆虚拟机，修改克隆后虚拟机ip

（8）设置window本地网络映射

【2】配置ssh连接

（1）生成密钥

（2）传输密钥到其他虚拟机

（3）测试连接

第一次连接时需要密码正常，但是第二次还需要说明有问题

【3】配置jdk，Hadoop

（1）下载jdk，Hadoop安装包

（2）导入，解压，配置jdk，hadoop环境变量

（3）测试jdk

（4）配置hadoop配置文件

（5）创建xsync群发脚本，传入其他虚拟机

注意报错时查看文件所属用户

【4】配置mysql

（1）下载安装包

（2）安装mysql，注意安装顺序

（3）获取初始密码

（4）使用初始密码进入mysql，修改mysql密码强度

（5）在mysql中重新设置密码

（6）退出mysql，初始化mysql

（7）进入mysql，开启远程访问，本地连接

【5】配置hive

(1)下载，导入，解压安装包

（2）配置环境变量，修改配置文件

（3）启动mysql，创建hive数据库

（4）下载导入，jdbc驱动文件

（5）初始化hive

（6）启动hive，解决报错

【6】Hbase，zookeeper安装与配置

（1）下载，导入安装包

（2）添加环境变量，修改配置文件

（3）按顺序启动，检查问题

【7】Sqoop，Flume 安装,配置

（1）下载，导入安装包

（2）添加环境变量，修改配置文件

（3）按顺序启动，检查问题