CentOS7的MySQL安装和Sqoop部署

CentOS7的MySQL安装和Sqoop部署

1. Hadoop版本: 2.7.6
2. CentOS版本: 7.6.1810
3. 集群: 3台
4. Mysql版本: 5.7.18
5. Mysql驱动JAR包: mysql-connector-java-5.1.28-bin.jar
6. Sqoop版本: 1.4.7

文章目录

• • 1.MySQL
  • • 1.解压安装
    • 2.Msyql
    • 3.MySQL设置远程登录
    • • MySQL END
  • 2.Sqoop安装
  • • 1.解压
    • 2.修改环境变量
    • 3.重命名并修改配置文件
    • 4.**测试sqoop是否能和MySQL联通**

安装包:提取码:1111

注:这里默认 JDK和Hadoop、Zookeeper已经安装好

详细可以参考以下文章:

Hadoop HA集群部署
CentOS7安装JDK和Zookeeper集群配置

1.MySQL

1.解压安装

#解压 
[root@master /]# tar xvf /home/package/mysql-5.7.18-1.el7.x86_64.rpm-bundle.tar
#创建目录存放解压后mysql的rpm文件
[root@master /]# mkdir -p /home/mysql_pacage
#把解压的文件移动进去
[root@master /]# mv mysql* /home/mysql_pacage/
#查看
[root@master /]# ls /home/mysql_pacage/#查看默认安装的
[root@master /]# rpm -qa | grep mariadb
#卸载默认安装的
[root@master /]# rpm -e --nodeps mariadb-libs-5.5.60-1.el7_5.x86_64
#查看默认安装的发现已经卸载了
[root@master /]# rpm -qa | grep mariadb#进入刚刚放rpm的目录
[root@master /]# cd /home/mysql_pacage/#安装顺序1.
[root@master mysql_pacage]# rpm -ivh ./mysql-community-common-5.7.18-1.el7.x86_64.rpm2.
[root@master mysql_pacage]# rpm -ivh mysql-community-libs-5.7.18-1.el7.x86_64.rpm3.
[root@master mysql_pacage]# rpm -ivh mysql-community-client-5.7.18-1.el7.x86_64.rpm4.
#安装server错误如下：
警告：mysql-community-server-5.7.18-1.el7.x86_64.rpm: 头V3 DSA/SHA1 Signature, 密钥 ID 5072e1f5: NOKEY
错误：依赖检测失败：net-tools 被 mysql-community-server-5.7.18-1.el7.x86_64 需要perl(Getopt::Long) 被 mysql-community-server-5.7.18-1.el7.x86_64 需要perl(strict) 被 mysql-community-server-5.7.18-1.el7.x86_64 需要#解决办法：先安装perl然后再安装服务端即可。
[root@hadoop01 home]# yum install -y perl
[root@master mysql_pacage]# yum install net-tools[root@hadoop01 home]# rpm -ivh mysql-community-server-5.7.18-1.el7.x86_64.rpm

2.Msyql

#sql的启停命令：
#查看状态：
[root@master mysql_pacage]# systemctl status mysqld.service
#注意:如果启动报错如下:1.Job for mysqld.service failed because the control process exited with error 		code. See "systemctl status mysqld.service" and "journalctl -xe" for details.2.解决办法如下:[root@master mysql_pacage]# sql /var/run/mysqld/#修改root本地登录密码
[root@master mysql_pacage]# vi /etc/myf
在[mysqld]的段中加上一句：skip-grant-tables
#重启mysql：
[root@master mysql_pacage]# systemctl restart mysqld.service#启动Mysql服务
[root@master mysql_pacage]# systemctl start mysqld#设置开机启动
[root@master mysql_pacage]# systemctl enable mysqld
[root@master mysql_pacage]# systemctl daemon-reload
#重新启动mysqld
[root@master mysql_pacage]# service mysqld restart
[root@master mysql_pacage]# systemctl restart mysqld.service

3.MySQL设置远程登录

#修改root本地登录密码
vi /etc/myf
在[mysqld]的段中加上一句：skip-grant-tables
#重启mysql：
[root@master mysql_pacage]# systemctl restart mysqld.service
进入mysql修改密码：
mysql
mysql> USE mysql;
mysql> flush privileges;
mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY '*****密码*****';
(备注 mysql5.7默认密码策略要求密码必须是大小写字母数字特殊字母的组合，至少8位)
设置允许远程登录
mysql> grant all privileges on *.* to 'root'@'%' identified by 'root';
mysql> flush privileges;
mysql> quit;
[root@master mysql_pacage]# systemctl restart mysqld.service
#登录mysql
mysql -u用户 -p密码
将MySQL的登录设置修改回来
#vim /etc/myf
将刚才在[mysqld]的段中加上的skip-grant-tables删除
重新启动mysqld
service mysqld restart

MySQL END

2.Sqoop安装

1.解压

#解压
[root@master mysql_package]# tar zxvf /home/package/sqoop-1.4.7.bin__hadoop-2.6.  -C /usr/local/src/#改名 因为名字实在太长了
[root@master mysql_package]# mv /usr/local/src/sqoop-1.4.7.bin__hadoop-2.6.0/ /usr/local/src/sqoop#进入Sqoop安装目录
[root@master mysql_package]# cd /usr/local/src/sqoop/

2.修改环境变量

[root@master sqoop]# vi ~/.bashrc
#配置如下:export SQOOP_HOME=/usr/local/src/sqoop/export PATH=$PATH:$SQOOP_HOME/bin:
#刷新        
[root@master sqoop]# source ~/.bashrc

3.重命名并修改配置文件

[root@master sqoop]# mv ./conf/sqoop-env-template.sh ./conf/sqoop-env.sh
#修改
[root@master sqoop]# vim ./conf/sqoop-env.sh
#配置如下export HADOOP_COMMON_HOME=/usr/local/src/hadoop-2.7.6/
export HADOOP_MAPRED_HOME=/usr/local/src/hadoop-2.7.6/
export ZOOCFGDIR=/usr/local/src/zookeeper-3.4.10/

4.测试sqoop是否能和MySQL联通

#将MySQL的驱动jar拷贝到Sqoop的安装目录下的lib目录中。[root@master sqoop]# cp /home/package/mysql-connector-java-5.1.28-bin.jar  /usr/local/src/sqoop/lib/#测试
[root@master sqoop]# sqoop list-databases --connect jdbc:mysql://master:3306 --username root --password 密码