Kettle:千亿数据仓库基础练习[不学白不学]！！！保证你收益匪浅

Kettle:千亿数据仓库基础练习[不学白不学]！！！保证你收益匪浅

可视化ETL工具Kettle

ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。

Kettle介绍

对于企业或行业应用来说，经常会遇到各种数据的处理，转换，迁移，掌握一种etl工具的使用，必不可少，这里要学习的ETL工具是——Kettle，现在已经更名为PDI。

• Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装
• Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出
• Kettle允许管理来自不同数据库的数据，提供一个图形化的用户环境来描述想做什么，无需关心怎么做
  大数据岗位需求 ：
  
  
  
  

Kettle安装、配置

环境要求：
安装、配置好JDK

1. 下载Kettle
   提取码：apro
2. 解压Kettle
3. 双击spoon.bat 启动spoon

Kettle入门案例

测试数据下载:链接：
提取码：b1rw
需求：

• 把数据从CSV文件（ketttle测试数据用户数据源user.csv）抽取到Excel文件

数据源：

id	name	age	gender	province	city	region	phone	birthday	hobby	注册时间
392456197008193000	张三	20	0	北京市	昌平区	回龙观	18589407692	1970-08-19	美食;篮球;足球	2018-08-06 09:44:43
267456198006210000	李四	25	1	河南省	郑州市	郑东新区	18681109672	1980-06-21	音乐;阅读;旅游	2017-04-07 09:14:13
892456199007203000	王五	24	1	湖北省	武汉市	汉阳区	18798009102	1990-07-20	写代码;读代码;算法	2016-06-08 07:34:23
492456198712198000	赵六	26	2	陕西省	西安市	莲湖区	18189189195	1987-12-19	购物;旅游	2016-01-09 19:15:53
392456197008193000	张三	20	0	北京市	昌平区	回龙观	18589407692	1970-08-19	美食;篮球;足球	2018-08-06 09:44:43
392456197008193000	张三	20	0	北京市	昌平区	回龙观	18589407692	1970-08-19	美食;篮球;足球	2018-08-06 09:44:43

实现步骤：

1. 在Kettle中新建转换

2. 拖拽一个CSV输入组件、一个Excel输出组件、并按住Shift拖动鼠标连接两个组件

3. 配置CSV输入组件、Excel输出组件

具体实现：

4. 新建转换

5. 拖拽一个CSV输入组件、一个Excel输出组件、并按住Shift拖动鼠标连接两个组件
   

6. 配置CSV输入组件

• 选择要进行导入的CSV数据源
• 点击 「获取字段」，读取CSV中的列
• 点击 「预览」，浏览CSV中的数据
  
  

7. 配置Excel组件

• 指定输出Excel文件的位置
  

8. 点击 三角形 箭头执行
   

Kettle数据流结构图

Kettle输入/输出组件

输入组件

JSON数据文件输入

需求：

• 将 kettle测试数据用户数据源user.json 数据文件，通过Kettle，抽取到Excel中
  
  操作步骤：
• 新建转换
• 拽入 JSON input组件、Microsoft Excel输出组件、并连接两个组件
  
• 配置 JSON input 组件
  ① 指定JSON文件数据源
  
  ② 选择 JSON 字段
  
• 配置 Excel 输出 组件
  ① 指定Excel文件输出位置
  
• 启动执行

表输入

需求：

• 将MySQL数据库中的 user 表中的数据抽取到Excel文件中

环境准备：
一 : Kettle整合MySQL数据库

1. 下载MySQL驱动(链接：
   提取码：ijgv)
2. 重启 Kettle

二: 实现步骤

• 拉动 输入/表输入 、输出/Excel输出 组件、连接两个组件

• 配置表输入
  右键表输入—>编辑步骤
  
  
  
  
  
  
  
• 配置Excel输出组件
  
  
  
• 点击执行
  
• 结果
  

生成记录

数据仓库中绝大多数的数据都是业务系统生成的动态数据，但是其中一部分维度数据不是动态的，比如：日期维度。静态维度数据就可以提前生成。

需求：

• 往 Excel 文件中插入1000条记录：id为1，name为itheima，age为18

操作步骤：

• 拖入 输入/生成记录 组件、输出/Excel输出 组件、连接两个组件

• 配置生成记录组件

• 配置Excel输出
  具体实现：

1. 拖入 输入/生成记录 组件、输出/Excel输出 组件、连接两个组件
   

2. 配置生成记录组件
   

输出组件

文本文件输出

需求：

• 从mysql数据库的test库的t_user表 抽取数据到文本文件中

步骤：

1、拖入 一个 输入/表输入、一个 输出/文本文件输出、并连接两个组件

2、指定 从哪个表中获取数据

3、指定表中的数据输出到哪个文件

表输出

• Json输出就是把数据写入指定的表
  需求：
• 从 kettle测试数据用户数据源user.json中读取id, name, age字段的数据，
• 装载到mysql数据库的 t_user_1 表中
  操作步骤：

1. 拖动 输入/JSON Input组件 ，输出/表输出，连接两个组件

2. JSON输入配置

3. 表输出配置

具体操作：
1、拖动 输入/JSON Input组件 ，输出/表输出，连接两个组件

2、JSON输入配置

3、表输出配置

插入更新

• 插入更新就是把数据库已经存在的记录与数据流里面的记录进行比对

• 如果不同就进行更新

• 如果记录不存在，则会插入数据
  需求：
  从kettle测试数据user_new.json 中读数据，并插入或更新到mysql数据库的 t_user_1 表中
  操作步骤：

• 拖入一个 输入/JSON输入组件，一个 输出/插入更新组件、连接两个组件

• 配置 JSON输入组件

• 配置 插入更新 组件

• 启动执行
  具体实现：

1. 拖入一个 输入/JSON输入组件，一个 输出/插入更新组件、连接两个组件
   
2. 配置 JSON输入组件

3. 配置 插入更新 组件

4. 启动执行

删除

需求：

• 从mysql数据库 t_user_1 表中删除指定id为 492456198712198000 的数据

操作步骤：

1. 拖入一个 输入/自定义常量数据、输出/删除 组件

2. 连接两个组件
   

3. 配置自定义常量数据组件
   

4. 配置删除组件