【Flink实时数仓】数据仓库项目实战 《二》 数据采集到kafka【ODS】

【Flink实时数仓】数据仓库项目实战 《二》 数据采集到kafka【ODS】

文章目录

• 【Flink实时数仓】数据仓库项目实战 《二》 数据采集到Kafka【ODS】
• • 模拟数据采集模块：
  • • -------------------------1.用户行为数据采集模块
    • -------------------------2.业务数据采集模块

【Flink实时数仓】数据仓库项目实战 《二》 数据采集到Kafka【ODS】

模拟数据采集模块：

-------------------------1.用户行为数据采集模块

用户行为日志
用户行为日志，一般是没有历史数据的，故日志只需要准备当前一天的数据。具体操作如下：
（1）启动 Kafka。

[root@hadoop102 clickhouse-server]# zk.sh start
---------- zookeeper hadoop102 启动 ------------
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
---------- zookeeper hadoop103 启动 ------------
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
---------- zookeeper hadoop104 启动 ------------
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

[root@hadoop102 clickhouse-server]# kf.sh start--------启动 hadoop102 Kafka---------------启动 hadoop103 Kafka---------------启动 hadoop104 Kafka-------

[root@hadoop102 clickhouse-server]# f1.sh start
--------启动 hadoop102 采集flume-------
--------启动 hadoop103 采集flume-------

[root@hadoop102 clickhouse-server]# jpsall
==============