我常用的大数据执行脚本,共享给大家

阅读: 评论:0

我常用的大数据执行脚本,共享给大家

我常用的大数据执行脚本,共享给大家

首先到238执行:
cd /usr/local/hbase-1.2.1/bin/
./stop-hbase.sh 



使用的软件: FileZilla  


碰到报错,到238,239,240
cd /usr/local
 ./stophbase.sh 
 执行完之后,使用
 ps axu |grep hbase
 查看是否还有残余进程。。有的话,根据查看到的pid 执行
 kill -9 $pid (这里的$pid是你看到的pid数字)
 然后使用  
 zkServer.sh restart
 
 hadoop dfsadmin -safemode get     hadoop安全模式是否开启


 ./restartzookeeper.sh   (三台都要执行)重启zookeeper
 
 然后执行
 ./starthbase.sh      启动hbase
 
   hbase hbck -repair 
 
  scan 'DW_KFB_NHTZ',{LIMIT=>5}
  
  get 'DW_INVEST_CZTZ', 'null800000000000网贷天眼'
  
  delete 'DM_ALL_INVEST','201703021001560000597559'
  
  deleteall 'DM_ALL_INVEST','20170301'
  
  put 'DM_YY_TJ','20170410','USERS:INVT_AMT','1415814.84'
  
  put 't1','rowkey001','f1:col1','value01'
  
 nohup /usr/hdp/current/spark2-client/bin/spark-submit  --class "planJob" --master yarn  --deploy-mode cluster /root/project/dcproject/BigData.jar  > /root/project/dcproject/dc.log &
 
[root@mnode spark-2.0.0-bin-hadoop2.7]# ./bin/spark-submit --executor-memory 2g --class "planJob" --master local[4]    myApp/BigData.jar


[root@mnode spark-2.0.0-bin-hadoop2.7]# ./bin/spark-submit  --class "QdJob" --master local[4]    myApp/BigData.jar


[/usr/local/kafka_2.11-0.10.0.0/bin]# kafka-topics.sh --create --zookeeper "192.168.100.110:2181" --topic "producer_test" --partitions 10 --replication-factor 1




-server -XX:PermSize=128M -XX:MaxPermSize=256m


idea里面工程执行配置:

-server -XX:PermSize=512M -XX:MaxPermSize=512m -XX:MaxNewSize=512M -XX:MaxPermSize=512M -XX:-UseGCOverheadLimit


集群上执行jar文件:

nohup /usr/hdp/current/spark2-client/bin/spark-submit --executor-memory 2g --class "planJob" --master yarn    /root/project/dcproject/BigData.jar  > /root/project/dcproject/dc.log &

本文发布于:2024-02-04 20:51:53,感谢您对本站的认可!

本文链接:https://www.4u4v.net/it/170716143959498.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:给大家   脚本   常用   数据
留言与评论(共有 0 条评论)
   
验证码:

Copyright ©2019-2022 Comsenz Inc.Powered by ©

网站地图1 网站地图2 网站地图3 网站地图4 网站地图5 网站地图6 网站地图7 网站地图8 网站地图9 网站地图10 网站地图11 网站地图12 网站地图13 网站地图14 网站地图15 网站地图16 网站地图17 网站地图18 网站地图19 网站地图20 网站地图21 网站地图22/a> 网站地图23