博客水木

在前一篇我们介绍了ZooKeeper单机版、伪集群和集群环境搭建，通过命令行的方式做了节点的创建、删除、更新、获取节点信息的测试。Zookeeper 的目的是为客户端构建复杂的协调功能提供简单、高效的核心 API，这一篇我们用Java通过ZooKeeper提供的API接口来实现这些增删改查的功能。 1 简介 org.apache.zookeeper.Zookeeper...继续阅读

ZooKeeper安装模式主要有3种： 单机版（Standalone模式）模式：仅有一个ZooKeeper服务 伪集群模式：单机多个ZooKeeper服务 集群模式：多机多ZooKeeper服务 1 单机版（Standalone模式）安装 ZooKeeper官网下载地址：http://zookeeper.apache.org/releases.html#download 如图所示进行操作： 注意一点，如果不想当小白鼠...继续阅读

ps：本文的步骤已自实现过一遍，在正文部分避开了旧版教程在新版使用导致出错的内容，因此版本一致的情况下照搬执行基本不会有大错误。如果按本文步骤进行的时候出事了，可以鼠标选中博客页面右侧的目录导航看看最后一部分的意外出事的坑点解决方案。 准备linux主机环境 一、安装虚拟机 下载地址： VMware workstation 1...继续阅读

作为目前字节跳动内部存储量及集群规模最大的分布式存储系统，HDFS 一直伴随着字节跳动关键业务的飞速扩张而快速发展。本文会从 HDFS 发展历程入手，介绍发展路径上的重大挑战及解决方案。 HDFS 简介 因为 HDFS 这样一个系统已经存在了非常长的时间，应用的场景已经非常成熟了，所以这部分我们会比较简单地介绍。 HDFS 全...继续阅读

安装前的准备 1、 准备4台机器、或虚拟机 4台机器的名称和IP对应如下 master：192.168.199.128 slave1:192.168.199.129 slave2:192.168.199.130 slave3:192.168.199.131 2、分别为4台机器安装JDK8 3、为4台机器配置host name 192.168.199.128配置hostname为master 192.168.199.129配置hostname为slave1 192.168.199.130配...继续阅读

由于工作学习需要很多用户需要在Win10系统下安装Hadoop，今天小编就详细分享下Win10中安装Hadoop的教程图文详细资料。 安装环境： JDK 1.8 Windows10 Hadoop3.1.2 需要注意的是jdk版本不要过高，否则可能会带来问题 一、安装Hadoop步骤 官网下载Hadoop3.1.2 ：下载地址 解压到自定义的文件夹，我这里选择我的路径 F:\E...继续阅读

一、入门准备 1、linux操作基础 Linux的介绍，Linux的安装：VMware Workstation虚拟软件安装过程、CentOS虚拟机安装过程 Linux的常用命令：常用命令的介绍、常用命令的使用和练习（文件操作、用户管理与权限、免密登陆配置与网络管理） Linux系统进程管理基本原理及相关管理工具如ps、pkill、top、htop等的使用； Linux...继续阅读

什么是大数据采集技术： 对数据进行ETL操作，通过对数据进行提取、转换、加载，最终挖掘数据的潜在价值。然后提供给用户解决方案或者决策参考。 大数据采集系统，主要分为三类： 1、系统日志采集系统 对日志数据信息进行日志采集、收集，然后进行数据分析，挖掘公司业务平台日志数据中的潜在价值。简言之，收集日志数据提...继续阅读

阶段一、大数据、云计算 – Hadoop大数据开发技术 课程一、大数据运维之Linux基础 本部分是基础课程，帮大家进入大数据领域打好Linux基础，以便更好地学习Hadoop，hbase,NoSQL，Spark，Storm，docker,openstack等众多课程。因为企业 中的项目基本上都是使用Linux环境下搭建或部署的。 1）Linux系统概述 2）系统安装...继续阅读

人工智能是近年来科技发展的重要方向，在大数据时代，对数据采集、挖掘、应用的技术越来越受到瞩目。在人工智能和大数据的开发过程中，有哪些特别需要注意的要点? 人工智能领域的算法大师、华盛顿大学教授Pedro Domingos对此进行了深入思考。 在我们新近翻译的《智能Web算法》(第2版)中，对Pedro Domingos教授的观点进行...继续阅读