博客水木

一、概述 sqoop 是 apache 旗下一款“ Hadoop 和关系数据库服务器之间传送数据”的工具。     导入数据： MySQL， Oracle 导入数据到 Hadoop 的 HDFS、 HIVE、 HBASE 等数据存储系统； 导出数据：从 Hadoop 的文件系统中导出数据到关系数据库 mysql 等 Sqoop 的本质还是一个命令行工具，和 HDFS，...继续阅读

从github上下载了ZooKeeper源码后，按常规方式导入IDEA，最后发现少各种包。起初我也是这样弄的，以为ZooKeeper是用Maven来构建的，仔细去了解了下ZooKeeper的版本历史，其实是用的Ant。如今一般用的Maven或Gradle，很少见到Ant的项目了，这里不对Ant多做介绍。 1 Ant环境搭建 Ant官网地址：https://ant.apache.org/bind...继续阅读

在前一篇我们介绍了ZooKeeper单机版、伪集群和集群环境搭建，通过命令行的方式做了节点的创建、删除、更新、获取节点信息的测试。Zookeeper 的目的是为客户端构建复杂的协调功能提供简单、高效的核心 API，这一篇我们用Java通过ZooKeeper提供的API接口来实现这些增删改查的功能。 1 简介 org.apache.zookeeper.Zookeeper...继续阅读

ZooKeeper安装模式主要有3种： 单机版（Standalone模式）模式：仅有一个ZooKeeper服务 伪集群模式：单机多个ZooKeeper服务 集群模式：多机多ZooKeeper服务 1 单机版（Standalone模式）安装 ZooKeeper官网下载地址：http://zookeeper.apache.org/releases.html#download 如图所示进行操作： 注意一点，如果不想当小白鼠...继续阅读

ps：本文的步骤已自实现过一遍，在正文部分避开了旧版教程在新版使用导致出错的内容，因此版本一致的情况下照搬执行基本不会有大错误。如果按本文步骤进行的时候出事了，可以鼠标选中博客页面右侧的目录导航看看最后一部分的意外出事的坑点解决方案。 准备linux主机环境 一、安装虚拟机 下载地址： VMware workstation 1...继续阅读

作为目前字节跳动内部存储量及集群规模最大的分布式存储系统，HDFS 一直伴随着字节跳动关键业务的飞速扩张而快速发展。本文会从 HDFS 发展历程入手，介绍发展路径上的重大挑战及解决方案。 HDFS 简介 因为 HDFS 这样一个系统已经存在了非常长的时间，应用的场景已经非常成熟了，所以这部分我们会比较简单地介绍。 HDFS 全...继续阅读

安装前的准备 1、 准备4台机器、或虚拟机 4台机器的名称和IP对应如下 master：192.168.199.128 slave1:192.168.199.129 slave2:192.168.199.130 slave3:192.168.199.131 2、分别为4台机器安装JDK8 3、为4台机器配置host name 192.168.199.128配置hostname为master 192.168.199.129配置hostname为slave1 192.168.199.130配...继续阅读

1.打开url选择jdk1.8下载 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 我选择linux x64版本： 2.下载 wget http://download.oracle.com/otn-pub/java/jdk/8u171-b11/512cd62ec5174c3487ac17c61aaa89e8/jdk-8u171-linux-x64.tar.gz?AuthParam=1531155951_4e06a4d17c6c1dbfb...继续阅读

由于工作学习需要很多用户需要在Win10系统下安装Hadoop，今天小编就详细分享下Win10中安装Hadoop的教程图文详细资料。 安装环境： JDK 1.8 Windows10 Hadoop3.1.2 需要注意的是jdk版本不要过高，否则可能会带来问题 一、安装Hadoop步骤 官网下载Hadoop3.1.2 ：下载地址 解压到自定义的文件夹，我这里选择我的路径 F:\E...继续阅读

一. 背景 软件架构，总是在不断的演进中… 把时间退回到二十年之前，当时企业级领域研发主要推崇的还是 C/S 模式，PB、Delphi 这样的开发软件是企业应用开发的主流。随着时间不断的推移，基于浏览器的的 B/S 架构开始渐渐流行了起来。初期，Web 开发 ASP 还占据了不少优势，但 JSP 的预编译模式让性能有了很大的提升...继续阅读