大数据平台、计算平台、存储平台等各类技术整合及部署方案

大数据平台、计算平台、存储平台等各类技术整合及部署方案

作者：禅与计算机程序设计艺术

1.简介

近几年来，随着互联网技术的飞速发展，大数据技术也呈现爆炸性增长，以数据采集、处理、分析等方式产生海量的数据。如何有效利用大数据的价值变得越来越迫切，因此出现了大数据相关的云服务提供商如亚马逊AWS、微软Azure等。而云服务中除了包括传统IT技术栈之外，还涉及到一些大数据平台技术，例如Hadoop、Spark、Hive、Pig等，这些平台技术可以帮助用户快速构建、管理、维护大数据平台。为了能够顺利运用大数据平台，用户需要在云平台上安装相应的组件，配置好集群参数，然后运行相关的应用作业，并进行相应的数据分析。
基于以上原因，本文将以亚马逊AWS为例，对大数据平台技术的整合及部署方案进行说明。所述方案主要适用于数据分析、机器学习、高性能计算、海量数据存储、数据交换等场景。文章将从以下几个方面进行阐述：

1. 数据湖基础设施架构

2. 大数据计算引擎的选择

3. 企业级计算集群硬件选择

4. HDFS的存储优化策略

5. Hive/Impala的使用及其配置调优

6. Spark Streaming的使用及其配置调优

7. Yarn资源管理器的配置调整

8. 数据仓库建设方案

9. SQL查询优化及慢日志排查

10. 可视化工具的选择

11. Hadoop集群管理工具的选择

12. 机器学习系统架构及原理

作者简介：王亚南（Tencent）—云计算相关产品经理，十年云端经验。曾就职于腾讯、阿里巴巴、百度等一线互联网公司