大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段，处理的数据量通常是 TB 级，甚至是 PB 或 EB 级的数据，这是传统数据处理手段所无法完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等，汇集了当前 IT 领域热门流行的 IT 技术。

想要学好大数据需掌握以下技术：

1. Java 编程技术

Java 编程技术是大数据学习的基础，Java 是一种强类型语言，拥有极高的跨平台能力，可以编写桌面应用程序、Web 应用程序、分布式系统和嵌入式系统应用程序等，是大数据工程师最喜欢的编程工具，因此，想学好大数据，掌握 Java 基础是必不可少的！

2.Linux 命令

对于大数据开发通常是在 Linux 环境下进行的，相比 Linux 操作系统，Windows 操作系统是封闭的操作系统，开源的大数据软件很受限制，因此，想从事大数据开发相关工作，还需掌握 Linux 基础操作命令。真正的大数据工程师，linux 命令是横着写很长，不是一句一句执行的，尤其是大数据工程师需要检测 cpu，内存，网络 IO 等各种开销，就需要掌握各种命令，命令主要分为这几种，一是查看各种进程的相关信息，其中包括 cpu 或者内存等从高到底，或者是前十等等。二是排查故障，结合 linux 和 java 的各种命令快速定位到问题出现的关键地方。三是排除系统长时间使用过慢原因等。

3.Hadoop

Hadoop 是大数据开发的重要框架，Hadoop 分 HDFS 和 Map/reduce，HDFS 是 Hadoop 的主要分布式存储。一个 HDFS 集群主要由一个 NameNode（管理文件系统的元数据）和存储实际数据的 DataNode 组成。HDFS 为海量的数据提供了存储，实现了存取优化。Hadoop 的 MapReduce 是一个软件框架，为海量的数据提供了计算，可方便地编写应用程序处理大量的数据（多是 TB 数据集），因此，需要重点掌握，除此之外，还需要掌握 Hadoop 集群、Hadoop 集群管理、YARN 以及 Hadoop 高级管理等相关技术与操作！

4.HBase

HBase 是 Hadoop 的数据库，HBase 是一个分布式的、面向列的开源数据库，它提供了随机，实时读 / 写访问大数据，并进行了优化承载非常大的数据表 - 数十亿行乘以百万列 -，实现服务器硬件之上集群。不同于一般的关系数据库，更适合于非结构化数据存储的数据库，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，在其核心 Apache HBase 是一个分布式的面向列的数据库，属于谷歌的 Bigtable：Apache HBase 在 Hadoop 和 HDFS 之上提供了类似于 Bigtable 的能力。大数据开发需掌握 HBase 基础知识、应用、架构以及高级用法等。

5.Hive

Hive 是基于 Hadoop 的一个数据仓库工具，方便简单的数据汇总工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的 sql 查询功能，可以将 sql 语句转换为 MapReduce 任务进行运行，十分适合数据仓库的统计分析。同时，这语言也可以让传统的 map / reduce 程序员嵌入他们的自定义 maperhe reducer. 对于 Hive 需掌握其安装、应用及高级操作等。

6.ZooKeeper

ZooKeeper 是 Hadoop 和 Hbase 的重要组件，是一个为分布式应用提供一致性服务的软件，一种集中式的服务（负载平衡器），提供的功能包括：配置维护、域名服务、分布式同步、组件服务等，并提供团体服务。Apache ZooKeeper 协调运行在 Hadoop 集群上的分布式应用程序。在大数据开发中要掌握 ZooKeeper 的常用命令及功能的实现方法。

7.phoenix

phoenix 是用 Java 编写的基于 JDBC API 操作 HBase 的开源 SQL 引擎，其具有动态列、散列加载、查询服务器、追踪、事务、用户自定义函数、二级索引、命名空间映射、数据收集、行时间戳列、分页查询、跳跃查询、视图以及多租户的特性，大数据开发需掌握其原理和使用方法。

8.Avro 与 Protobuf

Avro 与 Protobuf 均是数据序列化系统，可以提供丰富的数据结构类型，十分适合做数据存储，还可进行不同语言之间相互通信的数据交换格式，学习大数据，需掌握其具体用法。

9.Cassandra

Apache Cassandra 是一个高性能，可扩展性和高线性可用的数据库，可以运行在服务器或云基础设施上，为关键任务数据提供完美的平台，。 Cassandra 支持多个数据中心之间复制是同类产品中最好，为用户提供更低的延迟，甚至不惧怕停电。 Cassandra 的数据模型提供了便利的列索引，高性能试图和强大的内置缓存。

10.Kafka

Kafka 是一种高吞吐量的分布式发布订阅消息系统，其在大数据开发应用上的目的是通过 Hadoop 的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。大数据开发需掌握 Kafka 架构原理及各组件的作用和使用方法及相关功能的实现！

11.Chukwa

是一个开源大型分布式系统的数据采集监视系统。它是建立在 Hadoop 分布式文件系统（HDFS）和 Map/ Reduce 框架之上，并继承了 Hadoop 的可伸缩性和健壮性。 Chukwa 还包括一个灵活而强大的工具包，用于显示，监测和分析结果，以便做出最佳地使用所收集的数据。

12.Flume

Flume 是一款高可用、高可靠、分布式的海量日志采集、聚合和传输的系统，Flume 支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume 提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。大数据开发需掌握其安装、配置以及相关使用方法。