现在只要听别人说起Java大数据工程师都感觉逼格非常高，其实他们在背后的付出我们难以想象，一个合格的Java大数据工程师没那么简单，在这个行业中Java语言是基础需要打牢，除此之外还要掌握其他的技能，大数据之所以被称为大数据，是因为这些海量数据的数量级已经达到TB、PB、EB级。传统的数据处理手段早已满足不了需求。接下来优逸客老师给大家讲解一下作为一名大数据工程师需要掌握哪些技能我们一起来看一下。
？
1.Java编程
Java语言是基础，可以编写Web应用、桌面应用、分布式系统、嵌入式系统应用等。Java语言有很多优点，它的跨平台能力赢得了很多工程师的喜爱。
2.Hadoop
Hadoop中使用多的是HDFS集群和MapReduce框架。
HDFS存储数据，并优化存取过程。
MapReduce方便了工程师编写应用程序。
3.Hive
Hive作为Hadoop的一个数据仓库工具，方便了数据汇总和统计分析。
4.Avro与Protobuf
Avro、Protobuf是适合做数据存储的数据序列化系统，有较丰富的数据结构类型，可以在多种不同的语言间进行通信。
5.Linux基础操作命令
大数据开发一般在Linux环境下进行。
大数据工程师使用的命令主要在三方面：查看进程，包括CPU、内存;排查故障，定位问题;排除系统慢的原因等。
6.Flume
Flume是海量日志处理系统，具有高可用、高可靠、分布式的特点，可以对日志进行采集、聚合和传输。
Flume可以定制数据发送方来收集数据，也可以对数据简单处理后写到数据接收方。
7.Kafka
Kafka可以通过集群来提供实时的消息的分布式发布订阅消息系统，具有很高的吞吐量，主要是利用Hadoop的并行加载来统一线上、离线的消息处理。
8.phoenix
phoenix是一种开源的SQL引擎，是用Java语言编写的。
9.HBase
HBase可以随机、实时读写大数据，更适合于非结构化数据存储，核心是分布式的、面向列的Apache HBase数据库。
HBase作为Hadoop的数据看，它的应用、架构和高级用法对大数据开发来说非常重要。
10.Chukwa
Chukwa是一个分布式的数据采集监视系统，具有可伸缩性和健壮性。
Chukwa的工具包可以对结果进行显示、监测、分析，充分使用收集到的数据。
11.ZooKeeper
ZooKeeper是Hadoop和Hbase的重要组件，可以协调为分布式应用程序。
ZooKeeper的的功能主要有：配置维护、域名服务、分布式同步、组件服务。
12.Cassandra
Apache Cassandra是运行在服务器或者云基础设施上的可以为数据提供完美平台的数据库，具有高性能、可扩展性、高线性。
Cassandra支持数据中心间互相复制，低延迟、不受断电影响。它的数据模型有列索引、高性能视图和内置缓存。
？(www。uekedu。com)以上就是老师给大家讲解的内容了，希望能对大家有所帮助，现在混大数据行业，技术在不断的更迭，我们也要不断的去学习新技术，来完善我们的项目，不然终究会被淘汰。
