大数据不是某个专业或一门编程语言,实际上它是一系列技术的组合运用。需要掌握 编程技巧、 数据结构和算法、分析能力、 数据库技能、数学 、 机器学习、 NLP、 OS 、 并行编程等等,需要学习的东西很多。
学习路径主要包括入门知识、 Java 基础、 Scala 基础、 Hadoop 技术模块 、 Hadoop 项目实战、 Spark 技术模块、 大数据项目实战。入门知识需要掌握握基本的数据库知识。Java 是目前使用广泛的编程语言,适合作为大数据应用的开发语言。重要的一点是 Hadoop 是用 Java 编写的。
Scala 是一种多范式的编程语言,其设计的初衷是要集成面向对象编程和函数式编程的各种特性。Hadoop 是一款支持数据密集型分布式应用并以 Apache 2.0 许可协议发布的开源软件框架,它能搭建大型数据仓库,PB 级别数据的存储、处理、分析、统计等业务。学完理论就要进行动手实战了,Hadoop 项目实战可以帮助加深对内容的理解,并锻炼动手能力。Spark 和 Hadoop 都是大数据框架。
大数据实战项目是对常用技能的系统运用,想要成为Java大数据工程师,通过大量的实战项目积累经验是不可少的。