大数据架构师课程

课程前言

大数据是一种在获取、存储、管理、分析等方面大大超出了传统数据库软件工具能力范围的数据集合。它具有大量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

专家预测截止到2020年，各个行业大数据相关人才缺口将达到100万，仅在spark大数据开发人才方面，将出现近30万的岗位需求。

只有想不想学，没有能不能学

我是零基础，零基础入学勤能补拙。

我想转行，现有工作枯燥，工资太低。

我想技能提升，已有的技术太落伍，担心被企业淘汰。

我是应届毕业生，求职压力大，同专业市场需求饱和。

我是在校大学生，对所学专业没有兴趣，为日后就业提早打算。

理论+实战

阶段

Java基础:

JAVA开发简介基本语法、运算符流程控制语句数组函数面向对象常用类库异常io系统集合泛型线程网络编程阶段测试

培养目标：

掌握java当中的基本语法中的运算符、数据类型以及相互转换和各种流程控制语句;充分掌握数组的创建、遍历、排序以及函数定义，函数的相互调用和重载;"赋予学员面向对象思想，充分理解并运用java面向对象思想来进行程序开发，实现开发者从过程到面向对象编程的转变"充分掌握常用类当中的方法，String类和包装类以及相互转换，异常的处理方式,File类和使用io读取和输入数据;深入理解常用集合类的用法、集合的特点、以及各种使用多线程的概念，创建方式，同步，通信，网络编程的基本概念，编写.

企业级实训项目:

猜字游戏;猜拳游戏;数字炸弹;控制台版本双色球项目;滴滴嗒嗒租车系统;打印机项目;个人记账本;qq号注册验证;中公教育JAVA学生系统的登陆注册;文件复制;时间的跳动;双色球随机版;中公教育java学生系统;妈妈叫你去打酱油;文件在线下载;开心聊天室

第二阶段

Javaweb：

html+css;html5+css3;javascript;jquery;数据库;JDBC;WEB服务器、开发工具-MyEclipse;HTTP协议;（数据库连接池）数据源;JavaWeb开发之Servlet、Servlet3.0;请求与响应;JSP;MVC;会话管理;过滤和监听;异步请求;阶段测试

培养目标：

掌握PC端前端页面的搭建及布局方法;了解html5新增特性，了解css3新增选择器及常见属性;掌握常见网页动效实现原理和思路，理解动态网页实现原理，掌握客户端表单验证方法;熟悉常用的API，能够快速实现网页动效;了解企业中常用数据库，以数据库的基本操作;掌握数据库表的复杂查询;掌握数据库设计的理论知识;掌握sql语句的优化;掌握JDBC操作数据库，完成基本CRUD操作;掌握JDBC事务;掌握Tomcat服务器的安装配置及使用;了解HTTP协议的特点;掌握数据源的基本原理以及常见数据源的配置及使用;熟练使用Servlet开发基本web项目;掌握web应用中的请求与响应;掌握JSP基本原理，整合Servlet开发基本应用;熟练掌握MVC模式进行开发;掌握web应用开发中的两种会话技术、区别与联系;掌握javaweb开发中的监听器和过滤器，并且配置自定义功能的监听和过滤;熟练使用Ajax进行异步请求

企业级实训项目:

“中公图书商城”前端页面制作;（1）、电商项目数据库设计以及所涉及的sql查询语句;（2）、封装jdbc工具类、简化开发;（3）、使用MyEclipse开发工具，整合Servlet+JSP+MySQL+JDBC遵循MVC开发模式，完成商品信息的发布以及查询；使用response响应头字段完成文件下载、自动刷新;（4）、在（3）的基础上，开发用户注册及登录功能。并且使用Session进行登录校验，使用Cookie开发“记住密码”功能

第三阶段

JavaEE高级+Linux课程+分布式计算JavaWeb

JavaEE高级+Linux课程+分布式计算:

Jspring框架、mybatis框架、nio、JVM、maven框架、LINUX、MYSQL分库分表、读写分离、JAVA搜索引擎、Redis、消息队列、分布式计算框架、项目实战

培养目标：

"理解Spring的DI和IOC以及AOP原理,掌握Spring的事务管理以及和其他框架的集成";"理解ORM思想,以及mybatis的工作原理,;熟练使用mybatis框架";理解springmvc的工作原理,并熟练的应用;理解JVM原理和调优技巧;掌握maven项目构建和管理;掌握LINUX虚拟机安装、网络配置、基本命令、常用软件及环境配置;掌握基于Mycat中间件的Mysql分库分表、读写分离;掌握搜索引擎Solr基本安装和使用;掌握Redis基本安装、命令、JAVA的集成，以及常用集成模式;掌握ActiveMq消息队列、JMS协议;掌握分布式计算框架Dubbo的基本配置和项目集成;

企业级实训项目:

JVM调优、maven项目构建、阿里云实际LINUX主机安装、使用、部署、手机号码归属地系统、MYsql分库、分表、主从复制、读写分离实际演练、基于Dubbo的电商商品管理开发

第四阶段

离线数据分析平台Hadoop:

Hadoop初步;Hadoop分布式文件系统HDFS;MapReduce;Hadoop HA;Hive;Flume;

Sqoop;HBase;YARN;项目实战

培养目标：

"掌握HDFS文件系统以及熟练使用Java API操作HDFS、Spring集成Hadoop使用以及分布式集群环境搭建。掌握Hadoop生态圈上的各种应用的使用方式以及架构如MapReduce、Hive、Hbase、Sqoop等"

企业级实训项目:

1、日志文件的收集;2、Hive日志文件数据分析;

3、定时触发;4、HBASE集群

第五阶段

实时数据分析平台Storm:

python基础；Storm框架；Storm集群；日志监控业务；

Kafka;项目实战

培养目标：（1）实时计算平台解决方案;（2）使用Flume收集数据到Kafka;（3）Spring集成Storm、flume、redis、mysql对数据进行分析。

企业级实训项目:

1、Grouping策略及并发度;2、计算网站;3、storm事务;4、Storm集群和作业监控;

5、点击流日志分析;6、Python爬虫

第六阶段

Scala语言与Spark:Scala语言;Spark;机器学习;spark与HIVE;项目实战

培养目标：

（1）升级Hive执行引擎为Spark;（2）使用Spark Sql完成点击流日志业务需求;（3）使用Spark处理业务数据;（4）企业海量数据分析平台规划

企业级实训项目:

1、spark集群;2、SparkStreaming外挂;

3、k-means和贝叶斯算法;4、点击流日志分析

第七阶段

就业指导:企业面试前期准备与技巧、企业面试实战

课程内容：

简历制作、面试礼仪，对学员进行简历指导及多轮模拟面试

常见面试题的讲解，技术简历的指导与优化，技术面试指导，强化实战项目

培养目标:

从简历、面试技巧等层面助学员提升，培养学员沟通表达能力让学员清晰了解职业发展规划，明确自身定位，找到适合自身发展的工作。