大数据知识概述

大数据知识概述

一、大数据知识概述

1、什么是大数据

当你的数据集变得非常庞大，以致于你的需要开始创新，以便更好地收集、存储、组织、分析、和分享数据

飞速增长的数据

2、大数据能做什么

1、应用场景

2、大数据处理深度

二、大数据技术

1、技术概述

2、大数据技术之NoSQL

为大规模处理设计的数据库

1、nosql的特点

性能高灵活性强可扩展性好不遵循关系范式模式

2、关系型数据库与NoSQL对比

关系型数据库（RDBMS）

NoSQL

3、NoSQL分类以及和RDBMS的对比图

3、大数据技术之MPP/DW

MPP（massively parallel processing）大规模并行处理：用于分析性负载的SQL数据库

1、特点

性能好扩展性好易用性强：没有那么强的事务性成本低

2、相应的软件

商业的软件

4、开源的软件

5、大数据技术对比

三、Hadoop相关职业

1、Hadoop用于开发

1、主要职责

编写MapReduce、spark等大数据应用程序，编写Hive、Hbase脚本进行数据分析或者数据挖掘，Hadoop只是个工具，通过应用开发实现业务需求是主要目标。

2、技能要求

至少要懂编程语言Java或scale。

2、Hadoop管理员

人员比较稀缺，一般都是传统运维兼职。

1、主要职责

主要负责集群的搭建，各种配置参数调优，故障处理，以保障整个集群的稳定运行。

2、技能要求

可以不懂Java/Scala，但是必须非常熟悉Linux运维。

3、Hadoop框架改造

BAT等大型互联网公司都会有这样的岗位。

1、主要职责

对Hadoop框架本身进行打补丁，改BUG，研究新特性，规范版本升级等。

2、技能要求

在熟练掌握Hadoop应用开发和Hadoop管理员相关技术的前提下。深入Hadoop源码，时刻关注Hadoop开源社区。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。