学习笔记:什么是Hadoop

1 Star2 Stars (No Ratings Yet)
Loading...
286 浏览

Hadoop是云计算的基础,它是由 Apache Software Foundation 公司于 2005 年秋天作为Lucene的子项目 Nutch 的一部分正式引入。它受到最先由 Google Lab 开发的 MapReduce 和 Google File System 的启发。2006 年 3 月份,MapReduce 和 Nutch Distributed File System (NDFS) 分别被纳入称为 Hadoop 的项目中。目前,绝大部分的云计算中的分布式存储和计算都是使用hadoop的。简单的理解的话,云计算是系统工程的蓝图,hadoop是基础层面的重要的必不可少的工具。

Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。Hadoop 是高效的,因为它以并行的方式工作,通过并行处理加快处理速度。Hadoop 还是可伸缩的,能够处理 PB 级数据。此外,Hadoop 依赖于社区服务器,因此它的成本比较低,任何人都可以使用。Hadoop带有用 Java 语言编写的框架,因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写,比如 C++。

加国华人网上家园 –

Hadoop中的四大框架:hdfs、mapreduce、hive、hbase。这四大框架是Hadoop最最核心的,学习难度最大的,也是应用最广泛的。

目前Hadoop相关工作有Hadoop大数据管理员和Hadoop开发工程师。Hadoop大数据管理员类似于数据库的dba,负责Hadoop集群的运行维护工作。Hadoop开发工程师是负责编写Hadoop程序的,实现算法的。相当于工作两三年的水平。
 
一般海量数据的处理都是自定义存储结构,实现自己的算法,这是业界的通用处理思路。这对我们普通程序员而言要求还是很高的。Hadoop的优点就是进行了封装,不需要创造算法。
 
现在一线的人才状况是:普遍需要2-3年hadoop经验的大牛,如果你只会搭建环境,那基本是没人想带你的。当然,如果你基础非常扎实又肯干,那机会还是相当多的。Hadoop目前在北美的平均年薪能做到10万左右。

想了解更多关于Hadoop就业培训信息,请登录http://www.victoronto.com/html/cn/satseminar/20140927_hadoop.htm
或致电416-665-1888

微信扫一扫,获得更多资讯

阅读其他最新创业天地: