抢占先机 就业大数据Hadoop领域

1 Star2 Stars (No Ratings Yet)
Loading...
286 浏览

Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streaming access)文件系统中的数据。

加国华人网上家园 –

Hadoop中的四大框架:hdfs、mapreduce、hive、hbase。这四大框架是Hadoop最最核心的,学习难度最大的,也是应用最广泛的。Hadoop是云计算的基础。绝大部分的云计算中的分布式存储和计算都是使用hadoop的。简单的理解的话,云计算是系统工程的蓝图,hadoop是基础层面的重要的必不可少的工具。云计算已经被提高到长期发展战略规划中,大家可以想象以后hadoop和云计算的岗位有多少。正是因为云计算发展如此如火如荼,越早学习,越早受益。

目前Hadoop相关工作有Hadoop大数据管理员和Hadoop开发工程师。Hadoop大数据管理员类似于数据库的dba,负责Hadoop集群的运行维护工作。Hadoop开发工程师是负责编写Hadoop程序的,实现算法的。相当于工作两三年的水平。

一般海量数据的处理都是自定义存储结构,实现自己的算法,这是业界的通用处理思路。这对我们普通程序员而言要求还是很高的。Hadoop的优点就是进行了封装,不需要创造算法。

Hadoop目前在北美的平均年薪能做到10万左右。 –

了解更多相关Big Data & Hadoop的咨询,请登录: http://www.victoronto.com/html/cn/satseminar/20140614_hadoop.htm; 或电:416-665-1888 加国华人网上家园 –

阅读其他最新创业天地: