顺德招聘网 > 资讯 > 职位百科 > 文章详情

Hadoop工程师岗位职责

阅读次数:6592023-09-19 09:49

  作为Hadoop工程师,平时负责搭建和维护大数据分析平台,根据业务需求开发数据处理程序,并优化现有系统架构以提高数据处理效率。详细的Hadoop工程师岗位职责如下:

  1.负责Hadoop数据分析集群的搭建和维护;

  2.根据需求开发、优化MapReduce数据处理;

  3.负责项目技术架构、系统设计、核心代码开发。

  除了上述职责,Hadoop工程师最好还熟悉以下内容1:

  1.熟悉spark等一种或几种分布式计算平台,理解MapReduce原理;

  2.熟悉javajvm内存管理,有分布式任务开发经验;

  3.了解hbase等,了解集群资源管理yarn等;

  4.理解Mapredcue计算过程,能根据业务需求设计出适合MapReduce计算模型的计算方法。


  相关阅读推荐:实施工程师岗位职责         液晶显示工程师岗位职责


文章来源: 顺德招聘网 https://sd.goodjob.cn,转载请注明。

搜索
相关招聘岗位推介