高级大数据工程师岗位职责（精选6篇）

高级大数据工程师岗位职责（精选6篇）

高级大数据工程师岗位职责 篇1

　　岗位职责：

　　1、负责全公司的数据平台数据可视化研发工作

　　2、独立完成数据可视化研发工作

　　任职要求：

　　1、计算机、电子通信、数学、统计或者相关专业本科及以上学历

　　2、熟练掌握java/python中的一种语言

　　3、熟悉数据可视化开发，熟悉echarts应用开发的优先

　　4、熟悉web开发，熟悉html，js，css

　　5、熟悉quick bi的优先

　　6、具备良好的团队合作精神，工作有激情

　　7、对数据敏感，有产品思维的优先

高级大数据工程师岗位职责 篇2

　　岗位职责：

　　1、参与公司数据开发平台、bi产品等大数据产品的设计和开发；

　　2、负责数据开发平台、bi产品等大数据产品的部署和维护，保证其稳定和可靠；

　　3、关注和参与大数据方向开源产品的技术动态与演进，推动产品与技术架构持续更新；

　　任职要求：

　　1、计算机相关专业，本科及以上学历，5年以上软件开发经验，3年以上互联网产品或分布式系统开发设计经验；

　　2、精通java，python，scala等一种或几种编程语言，并熟悉linux操作系统及bash shell编程；

　　3、有hadoop/spark/hive/presto/hbase/elasticsearch/kafka等使用经验，并熟悉上述常用的分布式系统架构设计和原理；

　　4、熟悉微服务框架及相关技术，如dubbo，springcloud等；

　　5、熟悉mysql、redis，并了解或接触过其他数据库如oracle，sqlserver，postgresql，mongodb等；

　　6、了解容器技术，如docker，kubernetes；

　　7、具有一定的软件设计能力，热爱大数据和技术，相信技术改变世界，学习能力强，认同数据价值，有面向业务的思维，较强的自主学习能力和英文技术文档阅读能力；

　　8、良好的沟通能力、团队精神及服务意识，勇于接受挑战，能承受较大的工作压力；

　　9、有生产环境快速trouble—shooting的经验和能力者优先；

　　10、有olap，多维度数据分析经验优先，有对数据仓库有较强的理论基础和理解者优先；

高级大数据工程师岗位职责 篇3

　　岗位职责：

　　1、基于公司大数据产品进行数据开发，包括数据的采集，清洗，预处理，存储，建模，分析挖掘等

　　2、根据业务用户需要分析数据，提供数据支持

　　3、参与公司大数据产品的运维和监控，保障数据质量和服务稳定性

　　任职要求：

　　1、具备本科以上学历，计算机，软件以及相关专业，5年以上大数据开发经验

　　2、熟悉数据仓库维度建模，并能根据客户需求进行数据开发，向模型更新数据

　　3、使用过至少一种以上的etl工具

　　4、熟练掌握java，对hadoop相关的技术和组件（hdfs，mr，hbase，hive，spark，storm，kafka等）有全面深入了解

　　5、熟练掌握shell或者python中的一种

　　6、具备spark开发经验者优先

　　7、具备实时计算（kafka+storm/spark streaming）经验者优先

　　8、具备数据分析和数据挖掘方面经验者优先

高级大数据工程师岗位职责 篇4

　　岗位职责：

　　1、参与大数据开放平台基础能力建设，承担系统架构、组件开发、方案验证等工作；

　　2、参与构建大数据系列产品，包括但不限于用户画像、用户增长与用户经营、数据分析挖掘、实时计算、数据分发、机器学习平台、风控反欺诈等产品线；

　　任职要求：

　　1、统招本科或以上学历，5年以上大数据开发工作经验；

　　2、扎实的java基础，能熟练使用java进行软件功能开发；

　　3、熟练掌握基于hadoop生态的大数据开发工具，包括hive、spark、hbase、sqoop、es、impala、flink、storm等，有实时系统开发经验优先；

　　4、熟悉常用的数据挖掘算法，例如聚类、回归、决策树等，有过nlp项目经验优先；

　　5、有过互联网公司数据仓库、分析系统、用户画像、广告平台等产品开发经验者优先；

　　6、工作积极主动，善于合作，敏而好学；

高级大数据工程师岗位职责 篇5

　　工作职责：

　　1、打造业界领先的存储、计算等分布式系统；

　　2、为海量数据和大规模业务系统提供可靠的基础设施。

　　任职要求：

　　1、掌握分布式系统原理，对存储、计算、消息队列、集群管理中的一项或多项有深入的理解和认识；

　　2、乐于挑战没有明显答案的.问题，能快速理解业务场景，从具体问题中抽象出通用的解决方案；

　　3、存储方向：对hdfs，rocksdb，leveldb，memcache，redis，mysql，hbase，kafka的一项或多项有经验者优先；

　　4、计算方向：对spark，mapreduce，storm，hive，presto，impala的一项或多项有经验者优先；

　　5、集群管理方向：对yarn，mesos的一项或多项有经验者优先；

　　6、向开源社区贡献过patch者优先，请在简历上说明。

高级大数据工程师岗位职责 篇6

　　职位描述：

　　1、打造业界领先的存储、计算、调度、监控等基础设施；

　　2、参与存储、计算、devinfra、监控当中的一个或多个方向。

　　任职要求：

　　1、掌握分布式系统原理，对存储、计算、调度、监控、消息队列、集群管理中的一项或多项有深入的理解和认识；

　　2、乐于挑战没有明显答案的问题，能快速理解业务场景，从具体问题中抽象出通用的解决方案；

　　3、存储方向：对hdfs，rocksdb，ceph，hbase，kafka的一项或多项有经验者优先；

　　4、计算方向：对yarn，spark，flink，hive的一项或多项有经验者优先；

　　5、devinfra方向：对docker，mesos，kubernetes的一项或多项有经验者优先；

　　6、监控方向：对opentsdb，influxdb，prometheus，falcon的一项或多项有经验者优先。