大數(shù)據(jù)開發(fā)工程師崗位的主要職責(zé)概述

大數(shù)據(jù)開發(fā)工程師負(fù)責(zé)大數(shù)據(jù)平臺(tái)的技術(shù)和產(chǎn)品的設(shè)計(jì)、開發(fā)、優(yōu)化和維護(hù)。下面是小編為大家?guī)?lái)的大數(shù)據(jù)開發(fā)工程師崗位的主要職責(zé)概述八篇，希望大家能夠喜歡!

大數(shù)據(jù)開發(fā)工程師崗位的主要職責(zé)1

職責(zé)：

1、 規(guī)劃及建設(shè)大數(shù)據(jù)平臺(tái);

2、 負(fù)責(zé)大數(shù)據(jù)存儲(chǔ)系統(tǒng)、分布式計(jì)算系統(tǒng)、挖掘算法等設(shè)計(jì)、研發(fā)以及維護(hù)、優(yōu)化工作;

3、負(fù)責(zé)分析、挖掘、對(duì)抗各種產(chǎn)品安全層面的惡意行為;

4、 參與項(xiàng)目的系統(tǒng)設(shè)計(jì)和核心代碼開發(fā)，指導(dǎo)和培訓(xùn)其他工程師;

5、 整理和提交技術(shù)文檔，負(fù)責(zé)核心功能模塊的代碼編寫和測(cè)試工作。

崗位要求：

1、 計(jì)算機(jī)、統(tǒng)計(jì)學(xué)等相關(guān)專業(yè)本科及以上學(xué)歷，具有深厚的數(shù)學(xué)、統(tǒng)計(jì)學(xué)和計(jì)算機(jī)相關(guān)知識(shí)，精通數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘的相關(guān)技術(shù)，3年以上大數(shù)據(jù)開發(fā)相關(guān)經(jīng)驗(yàn);

2、具有非常扎實(shí)的Java基礎(chǔ)，熟悉Shell、Python、R、Scala等一種以上語(yǔ)言;

3、算法基礎(chǔ)扎實(shí)，熟悉常見(jiàn)的數(shù)據(jù)結(jié)構(gòu)，了解分布式算法和分布式系統(tǒng)的技術(shù)原理;

4、精通MapReduce設(shè)計(jì)方法或Spark計(jì)算框架、對(duì)NoSQL，Hadoop、Hbase、Spark、Hive等主流云計(jì)算，大數(shù)據(jù)相關(guān)軟件有充分的了解，并且有實(shí)踐經(jīng)驗(yàn)，能解決應(yīng)用中的復(fù)雜問(wèn)題;

5、熟悉大數(shù)據(jù)處理相關(guān)技術(shù)，包括但不限于Hadoop、Hive、Hbase、Impala、Spark，Kafaka、Flume、Sqoop、Storm、Redis等;

6、研讀過(guò)Hadoop、Hbase、Hive源代碼者，能夠在特定業(yè)務(wù)中進(jìn)行定制改造者優(yōu)先;

7、具有海量數(shù)據(jù)處理、數(shù)據(jù)挖掘、數(shù)據(jù)分析相關(guān)項(xiàng)目的工作經(jīng)驗(yàn)者優(yōu)先。

大數(shù)據(jù)開發(fā)工程師崗位的主要職責(zé)2

職責(zé)：

1、參與大數(shù)據(jù)架構(gòu)的規(guī)劃設(shè)計(jì)，參與業(yè)務(wù)建模及數(shù)據(jù)化運(yùn)營(yíng)平臺(tái)的搭建、運(yùn)維，對(duì)業(yè)務(wù)流程與大數(shù)據(jù)的結(jié)合提出建議和解決方案;

2、完成基于大數(shù)據(jù)平臺(tái)的業(yè)務(wù)項(xiàng)目的開發(fā)、實(shí)施和維護(hù)工作;

3、負(fù)責(zé)解決大數(shù)據(jù)平臺(tái)建設(shè)過(guò)程中的技術(shù)難點(diǎn)和性能調(diào)優(yōu)工作;

4、參與數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)，根據(jù)業(yè)務(wù)需求實(shí)現(xiàn)高效率高靈活性的查詢，數(shù)據(jù)分析，數(shù)據(jù)挖掘;

5、負(fù)責(zé)高吞吐高可用數(shù)據(jù)實(shí)時(shí)和離線采集，高并發(fā)的大數(shù)據(jù)業(yè)務(wù)架構(gòu)設(shè)計(jì)

6、負(fù)責(zé)研發(fā)技術(shù)發(fā)展方向，新技術(shù)領(lǐng)域的探索，引入并驗(yàn)證數(shù)據(jù)平臺(tái)領(lǐng)域新技術(shù)，提供系統(tǒng)效能

7、對(duì)大數(shù)據(jù)技術(shù)及開源框架充滿熱情，具有鉆研精神，能自我學(xué)習(xí)。

任職資格：

1、具有5年Java開發(fā)經(jīng)驗(yàn)，熟悉Spring生態(tài)，掌握Hibernate、Mybatis任意一種ORM框架，掌握Oracle、Mysql數(shù)據(jù)庫(kù)。

2、具有2年以上的大數(shù)據(jù)開發(fā)經(jīng)驗(yàn)，熟悉大數(shù)據(jù)、數(shù)據(jù)倉(cāng)庫(kù)，分布式架構(gòu)技術(shù)理論，具有大數(shù)據(jù)整體系統(tǒng)架構(gòu)設(shè)計(jì)和實(shí)戰(zhàn)經(jīng)驗(yàn)，熟悉CDH、HDP、TDH至少一款大數(shù)據(jù)產(chǎn)品，有從無(wú)到有建設(shè)大數(shù)據(jù)平臺(tái)經(jīng)驗(yàn)者優(yōu)先;

3、熟悉大數(shù)據(jù)組件的開發(fā)、搭建、維護(hù)以及性能優(yōu)化;

4、較強(qiáng)的開發(fā)能力，必須熟練使用相關(guān)開發(fā)語(yǔ)言(Java/Python/Scala/Shell等)，熟悉大數(shù)據(jù)生態(tài)、關(guān)系數(shù)據(jù)庫(kù)和NOSQL數(shù)據(jù)庫(kù)、Linux等相關(guān)知識(shí)，能夠獨(dú)立完成并指導(dǎo)初級(jí)開發(fā)人員完成大數(shù)據(jù)相關(guān)的技術(shù)實(shí)現(xiàn)和調(diào)優(yōu);

5、熟悉Hadoop、Hbase、Hdfs、MapReduce、Yarn、Zookeeper、Hive、Impala、Spark、Flink、Kafka、Flume、Kylin、Phoenix等組件或技術(shù)，能閱讀源碼跟蹤問(wèn)題。

6、熟練掌握Spark、flink任意一種計(jì)算框架，掌握MapReduce計(jì)算框架原理，并有實(shí)際項(xiàng)目開發(fā)經(jīng)驗(yàn)。

7、熟練掌握HDFS、HBase、Kafka、Redis、Hive、Sqoop、Shell等技術(shù)和組件，熟練應(yīng)用開發(fā)，必須熟悉復(fù)雜數(shù)據(jù)查詢性能調(diào)優(yōu)，包括實(shí)時(shí)查詢和離線批處理查詢，服務(wù)器和生態(tài)組件的參數(shù)優(yōu)化。

8、精通高級(jí)算法并有與業(yè)務(wù)結(jié)合落地優(yōu)先;

9、扎實(shí)的獨(dú)立分析問(wèn)題、解決問(wèn)題的能力，具備良好的需求理解能力、溝通協(xié)調(diào)能力和團(tuán)隊(duì)合作精神;有很強(qiáng)的數(shù)據(jù)設(shè)計(jì)抽象能力，善于從復(fù)雜的數(shù)據(jù)問(wèn)題中找到關(guān)鍵路徑，并且擅于跟業(yè)務(wù)團(tuán)隊(duì)就業(yè)務(wù)問(wèn)題進(jìn)行良好的溝通，能推動(dòng)業(yè)務(wù)的指標(biāo)化、量化;

10、有較好的學(xué)習(xí)能力、團(tuán)隊(duì)協(xié)作精神，認(rèn)真細(xì)心，有強(qiáng)烈的責(zé)任心，愛(ài)崗敬業(yè)，有較高抗壓能力，有較好的工作穩(wěn)定性。

大數(shù)據(jù)開發(fā)工程師崗位的主要職責(zé)3

職責(zé)：

1、參與大規(guī)模數(shù)據(jù)快速查詢系統(tǒng)的架構(gòu)設(shè)計(jì)和開發(fā);

2、大規(guī)模數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)算法的實(shí)現(xiàn);

3、在線和離線海量數(shù)據(jù)分析平臺(tái)的開發(fā);

4、研究大數(shù)據(jù)前沿技術(shù)，提升系統(tǒng)的運(yùn)維效率;

5、實(shí)現(xiàn)大數(shù)據(jù)基礎(chǔ)架構(gòu)平臺(tái)的自動(dòng)化運(yùn)維。

【任職要求】：

1、計(jì)算機(jī)相關(guān)專業(yè),具有3年以上大數(shù)據(jù)開發(fā)經(jīng)驗(yàn)，熟悉Java,Linux;

2、熟悉Hadoop大數(shù)據(jù)處理系統(tǒng)的開發(fā),搭建及部署者優(yōu)先

3、熟練地處理數(shù)據(jù)模型、數(shù)據(jù)ETL以及存儲(chǔ)管理;

4、熟悉HDFS/Hive/MapReduce/Kylin/HBase，能獨(dú)自進(jìn)行Mapreduce程序開發(fā)者優(yōu)先;

5、熟悉分布式系統(tǒng)概念、架構(gòu)，有大規(guī)模分布式系統(tǒng)設(shè)計(jì)、實(shí)現(xiàn)、部署等經(jīng)驗(yàn);

6、有較強(qiáng)的書面與口頭溝通表達(dá)能力，獨(dú)立分析、解決問(wèn)題的能力。

大數(shù)據(jù)開發(fā)工程師崗位的主要職責(zé)4

職責(zé)：

1、 負(fù)責(zé)大數(shù)據(jù)平臺(tái)架構(gòu)的整體設(shè)計(jì)，承擔(dān)數(shù)據(jù)抽取、清洗、轉(zhuǎn)化等數(shù)據(jù)處理程序開發(fā);

2、 為業(yè)務(wù)運(yùn)營(yíng)提供技術(shù)支持，完成應(yīng)用系統(tǒng)的搭建、優(yōu)化、升級(jí)工作，保證平臺(tái)穩(wěn)定運(yùn)行;

3、 編寫系統(tǒng)的需求分析、設(shè)計(jì)、開發(fā)和部署文檔等。

崗位要求：

1、碩士及以上學(xué)歷，計(jì)算機(jī)、自動(dòng)化、通信等相關(guān)專業(yè);

2、熟練掌握J(rèn)ava語(yǔ)言，并熟悉Python語(yǔ)言，熟悉分布式系統(tǒng)架構(gòu)，有hadoop，spark系統(tǒng)架構(gòu)經(jīng)驗(yàn);

3、熟悉實(shí)時(shí)計(jì)算框架storm，flink，spark streaming其中之一;

4、熟練使用SQL，熟悉數(shù)據(jù)庫(kù)原理，熟練使用至少一種主流關(guān)系型數(shù)據(jù)庫(kù);

5、熟悉軟件開發(fā)流程，能夠根據(jù)需求編寫需求、設(shè)計(jì)、開發(fā)手冊(cè)等項(xiàng)目過(guò)程文檔;

6、具有良好的溝通能力和主動(dòng)性，抗壓能力強(qiáng)。

大數(shù)據(jù)開發(fā)工程師崗位的主要職責(zé)5

職責(zé)：

1. 對(duì)數(shù)據(jù)進(jìn)行結(jié)構(gòu)化、標(biāo)準(zhǔn)化處理，對(duì)處理流程進(jìn)行自動(dòng)化搭建

2. 通過(guò)ETL/Cube數(shù)據(jù)建模，構(gòu)建基于數(shù)據(jù)倉(cāng)庫(kù)的分析工具;

3. 參與數(shù)據(jù)與公司軟件產(chǎn)品及第三軟件的API對(duì)接;

4. 搭建與優(yōu)化，數(shù)據(jù)采集、處理、可視化流程中所需的框架與模塊開發(fā);

5. 協(xié)同內(nèi)外部力量完成需求的表達(dá)與技術(shù)攻關(guān)。

任職要求：

1. 熟悉數(shù)據(jù)庫(kù)的設(shè)計(jì)和開發(fā)如：Oracle/Mysql/MSSQL/Redis等，有處理大量數(shù)據(jù)經(jīng)驗(yàn)的優(yōu)先;

3. 熟練使用ETL工具進(jìn)行數(shù)據(jù)抽取，清洗，轉(zhuǎn)換，關(guān)聯(lián)等操作;

4. 熟練使用Linux操作系統(tǒng),具備編寫shell的能力;

5. 熟練使用主流的開發(fā)框架，掌握以下語(yǔ)言：Java、Python;了解過(guò)源碼的優(yōu)先;

6. 具有2年以上數(shù)據(jù)倉(cāng)庫(kù)(DW)、商務(wù)智能(BI)、大數(shù)據(jù)等方面的軟件或項(xiàng)目開發(fā)經(jīng)驗(yàn);

7. 了解可視化及BI工具者優(yōu)先;

大數(shù)據(jù)開發(fā)工程師崗位的主要職責(zé)6

職責(zé)：

1、負(fù)責(zé)該領(lǐng)域的業(yè)務(wù)需求討論，完成技術(shù)方案及數(shù)據(jù)開發(fā);

2、負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)的體系建設(shè)及落地實(shí)現(xiàn);

3、負(fù)責(zé)大數(shù)據(jù)平臺(tái)各類環(huán)境的部署及運(yùn)維、并參與架構(gòu)優(yōu)化、性能優(yōu)化等工作;

4、負(fù)責(zé)該領(lǐng)域所屬模塊的代碼開發(fā)、調(diào)試與維護(hù)工作，并進(jìn)行技術(shù)沉淀和文檔輸出。

招聘要求：

1、計(jì)算機(jī)、電子通信、自動(dòng)化等專業(yè)，本科及以上學(xué)歷;

2、五年以上研發(fā)經(jīng)驗(yàn)，其中二年以上大數(shù)據(jù)開發(fā)的相關(guān)工作經(jīng)驗(yàn);

3、熟練JAVA開發(fā)語(yǔ)言;熟悉微服務(wù)及Spring框架;

4、熟練熟練Hive、Impala、ES性能調(diào)優(yōu)，關(guān)注細(xì)節(jié)，學(xué)習(xí)能力強(qiáng);

5、能配合團(tuán)隊(duì)完成該領(lǐng)域的工作，自我管理能力強(qiáng)，能承受工作中的各種壓力，具備很好的團(tuán)隊(duì)意識(shí)

6、熟練主流大數(shù)據(jù)平臺(tái)產(chǎn)品部署及運(yùn)維，如CDH、HDP平臺(tái)。

7、對(duì)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)等方面有一定的了解;

8、有汽車制造業(yè)及相關(guān)行業(yè)的大數(shù)據(jù)開發(fā)經(jīng)驗(yàn)優(yōu)先。

大數(shù)據(jù)開發(fā)工程師崗位的主要職責(zé)7

職責(zé)：

1、負(fù)責(zé)數(shù)據(jù)中心和大數(shù)據(jù)處理平臺(tái)的搭建

2、在線和離線海量數(shù)據(jù)分析平臺(tái)的開發(fā);

3、研究大數(shù)據(jù)前沿技術(shù)，提升系統(tǒng)的運(yùn)維效率;

4、參與大數(shù)據(jù)的采集、存儲(chǔ)、處理，分析等開發(fā)

5、參與數(shù)據(jù)挖掘算法的設(shè)計(jì)、對(duì)海量數(shù)據(jù)進(jìn)行挖掘分析和發(fā)掘數(shù)據(jù)價(jià)值及算法學(xué)習(xí)及實(shí)現(xiàn)

【任職要求】：

1、計(jì)算機(jī)或相關(guān)專業(yè)本科學(xué)歷及以上，2年工作經(jīng)驗(yàn)以上

2、熟悉Java/Scala等至少一門語(yǔ)言，能對(duì)分布式常用技術(shù)進(jìn)行合理應(yīng)用，解決實(shí)際架構(gòu)問(wèn)題

3、熟練使用hadoop，hive，HBase，YARN，kafka，spark，Storm,Flume等大數(shù)據(jù)開發(fā)組件

4、熟悉整個(gè)大數(shù)據(jù)的完整處理流程，包括數(shù)據(jù)的采集、清洗、存儲(chǔ)、分析和可視化及報(bào)表開發(fā);

5、熟悉分布式系統(tǒng)概念、架構(gòu)，有大規(guī)模分布式系統(tǒng)設(shè)計(jì)、實(shí)現(xiàn)、部署等經(jīng)驗(yàn);

6. 具有優(yōu)秀的學(xué)習(xí)能力、獨(dú)立分析和解決問(wèn)題能力，良好的團(tuán)隊(duì)合作精神。

7. 有BI開發(fā)經(jīng)驗(yàn)的優(yōu)化考慮。

大數(shù)據(jù)開發(fā)工程師崗位的主要職責(zé)8

職責(zé)：

1.結(jié)合項(xiàng)目或產(chǎn)品涉及的具體業(yè)務(wù)場(chǎng)景，對(duì)數(shù)據(jù)進(jìn)行清洗、計(jì)算與加工;

2.思路清晰，可快速響應(yīng)數(shù)據(jù)處理的需求，評(píng)估并給出合理的解決方案，并采用合理的方式處理需求;

3.積極主動(dòng)，能夠與團(tuán)隊(duì)成員進(jìn)行有效溝通，并完成數(shù)據(jù)處理結(jié)果的核對(duì)與對(duì)接;

4.完成上級(jí)交辦的工作或任務(wù)。

崗位要求

1.計(jì)算機(jī)相關(guān)專業(yè)大專以上學(xué)歷;

2.2年以上大數(shù)據(jù)產(chǎn)品或項(xiàng)目開發(fā)經(jīng)驗(yàn)，精通Hadoop生態(tài)圈，熟練使用Spark，HBase、Hive、Kafka、Redis等;

3.精通SQL，熟練使用HSQL實(shí)現(xiàn)復(fù)雜數(shù)據(jù)處理邏輯，并具備數(shù)據(jù)處理調(diào)優(yōu)的能力;

4.熟悉Linux開發(fā)環(huán)境，熟悉Linux的shell命令。

5.具有良好的邏輯思維能力和嚴(yán)謹(jǐn)?shù)某绦蜷_發(fā)思想，具備獨(dú)立問(wèn)題排查與處理的能力;

6.良好的團(tuán)隊(duì)精神和合作意識(shí)，強(qiáng)烈的責(zé)任心，對(duì)工作有激情，良好的溝通能力，能吃苦耐勞;

7.有大數(shù)據(jù)項(xiàng)目或產(chǎn)品背景者優(yōu)先;

8.有使用Spark SQL進(jìn)行數(shù)據(jù)處理，并具有Spark SQL優(yōu)化經(jīng)驗(yàn)者優(yōu)先。

9.有Python或者Shell腳本開發(fā)經(jīng)驗(yàn)優(yōu)先

大數(shù)據(jù)開發(fā)工程師崗位的主要職責(zé)概述相關(guān)文章：

★ 系統(tǒng)開發(fā)工程師工作職責(zé)與工作內(nèi)容

★ 數(shù)據(jù)挖掘工程師崗位的主要職責(zé)表述

★ 數(shù)據(jù)庫(kù)工程師崗位的基本職責(zé)

★ 數(shù)據(jù)庫(kù)開發(fā)工程師的基本職責(zé)概述

★ 數(shù)據(jù)庫(kù)開發(fā)工程師崗位的職責(zé)

★ 數(shù)據(jù)庫(kù)工程師崗位的主要職責(zé)概述

★ 數(shù)據(jù)庫(kù)開發(fā)工程師的工作職責(zé)

★ 大數(shù)據(jù)運(yùn)維工程師崗位的工作職責(zé)概述

★ 大數(shù)據(jù)運(yùn)維工程師崗位的主要職責(zé)

★ 大數(shù)據(jù)開發(fā)工程師的具體職責(zé)