大數(shù)據(jù)開發(fā)工程師崗位的職責(zé)描述
大數(shù)據(jù)開發(fā)工程師崗位的職責(zé)描述
大數(shù)據(jù)開發(fā)工程師負(fù)責(zé)大數(shù)據(jù)體系架構(gòu)設(shè)計(jì)和應(yīng)用產(chǎn)品的研究。以下是學(xué)習(xí)啦小編整理的大數(shù)據(jù)開發(fā)工程師崗位的職責(zé)描述。
大數(shù)據(jù)開發(fā)工程師崗位的職責(zé)描述1
職責(zé)：
1、負(fù)責(zé)異構(gòu)數(shù)據(jù)系統(tǒng)和大數(shù)據(jù)平臺(tái)的集成與融合;
2、負(fù)責(zé)數(shù)據(jù)挖掘算法的設(shè)計(jì)及對(duì)海量數(shù)據(jù)進(jìn)行挖掘分析;
3、負(fù)責(zé)分布式數(shù)據(jù)倉(cāng)庫平臺(tái)、海量數(shù)據(jù)批處理平臺(tái)、實(shí)時(shí)數(shù)據(jù)處理平臺(tái)等系統(tǒng)開發(fā);
4、參與海量數(shù)據(jù)處理，業(yè)務(wù)數(shù)據(jù)體系的設(shè)計(jì)、數(shù)據(jù)統(tǒng)計(jì)、分析及數(shù)據(jù)建模;
5、參與數(shù)據(jù)平臺(tái)各系統(tǒng)的性能分析與系統(tǒng)優(yōu)化，不斷提高系統(tǒng)運(yùn)行效率;
6、完成領(lǐng)導(dǎo)交辦的其他任務(wù)。
任職資格：
1、計(jì)算機(jī)及其相關(guān)專業(yè)，大專及以上學(xué)歷。兩年以上大數(shù)據(jù)應(yīng)用經(jīng)驗(yàn);
2、具備實(shí)時(shí)處理框架的設(shè)計(jì)和開發(fā)能力，熟練掌握Storm、Spark streaming等大數(shù)據(jù)實(shí)時(shí)處理框架中的一種;
3、熟悉Spark 、R、Hadoop、Hbase、Hive、Elastic Search/Solr等相關(guān)技術(shù);
4、熟悉Scala、熟悉Linux開發(fā)環(huán)境，能進(jìn)行shell腳本的編寫;
5、具有較強(qiáng)的邏輯分析能力，高度的責(zé)任心及團(tuán)隊(duì)合作精神;
6、具有實(shí)際大數(shù)據(jù)項(xiàng)目的成功經(jīng)驗(yàn)者優(yōu)先考慮。
大數(shù)據(jù)開發(fā)工程師崗位的職責(zé)描述2
職責(zé)
1、參與大規(guī)模數(shù)據(jù)快速查詢系統(tǒng)的架構(gòu)設(shè)計(jì)和開發(fā);
2、大規(guī)模數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)算法的實(shí)現(xiàn);
3、在線和離線海量數(shù)據(jù)分析平臺(tái)的開發(fā);
4、研究大數(shù)據(jù)前沿技術(shù)，提升系統(tǒng)的運(yùn)維效率;
5、實(shí)現(xiàn)大數(shù)據(jù)基礎(chǔ)架構(gòu)平臺(tái)的自動(dòng)化運(yùn)維。
任職資格
1、計(jì)算機(jī)相關(guān)專業(yè),具有3年以上大數(shù)據(jù)開發(fā)經(jīng)驗(yàn)，熟悉Java,Linux;
2、熟悉Hadoop大數(shù)據(jù)處理系統(tǒng)的開發(fā),搭建及部署者優(yōu)先;
3、熟練地處理數(shù)據(jù)模型、數(shù)據(jù)ETL以及存儲(chǔ)管理;
4、熟悉HDFS/Hive/MapReduce/Kylin/HBase，能獨(dú)自進(jìn)行Mapreduce程序開發(fā)者優(yōu)先;
5、熟悉分布式系統(tǒng)概念、架構(gòu)，有大規(guī)模分布式系統(tǒng)設(shè)計(jì)、實(shí)現(xiàn)、部署等經(jīng)驗(yàn);
6、有較強(qiáng)的書面與口頭溝通表達(dá)能力，獨(dú)立分析、解決問題的能力。
大數(shù)據(jù)開發(fā)工程師崗位的職責(zé)描述3
職責(zé)：
1、參與南方電網(wǎng)軟件產(chǎn)品(項(xiàng)目)前/后臺(tái)服務(wù)開發(fā)，要求高性能、高可用、高并發(fā);
2、獨(dú)立完成產(chǎn)品模塊(項(xiàng)目)核心代碼開發(fā)、業(yè)務(wù)代碼開發(fā)、系統(tǒng)性能調(diào)優(yōu)等工作;
3、根據(jù)分配任務(wù)制定開發(fā)計(jì)劃并按時(shí)完成相應(yīng)模塊的設(shè)計(jì)、開發(fā)和單元測(cè)試;
4、參與產(chǎn)品(項(xiàng)目)相關(guān)系統(tǒng)需求分析以及撰寫相關(guān)系統(tǒng)設(shè)計(jì)文檔;
要求：
1. 五年左右大數(shù)據(jù)研發(fā)崗位工作經(jīng)驗(yàn)
2、豐富大數(shù)據(jù)開發(fā)經(jīng)驗(yàn)：熟悉企業(yè)大數(shù)據(jù)常用技術(shù)，熟悉Spark、Flume、Hbase、Hadoop、Kafka，ES技術(shù);
3、具有大型應(yīng)用系統(tǒng)開發(fā)經(jīng)驗(yàn)，具有分布式、高并發(fā)、高性能等架構(gòu)經(jīng)驗(yàn)，具有一定團(tuán)隊(duì)管理經(jīng)驗(yàn)者優(yōu)先;
4、了解J2EE技術(shù)平臺(tái)及主流框架，具有SpingMVC、SpringBoot、Spring cloud、Mybatis、Redis等框架開發(fā)經(jīng)驗(yàn);
5、了解HTML5,CSS3,JavaScript,Ajax,jQuery等Web前端技術(shù)，熟悉jQuery、Bootstrap、AngularJS，VUE等主流前端JS框架中的一種;
大數(shù)據(jù)開發(fā)工程師崗位的職責(zé)描述4
職責(zé)：
1、負(fù)責(zé)大數(shù)據(jù)ETL開發(fā)與維護(hù);
2、負(fù)責(zé)大數(shù)據(jù)平臺(tái)數(shù)據(jù)庫的設(shè)計(jì)以及開發(fā);
3、負(fù)責(zé)大數(shù)據(jù)計(jì)算框架的選型與計(jì)算流程的設(shè)計(jì)與開發(fā);
4、負(fù)責(zé)數(shù)據(jù)服務(wù)的設(shè)計(jì)與開發(fā)。
任職資格：
1、本科及以上學(xué)歷;
2、熟悉Flink、flume、jstorm、sparkstream、hive、spark等分布式開源軟件，具備系統(tǒng)優(yōu)化與性能調(diào)優(yōu)能力者優(yōu)先;
3、精通JAVA等面向?qū)ο缶幊?，有分布式并行?jì)算的開發(fā)經(jīng)驗(yàn)優(yōu)先;
4、熟練掌握至少一種MySQL、SQL Server、Oracle等關(guān)系型數(shù)據(jù)庫或MongoDB、Redis等NoSQL數(shù)據(jù)庫 ,有hive等數(shù)據(jù)倉(cāng)庫研發(fā)經(jīng)驗(yàn)優(yōu)先;
5、熟悉大數(shù)據(jù)、云計(jì)算概念，了解Hadoop、Hive、Hbase等大數(shù)據(jù)主流技術(shù)及開源框架者優(yōu)先;
6、自學(xué)能力強(qiáng)，溝通能力較好，有一定獨(dú)立分析，技術(shù)研究能力，具有良好的團(tuán)隊(duì)合作精神;
7、數(shù)據(jù)意識(shí)強(qiáng)，有較好的文檔編寫能力，以及踏實(shí)的工作作風(fēng)。
大數(shù)據(jù)開發(fā)工程師崗位的職責(zé)描述5
職責(zé)
1、負(fù)責(zé)大數(shù)據(jù)分析平臺(tái)的建設(shè)，基于歷史和業(yè)務(wù)實(shí)時(shí)數(shù)據(jù)構(gòu)建數(shù)據(jù)挖掘模型;
2、根據(jù)需求設(shè)計(jì)和實(shí)現(xiàn)數(shù)據(jù)分析展示平臺(tái);
3、負(fù)責(zé)建立、維護(hù)和改進(jìn)大數(shù)據(jù)分析流程、規(guī)范、方法;
4、負(fù)責(zé)基于大數(shù)據(jù)的數(shù)據(jù)分析算法研究，基于數(shù)據(jù)分析結(jié)果優(yōu)化現(xiàn)有應(yīng)用并探索新的應(yīng)用。
任職要求：
1、本科及以上學(xué)歷，統(tǒng)計(jì)、數(shù)學(xué)、計(jì)算機(jī)或相關(guān)專業(yè)/方向，3年以上數(shù)據(jù)分析、數(shù)據(jù)挖掘相關(guān)工作經(jīng)驗(yàn);
2、精通MATLAB、Python等大數(shù)據(jù)涉及的語言和工具，并能熟練運(yùn)用相關(guān)數(shù)據(jù)分析工具實(shí)現(xiàn)數(shù)據(jù)分析方法;
3、對(duì)機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘算法及其應(yīng)用有比較全面的認(rèn)識(shí)和理解，熟悉主流數(shù)據(jù)挖掘框架;
4、熟悉分布式數(shù)據(jù)庫、數(shù)據(jù)倉(cāng)庫和數(shù)據(jù)集市，熟悉數(shù)據(jù)庫相關(guān)操作和編程;
5、具有優(yōu)秀的發(fā)現(xiàn)、分析并解決問題的能力，積極性高，具有嚴(yán)謹(jǐn)縝密的工作習(xí)慣、較強(qiáng)的溝通能力及團(tuán)隊(duì)合作精神;
6、有旅游行業(yè)數(shù)據(jù)分析與挖掘從業(yè)經(jīng)驗(yàn)者優(yōu)先。有主導(dǎo)完成優(yōu)秀應(yīng)用、大型數(shù)據(jù)平臺(tái)項(xiàng)目、有數(shù)據(jù)挖掘，算法設(shè)計(jì)等開發(fā)經(jīng)驗(yàn)者優(yōu)先。
相關(guān)文章：
1.大數(shù)據(jù)開發(fā)工程師的崗位職責(zé)
2.大數(shù)據(jù)架構(gòu)師崗位的主要職責(zé)概述