學(xué)習(xí)啦>實(shí)用范文>辦公文秘>崗位職責(zé)>

大數(shù)據(jù)運(yùn)維工程師的崗位職責(zé)模板八篇

時(shí)間: 舒欣4589 分享

大數(shù)據(jù)運(yùn)維工程師需要負(fù)責(zé)銀行各類應(yīng)用系統(tǒng)的運(yùn)維標(biāo)準(zhǔn)制定和運(yùn)維管理等工作。下面是小編為大家?guī)淼拇髷?shù)據(jù)運(yùn)維工程師的崗位職責(zé)模板八篇,希望大家能夠喜歡!

大數(shù)據(jù)運(yùn)維工程師的崗位職責(zé)

大數(shù)據(jù)運(yùn)維工程師的崗位職責(zé)1

職責(zé):

負(fù)責(zé)公司大數(shù)據(jù)業(yè)務(wù)集群的運(yùn)維工作、集群容量規(guī)劃、擴(kuò)容及性能優(yōu)化;

設(shè)計(jì)實(shí)現(xiàn)大規(guī)模分布式集群的運(yùn)維、監(jiān)控和管理平臺(tái);

參與業(yè)務(wù)架構(gòu)設(shè)計(jì),在設(shè)計(jì)階段給出可運(yùn)維性改進(jìn)建議;

深入研究大數(shù)據(jù)業(yè)務(wù)相關(guān)運(yùn)維技術(shù),持續(xù)優(yōu)化集群服務(wù)架構(gòu),探索新的大數(shù)據(jù)運(yùn)維技及發(fā)展方向;

負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)的應(yīng)用監(jiān)控、容量管理,應(yīng)急響應(yīng)等;

領(lǐng)導(dǎo)安排的其他工作。

任職要求:

1、本科及以上學(xué)歷,軟件工程、計(jì)算機(jī)等相關(guān)專業(yè);

2、熟悉計(jì)算機(jī)原理、網(wǎng)絡(luò)原理等知識(shí);至少2年以上運(yùn)維或開發(fā)工作經(jīng)驗(yàn);

3、搭建,管理及調(diào)優(yōu)Hadoop/HBase/Hive/Flink/Spark/Kafka/Elasticsearch/Flume等開源項(xiàng)目?jī)?yōu)先;

4、至少掌握java/python/go中的一種語言;

5、熟悉HBase/Flink/mysql/redis運(yùn)維優(yōu)先;

6、熟悉zabbix/graphit/grafana加分;

7、具有很強(qiáng)的分析和解決問題的能力;

8、具有攻克難題的強(qiáng)烈興趣,以及提升技術(shù)能力的意愿;

9、善于主動(dòng)學(xué)習(xí),責(zé)任心強(qiáng),能夠承受較大的工作壓力。

大數(shù)據(jù)運(yùn)維工程師的崗位職責(zé)2

職責(zé):

1. 負(fù)責(zé)公司核心集群的運(yùn)維工作,保證其高可用和穩(wěn)定性。

2. 負(fù)責(zé)集群容量規(guī)劃、擴(kuò)容及集群性能優(yōu)化。

3. 深入研究大數(shù)據(jù)業(yè)務(wù)相關(guān)運(yùn)維技術(shù),持續(xù)優(yōu)化集群服務(wù)架構(gòu),探索新的Hadoop運(yùn)維技術(shù)及發(fā)展方向。

4. 設(shè)計(jì)實(shí)現(xiàn)分布式集群的運(yùn)維、監(jiān)控和管理平臺(tái)。

職位要求:

1.2年以上中等規(guī)模集群環(huán)境下的Hadoop/Impala/Hive/Spark集群相關(guān)運(yùn)維經(jīng)驗(yàn)。

2.對(duì)各種HDFS/Yarn/Hive/Impala/Spark/Hbase等相關(guān)參數(shù)調(diào)優(yōu), 性能優(yōu)化等有實(shí)際經(jīng)驗(yàn)。

3.有實(shí)際踩坑經(jīng)歷, 對(duì)于相關(guān)組件的版本跟進(jìn), 補(bǔ)丁跟蹤, bug追蹤等有相關(guān)經(jīng)驗(yàn)。

4.實(shí)際處理過各種集群在線版本升級(jí), 數(shù)據(jù)遷移, 集群擴(kuò)容, 穩(wěn)定性監(jiān)控等工作。

4.熟悉Kerberos安全認(rèn)證系統(tǒng),實(shí)施過集群權(quán)限管理, 資源隔離方面的方案規(guī)劃或二次開發(fā)工作。

5.有Cloudera的CM使用經(jīng)驗(yàn)尤佳。

大數(shù)據(jù)運(yùn)維工程師的崗位職責(zé)3

職責(zé):

1.負(fù)責(zé)公司大數(shù)據(jù)業(yè)務(wù)集群的運(yùn)維工作(Hadoop/Hbase/Hive/Presto/Yarn/Spark/Storm/Kafka/Elasticsearch/Flume等)確保高可用;

2.負(fù)責(zé)大數(shù)據(jù)平臺(tái)的日常部署、升級(jí)、擴(kuò)容、遷移;

3.設(shè)計(jì)實(shí)現(xiàn)大規(guī)模分布式集群的運(yùn)維、監(jiān)控和管理平臺(tái);

4.參與業(yè)務(wù)架構(gòu)設(shè)計(jì),在設(shè)計(jì)階段給出可運(yùn)維性改進(jìn)建議;

5.深入研究大數(shù)據(jù)業(yè)務(wù)相關(guān)運(yùn)維技術(shù),持續(xù)優(yōu)化集群服務(wù)架構(gòu),探索新的大數(shù)據(jù)運(yùn)維技及發(fā)展方向;

6.兼顧應(yīng)用系統(tǒng)的運(yùn)維工作。

任職要求:

1.要求掌握java、shell語言,有Spring Cloud微服務(wù)架構(gòu)開發(fā)經(jīng)驗(yàn)的優(yōu)先;

2.了解Docker,可以做簡(jiǎn)單應(yīng)用;

3.熟悉Hadoop/Hbase/Hive/Storm/Spark/Kafka/Elasticsearch/Flume等開源項(xiàng)目?jī)?yōu)先;

4.熟悉Linux操作系統(tǒng)的配置、管理及優(yōu)化,能夠獨(dú)立排查及解決操作系統(tǒng)層面的問題;

5.掌握puppet、kerberos應(yīng)用的優(yōu)先;

6.良好的客戶服務(wù)意識(shí),強(qiáng)烈的責(zé)任心和使命感,執(zhí)行力強(qiáng),富有團(tuán)隊(duì)合作精神;

7.對(duì)大數(shù)據(jù)方向運(yùn)維有很高的熱情和興趣,能主動(dòng)學(xué)習(xí)了解相關(guān)知識(shí);

大數(shù)據(jù)運(yùn)維工程師的崗位職責(zé)4

職責(zé):

1、負(fù)責(zé)公司服務(wù)器日常的維護(hù),包括巡檢、故障排除、數(shù)據(jù)備份等業(yè)務(wù),保證服務(wù)器高質(zhì)量、高效率運(yùn)行狀態(tài);

2、負(fù)責(zé)公司大數(shù)據(jù)產(chǎn)品的現(xiàn)場(chǎng)實(shí)施,制定可靠的實(shí)施方案;

3、負(fù)責(zé)公司大數(shù)據(jù)環(huán)境(hadoop生態(tài))集群環(huán)境安裝、維護(hù)、部署、優(yōu)化;

【任職資格】

1、至少2年服務(wù)器、大數(shù)據(jù)集群運(yùn)維經(jīng)驗(yàn);

2、精通linux運(yùn)維命令,熟悉Linux的維護(hù)和管理,熟悉Shell腳本開發(fā),能看懂Python/Scala優(yōu)先;

3、熟悉大數(shù)據(jù)項(xiàng)目實(shí)施:包括不限于hadoop、hive、kafka、hbase、spark、Kudu、Impala等大數(shù)據(jù)生態(tài)的平臺(tái)搭建,監(jiān)控,運(yùn)維,調(diào)優(yōu)、生產(chǎn)環(huán)境;

4、熟悉docker技術(shù)優(yōu)先;

5、熟練使用git版本控制,jenkins持續(xù)集成工具優(yōu)先;

6、具備強(qiáng)烈的進(jìn)取心、自我學(xué)習(xí)能力,良好的溝通能力和團(tuán)隊(duì)合作意識(shí)。

大數(shù)據(jù)運(yùn)維工程師的崗位職責(zé)5

職責(zé):

1、負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)的部署、管理、優(yōu)化、監(jiān)控報(bào)警,保障平臺(tái)服務(wù)7_24穩(wěn)定可靠高效運(yùn)行;

2、深入理解公司大數(shù)據(jù)平臺(tái)架構(gòu),發(fā)現(xiàn)并解決性能瓶頸,支撐業(yè)務(wù)和數(shù)據(jù)量的快速增長(zhǎng);

3、開發(fā)大數(shù)據(jù)自動(dòng)化運(yùn)維、監(jiān)控報(bào)警、故障處理相關(guān)腳本和工具;

4、負(fù)責(zé)Hadoop/spark/Mysql等集群服務(wù)、業(yè)務(wù)監(jiān)控、持續(xù)交付、應(yīng)急響應(yīng)、容量規(guī)劃等。

任職要求:

1、3年以上互聯(lián)網(wǎng)運(yùn)維相關(guān)工作經(jīng)驗(yàn),2年以上大數(shù)據(jù)平臺(tái)運(yùn)維相關(guān)工作經(jīng)驗(yàn);

2、具備一定的故障排查能力,有良好的技術(shù)敏感度和風(fēng)險(xiǎn)識(shí)別能力,精通一門以上腳本語言(shell/python等),熟悉Http/Https、TCP/IP、SMTP等協(xié)議;

3、熟悉Hadoop大數(shù)據(jù)生態(tài)圈,包括但不限于CDH/HDFS/YARN/Hive/Hbase/Kafka/zookeeper/Spark/Flume/Impala/Hue/Sqoop/Elasticsearch/kibana/MySQL/Oracle等;

4、熟悉Hadoop各組件的原理和實(shí)現(xiàn),有實(shí)際部署維護(hù)、管理( 包括元數(shù)據(jù)管理)及優(yōu)化經(jīng)驗(yàn)。并擁有持續(xù)調(diào)優(yōu)能力,運(yùn)維管理過大規(guī)模數(shù)據(jù)平臺(tái);

5、熟悉 Kubernetes(K8s) 集群 Docker 在大數(shù)據(jù)環(huán)境場(chǎng)景的使用;

6、熟悉Linux(redhat/centos)軟硬件環(huán)境、系統(tǒng)管理和優(yōu)化,熟練部署、優(yōu)化各種常用服務(wù)

7、有Java開發(fā)經(jīng)驗(yàn)和閱讀源碼能力者優(yōu)先。

大數(shù)據(jù)運(yùn)維工程師的崗位職責(zé)6

職責(zé):

1、負(fù)責(zé)公司大數(shù)據(jù)集群的構(gòu)建,任務(wù)調(diào)度、監(jiān)控預(yù)警,持續(xù)完善大數(shù)據(jù)平臺(tái),保證穩(wěn)定性、安全性;

2、負(fù)責(zé)集群容量規(guī)劃、擴(kuò)容、集群性能優(yōu)化及日常巡檢和應(yīng)急值守,參與大數(shù)據(jù)基礎(chǔ)環(huán)境的架構(gòu)設(shè)計(jì)與改進(jìn);

3、深入研究大數(shù)據(jù)業(yè)務(wù)相關(guān)自動(dòng)化運(yùn)維技術(shù),持續(xù)優(yōu)化集群服務(wù)架構(gòu),探索新的大數(shù)據(jù)運(yùn)維技術(shù)及發(fā)展方向;

任職要求:

1、熟悉Linux系統(tǒng)及基礎(chǔ)命令操作,能夠獨(dú)立編寫Shell或Python腳本,開展日常服務(wù)器的運(yùn)維工作;

2、熟悉并不限于大數(shù)據(jù)生態(tài)圈Hadoop、Strom、Spark、HDFS、Kafka、Zookeeper、Hbase、Redis、ElasticSearch、fastdfs

等相關(guān)基礎(chǔ)組件的框架知識(shí)和運(yùn)行原理;

3、熟悉軟硬件設(shè)備,網(wǎng)絡(luò)原理,有豐富的大數(shù)據(jù)平臺(tái)(CDH、HDP)部署、集群運(yùn)維和性能優(yōu)化等經(jīng)驗(yàn);

4、具備一定的系統(tǒng)自動(dòng)化運(yùn)維理論體系和實(shí)際經(jīng)驗(yàn),能夠利用各種開源監(jiān)控工具、運(yùn)維工具,HA、負(fù)載均衡軟件完成工作任務(wù);

5、具備較強(qiáng)的學(xué)習(xí)能力、抗壓能力、動(dòng)手能力和分析解決問題的能力;

6、熟悉JVM虛擬機(jī)調(diào)優(yōu);

7、熟悉jenkins持續(xù)集成;

8、有一定的文檔編寫能力;

9、能適應(yīng)短期出差,有公安視頻圖像偵查業(yè)務(wù)方向經(jīng)驗(yàn)者優(yōu)先;

大數(shù)據(jù)運(yùn)維工程師的崗位職責(zé)7

職責(zé):

1.負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)的運(yùn)維保障;

2.負(fù)責(zé)大數(shù)據(jù)平臺(tái)的架構(gòu)審核、業(yè)務(wù)監(jiān)控、持續(xù)交付、應(yīng)急響應(yīng)、容量規(guī)劃等;

3.為線上服務(wù)高效穩(wěn)定運(yùn)行負(fù)責(zé),支撐業(yè)務(wù)和數(shù)據(jù)量的快速擴(kuò)張;

4.負(fù)責(zé)生產(chǎn)及測(cè)試集群諸如故障定位恢復(fù)、系統(tǒng)安全、性能優(yōu)化等;

任職要求:

1.計(jì)算機(jī)相關(guān)專業(yè)本科及以上學(xué)歷,3年以上相關(guān)工作經(jīng)驗(yàn)

2.精通Hadoop大數(shù)據(jù)生態(tài)圈,熟悉Hadoop各組件的原理,并有實(shí)際部署維護(hù)經(jīng)驗(yàn);包括但不限于HDFS、YARN、Kafka、Spark、HBase、Kerberos、Hive、Kudu、Zookeeper等;

3.具備很強(qiáng)故障排查能力,有很好的技術(shù)敏感度和風(fēng)險(xiǎn)識(shí)別能力,良好的服務(wù)意識(shí),善于團(tuán)隊(duì)協(xié)作,項(xiàng)目管理,主動(dòng)思考,自我驅(qū)動(dòng)力強(qiáng);

4.有相關(guān)動(dòng)態(tài)編排容器技術(shù)和虛擬化技術(shù)工作經(jīng)驗(yàn)者優(yōu)先;

5.深入理解Hadoop各組件的原理和實(shí)現(xiàn),有閱讀源碼能力者優(yōu)先;

6.具備很強(qiáng)的ownership,故障排查能力,有很好的技術(shù)敏感度和風(fēng)險(xiǎn)識(shí)別能力。

大數(shù)據(jù)運(yùn)維工程師的崗位職責(zé)8

1、負(fù)責(zé)建設(shè)大數(shù)據(jù)平臺(tái)的規(guī)劃、架構(gòu)設(shè)計(jì)和技術(shù)選型;

2、開發(fā)和使用Hadoop大數(shù)據(jù)自動(dòng)化運(yùn)維與監(jiān)控工具;

3、基于大數(shù)據(jù)應(yīng)用需求,負(fù)責(zé)優(yōu)化平臺(tái)的性能,消除性能瓶頸,解決業(yè)務(wù)的疑難問題;

4、熟悉Hadoop、Hive、Hbase、Storm、Spark等技術(shù)框架; 熟悉java、scala、sqllite等相關(guān)技術(shù);具備軟件設(shè)計(jì)、編碼開發(fā)測(cè)試、文檔編寫的能力;

5、積極了解業(yè)界發(fā)展、互聯(lián)網(wǎng)相關(guān)新技術(shù)及趨勢(shì),參與規(guī)劃公司大數(shù)據(jù)產(chǎn)品未來技術(shù)架構(gòu)方向;

6、負(fù)責(zé)大數(shù)據(jù)平臺(tái)內(nèi)部所涉及到的各類數(shù)據(jù)庫、數(shù)據(jù)存儲(chǔ)的搭建、備份、日常維護(hù)、性能調(diào)優(yōu);以及大數(shù)據(jù)平臺(tái)系統(tǒng)運(yùn)維、監(jiān)控和故障分析與處理;

7、能夠很好的和其它團(tuán)隊(duì)的同事溝通協(xié)作;

8、負(fù)責(zé)文檔的書寫和完善,保證文檔的及時(shí)更新;

9、有大型開源系統(tǒng)維護(hù)經(jīng)驗(yàn)優(yōu)先。

大數(shù)據(jù)運(yùn)維工程師的崗位職責(zé)模板八篇相關(guān)文章

大數(shù)據(jù)開發(fā)工程師崗位的主要職責(zé)概述

運(yùn)維工程師的崗位職責(zé)描述

大數(shù)據(jù)運(yùn)維工程師崗位的基本職責(zé)描述

運(yùn)維工程師崗位職責(zé)范本模板

大數(shù)據(jù)運(yùn)維工程師的主要職責(zé)說明

IT運(yùn)維工程師崗位的職責(zé)模板

運(yùn)維開發(fā)工程師崗位的工作職責(zé)模板

系統(tǒng)運(yùn)維工程師崗位的工作職責(zé)范本

《大數(shù)據(jù)運(yùn)維工程師的主要職責(zé)說明.doc》

運(yùn)維專員的工作職責(zé)內(nèi)容十篇

55888