大數(shù)據(jù)架構(gòu)師的主要職責(zé)說明
大數(shù)據(jù)架構(gòu)師的主要職責(zé)說明
大數(shù)據(jù)架構(gòu)師負(fù)責(zé)解決核心技術(shù)問題，對技術(shù)方案進行決策。下面是學(xué)習(xí)啦小編為您精心整理的大數(shù)據(jù)架構(gòu)師的主要職責(zé)說明。
大數(shù)據(jù)架構(gòu)師的主要職責(zé)說明1
職責(zé)：
1、負(fù)責(zé)公司大數(shù)據(jù)底層框架的整體架構(gòu)設(shè)計，結(jié)合公司實際業(yè)務(wù)情況進行技術(shù)選型及大數(shù)據(jù)戰(zhàn)略規(guī)劃;
2、負(fù)責(zé)公司項目的整體評估、設(shè)計、架構(gòu)及關(guān)鍵模塊的開發(fā);
3、負(fù)責(zé)架構(gòu)優(yōu)化，協(xié)助團隊解決開發(fā)過程中遇到的技術(shù)難題;
4、負(fù)責(zé)新技術(shù)的調(diào)研和大數(shù)據(jù)相關(guān)開源組件的研究，并能在團隊進行推廣應(yīng)用;
5、參與數(shù)據(jù)分析、數(shù)據(jù)建模、項目核心模塊及核心框架的開發(fā);
6、負(fù)責(zé)大數(shù)據(jù)平臺的性能條有和問題診斷。
任職要求：
1、計算機相關(guān)專業(yè)，本科及以上學(xué)歷，3-5年以上工作經(jīng)驗，2-3年大數(shù)據(jù)相關(guān)經(jīng)驗;
2、具有扎實的大數(shù)據(jù)和數(shù)據(jù)倉庫理論功底，負(fù)責(zé)過大數(shù)據(jù)平臺或數(shù)據(jù)倉庫設(shè)計;
3、對基于Hadoop的大數(shù)據(jù)體系有深入的認(rèn)識，具備相關(guān)產(chǎn)品(Hadoop、Hive、HBase、Spark、Storm、Flume、Kafka、Redis、ES等)項目應(yīng)用研發(fā)經(jīng)驗，有Hadoop集群搭建和管理經(jīng)驗，度過Hadoop和Spark源碼;
4、熟悉Linux和Python語言，了解Scala原理和底層技術(shù);
5、熟悉分布式系統(tǒng)的架構(gòu)及對其進行設(shè)計和優(yōu)化，對海量數(shù)據(jù)的清晰、分析處理及存儲有相關(guān)的實戰(zhàn)經(jīng)驗;
6、算法基礎(chǔ)扎實，熟悉常見的數(shù)據(jù)結(jié)構(gòu)，深入理解分布式算法和以上提到的分布式系統(tǒng)，
7、必須有一線coding的能力;
8、有統(tǒng)計學(xué)、數(shù)學(xué)知識，海量數(shù)據(jù)處理、分析和挖掘，大型互聯(lián)網(wǎng)公司從業(yè)經(jīng)歷著優(yōu)先。
大數(shù)據(jù)架構(gòu)師的主要職責(zé)說明2
職責(zé)：
1. 負(fù)責(zé)大數(shù)據(jù)基礎(chǔ)和應(yīng)用平臺的整體規(guī)劃和架構(gòu)設(shè)計，參與需求分析，架構(gòu)設(shè)計，詳細(xì)設(shè)計以及技術(shù)選型決策
2. 參與數(shù)據(jù)挖掘和建模相關(guān)核心算法的代碼實現(xiàn)
3. 負(fù)責(zé)大數(shù)據(jù)算法平臺的技術(shù)把關(guān)，性能調(diào)優(yōu)，控制架構(gòu)質(zhì)量，解決項目技術(shù)難題;對研發(fā)項目和任務(wù)需求進行評估和方案設(shè)計、拆分任務(wù)并指導(dǎo)工程師完成開發(fā)
4. 帶領(lǐng)團隊提供并實現(xiàn)大數(shù)據(jù)算法平臺上各項數(shù)據(jù)接入、數(shù)據(jù)挖掘分析及數(shù)據(jù)可視化的架構(gòu)設(shè)計與能力，支持解決方案實施
5. 負(fù)責(zé)數(shù)據(jù)庫設(shè)計、應(yīng)用架構(gòu)設(shè)計、核心技術(shù)選型等工作
6. 協(xié)調(diào)解決開發(fā)中的技術(shù)問題、設(shè)計和監(jiān)控運營指標(biāo)，保障系統(tǒng)穩(wěn)定運行
7. 培養(yǎng)，指導(dǎo)有能力的員工，指導(dǎo)工程師進行技術(shù)驗證實現(xiàn)，核心技術(shù)攻關(guān)，解決開發(fā)過程中的技術(shù)難題
任職要求：
1. 熟悉大數(shù)據(jù)和數(shù)據(jù)倉庫的系統(tǒng)架構(gòu)設(shè)計方法
2. 熟練使用并理解HadoopSpark架構(gòu)及生態(tài)。(Hadoop，Hive，Hbase，Elasticsearch，Kafka，SparkFlink等)
3. 熟悉分布式系統(tǒng)架構(gòu)，有分布式實時、離線和機器學(xué)習(xí)的平臺的架構(gòu)和開發(fā)經(jīng)驗，具備海量數(shù)據(jù)清洗、分析處理及存儲的實踐經(jīng)驗
4. 熟練使用JAVA，具有大規(guī)模分布式系統(tǒng)調(diào)優(yōu)經(jīng)驗
5. 熟悉AI相關(guān)算法，熟悉機器學(xué)習(xí)、深度學(xué)習(xí)。熟悉AI學(xué)習(xí)開源框架(Tensorflow、PyTorch等)者優(yōu)先;
6. 具備良好的團隊合作精神，對工作充滿激情。
7. 熟悉FusionInsight平臺開發(fā)經(jīng)驗者優(yōu)先
大數(shù)據(jù)架構(gòu)師的主要職責(zé)說明3
職責(zé)：
(1) 負(fù)責(zé)公司大數(shù)據(jù)平臺搭建，相關(guān)的設(shè)計和技術(shù)開發(fā)工作，負(fù)責(zé)大數(shù)據(jù)存儲系統(tǒng)、分布式計算系統(tǒng)、數(shù)據(jù)集成、挖掘算法等的設(shè)計、研發(fā)以及維護、優(yōu)化工作;
(2) 通過數(shù)據(jù)分析技術(shù)，挖掘有利于營銷中各業(yè)務(wù)場景的變量或規(guī)則類標(biāo)簽，以提升模型效果，為文旅、教育業(yè)務(wù)提供數(shù)學(xué)模型理論及編程支撐;
(3) 對接溝通業(yè)務(wù)系統(tǒng)研發(fā)團隊和產(chǎn)品部門，提供數(shù)據(jù)驅(qū)動方面的專業(yè)咨詢方案，并對業(yè)務(wù)的大數(shù)據(jù)應(yīng)用場景提出建設(shè)性意見;
(4) 配合部門領(lǐng)導(dǎo)進行項目需求分析、設(shè)計開發(fā)工作。
任職要求：
(1) 計算機、統(tǒng)計學(xué)，數(shù)學(xué)等相關(guān)專業(yè)本科以上學(xué)歷，5年以上大數(shù)據(jù)或文旅、教育數(shù)據(jù)產(chǎn)品設(shè)計開發(fā)經(jīng)驗，高效高質(zhì)量產(chǎn)出需求和技術(shù)文檔;
(2) 精通Hadoop，熟悉大數(shù)據(jù)生態(tài)技術(shù)，如Storm、Spark、Scala、Flume、Kafka、Zookeeper、Hive、Hbase、Kerberos等，有大規(guī)模集群架構(gòu)、開發(fā)及運維經(jīng)驗;熟悉HDFS/MapReduce等;
(3) 熟悉Java，能夠獨立應(yīng)用python、R、SAS或類似分析工具進行數(shù)據(jù)分析;
(4) 熟悉大數(shù)據(jù)挖掘、可視化分析，各種BI算法和產(chǎn)品等，在計算廣告、搜索引擎、推薦系統(tǒng)、用戶畫像等有一個或多個算法領(lǐng)域的研發(fā)經(jīng)驗，能夠運用數(shù)據(jù)作為產(chǎn)品解決業(yè)務(wù)方運營及決策問題;
(5) 有互聯(lián)網(wǎng)行業(yè)工作經(jīng)驗者優(yōu)先，有海量數(shù)據(jù)的機器學(xué)習(xí)算法實踐經(jīng)驗優(yōu)先;
(6) 工作認(rèn)真、負(fù)責(zé)，有良好的團隊合作精神，良好的分析能力、溝通技巧。
大數(shù)據(jù)架構(gòu)師的主要職責(zé)說明4
職責(zé)：
1. 負(fù)責(zé)公司大數(shù)據(jù)平臺的設(shè)計和開發(fā)，負(fù)責(zé)spark, hadoop, flink等云計算平臺的開發(fā)和優(yōu)化;制定數(shù)據(jù)架構(gòu)規(guī)范，進行核心代碼編寫，指導(dǎo)團隊落地;
2. 負(fù)責(zé)數(shù)據(jù)基礎(chǔ)架構(gòu)和數(shù)據(jù)處理體系的升級和優(yōu)化，技術(shù)難題攻關(guān)，持續(xù)提升核心系統(tǒng)性能，保證系統(tǒng)的安全、穩(wěn)定、高效運行
3. 設(shè)計并實現(xiàn)對BI分析、數(shù)據(jù)產(chǎn)品開發(fā)、算法開發(fā)的系統(tǒng)性支持
4. 研究未來數(shù)據(jù)模型和計算框架的創(chuàng)新與落地，包括但不限于以下領(lǐng)域：大規(guī)模數(shù)據(jù)實時化、研發(fā)模式敏捷化、數(shù)據(jù)計算框架輕量化、數(shù)據(jù)模型組織方式業(yè)務(wù)化等方面參與制定并實踐團隊的技術(shù)發(fā)展路線
5. 建立良好的公司內(nèi)外的業(yè)界技術(shù)影響力;參與培養(yǎng)未來數(shù)據(jù)人才;有效輔導(dǎo)團隊，提升數(shù)據(jù)研發(fā)能力
任職要求：
1. 有很強的數(shù)據(jù)設(shè)計抽象能力，善于從復(fù)雜的數(shù)據(jù)問題中找到關(guān)鍵路徑，能夠開發(fā)創(chuàng)新而實際的分析方法以解決復(fù)雜的商業(yè)問題
2. 有作為技術(shù)負(fù)責(zé)人系統(tǒng)化解決問題的成功案例;有海量數(shù)據(jù)建模實踐經(jīng)驗優(yōu)先
3. 熟練掌握Hadoop、Spark、Flink、HBase的原理特性以及適用場景，精通流式計算開發(fā)，有開源二次開發(fā)經(jīng)驗者優(yōu)先，有NLP數(shù)據(jù)處理經(jīng)驗者優(yōu)先
4. 性格積極樂觀，誠信，能自我驅(qū)動，有較強的語言表達能力;具備強烈的進取心、求知欲及團隊合作精神;具有良好的溝通、團隊協(xié)作、計劃和創(chuàng)新的能力
5. 本科以上學(xué)歷，扎實的計算機專業(yè)基礎(chǔ)，有5年以上大數(shù)據(jù)平臺開發(fā)經(jīng)驗;
大數(shù)據(jù)架構(gòu)師的主要職責(zé)說明5
職責(zé)：
1、負(fù)責(zé)大數(shù)據(jù)平臺的技術(shù)選型，基于Spark、Hadoop大數(shù)據(jù)平臺建設(shè)和開發(fā);
2、完成包括數(shù)據(jù)模型設(shè)計、數(shù)據(jù)采集、數(shù)據(jù)存儲等方面的大數(shù)據(jù)系統(tǒng)架構(gòu)的設(shè)計和數(shù)據(jù)層架構(gòu)設(shè)計;
3、構(gòu)建數(shù)據(jù)中臺，為多種行業(yè)應(yīng)用提供主數(shù)據(jù)(畫像標(biāo)簽/關(guān)系圖譜)、數(shù)據(jù)模型、人工智能業(yè)務(wù)算法及數(shù)據(jù)服務(wù)。
4、對海量數(shù)據(jù)處理的業(yè)務(wù)需求進行評估和方案設(shè)計、拆分任務(wù)并指導(dǎo)工程師完成開發(fā);
5、帶領(lǐng)大數(shù)據(jù)技術(shù)團隊提供并實現(xiàn)大數(shù)據(jù)平臺上各項數(shù)據(jù)分析和數(shù)據(jù)可視化的架構(gòu)設(shè)計，支撐解決方案實施。
任職要求：
1、本科及以上學(xué)歷，具有5年及以上大數(shù)據(jù)架構(gòu)設(shè)計和開發(fā)經(jīng)驗;2年及以上帶領(lǐng)團隊經(jīng)驗;溝通能力強。在大型互聯(lián)網(wǎng)企業(yè)從事大數(shù)據(jù)架構(gòu)設(shè)計者優(yōu)先考慮;有分布式大型商業(yè)軟件系統(tǒng)設(shè)計經(jīng)驗、主導(dǎo)過大型商業(yè)軟件的架構(gòu)設(shè)計并取得過市場商業(yè)成功者優(yōu)先考慮;
2、熟悉整個大數(shù)據(jù)的完整處理流程，包括數(shù)據(jù)的采集、清洗、預(yù)處理、存儲、分析挖據(jù)、機器學(xué)習(xí)和數(shù)據(jù)可視化;
3、精通Oracle/MySQL/PostgreSQL/Greenplum/MongoDB等其中至少一種主流數(shù)據(jù)庫的使用，并能進行性能調(diào)優(yōu);
4、具備優(yōu)秀的團隊意識和溝通能力，學(xué)習(xí)能力和主動性強，具有鉆研精神，充滿激情，樂于接受挑戰(zhàn)。