大數(shù)據(jù)架構師的職責

大數(shù)據(jù)架構師的職責

　　大數(shù)據(jù)架構師負責大數(shù)據(jù)倉庫、數(shù)據(jù)集市的規(guī)劃及實現(xiàn)，負責大數(shù)據(jù)中臺的設計和核心開發(fā)工作。下面是學習啦小編為您精心整理的大數(shù)據(jù)架構師的職責。

　　大數(shù)據(jù)架構師的職責1

　　職責：

　　1、負責大數(shù)據(jù)基礎平臺、海量數(shù)據(jù)存儲處理分布式平臺、數(shù)據(jù)分析系統(tǒng)架構設計和研發(fā);

　　2、負責實時計算平臺基礎架構設計、部署、監(jiān)控、優(yōu)化升級;

　　3、制定項目數(shù)據(jù)倉庫設計及實現(xiàn)規(guī)范，指導設計研發(fā)和部署;

　　4、協(xié)助策略和算法團隊工作，保障數(shù)據(jù)挖掘建模和工程化;

　　5、深入研究大數(shù)據(jù)相關技術和產(chǎn)品，跟進業(yè)界先進技術。

　　任職要求：

　　1、3年以上大數(shù)據(jù)系統(tǒng)架構經(jīng)驗;

　　2、精通Hadoop HBase Hive Spark Flink Kafka Redis技術及其生態(tài)圈;

　　3、具備Java Scala Python等開發(fā)經(jīng)驗，熟悉數(shù)據(jù)挖掘和分析的策略與算法;

　　4、精通數(shù)據(jù)抽取，海量數(shù)據(jù)傳輸，數(shù)據(jù)清洗的常用方法和工具。

　　5、具備良好的系統(tǒng)分析能力、故障診斷能力;

　　6、有大數(shù)據(jù)策略、算法、可視化經(jīng)驗優(yōu)先;

　　7、有在華為云存儲產(chǎn)品和大數(shù)據(jù)產(chǎn)品的開發(fā)使用經(jīng)驗優(yōu)先。

　　大數(shù)據(jù)架構師的職責2

　　職責：

　　1、負責公司的大數(shù)據(jù)平臺的數(shù)倉架構、系統(tǒng)架構設計;

　　2、負責帶領團隊完成輿情分析相關的挖掘方案設計;

　　3、負責大數(shù)據(jù)研發(fā)組團隊管理;

　　4、負責帶領團隊完成輿情平臺的方案文檔撰寫、迭代開發(fā);

　　5、負責研發(fā)規(guī)范制定，研究行業(yè)前沿技術;

　　6、參與產(chǎn)品規(guī)劃及設計討論。

　　任職要求：

　　1、本科五年工作經(jīng)驗及以上，有至少五年的大數(shù)據(jù)技術實踐經(jīng)驗，有NLP或AI相關經(jīng)驗;

　　2、有很強的架構設計能力和良好的表達能力;

　　3、有一定的項目管理及團隊管理能力;

　　4、精通Hadoop、Spark生態(tài)圈中的常用組件原理及應用;

　　6、理解媒體業(yè)務，精通數(shù)據(jù)倉庫的規(guī)劃和設計;

　　5、精通掌握Java或Python編程，有性能調(diào)優(yōu)能力;

　　4、熟悉NLP算法原理及應用;

　　6、對新生事物或者新技術有濃厚興趣，學習能力強。

　　大數(shù)據(jù)架構師的職責3

　　職責

　　1、參與打造數(shù)據(jù)中內(nèi)容的規(guī)劃、設計、開發(fā)和優(yōu)化工作，實現(xiàn)高質(zhì)量數(shù)據(jù)的互通與共享;

　　2、參與數(shù)據(jù)模型體系構建及數(shù)據(jù)主題設計和開發(fā)，搭建離線、實時數(shù)據(jù)公共層;

　　3、參與數(shù)據(jù)產(chǎn)品與應用的數(shù)據(jù)研發(fā)，發(fā)掘數(shù)據(jù)商業(yè)價值，打造極致體驗的數(shù)據(jù)產(chǎn)品;

　　4、深入理解數(shù)據(jù)產(chǎn)品的使用場景，為業(yè)務方在可用性、成本上做更好的設計做參考;

　　5、團隊成員的搭建與培養(yǎng)，任務劃分，進度監(jiān)控，代碼規(guī)范，質(zhì)量保證。

　　任職要求

　　1、熟悉數(shù)據(jù)倉庫建模理論，3年以上相關領域?qū)嵺`經(jīng)驗;

　　2、Hadoop、Hive、Hbase、Storm、Spark等技術框架;

　　3、精通Java、Python、Scala、go等開發(fā)語言中的1到2種;

　　4、熟練使用Python/Java/scala或其他語言進行復雜業(yè)務邏輯的數(shù)據(jù)處理工作，具備海量數(shù)據(jù)處理以及性能優(yōu)化的能力;

　　5、對MySQL、Redis、HBase等數(shù)據(jù)庫有一定的了解和使用經(jīng)驗;

　　6、對olap，多維分析及kylin熟悉的更好;

　　7、思路清晰，具備良好的溝通能力和理解能力，較強的學習能力以及快速解決問題的能力;

　　8、對新技術，新事物有很好的探索和求知欲;

　　9、熟悉常規(guī)的機器學習算法：降維(PCA、SVD)、SVM、邏輯回歸(LogisticsRegression)、決策樹(GBDT、RandomForest)、關聯(lián)規(guī)則(Apriori、FP-Growth)、聚類(K-Means)等優(yōu)先。

　　大數(shù)據(jù)架構師的職責4

　　職責

　　1、負責公司大數(shù)據(jù)平臺的整體架構設計，包含數(shù)據(jù)收集、數(shù)據(jù)存儲、數(shù)據(jù)挖掘、數(shù)據(jù)輸出;

　　2、負責規(guī)劃從數(shù)據(jù)源到數(shù)據(jù)應用的整體流程，并參與用戶產(chǎn)品和數(shù)據(jù)產(chǎn)品的決策;

　　3、負責海量數(shù)據(jù)分析、用戶行為分析，構建用戶數(shù)據(jù)模型;

　　4、負責解決核心技術問題，對技術方案進行決策;

　　5、技術團隊管理。

　　6、熟悉手機IOS、安卓系統(tǒng)APP開發(fā)

　　任職資格

　　1、計算機相關專業(yè)畢業(yè)，本科以上學歷;

　　2、5年以上相關工作經(jīng)驗，具備軟件產(chǎn)品架構設計經(jīng)驗，熟練掌握高性能、高擴展性架構設計方法;

　　3、熟練掌握java或c++任意一門語言、熟悉linux操作系統(tǒng);

　　4、熟悉Hadoop/MR/Hbase/Mahout/Spark等大數(shù)據(jù)技術，并能夠基于上述項目開發(fā)大數(shù)據(jù)相關應用;

　　5、熟悉基本數(shù)據(jù)挖掘方法和技術;

　　6、強烈的敬業(yè)精神，良好的溝通與協(xié)調(diào)能力，能有效組織協(xié)調(diào)團隊完成各類開發(fā)工作;

　　7、熱愛技術，相信數(shù)據(jù)的價值，對大數(shù)據(jù)有深刻的理解。

　　大數(shù)據(jù)架構師的職責5

　　職責：

　　1、負責規(guī)劃科技大數(shù)據(jù)平臺及科技數(shù)據(jù)入庫自動化的方案設計;

　　2、負責大數(shù)據(jù)平臺的開發(fā)和維護，以及對外服務接口的開發(fā);

　　3、負責大數(shù)據(jù)平臺的優(yōu)化和改進工作。

　　任職要求

　　1、計算機相關專業(yè)本科及以上學歷，5年以上開發(fā)經(jīng)驗，其中3年以上為互聯(lián)網(wǎng)、大數(shù)據(jù)相關的開發(fā)經(jīng)驗;

　　2、熟知Hadoop生態(tài)圈體系，精通Hadoop/Spark/Storm/Kafka中的一項或幾項，深刻理解MapReduce的運行原理和機制，有MPI經(jīng)驗者尚佳;

　　3、熟悉Elasticsearch、Redis、Hbased等相關數(shù)據(jù)庫的構建和操作，尤其是數(shù)據(jù)庫集群的構建和操作，熟悉Neo4j者尚佳;

　　4、具有機器學習相關項目經(jīng)驗者優(yōu)先。