大數據架構師工作的崗位職責
大數據架構師工作的崗位職責
大數據架構師負責研發(fā)技術發(fā)展方向，新技術領域的探索，將新技術應用到公司大數據平臺，提升公司效能。下面是學習啦小編整理的大數據架構師工作的崗位職責。
大數據架構師工作的崗位職責1
職責：
1、負責大數據平臺技術框架的技術選型和搭建;
2、負責核心技術問題公關，建設高可靠性，擴展性及高性能大數據/數據應用平臺;
3、負責規(guī)劃數據挖掘的整體流程，負責大數據開發(fā)團隊業(yè)務需求開發(fā);
4、與其他團隊密切配合，尋求數據層面的業(yè)務價值，利用數據分析結論推動產品優(yōu)化;
5、研究和分享大數據架構領域新技術。
任職要求：
1、計算機相關專業(yè)全日制統(tǒng)招本科及以上;
2、5年以上工作經驗，至少3年以上大數據項目相關工作經驗，能夠設計大型大數據系統(tǒng)的架構和技術方案;
3、精通Hadoop/Spark/Hbase/Hive等大數據技術,精通ETL技術;
4、熟悉數據挖掘，了解典型大數據算法和策略;
5、熟悉主流Java技術框架，精通關系型數據庫及SQL語言，熟悉NoSQL/JSON/XML;
6、有較強的學習能力和問題解決能力，邏輯嚴密、思路清晰;
7、有數據倉庫經驗者優(yōu)先，有金融行業(yè)項目經驗者優(yōu)先。
大數據架構師工作的崗位職責2
職責：
1、負責DMP技術架構設計與構建，根據業(yè)務規(guī)劃及技術規(guī)劃制定應用架構方案;
2、負責設計構建DMP數據采集、存儲及分析框架，設計數據處理的技術流程和規(guī)范;
3、負責核心功能的架構與代碼模板編寫，開發(fā)與維護系統(tǒng)公用核心模塊;
4、負責基于大數據技術的海量數據的自動化分析處理和統(tǒng)計工作。
崗位要求：
1、計算機或相關專業(yè)本科以上學歷，三年以上的開發(fā)經驗，二年以上大數據相關軟件架構的實際經驗;
2、精通大數據處理技術，熟悉Hadoop/Storm技術體系，有Hadoop、Hive、Hbase項目經驗;
3、具有較強的架構能力，具有分布式計算、實時計算、數據倉庫、數據挖掘系統(tǒng)的架構經歷優(yōu)先;
4、對數據敏感，洞察力強，了解國內外廣告發(fā)展趨勢;
5.、擅長系統(tǒng)分析與設計，精通常用的設計模式，擅長性能調優(yōu);
6、熟悉DMP/RTB技術原理，了解用戶的行為分析及建模;有RTB/DSP/SSP/EXCHANGE/DMP等廣告行業(yè)從業(yè)經歷。
大數據架構師工作的崗位職責3
職責：
1、負責spark, hadoop, flink等開發(fā)和優(yōu)化。
2、參與前期需求溝通和分析，以產品化開發(fā)的思維，完成需求分解和數據架構設計。
3、與研發(fā)和數據科學家合作保證產品定義清晰，按時完成產品上線。
4、能夠洞察市場狀況，與各部門合作轉化為基于大數據挖掘的新策略或方案.
5、主動創(chuàng)造和發(fā)掘新的基于大數據挖掘產品商業(yè)模式.
任職要求：
1、全日制本科及以上學歷，計算機軟件相關專業(yè)，5年以上開發(fā)經驗，3年以上架構經驗
2、精通hadoop/MapReduce/Spark/Hbase/Flink/Hive/R/Mahout等分布式數據存儲和分布式計算平臺原理，流式計算開發(fā)，有開源二次開發(fā)經驗者優(yōu)先。
3、精通大數據挖掘、機器學習.熟練掌握Java/Perl/Python至少一種編程語言。
4、具有數據挖掘和分析、機器學習等項目實施相關經驗者優(yōu)先;
5、良好的跨部門溝通合作能力，解決不同觀點能力并取得結果。具備敏銳的互聯網產品理解力，學習能力和邏輯思維能力強;
6、較強的自我驅動力、推動和協(xié)調能力，強烈的責任心和團隊合作精神;
大數據架構師工作的崗位職責4
職責
1、負責大數據架構設計，包括定義數據的存儲、集成(ETL)、應用，支撐業(yè)務運營和數據分析類需求實現;
2、制定數據治理領域的數據體系化管理措施，包括元數據設計、數據標準、數據質量、數據處理、數據安全等工作，確保數據可信與安全;
3、基于行業(yè)數據積累，滿足業(yè)務的數據挖掘需求，實現從數據到資產的轉變，根據目標行業(yè)建立具有前瞻性的數據模型;
4、對各產品的數據安全負責，主導制定和實施數據庫系統(tǒng)安全策略，保證整體方案數據安全;
崗位要求
業(yè)務技能要求：
1、深入理解云化、數據倉庫，在參與過的系統(tǒng)設計中，必須涉及這兩項關鍵技術;
n2、精通或者熟悉Hadoop體系架構，以及HDFS/HBase/Hive/MapReduce/Spark等技術，了解體系架構各組件的優(yōu)缺點，有直接的產品設計與開發(fā)、部署、調優(yōu)的經驗;
3、精通或熟悉常見RDBMS(Oracle / PostgreSQL / MySql)、NoSQL(Redis / Memcached/ MongoDB)、全文搜索引擎(Solr/ElasticSearch)的使用及開發(fā)，了解各數據庫優(yōu)缺點， 熟悉與架構設計相關的數據存儲、性能調優(yōu)等相關領域知識，有相關項目經驗尤佳;
4、熟悉業(yè)界常用的數據采集、集成、數據存儲、計算、數據模型、數據分析的技術方案，具有數據分析或數據挖掘相關經驗者優(yōu)先;
n5、熟悉數據治理相關流程，包括數據接入、數據處理、數據治理、數據組織、數據服務等。
專業(yè)知識要求：
1、具備數據治理的知識與體系方案，包含政策、組織、角色、流程、規(guī)范等，以及規(guī)劃相應的支撐方案。了解業(yè)界的數據管理方法論;
2、具備數據用例設計和開發(fā)能力。能夠基于業(yè)務相關數據進行業(yè)務需求分析和痛點識別，將業(yè)務需求轉化為數據的需求，完成數據用例的設計和開發(fā);
3、精通海量數據(日增量百億)級別數據倉庫、數據集市的構建流程。熟悉公安、政務、工業(yè)、交通、醫(yī)療等多行業(yè)業(yè)務者優(yōu)先。
大數據架構師工作的崗位職責5
職責：
1. 負責大數據平臺的基礎技術規(guī)劃，編制相關規(guī)范文檔。
2. 負責大數據平臺的數據采集，處理，存儲以及挖掘分析的架構實現。
3. 負責大數據平臺的實際規(guī)劃建設，包括環(huán)境和框架的規(guī)劃搭建以及部分核心編碼工作。
4. 負責大數據相關技術發(fā)展方向的預研。
5. 參與業(yè)務需求調研，根據需求及行業(yè)特點設計大數據解決方案并跟進具體實施項目。
6. 制定大數據平臺中數據質量，業(yè)務質量監(jiān)控及管理辦法。
崗位要求：
1. 全日制本科及以上學歷，5年以上工作經驗，4年及以上大數據架構設計經驗，熟悉大數據解決方案，包括Hadoop平臺、Spark、storm、機器學習、深度學習等大數據解決方案。
2. 深刻理解大數據處理(流計算、分布式計算、分布式文件系統(tǒng)、分布式存儲等相關技術)實現方法。有架構和設計實踐經驗。
3. 精通大型數據庫Oracle、SqlServer等的開發(fā)。
4. 精通java，Python中的一種或多種語言。
5. 熟悉容器、虛擬化、微服務框架等相關技術。
6. 對數據敏感，有嚴謹的工作思路，良好的溝通能力和團隊合作精神。
7. 熟悉R，Python，SAS、SPSS等數據挖掘經驗者優(yōu)先。
8. 高寬展性，高性能，和分布式系統(tǒng)的實踐及運維經驗者優(yōu)先。
9. 有大型數據倉庫實施、大數據平臺數據開發(fā)經驗，熟悉運營商業(yè)務者優(yōu)先。