數(shù)據(jù)倉(cāng)庫(kù)工程師的基本職責(zé)模板
數(shù)據(jù)倉(cāng)庫(kù)工程師的基本職責(zé)模板
數(shù)據(jù)倉(cāng)庫(kù)工程師需要根據(jù)項(xiàng)目數(shù)據(jù)業(yè)務(wù)需求場(chǎng)景,設(shè)計(jì)合理的倉(cāng)庫(kù)模型,以及ETL開(kāi)發(fā)、實(shí)施、性能優(yōu)化、數(shù)據(jù)監(jiān)控等,構(gòu)建可擴(kuò)展的數(shù)據(jù)倉(cāng)庫(kù)以及數(shù)據(jù)分析解決方案。以下是學(xué)習(xí)啦小編整理的數(shù)據(jù)倉(cāng)庫(kù)工程師的基本職責(zé)模板。
數(shù)據(jù)倉(cāng)庫(kù)工程師的基本職責(zé)模板1
職責(zé):
1、根據(jù)公司業(yè)務(wù)需求,構(gòu)建可擴(kuò)展的數(shù)據(jù)倉(cāng)庫(kù),負(fù)責(zé)數(shù)據(jù)模型的規(guī)劃設(shè)計(jì)實(shí)現(xiàn)和優(yōu)化。
2、負(fù)責(zé)業(yè)務(wù)數(shù)據(jù)的采集,清洗,特征抽取。
3、負(fù)責(zé)ETL的維護(hù)工作,發(fā)現(xiàn)故障及時(shí)診斷、定位、分析和調(diào)試,保證數(shù)據(jù)準(zhǔn)確、穩(wěn)定。
4、根據(jù)業(yè)務(wù)需要,提供面向業(yè)務(wù)的報(bào)表、數(shù)據(jù)提取等數(shù)據(jù)服務(wù)。
5、參與業(yè)務(wù)數(shù)據(jù)分析體系的數(shù)據(jù)統(tǒng)計(jì)、分析及建模。
任職資格:
1、 統(tǒng)招本科及以上學(xué)歷,三年以上數(shù)據(jù)倉(cāng)庫(kù)、BI開(kāi)發(fā)經(jīng)驗(yàn);至少兩年
2、熟練使用oracle、mysql、Postgres等關(guān)系型數(shù)據(jù)庫(kù)及Hive、Hbase、spark、impala等基于hadoop集群的組件、編寫(xiě)優(yōu)秀的存儲(chǔ)過(guò)程、熟悉shell腳本語(yǔ)言,有良好的代碼習(xí)慣
3、 熟悉數(shù)據(jù)倉(cāng)庫(kù)建設(shè)的流程及方法論、理解維度建模,有實(shí)際的模型設(shè)計(jì)經(jīng)驗(yàn)及ETL相關(guān)開(kāi)發(fā)經(jīng)驗(yàn);
4、 熟悉二種以上開(kāi)源或商業(yè)的BI工具,有報(bào)表及可視化開(kāi)發(fā)經(jīng)驗(yàn),熟悉帆軟開(kāi)發(fā)優(yōu)先;
5、互聯(lián)網(wǎng)金融工作經(jīng)驗(yàn)優(yōu)先,汽車(chē)金融行業(yè)經(jīng)驗(yàn)優(yōu)先
5、 較強(qiáng)的邏輯思維能力和學(xué)習(xí)能力,對(duì)數(shù)據(jù)有敏銳的認(rèn)知力,工作態(tài)度踏實(shí)、認(rèn)真、積極主動(dòng),有良好的團(tuán)隊(duì)協(xié)作能力、執(zhí)行力以及抗壓工作能力和心態(tài),樂(lè)于溝通交流和分享。
數(shù)據(jù)倉(cāng)庫(kù)工程師的基本職責(zé)模板2
職責(zé):
1. 獨(dú)立完成ETL 需求分析、設(shè)計(jì)、開(kāi)發(fā)及部署工作
2. 獨(dú)立完成BI分析報(bào)表等應(yīng)用的需求分析、模型設(shè)計(jì)、數(shù)據(jù)處理、報(bào)表開(kāi)發(fā)等工作;
3. 配合開(kāi)發(fā)經(jīng)理完成BI分析報(bào)表等項(xiàng)目的過(guò)程管理、元數(shù)據(jù)管理、質(zhì)量管理;
4. 完成實(shí)時(shí)大數(shù)據(jù)處理系統(tǒng)及批處理系統(tǒng)的架構(gòu)設(shè)計(jì)及實(shí)現(xiàn);
5、負(fù)責(zé)BI分析報(bào)表等應(yīng)用的系統(tǒng)部署及運(yùn)維
任職要求:
1. 計(jì)算機(jī)相關(guān)專(zhuān)業(yè)本科及以上學(xué)歷,3年以上相關(guān)開(kāi)發(fā)經(jīng)驗(yàn);
2. 精通主流關(guān)系型數(shù)據(jù)庫(kù),精通SQL優(yōu)化、ETL問(wèn)題定位,能夠從模型設(shè)計(jì)層面做ETL優(yōu)化;
3. 精通ETL架構(gòu)的設(shè)計(jì),精通BI/DW,精通數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì);
4. 熟悉Hadoop、Map/Reduce的原理,能夠選用合適的工具設(shè)計(jì)、編寫(xiě)Hadoop的ETL程序;
5. 熟悉Shell/Perl/Python等腳本語(yǔ)言;
6. 熟悉kettle及sqoop; 精通元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量分析和處理設(shè)計(jì)。
數(shù)據(jù)倉(cāng)庫(kù)工程師的基本職責(zé)模板3
職責(zé):
1.負(fù)責(zé)VIVO公司級(jí)的數(shù)據(jù)集市和數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)和開(kāi)發(fā)
2.負(fù)責(zé)基于用戶行為的用戶標(biāo)簽探索和開(kāi)發(fā)
3.負(fù)責(zé)基于業(yè)務(wù)需求的數(shù)據(jù)中間層和可視化開(kāi)發(fā)
4.負(fù)責(zé)各類(lèi)分類(lèi)和預(yù)測(cè)模型的開(kāi)發(fā)
任職資格:
1.本科學(xué)歷,數(shù)統(tǒng)、計(jì)算機(jī)相關(guān)專(zhuān)業(yè)。
2.了解hadoop\spark生態(tài),有完整倉(cāng)庫(kù)設(shè)計(jì)和開(kāi)發(fā)經(jīng)驗(yàn)。
3.精通hql調(diào)優(yōu),shell\python,熟練使用常規(guī)機(jī)器學(xué)習(xí)算法。
數(shù)據(jù)倉(cāng)庫(kù)工程師的基本職責(zé)模板4
職責(zé):
1、負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)建設(shè)、開(kāi)發(fā)
2、依據(jù)業(yè)務(wù)需求,進(jìn)行數(shù)據(jù)產(chǎn)品的規(guī)劃和設(shè)計(jì)開(kāi)發(fā),為數(shù)據(jù)分析和運(yùn)營(yíng)等人員搭建友好高效的數(shù)據(jù)產(chǎn)品,如報(bào)表、BI系統(tǒng)等
3、協(xié)助對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行分析、建模,為業(yè)務(wù)部門(mén)的數(shù)據(jù)化運(yùn)營(yíng)提供支持
任職要求:
1、本科或以上學(xué)歷,2年以上大數(shù)據(jù)開(kāi)發(fā)或數(shù)據(jù)倉(cāng)庫(kù)或BI經(jīng)驗(yàn),熟練掌握J(rèn)ava或者Python開(kāi)發(fā)語(yǔ)言
2、熟悉Hadoop或Hadoop生態(tài)圈相關(guān)技術(shù),如Hive、Spark等,或者大數(shù)據(jù)云服務(wù)技術(shù)。
3、對(duì)業(yè)務(wù)有敏銳的洞察力,有較強(qiáng)的業(yè)務(wù)理解與分析能力;
4、具備良好的團(tuán)隊(duì)合作精神,有較好的溝通交流能力,善于主動(dòng)思考和行動(dòng),樂(lè)于解決具有挑戰(zhàn)性的問(wèn)題;
5、具有電商領(lǐng)域大數(shù)據(jù)開(kāi)發(fā)、推薦系統(tǒng)研發(fā)經(jīng)驗(yàn)的優(yōu)先考慮。
數(shù)據(jù)倉(cāng)庫(kù)工程師的基本職責(zé)模板5
職責(zé):
1、 負(fù)責(zé)全平臺(tái)流量及業(yè)務(wù)數(shù)據(jù)開(kāi)發(fā),參與數(shù)據(jù)模型體系構(gòu)建及數(shù)據(jù)主題設(shè)計(jì),為BI數(shù)據(jù)報(bào)表提供底層數(shù)據(jù)支持;
2、 理解產(chǎn)品、業(yè)務(wù)人員的數(shù)據(jù)需求,提供OLAP、數(shù)據(jù)提取等數(shù)據(jù)服務(wù);
3、 參與數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì),負(fù)責(zé)元數(shù)據(jù)建設(shè)、數(shù)據(jù)融合、多維度事實(shí)表及維表的數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā);
4、 參與項(xiàng)目ETL的設(shè)計(jì)、開(kāi)發(fā)、調(diào)度、執(zhí)行、處理,進(jìn)行模型性能及ETL流程調(diào)優(yōu);
任職要求:
1、大學(xué)本科及以上學(xué)歷,5年以上工作經(jīng)驗(yàn);
2、 熟悉ORACLE、MYSQL、SQL Server等主流數(shù)據(jù)庫(kù),熟練使用Power designer、kettle、 Data service等數(shù)據(jù)倉(cāng)庫(kù)及ETL工具,了解Dashboard、Smart BI、Power BI、Cognos等前端開(kāi)發(fā)工具;
3、 熟悉Data Cube,并精通SQL,熟練使用Hive、Spark-SQL, python、Shell等進(jìn)行數(shù)據(jù)開(kāi)發(fā),具備開(kāi)發(fā)復(fù)雜業(yè)務(wù)邏輯的數(shù)據(jù)處理及分析能力;
4、熟悉數(shù)據(jù)倉(cāng)庫(kù)理論,掌握Kimball維度建模方法,有ETL開(kāi)發(fā)和數(shù)倉(cāng)模型設(shè)計(jì)經(jīng)驗(yàn);
5、有很強(qiáng)的自我驅(qū)動(dòng)力,對(duì)開(kāi)源技術(shù)非常感興趣并具有一定的研究能力;
相關(guān)文章:
1.數(shù)據(jù)倉(cāng)庫(kù)工程師的工作職責(zé)
2.數(shù)據(jù)倉(cāng)庫(kù)工程師的崗位職責(zé)表述