- 目錄
-
第1篇 數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)工程師崗位職責(zé)
數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)師/etl工程師 同程藝龍 同程網(wǎng)絡(luò)科技股份有限公司,同程旅游,同程藝龍,同程 位職責(zé):
1、負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)采集、處理、存儲(chǔ)以及挖掘分析的架構(gòu)實(shí)現(xiàn),負(fù)責(zé)架構(gòu)設(shè)計(jì)和指導(dǎo)團(tuán)隊(duì)落地;
2、參與數(shù)據(jù)平臺(tái)建設(shè),包括環(huán)境和框架的規(guī)劃搭建以及部分核心編碼工作;設(shè)計(jì)并實(shí)現(xiàn)對(duì)bi分析、數(shù)據(jù)產(chǎn)品開發(fā)、算法開發(fā)的系統(tǒng)性支持;
3、研究未來數(shù)據(jù)模型和計(jì)算框架的創(chuàng)新與落地,包括但不限于以下領(lǐng)域:大規(guī)模數(shù)據(jù)實(shí)時(shí)化、研發(fā)模式敏捷化、數(shù)據(jù)計(jì)算框架輕量化、數(shù)據(jù)模型組織方式業(yè)務(wù)化等方面。
職位要求:
1、具備5年以上dw系統(tǒng)建設(shè)經(jīng)驗(yàn);了解數(shù)據(jù)倉(cāng)庫(kù)建設(shè)過程中的挑戰(zhàn)與問題,有實(shí)際架構(gòu)設(shè)計(jì)和數(shù)據(jù)建模經(jīng)驗(yàn),有作為技術(shù)負(fù)責(zé)人系統(tǒng)化解決問題的成功案例;
2、有dw/bi架構(gòu)體系中某些領(lǐng)域的專項(xiàng)建設(shè)經(jīng)驗(yàn),包括但不限于:數(shù)據(jù)質(zhì)量、元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)監(jiān)控、流計(jì)算、分布式計(jì)算、分布式文件系統(tǒng)、分布式存儲(chǔ)、大規(guī)模數(shù)據(jù)實(shí)時(shí)化、跨平臺(tái)資源調(diào)度;
3、熟悉hadoop生態(tài)圈,包括但不限于:hadoop、hive、storm、spark、dremel、kylin等;
4、有海量數(shù)據(jù)建模實(shí)踐經(jīng)驗(yàn)優(yōu)先。
第2篇 數(shù)據(jù)倉(cāng)庫(kù)高級(jí)研發(fā)工程師職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1. 負(fù)責(zé)參與制定數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)與開發(fā)規(guī)范
2. 設(shè)計(jì)和開發(fā)數(shù)據(jù)產(chǎn)品和工具,負(fù)責(zé)相關(guān)業(yè)務(wù)數(shù)據(jù)需求的開發(fā)
3. 負(fù)責(zé)參與建立數(shù)據(jù)質(zhì)量與數(shù)據(jù)安全保障體系:包括相關(guān)工具開發(fā),數(shù)據(jù)開發(fā)流程的權(quán)限管理和控制
任職資格:
1. 具備豐富的數(shù)據(jù)倉(cāng)庫(kù)理論和實(shí)踐經(jīng)驗(yàn)
2. 熟悉shell, python, hive sql編程,有豐富的sql查詢優(yōu)化經(jīng)驗(yàn)
3. 具備電商業(yè)務(wù)解能力,有較強(qiáng)的邏輯、概率思維能力以及數(shù)學(xué)建模能力,善于分析、歸納、解決問題背景,并對(duì)業(yè)務(wù)邏輯有興趣者優(yōu)先
4. 有互聯(lián)網(wǎng)數(shù)據(jù)研發(fā)、海量數(shù)據(jù)處理分析、olap項(xiàng)目開發(fā)經(jīng)驗(yàn)者優(yōu)先
第3篇 高級(jí)數(shù)據(jù)倉(cāng)庫(kù)工程師職位描述與崗位職責(zé)任職要求
職位描述:
職責(zé)描述:
1、規(guī)劃業(yè)務(wù)主題模型,與業(yè)務(wù)溝通并管理數(shù)據(jù)需求;
2、數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市建設(shè),數(shù)據(jù)模型設(shè)計(jì)和推進(jìn)開發(fā);
3、負(fù)責(zé)數(shù)據(jù)治理,梳理工作流程和方法,保證口徑統(tǒng)一、指標(biāo)規(guī)范、數(shù)據(jù)準(zhǔn)確;
4、培養(yǎng)團(tuán)隊(duì)數(shù)倉(cāng)能力
任職要求:
1、有至少3年數(shù)據(jù)倉(cāng)庫(kù)實(shí)施及至少2年模型設(shè)計(jì)經(jīng)驗(yàn),本科以上學(xué)歷;
2、深入理解dw,bi相關(guān)的知識(shí),包括:etl、數(shù)據(jù)倉(cāng)庫(kù)、olap、3nf和多維數(shù)據(jù)模型設(shè)計(jì)等;
3、熟悉數(shù)據(jù)倉(cāng)庫(kù)建模理論,以及數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)層級(jí)關(guān)系,精通多維數(shù)據(jù)模型設(shè)計(jì),具備大型數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)設(shè)計(jì)、模型設(shè)計(jì)和處理性能調(diào)優(yōu)等相關(guān)經(jīng)驗(yàn);
4、熟練使用主流數(shù)據(jù)模型設(shè)計(jì)工具。精通sql,能夠熟練使用hiveql和spark sql進(jìn)行數(shù)據(jù)開發(fā),熟悉hive數(shù)據(jù)模型優(yōu)化;
5、熟悉db2、oracle、teradata、greenplum等主流數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì)之一
6、熟悉hadoop、hive,具備海量數(shù)據(jù)處理和性能調(diào)優(yōu)經(jīng)驗(yàn),對(duì)hadoop、hive源碼有研究更佳
7、學(xué)習(xí)能力強(qiáng),優(yōu)秀的邏輯思維能力和業(yè)務(wù)需求分析能力,較好的溝通交流能力,能夠迅速融入團(tuán)隊(duì)
第4篇 數(shù)據(jù)倉(cāng)庫(kù)高級(jí)工程師職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、負(fù)責(zé)今日頭條的用戶產(chǎn)品線的數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)設(shè)計(jì)、建模和etl開發(fā);
2、參與數(shù)據(jù)治理工作,提升數(shù)據(jù)易用性及數(shù)據(jù)質(zhì)量,與數(shù)據(jù)工具團(tuán)隊(duì)緊密合作;
3、理解并合理抽象業(yè)務(wù)需求,發(fā)揮數(shù)據(jù)價(jià)值,與業(yè)務(wù)團(tuán)隊(duì)緊密合作。
任職要求:
1、精通數(shù)據(jù)倉(cāng)庫(kù)實(shí)施方法論、深入了解數(shù)據(jù)倉(cāng)庫(kù)體系,并支撐過實(shí)際業(yè)務(wù)場(chǎng)景;
2、具備較強(qiáng)的編碼能力,熟悉sql,python,hive,spark,kafka,storm中的多項(xiàng),有至少tb以上級(jí)大數(shù)據(jù)處理經(jīng)驗(yàn);
3、對(duì)數(shù)據(jù)敏感,認(rèn)真細(xì)致,善于從數(shù)據(jù)中發(fā)現(xiàn)疑點(diǎn);
4、善于溝通,具備優(yōu)秀的技術(shù)與業(yè)務(wù)結(jié)合能力。
第5篇 資深數(shù)據(jù)倉(cāng)庫(kù)工程師職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé)
1、基于公司數(shù)據(jù)建設(shè)需要,完成數(shù)據(jù)內(nèi)容開發(fā)等工作,維護(hù)與完善數(shù)據(jù)模型各類信息;
2、負(fù)責(zé)各業(yè)務(wù)線系統(tǒng)的信息調(diào)研、表與字段的關(guān)系梳理,根據(jù)業(yè)務(wù)及日常需求來優(yōu)化模型;
3、工作中對(duì)數(shù)據(jù)平臺(tái)基礎(chǔ)設(shè)施、數(shù)據(jù)內(nèi)容建設(shè)等工作主動(dòng)深度思考,提升效能、促進(jìn)組織和系統(tǒng)發(fā)展;
4、負(fù)責(zé)核心數(shù)據(jù)倉(cāng)庫(kù)模型代碼開發(fā),跟進(jìn)etl的完成。負(fù)責(zé)接入源系統(tǒng)數(shù)據(jù)的腳本開發(fā)、數(shù)據(jù)測(cè)試與驗(yàn)證、以及調(diào)度開發(fā)等工作;
5、與上游系統(tǒng)與下游應(yīng)用同事溝通協(xié)作,推動(dòng)各類需求在數(shù)據(jù)模型中的落地;
6、跟蹤、監(jiān)測(cè)、維護(hù)及優(yōu)化數(shù)據(jù)模型,確保數(shù)據(jù)模型被使用。
任職資格
1、本科以上學(xué)歷,5年或以上金融行業(yè)數(shù)據(jù)類工作經(jīng)驗(yàn);
2、熟悉hadoop生態(tài)系統(tǒng)組件,如:hive、mapreduce、spark、hbase等;具備編寫、優(yōu)化復(fù)雜sql的能力;
3、負(fù)責(zé)過大型數(shù)據(jù)平臺(tái)或數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì),具有扎實(shí)的大數(shù)據(jù)和數(shù)據(jù)倉(cāng)庫(kù)的理論功底;
4、掌握一定的數(shù)據(jù)質(zhì)量管理方法論、評(píng)估模型設(shè)計(jì)、質(zhì)量報(bào)表設(shè)計(jì),能夠根據(jù)數(shù)據(jù)質(zhì)量要求制定數(shù)據(jù)質(zhì)量探查規(guī)則并進(jìn)行實(shí)施;
5、掌握一定元數(shù)據(jù)管理方法論、元數(shù)據(jù)管理設(shè)計(jì)。
6、能夠圍繞業(yè)務(wù)和產(chǎn)品特征建模并解決問題;
7、具有豐富的數(shù)據(jù)實(shí)踐經(jīng)驗(yàn);
8、基于公司數(shù)據(jù)建設(shè)需要,完成數(shù)據(jù)內(nèi)容開發(fā)等工作,維護(hù)與完善數(shù)據(jù)模型各類信息。
第6篇 數(shù)據(jù)倉(cāng)庫(kù)工程師崗位職責(zé)
資深數(shù)據(jù)倉(cāng)庫(kù)工程師(嚴(yán)選)-郵件事業(yè)部172 網(wǎng)易集團(tuán) 網(wǎng)易(杭州)網(wǎng)絡(luò)有限公司,杭州網(wǎng)易,網(wǎng)易,網(wǎng)易杭州,網(wǎng)易游戲,網(wǎng)易網(wǎng)絡(luò),網(wǎng)易集團(tuán),網(wǎng)易 工作職責(zé):
1. 負(fù)責(zé)電商數(shù)據(jù)倉(cāng)庫(kù)搭建、etl開發(fā)與維護(hù);
2. 完成數(shù)據(jù)統(tǒng)計(jì)、編寫計(jì)算任務(wù)、接口開發(fā);
3. 參于數(shù)據(jù)規(guī)范制定、文檔編寫。
任職要求:
1.本科以上學(xué)歷,軟件工程/計(jì)算機(jī)/通信/數(shù)學(xué)等相關(guān)專業(yè);
2.熟悉hive sql語(yǔ)言,熟悉shell, python等至少一種腳本語(yǔ)言;
3.有hadoop、spark、flink等至少一種大數(shù)據(jù)平臺(tái)的使用經(jīng)驗(yàn);
4.理解能力強(qiáng),善于溝通,有責(zé)任心和團(tuán)隊(duì)精神;
5.有數(shù)據(jù)倉(cāng)庫(kù)建設(shè)、商業(yè)數(shù)據(jù)分析、增長(zhǎng)項(xiàng)目經(jīng)驗(yàn)者優(yōu)先。
第7篇 數(shù)據(jù)倉(cāng)庫(kù)開發(fā)高級(jí)工程師職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、負(fù)責(zé)字節(jié)跳動(dòng)旗下的用戶產(chǎn)品線的數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)設(shè)計(jì)、建模和etl開發(fā);
2、參與數(shù)據(jù)治理工作,提升數(shù)據(jù)易用性及數(shù)據(jù)質(zhì)量,與數(shù)據(jù)工具團(tuán)隊(duì)緊密合作;
3、理解并合理抽象業(yè)務(wù)需求,發(fā)揮數(shù)據(jù)價(jià)值,與業(yè)務(wù)團(tuán)隊(duì)緊密合作。
任職要求:
1、精通數(shù)據(jù)倉(cāng)庫(kù)實(shí)施方法論、深入了解數(shù)據(jù)倉(cāng)庫(kù)體系,并支撐過實(shí)際業(yè)務(wù)場(chǎng)景;
2、具備較強(qiáng)的編碼能力,熟悉sql,python,hive,spark,kafka,storm中的多項(xiàng),有至少tb以上級(jí)大數(shù)據(jù)處理經(jīng)驗(yàn);
3、對(duì)數(shù)據(jù)敏感,認(rèn)真細(xì)致,善于從數(shù)據(jù)中發(fā)現(xiàn)疑點(diǎn);
4、善于溝通,具備優(yōu)秀的技術(shù)與業(yè)務(wù)結(jié)合能力。
第8篇 數(shù)據(jù)倉(cāng)庫(kù)開發(fā)工程師職位描述與崗位職責(zé)任職要求
職位描述:
職責(zé)描述:
1、負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)的模型規(guī)劃設(shè)計(jì)工作;
2、負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)etl規(guī)則設(shè)計(jì)、數(shù)據(jù)映射工作;
3、負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)建設(shè)需求調(diào)研、業(yè)務(wù)溝通;
4、負(fù)責(zé)業(yè)務(wù)模型抽象和數(shù)據(jù)模型的設(shè)計(jì)開發(fā)。
任職要求:
1、計(jì)算機(jī)相關(guān)專業(yè)本科及以上學(xué)歷;
2、5年以上數(shù)據(jù)倉(cāng)庫(kù)建模經(jīng)驗(yàn);
3、熟悉etl、數(shù)據(jù)倉(cāng)庫(kù)開發(fā)及相關(guān)技術(shù),熟悉hive等主流數(shù)據(jù)庫(kù)技術(shù),精通sql開發(fā)與優(yōu)化;
4、熟練掌握維度建模理論,有能力分析業(yè)務(wù)數(shù)據(jù),完成數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì);
5、有實(shí)時(shí)數(shù)據(jù)處理開發(fā)經(jīng)驗(yàn)(如flink/sparkstreaming/storm)優(yōu)先;
6、對(duì)apache kylin以及其他olap技術(shù)深入了解者優(yōu)先;
7、工作態(tài)度踏實(shí)認(rèn)真、積極主動(dòng),可接受較高強(qiáng)度工作,具備良好的溝通能力和協(xié)調(diào)能力。
第9篇 數(shù)據(jù)倉(cāng)庫(kù)需求開發(fā)工程師職位描述與崗位職責(zé)任職要求
職位描述:
崗位職責(zé):
1)負(fù)責(zé)數(shù)據(jù)需求溝通、需求調(diào)研、需求分析、需求跟蹤;
2)負(fù)責(zé)業(yè)務(wù)源系統(tǒng)業(yè)務(wù)梳理、 信息調(diào)研、數(shù)據(jù)分析;
3)負(fù)責(zé)邏輯數(shù)據(jù)模型設(shè)計(jì)、業(yè)務(wù)映射規(guī)則整理,數(shù)據(jù)業(yè)務(wù)規(guī)則、數(shù)據(jù)準(zhǔn)確性等質(zhì)量核對(duì)、校驗(yàn);
4)負(fù)責(zé)數(shù)據(jù)業(yè)務(wù)開發(fā);
任職要求:
1)本科以上及同等學(xué)歷,計(jì)算機(jī)、軟件等相關(guān)專業(yè)畢業(yè);
2)五年以上工作經(jīng)驗(yàn);
3)熟練數(shù)據(jù)庫(kù)sql語(yǔ)言,掌握數(shù)據(jù)庫(kù)中mysql/oracle/gp等至少2種;
4)熟悉linu_系統(tǒng),具備shell編程等開發(fā)能力;
5)熟悉通信行業(yè)基本業(yè)務(wù)及業(yè)務(wù)流程從事通信行業(yè)數(shù)模型設(shè)計(jì)經(jīng)驗(yàn)優(yōu)先;
6)熟悉大數(shù)據(jù)技術(shù)(hadoop、hive等),并具備一定的數(shù)據(jù)處理開發(fā)經(jīng)驗(yàn);
7)熟悉數(shù)據(jù)倉(cāng)庫(kù)模型優(yōu)先具有較強(qiáng)的邏輯分析能力、文字表達(dá)能力;
8)具有較強(qiáng)的需求判斷、引導(dǎo)能力,邏輯思維能力強(qiáng),良好的溝通表達(dá)和文檔交付能力
加分項(xiàng):
有移動(dòng)通信行業(yè)(移動(dòng)、電信、聯(lián)通)tb、pb級(jí)數(shù)據(jù)分析和處理經(jīng)驗(yàn);
有java,python等開發(fā)基礎(chǔ);
第10篇 數(shù)據(jù)倉(cāng)庫(kù)開發(fā)(高級(jí))工程師職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、負(fù)責(zé)今日頭條的用戶產(chǎn)品線的數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)設(shè)計(jì)、建模和etl開發(fā);
2、參與數(shù)據(jù)治理工作,提升數(shù)據(jù)易用性及數(shù)據(jù)質(zhì)量,與數(shù)據(jù)工具團(tuán)隊(duì)緊密合作;
3、理解并合理抽象業(yè)務(wù)需求,發(fā)揮數(shù)據(jù)價(jià)值,與業(yè)務(wù)團(tuán)隊(duì)緊密合作。
任職要求:
1、精通數(shù)據(jù)倉(cāng)庫(kù)實(shí)施方法論、深入了解數(shù)據(jù)倉(cāng)庫(kù)體系,并支撐過實(shí)際業(yè)務(wù)場(chǎng)景;
2、具備較強(qiáng)的編碼能力,熟悉sql,python,hive,spark,kafka,storm中的多項(xiàng),有至少tb以上級(jí)大數(shù)據(jù)處理經(jīng)驗(yàn);
3、對(duì)數(shù)據(jù)敏感,認(rèn)真細(xì)致,善于從數(shù)據(jù)中發(fā)現(xiàn)疑點(diǎn);
4、善于溝通,具備優(yōu)秀的技術(shù)與業(yè)務(wù)結(jié)合能力。
第11篇 數(shù)據(jù)倉(cāng)庫(kù)開發(fā)工程師-創(chuàng)新工具職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、負(fù)責(zé)創(chuàng)新工具核心業(yè)務(wù)模塊數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建;
2、負(fù)責(zé)數(shù)據(jù)模型的設(shè)計(jì),etl實(shí)施、etl性能優(yōu)化、etl數(shù)據(jù)監(jiān)控以及一系列技術(shù)問題的解決;
3、負(fù)責(zé)構(gòu)建用戶主題、各業(yè)務(wù)線主題、推薦主題、企業(yè)bi門戶系統(tǒng);
4、負(fù)責(zé)全產(chǎn)品線數(shù)據(jù)字典維護(hù),提升數(shù)據(jù)資產(chǎn)質(zhì)量。
任職要求:
1、計(jì)算機(jī)、數(shù)學(xué)相關(guān)專業(yè)本科及以上學(xué)歷,三年以上大數(shù)據(jù)開發(fā)工作經(jīng)驗(yàn),數(shù)據(jù)挖掘和bi分析領(lǐng)域優(yōu)先;
2、熟練掌握hive/sql,熟悉spark/map-reduce/mpi分布式計(jì)算框架,熟悉大數(shù)據(jù)的離線和實(shí)時(shí)處理,可以進(jìn)行海量數(shù)據(jù)模型的設(shè)計(jì)、開發(fā);
3、有產(chǎn)品sense,主動(dòng)思考基于業(yè)務(wù)場(chǎng)景下的數(shù)據(jù)體系建設(shè),而不單單只會(huì)做執(zhí)行;
4、工作認(rèn)真,負(fù)責(zé),良好的團(tuán)隊(duì)合作精神和解決問題分析能力。鉆研技術(shù)克服困難,勇于挑戰(zhàn);
5、有分析經(jīng)驗(yàn)的優(yōu)先。
第12篇 廣告數(shù)據(jù)倉(cāng)庫(kù)工程師職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、廣告業(yè)務(wù)數(shù)據(jù)倉(cāng)庫(kù)建設(shè)和管理,包括但不限于數(shù)據(jù)質(zhì)量、數(shù)據(jù)模型、數(shù)據(jù)安全相關(guān)標(biāo)準(zhǔn)的制定;
2、負(fù)責(zé)與業(yè)務(wù)團(tuán)隊(duì)協(xié)同規(guī)劃與設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)模型,并快速實(shí)現(xiàn);
3、參與數(shù)據(jù)治理工作,提升數(shù)據(jù)易用性及數(shù)據(jù)質(zhì)量;
4、參與大數(shù)據(jù)應(yīng)用規(guī)劃、為數(shù)據(jù)挖據(jù)、應(yīng)用團(tuán)隊(duì)提供應(yīng)用指導(dǎo)。
任職要求:
1、本科以上學(xué)歷,2年以上互聯(lián)網(wǎng)業(yè)務(wù)數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì)、開發(fā)經(jīng)驗(yàn);
2、熟練使用hadoop及hive,熟悉hql、java、python等編程語(yǔ)言;
3、具有web開發(fā)經(jīng)驗(yàn)者優(yōu)先;
4、有elasticsearch、druid、hbase使用經(jīng)驗(yàn)者優(yōu)先。
第13篇 數(shù)據(jù)倉(cāng)庫(kù)工程師崗位職責(zé)數(shù)據(jù)倉(cāng)庫(kù)工程師職責(zé)任職要求
數(shù)據(jù)倉(cāng)庫(kù)工程師崗位職責(zé)
工作內(nèi)容:
1.集團(tuán)大數(shù)據(jù)可視化、數(shù)據(jù)管理、元數(shù)據(jù)等核心數(shù)據(jù)平臺(tái)研發(fā);
2.負(fù)責(zé)維護(hù)和搭建高性能的hbase/hadoop/spark/storm等離線和實(shí)時(shí)分布式計(jì)算平臺(tái),并根據(jù)系統(tǒng)壓力提前規(guī)劃并給出性能優(yōu)化方案;
3.為運(yùn)營(yíng)決策、線上數(shù)據(jù)服務(wù)提供可靠穩(wěn)定的數(shù)據(jù)服務(wù);
4.負(fù)責(zé)開源大數(shù)據(jù)平臺(tái)與產(chǎn)品和相關(guān)技術(shù)的追蹤和研究;
職位要求:
1.計(jì)算機(jī)相關(guān)專業(yè)本科以上學(xué)歷 - 扎實(shí)的php/python/java編程能力;
2.了解olap、etl、分布式數(shù)據(jù)庫(kù) - 具有良好的平臺(tái)化思維,溝通理解能力,和團(tuán)隊(duì)協(xié)作精神;
具備以下經(jīng)驗(yàn)者優(yōu)先:
- 熟練使用各種數(shù)理統(tǒng)計(jì)、數(shù)據(jù)/日志分析及可視化工具者;
- 精通habse、hive、strom、zookeeper、spark等分布式開源軟件,有多年實(shí)際開發(fā)和應(yīng)用經(jīng)驗(yàn);
- 具有開源項(xiàng)目經(jīng)驗(yàn)者;
工作內(nèi)容:
1.集團(tuán)大數(shù)據(jù)可視化、數(shù)據(jù)管理、元數(shù)據(jù)等核心數(shù)據(jù)平臺(tái)研發(fā);
2.負(fù)責(zé)維護(hù)和搭建高性能的hbase/hadoop/spark/storm等離線和實(shí)時(shí)分布式計(jì)算平臺(tái),并根據(jù)系統(tǒng)壓力提前規(guī)劃并給出性能優(yōu)化方案;
3.為運(yùn)營(yíng)決策、線上數(shù)據(jù)服務(wù)提供可靠穩(wěn)定的數(shù)據(jù)服務(wù);
4.負(fù)責(zé)開源大數(shù)據(jù)平臺(tái)與產(chǎn)品和相關(guān)技術(shù)的追蹤和研究;
職位要求:
1.計(jì)算機(jī)相關(guān)專業(yè)本科以上學(xué)歷 - 扎實(shí)的php/python/java編程能力;
2.了解olap、etl、分布式數(shù)據(jù)庫(kù) - 具有良好的平臺(tái)化思維,溝通理解能力,和團(tuán)隊(duì)協(xié)作精神;
具備以下經(jīng)驗(yàn)者優(yōu)先:
- 熟練使用各種數(shù)理統(tǒng)計(jì)、數(shù)據(jù)/日志分析及可視化工具者;
- 精通habse、hive、strom、zookeeper、spark等分布式開源軟件,有多年實(shí)際開發(fā)和應(yīng)用經(jīng)驗(yàn);
- 具有開源項(xiàng)目經(jīng)驗(yàn)者;
第14篇 高級(jí)數(shù)據(jù)倉(cāng)庫(kù)開發(fā)工程師職位描述與崗位職責(zé)任職要求
職位描述:
職責(zé)描述:
1.能夠獨(dú)立的分析和設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)需求解決方案;
2.善于和用戶溝通、準(zhǔn)確了解和定義業(yè)務(wù)需求并設(shè)計(jì)解決方案;
3.熟練掌握mysql數(shù)據(jù)庫(kù),精通sql語(yǔ)句編寫;
5.有數(shù)據(jù)倉(cāng)庫(kù)/數(shù)據(jù)集市相關(guān)項(xiàng)目背景者有限考慮;
6.5年以上數(shù)據(jù)庫(kù)實(shí)際項(xiàng)目開發(fā)經(jīng)驗(yàn);
7.熟練掌握etl工具,掌握kettle/informatica開發(fā)者優(yōu)先;
8.熟悉shell、perl等腳本語(yǔ)言者優(yōu)先;
9.良好的溝通和學(xué)習(xí)能力。
第15篇 數(shù)據(jù)倉(cāng)庫(kù)/etl/bi工程師職位描述與崗位職責(zé)任職要求
職位描述:
職責(zé)描述:
1、負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)建模,業(yè)務(wù)數(shù)據(jù)集市建設(shè)開發(fā)
2、負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)etl流程的優(yōu)化及解決etl相關(guān)技術(shù)問題、etl流程監(jiān)控,保障數(shù)據(jù)平臺(tái)架構(gòu)穩(wěn)定性
3、建立數(shù)據(jù)分析指標(biāo)體系,不斷完善指標(biāo)體系和分析模型;
4、通過專項(xiàng)分析,輸出專項(xiàng)分析報(bào)告
5、負(fù)責(zé)數(shù)據(jù)分析相關(guān)需求和數(shù)據(jù)測(cè)試的工作
任職要求:
學(xué)歷要求:
全日制統(tǒng)考類本科及以上學(xué)歷,計(jì)算機(jī)、通信、電子、軟件工程、統(tǒng)計(jì)學(xué)、應(yīng)用數(shù)學(xué)、數(shù)據(jù)分析等相關(guān)專業(yè)
專業(yè)技能:
1、熟悉數(shù)據(jù)倉(cāng)庫(kù)各類模型建模理論,熟悉數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)分層架構(gòu)和多維數(shù)據(jù)模型設(shè)計(jì);
2、豐富的數(shù)據(jù)分析經(jīng)驗(yàn),熟練掌握sql、hql、sparksql,擅長(zhǎng)運(yùn)用其分析并完成復(fù)雜業(yè)務(wù)數(shù)據(jù)查詢
3、掌握至少一種數(shù)據(jù)庫(kù)開發(fā)技術(shù):mysql/oracle/db2等,靈活運(yùn)用sql實(shí)現(xiàn)海量數(shù)據(jù)etl加工處理;
4、熟悉hadoop生態(tài)(如:hdfs/mapreduce/hive/hbase等),并有相關(guān)實(shí)踐經(jīng)驗(yàn);
5、熟練掌握一門或多門編程語(yǔ)言(如:python/shell/java/c++等),并有大型項(xiàng)目建設(shè)經(jīng)驗(yàn)者優(yōu)先;
素質(zhì):
1、敏銳的數(shù)據(jù)觀察和分析能力,及時(shí)發(fā)現(xiàn)和分析其中隱含的變化和問題并給出建議;
2、良好的溝通能力和團(tuán)隊(duì)精神,較強(qiáng)的學(xué)習(xí)能力,能承擔(dān)一定的工作壓力。
經(jīng)驗(yàn):
至少2年以上數(shù)據(jù)倉(cāng)庫(kù)(離線&實(shí)時(shí))模型設(shè)計(jì)開發(fā)、etl設(shè)計(jì)開發(fā)的相關(guān)經(jīng)驗(yàn),有通信運(yùn)營(yíng)商o域/b域大數(shù)據(jù)、智慧城市大數(shù)據(jù)的數(shù)據(jù)倉(cāng)庫(kù)、etl設(shè)計(jì)研發(fā)經(jīng)驗(yàn)者優(yōu)先'
第16篇 etl工程師(中級(jí)數(shù)據(jù)倉(cāng)庫(kù)工程師)職位描述與崗位職責(zé)任職要求
職位描述:
職責(zé)描述:
1、 負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)建模和etl技術(shù)工作,參與數(shù)據(jù)項(xiàng)目各類數(shù)據(jù)源etl的接口設(shè)計(jì)和文檔、流程規(guī)范;
2、負(fù)責(zé)項(xiàng)目中數(shù)據(jù)清洗、數(shù)據(jù)處理、數(shù)據(jù)校驗(yàn)相關(guān)開發(fā)工作;
3. 配合使用主流數(shù)據(jù)挖掘工具、etl工具、bi展現(xiàn)的設(shè)計(jì)和開發(fā);
4、 能夠按照公司全面質(zhì)量管理的要求,高質(zhì)量地完成各類技術(shù)支持工作。
任職要求:
1.計(jì)算機(jī)相關(guān)專業(yè)本科以上學(xué)歷,3年以上工作經(jīng)驗(yàn);
2.熟悉etl開發(fā)、數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)流程,熟悉mysql、oracle, ms sql server等主流數(shù)據(jù)庫(kù),表結(jié)構(gòu)設(shè)計(jì),存儲(chǔ)過程編寫;
3.有一定的sql調(diào)優(yōu)知識(shí)和經(jīng)驗(yàn),具有bi相關(guān)知識(shí);
4.有hana、hive經(jīng)驗(yàn)優(yōu)先;
5.具備財(cái)務(wù)基礎(chǔ)知識(shí)或者erp基礎(chǔ)知識(shí)者優(yōu)先;