- 目錄
第1篇 大數(shù)據(jù)架構(gòu)資深工程師職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、打造業(yè)界領(lǐng)先的存儲、計算等分布式系統(tǒng);
2、為海量數(shù)據(jù)和大規(guī)模業(yè)務(wù)系統(tǒng)提供可靠的基礎(chǔ)設(shè)施。
任職要求:
1、掌握分布式系統(tǒng)原理,對存儲、計算、消息隊列、集群管理中的一項或多項有深入的理解和認(rèn)識;
2、樂于挑戰(zhàn)沒有明顯答案的問題,能快速理解業(yè)務(wù)場景,從具體問題中抽象出通用的解決方案;
3、存儲方向:對 hdfs, rocksdb, leveldb, memcache, redis, mysql, hbase, kafka 的一項或多項有經(jīng)驗(yàn)者優(yōu)先;
4、計算方向:對 spark, mapreduce, storm, hive, presto, impala 的一項或多項有經(jīng)驗(yàn)者優(yōu)先;
5、集群管理方向:對 yarn, mesos 的一項或多項有經(jīng)驗(yàn)者優(yōu)先;
6、向開源社區(qū)貢獻(xiàn)過 patch 者優(yōu)先,請在簡歷上說明。
第2篇 大數(shù)據(jù)架構(gòu)工程師 - 性能優(yōu)化職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、參與計算框架和服務(wù)的定制和改進(jìn),為公司批處理和流式計算能力提供支撐;
2、深入理解業(yè)務(wù)場景,解決性能瓶頸,實(shí)現(xiàn)業(yè)務(wù)目標(biāo);
3、計算、存儲和網(wǎng)絡(luò)方面基礎(chǔ)技術(shù)的探索和儲備。
任職要求:
1、精通各種性能分析和調(diào)試工具,高效進(jìn)行分析;
2、熟練的 c/c++/java 開發(fā)能力,代碼質(zhì)量高;
3、熟悉網(wǎng)絡(luò)、linu_、hadoop 等系統(tǒng),能夠靈活解決新問題;
4、較好的團(tuán)隊協(xié)作和溝通能力。
第3篇 大數(shù)據(jù)架構(gòu)高級工程師職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、打造業(yè)界領(lǐng)先的存儲、計算、調(diào)度、監(jiān)控等基礎(chǔ)設(shè)施;
2、參與存儲、計算、devinfra、監(jiān)控當(dāng)中的一個或多個方向。
任職要求:
1、掌握分布式系統(tǒng)原理,對存儲、計算、調(diào)度、監(jiān)控、消息隊列、集群管理中的一項或多項有深入的理解和認(rèn)識;
2、樂于挑戰(zhàn)沒有明顯答案的問題,能快速理解業(yè)務(wù)場景,從具體問題中抽象出通用的解決方案;
3、存儲方向:對 hdfs, rocksdb, ceph, hbase, kafka 的一項或多項有經(jīng)驗(yàn)者優(yōu)先;
4、計算方向:對 yarn, spark, flink, hive 的一項或多項有經(jīng)驗(yàn)者優(yōu)先;
5、devinfra方向:對 docker, mesos, kubernetes 的一項或多項有經(jīng)驗(yàn)者優(yōu)先;
6、監(jiān)控方向:對 opentsdb, influ_db, prometheus, falcon 的一項或多項有經(jīng)驗(yàn)者優(yōu)先。
第4篇 大數(shù)據(jù)架構(gòu)研發(fā)工程師職位描述與崗位職責(zé)任職要求
職位描述:
職位描述:
1. 負(fù)責(zé)大數(shù)據(jù)平臺的架構(gòu)設(shè)計、環(huán)境和框架的搭建以及部分核心編碼工作;
2. 參與業(yè)務(wù)需求調(diào)研,根據(jù)需求及行業(yè)特點(diǎn)設(shè)計大數(shù)據(jù)解決方案并跟進(jìn)具體實(shí)施項目;
3. 規(guī)劃公司級數(shù)據(jù)平臺,架構(gòu)實(shí)時流與離線數(shù)據(jù)計算平臺;
4. 對業(yè)務(wù)需求進(jìn)行分析建模并持續(xù)進(jìn)行優(yōu)化,包括但不限于推薦、排序、用戶畫像等。
任職要求:
1. 本科及以上學(xué)歷,5年以上大數(shù)據(jù)開發(fā)經(jīng)驗(yàn);
2. 深刻理解hadoop、hive、spark、kafka、elasticsearch、hbase、storm、sqoop、zookeeper、flume的工作原理及應(yīng)用;
3. 深刻理解大數(shù)據(jù)處理實(shí)時流計算、分布式計算、分布式文件系統(tǒng)、分布式存儲等相關(guān)技術(shù)和實(shí)現(xiàn)方法,有架構(gòu)和設(shè)計實(shí)踐經(jīng)驗(yàn);
4. 精通scala/java語言的一種或多種;
5. 有數(shù)據(jù)倉庫、大數(shù)據(jù)平臺及數(shù)據(jù)挖掘架構(gòu)設(shè)計經(jīng)驗(yàn)