崗位職責:
1、大數(shù)據(jù)平臺開發(fā)與維護:
(1)參與開發(fā)企業(yè)級大數(shù)據(jù)平臺架構,包括數(shù)據(jù)采集、存儲、計算、調度等模塊;
(2)負責 Hadoop、Spark、Flink、Kafka 等大數(shù)據(jù)組件的部署、配置與優(yōu)化;
(3)開發(fā)數(shù)據(jù)集成框架,實現(xiàn)多源數(shù)據(jù)(結構化 / 非結構化)的高效采集與同步;
2、數(shù)據(jù)處理與算法開發(fā):
(1)參與設計與開發(fā)批量/流式數(shù)據(jù)處理流程,實現(xiàn)數(shù)據(jù)清洗、轉換、聚合等 ETL 操作;
(2)開發(fā)高性能數(shù)據(jù)計算算法,優(yōu)化數(shù)據(jù)處理效率與資源利用率;
(3)基于業(yè)務需求構建數(shù)據(jù)模型,參與設計數(shù)據(jù)倉庫分層架構(ODS/DWD/DWS/ADS);
3、系統(tǒng)優(yōu)化與技術攻關:
(1)分析大數(shù)據(jù)系統(tǒng)性能瓶頸,優(yōu)化作業(yè)調度、資源分配與任務執(zhí)行效率;
(2)解決大數(shù)據(jù)開發(fā)中的技術難題(如數(shù)據(jù)傾斜、內存溢出、分布式事務等);
(3)跟蹤大數(shù)據(jù)技術前沿,推動新技術(如實時計算、湖倉一體)在項目中的落地;
4、數(shù)據(jù)可視化與協(xié)作:
(1)開發(fā)數(shù)據(jù)可視化組件與報表系統(tǒng),支撐業(yè)務決策(如 Tableau、Superset 集成);
(2)與數(shù)據(jù)挖掘、算法團隊協(xié)作,提供高效的數(shù)據(jù)處理接口與計算服務;
(3)依據(jù)開發(fā)規(guī)范編寫技術文檔,確保團隊開發(fā)質量與協(xié)作效率;
5、業(yè)務支撐與落地
(1)深入理解業(yè)務需求(如彩票業(yè)務、營銷分析、風控場景),設計數(shù)據(jù)解決方案;
(2)基于業(yè)務場景優(yōu)化數(shù)據(jù)模型,提升數(shù)據(jù)服務的響應速度與準確性;
(3)參與業(yè)務需求評審,提供數(shù)據(jù)層面的技術可行性建議;
任職條件
1、教育程度:計算機、數(shù)學、統(tǒng)計學相關專業(yè);本科及以上學歷。
2、工作經(jīng)驗:具備5年及以上專業(yè)工作經(jīng)驗。
3、專業(yè)知識:
(1)精通 Java/Scala 編程,熟悉分布式系統(tǒng)原理(CAP 定理、BASE理論);
(2) 深入理解Hadoop/Spark/Flink生態(tài),掌握HDFS、YARN、Flink 等核心組件;
(3) 熟悉數(shù)據(jù)倉庫理論,掌握 Hive、HBase、ClickHouse 等存儲技術;
(4)熟悉 Kafka、Flume、NiFi 等數(shù)據(jù)采集工具,掌握數(shù)據(jù)同步與集成方案。
4、技能要求:
(1)熟練使用Spark/Flink進行批量/流式數(shù)據(jù)處理,具備實時計算經(jīng)驗;
(2)掌握DolphonScheduler/Azkaban 等工作流調度工具,熟悉分布式任務調度機制;
(3)具備大數(shù)據(jù)系統(tǒng)性能調優(yōu)能力(如JVM 調優(yōu)、資源隊列配置、任務并行度優(yōu)化);
(4)熟悉Docker/Kubernetes容器化部署,具備大數(shù)據(jù)平臺運維經(jīng)驗;
(5)掌握Git、Maven 等開發(fā)工具,熟悉 CI/CD 流程與代碼管理規(guī)范。
5、核心能力素質:
(1)具有較強的學習能力、創(chuàng)新能力、邏輯思維能力、團隊協(xié)作能力、溝通協(xié)調能力、抗壓能力;
(2)具備求知欲、責任心、進取心、鉆研精神、嚴謹?shù)人刭|。