崗位職責:
1、負責大數據平臺的數據存儲、處理和計算任務,保障數據的高效提取和分析。 2、參與大數據平臺的架構設計和優化,確保系統的穩定性和可靠性。
3、開發、優化和維護與Flink、Hadoop、Hive、Spark相關的數據處理程序和作業。
技能要求:
1.精通Hadoop生態系統,具備豐富的HDFS、Hive、Flink、MapReduce、Spark等大數據框架的實際開發經驗。
2.能夠獨立設計和開發大規模數據處理和分析系統,具備良好的編程能力和調試能力。
3.具備扎實的Java編程基礎,熟悉常用的數據結構和算法。
4.熟悉Spring框架,包括Spring Boot、Spring MVC等,有相關項目開發經驗者優先。
5.具備良好的溝通能力和團隊協作能力,能夠與產品、運維、測試等部門有效配合,完成項目開發任務。
6.加分項:熟悉Elasticsearch、MongoDB、Neo4j等NOSQL數據庫中的一個或多個,并有過實際項目的開發經驗
經驗要求:
3年以上大數據開發經驗,有大規模數據處理項目實施經驗者優先考慮。