【職責描述】
1.構建由數據接入到數據服務的可配置化平臺;
2.負責數據管理體系的建立與優化,確保數據在傳輸、存儲、處理過程中的一致性和安全性;
3.負責數據分系統組件選型,確保數據平臺和各組件的穩定性、可靠性、易用性;
4.負責制定并執行數據協同管理策略;
5.負責復雜數據治理相關工作并推動落地,確保業務數據的準確性、合規性、安全性。
【任職要求】
1.具備大型數據項目落地能力,掌握常用的設計模式、網絡編程、分布式系統和流式處理等開發技能;
2.具有豐富的數據加工處理經驗,對數據處理、數據清洗,數據建模、數據分析等有深刻認識和經驗;
3.精通c++、Scala、Java、shell,熟悉Linux/Ubuntu開發環境,扎實的數據結構和算法功底;
4.熟悉主流大數據組件的底層架構和技術原理,如Hadoop/Spark/Flink/Kafka/HBase/ElasticSearch/ClickHouse/Doris/Storm/Hive/Kylin等;
5.熟悉主流數據庫的底層架構和技術原理,如MySQL/PostgreSQL/Redis/MongoDB/達夢等。