職位描述
數據爬蟲數據抽取反爬蟲PythonJava云計算/大數據
崗位職責：
1.參與設計和開發高效、穩定的網絡爬蟲系統，從各種網站和平臺抓取數據。
2.使用 Java 和 Python 編寫和維護爬蟲腳本，處理反爬蟲機制，確保數據抓取的準確性和效率。
3.采用包括AI大模型在內的多種方式對抓取的數據進行清洗、整理和存儲，并進行初步的分析和處理。
4.與團隊成員合作，解決爬蟲開發過程中遇到的技術難題。
5.關注爬蟲技術的最新發展，并積極學習和應用新技術。。
任職要求：
1.2-3年爬蟲相關工作經驗，計算機科學、軟件工程或?？萍耙陨蠈W歷。
2.熟練掌握 Java 和 Python 編程語言，具備良好的代碼風格和文檔習慣。
3.熟悉常用的爬蟲框架和庫，例如 Scrapy、Selenium 等。
4.了解 HTTP協議、HTML、CSS、JavaScript 等前端技術，能夠分析網頁結構并提取所需數據。
5.熟悉常見的反爬機制，并能夠使用相應的策略進行應對。
6.熟悉使用 MySQL、Elasticsearch，了解 Linux 操作系統和常用命令。
7.具備良好的問題分析和解決能力、良好的溝通能力和團隊合作精神，能夠獨立完成爬蟲任務，能夠與團隊成員有效協作。
8.工作踏實、認真、負責，執行力強，能夠在快節奏和高壓力環境下保持高效工作，確保項目按時交付。
9.有分布式爬蟲、數據清洗、數據分析等相關經驗者優先。
10.有AI大模型數據清洗經驗者優先。
薪資：面談
查看全部
工作地點
長沙岳麓區協信·星瀾匯-辦公樓2棟4樓
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業招聘
- 藍月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯想招聘
- ?？低曊衅?/a>
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節跳動招聘
- 新華網招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業銀行招聘
- 交通銀行招聘
- 建發集團招聘
- 中國移動招聘
- 中國聯通招聘
- 中國電信招聘
- 中糧集團招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發布者
廖穎/hrbp
立即溝通
湖南百曉生企業咨詢集團有限公司湖南百曉生企業咨詢集團有限公司，簡稱"百曉生集團"，是國內著名政企采購一站式服務的領航者，是全國政府采購招投標信息訂閱及推送平臺開發服務商。集團連續兩年榮獲國家級獎項榮譽，2022年度榮獲中國政府采購“數字政府耕耘”，2023年度榮獲中國政府采購“落實政府采購政策功能獎”，百曉生集團創始人、董事長、政采商學院院長夏博先生2023年度榮獲中國政府采購年度人物.實戰精英獎榮譽。百曉生集團是中國互聯網協會會員單位、中國招投標協會會員單位、湖南省政府采購協會會員單位、長沙市邵陽商會副會長單位。公司總部位于湖南長沙，旗下控股分子公司27個，業務覆蓋全國31個省級行政區（不含港澳臺地區），公司員工400+，擁有獨立自主知識產權超52個，服務全國供應商超10萬+，集團主營業務六大板塊：政企采購電子賣場全流程運營服務（政采、央采、國家電網、國鐵商城、軍采等平臺）、政府采購和招投標軟件信息服務、iso認證服務、政采商學院培訓業務、標書服務、政采商城建站技術服務。企業官網：http://www.hnbxs.com/web/to
公司主頁