杭州 python 招聘（工資待遇要求）

崗位職責：
1.熟悉python語言，熟悉常用庫如PySpider, BeautifuISoup, Scrapy, pandas等
2.理解并能運用多線程/進程、異步編程提升效率;3.深入理解HTTP協議及其變種，掌握RESTfuI API調用;
4.熟練掌握HTML/CSS/JavaScript，了解前端渲染邏輯;
5.掌握常見反爬措施及應對方案，如驗證碼識別(滑塊、極驗)、動態IP切換、User-Agent偽裝等,
6.有JS及APP逆向經驗,包括代碼反混淆、Hook 調試(如 Frida、Xposed)、加密算法還原(如JSVMPAES)，熟悉主流抓包工具(Charles、Fiddler)
7.熟悉SQL語言，具備MySQL、PostgreSQL等關系型數據庫經驗;了解非關系型數據庫(MongoDB,Redis)的基本操作;
8.對大語言模型,知識工程有一定了解,
9.掌握Git版本控制系統，有良好的代碼管理習慣;具備良好的問題解決能力與團隊協作精神，能獨立分析并解決復雜技術難題，適應快速迭代的工作節奏。

任職要求：
1.設計并實現穩定高效的分布式網絡爬蟲系統，用于抓取互聯網上的公開數據:
2.分析目標網站結構，開發針對性策略以應對反爬機制:
3.使用代理池、驗證碼識別、模擬瀏覽器等技術手段提高數據抓取成功率;
4.確保所有數據收集活動遵守相關法律法規及網站使用條款;
5.維護和優化爬蟲系統，確保其適應不斷變化的目標站點;
6.配合團隊成員，將抓取的數據無縫集成至公司內部的數據管道;
7.對爬取的數據進行初步清洗、去重、格式化處理,
8.開發自動化腳本完成數據解析、轉換、歸一化工作;
9.構建ETL流程，確保數據準確無誤地加載到數據庫或數據倉庫:
10.負責數據的質量控制，包括但不限于檢測異常值、填充缺失數據等，