崗位職責

1. 負責數據平臺的數據采集與爬取、解析處理、入庫及備份等數據日常工作；

2. 數據采集工具軟件平臺的開發、測試工作；

3. 負責分析新的數據需求‚ 完成數據處理的設計 文檔 和實現；

4. 負責數據的清洗、整理、整合及合并等工作；

5. 負責數據處理程序設計框架改善‚ 數據處理性能優化‚ 系統數據處理的能力提高；

6. 實時*****爬蟲的進度和警報反饋。

注：1. 有大數據、互聯網公司工作經驗優先；

2. 有etl設計、數據倉庫設計、維度設計、數據挖掘工具者優先考慮。

相關經驗、技能要求

1. 本科以上學歷，3年以上開發經驗，其中2年以上爬蟲開發經驗；

2. 熟悉linux，精通python；

3. 熟悉協議，有網絡編程經驗；

4. 熟悉java，html，css，熟悉ajax；

5. 精通網頁抓取原理和相關技術，了解常見的反扒機制；

6. 熟悉python爬蟲框架 scrapy‚ scrapy-redis‚ selenium‚ phantomjs；

7. 熟悉整個爬蟲的設計及實現流程，有從事網絡爬蟲、網頁信息抽取開發經驗，熟悉反爬蟲技術，有分布式爬蟲架構經驗；

8. 熟練使用mysql數據庫，掌握redis、mongodb、hive等常用nosql技術并具有實戰經驗；

9. 學習能力強，工作負責認真，具有強烈的進取精神和樂觀的工作態度。

聯系方式/地圖

• 公司地址：上海市楊浦區****
• 郵政編碼：********
• 聯系電話：********
• 聯 系 人：********
• 傳　　真：********
• E-mail：********

您可能感興趣的職位