python爬虫工程师个人简历模板范文-锤子简历

首页 > 程序员> python爬虫工程师个人简历模板范文

分享
定制

python爬虫工程师个人简历模板范文

作者：锤子简历 2021/12/14 17:10:00

阅读 261

求职意向

python爬虫工程师浙江杭州薪资面议随时到岗

教育背景

2020.x -2020x 锤子简历大学电子专业

工作经验

2020.x -2020x 唯理科技 python爬虫工程师

工作描述：

1. 对互联网，网页，链接的特征挖掘，对指定的多个网页进行网页抓取，数据提取，清洗，入库；

2. 实时监控爬虫进度和警报反馈

3. 研究反反爬策略，提高爬去效率

4. 特殊网站采集任务分析和采集方案设计

5. 搭建分布式爬虫

实习经验

2020.x -2020x 唯理科技 python爬虫工程师

（1）项目名称：餐饮信息爬虫

项目描述：本项目主要爬取是对目前主流的外卖app进行商品数据采集，清洗，存入数据库，

数据用途主要用来监控餐饮价格，用户消费及评论，好为客户服务。

项目模块：1. spider模块：处理需要的数据和请求地址

2. 中间件模块：设置代理IP和User-Agent

3. 管理模块：数据库交互并保存数据

责任描述：使用到的技术：Scrapy框架，python与MongoDB交互，

运用redis进行url去重，防止同一页面反复抓取，支持断点续爬。

1. 分析网页面代码，提出稳定有效的爬虫建议

2. 使用Xpath（lxml），正则（re）进行页面分析并提取数据，清洗，入库。并提供给数据部门

3. 使用scrapy-redis进行分布式爬取

4. 用户json，csv和redis进行信息存储

（2）项目名称：商品类信息爬虫

项目描述：本项目主要是爬去淘宝，京东等网站的商品数据，进行采集，清洗，存入数据库，根据采集的数据

进行分类，计算，为用户提供较为性价高的商品

责任描述：使用到的技术点；scrapy，scrapy-redis，Xpath，re，json，mongodb，csv，

User-Agent，IP, request

1. 分析各大商品网站网页特点，设计爬取规则

2. 使用python的爬虫scrapy框架

3. 研究反反爬虫策略，防止爬虫宕机

4. 爬虫维护与升级

（3）项目名称：新闻类信息爬虫

项目描述：本项目主要爬去是对网易新闻，中新网等网站进行新闻数据采集，清洗，存入数据库，数据用途

是构成庞大数据，便于为用户提供对应新闻

责任描述：使用到的技术：Scrapy框架，定时爬取的策略，采用代理ip池。运用crontab模块定时开启与关闭

爬虫。

1. 分析各种新闻网站网页特点，设计爬去规则

2. 处理一些反反爬设施

3. 采用xpath提取数据

自我评价

工作态度：工作认真，责任心强，有良好的编码习惯

工作能力：善于在工作中发现问题，解决问题，有较强的分析能力

协作能力：适应能力强，能很快融入团队，良好的团队精神

性格特点：性格稳重，乐于助人，兴趣广泛

对新事物接受能力强，勤于学习，不断提高自身能力和素质

内容来源说明：本文章来自网络收集，如侵犯了你的权益，请联系QQ:2772182309进行删除。

上一篇:javaEE工程师个人简历模板范文下一篇:行政专员转IT项目助理简历怎么写案例模板分享

相关推荐

服务

公司

合作

相关推荐

绑定微信公众号

服务

公司

合作