求职意向

大数据开发工程师 浙江杭州 薪资面议 随时到岗

教育背景

2020.x -2020x 锤子简历大学 软件工程

工作经验

2020.x -2020x 东软睿道  

   在公司与项目小组利用Python进行了数据爬去，数据清洗，利用分布式系统对数据分析的工作，并参与完成了人脸识别，计算机人才招聘情况大数据统计与分析，电信收入保障系统的项目

项目经验

2020.x -2020x  

项目 1：计算机人才招聘情况的大数据统计和分析 技术实现：Python，MySQL，正则表达式，numpy，中文分词 jieba。 项目描述：Python 爬虫程序，数据清洗，数据库入库，分类算法分析，聚类算法分析，朴素贝叶斯算法分析责任与描述： 1.使用Python爬虫，爬取前程无忧上的计算机类的招聘信息，并存入数据库中。 2、使用Python对数据进行清洗(去重，对缺失数据的补充，数据格式转换（地区的转换，薪酬的转换），异常数据的处理)。 3、对清洗后数据入库操作mysql,对专题进行统计（按地区进行统计，按程序员分类进行统计，按数据库使用情况进行统计，对技术进行统计），并生成统计图。 4、使用分类算法对其他程序进行进一步的分类（决策树、中文分词、词频统计）。 5、对程序的招聘要求进行聚类分析，重新对程序员进行分类。 6、通过朴素贝叶斯算法发现简历中培训机构、传销组织的假招聘信息 项目感悟：通过该项目，了解了 python 数据爬取的使用、数据的挖掘、数据清洗等。能让平时练习过程中不熟练，和生疏的技能又重新的学习了一次，让印象更深刻。 项目 2：网络智能办公系统（小组） 技术实现：JSP、jQuery、JavaScript、Ajax、MyBatis、Spring、SpringMVC 项目描述：系统的注册登录功能、供应商管理，系统管理，客户管理，考勤管理，后台系统的增删改查功能责任与描述： 这个项目是由四人完成，我主要负责系统管理部分； 首先将框架的 Jar 包和配置文件导入项目，本项目使用的是 ssm 框架，使用 IOC 容器对对象的查找、创建并使用 AOP 中的声明事务对项目中的方法进行管理，使用 Spring 与 SpringMVC 达到无缝连接的效果；使用 SpringMVC 的注解实现 controler 层与 view 层和 model 层的交互，使用 MyBatis 对数据库进行映射后， 来对 POJO 对象进行操作，达到数据交互的过程。登录和注册用到拦截器的功能。为了防止绕过验证直接进入管理界面。最后使用 C3P0 数据库连接池使项目的连接得到管理。 项目遇到的问题以及解决方法： 在实现注册功能的时候遇到了问题，通过查阅书籍和同学的解答解决的问题。 项目感悟：虽然期间遇到很多问题通过团队研究得到了充分的解决，通过这个项目使我更加深刻的意识到团队合作的重要性。通过团队的合作，有利于激发团队成员的学习动力，提高团队的整体能力。 项目 3：中国电信收入保障系统 1.电信收入保障系统是一项收入流失原因分析的咨询方案，同时还是一个以确保降低成本、减少收入流失、减少投诉为目标的系统。 2.针对电信收入保障系统，我们主要做的是用户资料核对；核实合作伙伴的订购信息是否真实。来保障电信运营商的收入；确保降低损失、减少收入流失、减少投诉。 3.首先我做的是用户资料核对。我利用了 4000W 条网运数据和 4000W 条营帐数据，网运的数据是文本文件， 营帐侧数据是存放在 oracle 数据库的数据。 4.利用 Flume 将网运数据分布存储在 HDFS，利用 Sqoop 将 MySQL 数据库中的营帐数据传送并存放到 HDFS 上，并利用 Mapreduce 对网运数据和营帐数据分别进行数据去重，并清洗掉异常数据，其中清洗规则是号码长度不是 11 位的删除。 5.利用 Mapreduce 对去重的网运数据和营帐数据进行核对，找出其中的异常数据形成异常数据文件（异常数据分为两种一种营帐有，网运无；一种网运有，营帐无），反馈给相关部门处理。11 表示正常数据，01 表示营帐有，10 网运有。

自我评价

  具有团队精神，有很强的责任感，抗压能力强，能吃苦，具有很强的学习能力，具有良好的沟通能力