求职意向

大数据工程师 薪资面议 随时到岗

教育背景

2020.x -2020x 锤子简历大学 会计学

2020.x -2020x 黑马程序员 云计算大数据

工作经验

2020.x -2020x 锤子简历信息技术有限公司 Hadoop开发工程师

1、主要从事软件编码工作。
2、需求调研，需求分析，功能模块分析以及编码实现等。
3、调整整个项目的开发周期
4、参与系统的业务需求分析

项目经验

2020.x -2020x 她社区论坛日志分析系统 

系统架构： Spark+Hadoop+Zookeeper+Flume+Hive+Hbase+Sqoop
项目描述： 通过对她社区网站的日志进行分析，计算网站关键指标，其中关键性指标有，浏览量:页面浏览量即为PV，是指所有用户浏览页面的总和，用户每打开一个页面就被记录1 次。注册用户数:对系统每天的注册用户数进行统计。独立ip数：从某种程度上来说，独立IP的多少，是衡量网站推广活动好坏最直接的数据。跳出率=跳出数/PV：跳出率是非常重要的访客黏性指标，它显示了访客对网站的兴趣程度：跳出率越低说明流量质量越好，访客对网站的内容越感兴趣，这些访客越可能是网站的有效用户、忠实用户。板块访问量pv，和板块独立ip访问量。
业务描述 :
1. 参与前期项目分析，得出网站的关键性能指标
2. 对数据进行清洗
3. 负责网站的浏览量统计，用户注册统计等模块的设计
主要责任：
1. 使用Flume把日志数据导入到Hdfs中将 明细日志使用Hbase存储
2. 通过Spark对数据进行清洗 后使用Hive进行数据的多维分析 将结果用Sqoop导出到MySQL中并提供图表和表格进行数据展示

2020.x -2020x 乐玩家社区用户行为分析系统 

系统架构：Hadoop+Zookeeper+Flume+Hive+Hbase+Sqoop+SSM
项目描述： 乐玩家社区是联想手机社区论坛，用于用户粉丝交流互动，同时发布联想手机的各个品 牌宣传信息，以及收集用户反馈，用户可以在上面发帖，提建议，发起各种交流活动，通过 对乐玩家社区网站的日志进行分析，计算网站关键指标，其中关键性指标有，浏览量:页面 浏览量即为PV(Page View)，每日登陆用户数UV，每周UV，。跳出率=跳出数/PV：跳出率 是非常重要的访客黏性指标，它显示了访客对网站的兴趣程度：跳出率越低说明流量质量越 好，访客对网站的内容越感兴趣，这些访客越可能是网站的有效用户、忠实用户。板块访问 量pv，和板块独立ip访问量。多维度用户留存率
业务描述 :
1. 监听每天的日志目录，将每天的日志文件上传到Hdfs上相应的目录下
2. 对数据进行清洗
3. 用Hive进行网站的pv，uv，用户注册数，用户留存率进行多维度分析统计
主要责任：
1. 使用Flume把日志数据导入到Hdfs中并 通过Spark对数据进行清洗
2. 使用Hive进行数据的多维分析将分析结果使用Sqoop导出到MySQL中
3. 提供图表和表格进行数据展示

2020.x -2020x 爬取电商网站商品信息 

系统架构：Hadoop+Zookeeper+Hbase+Redis+Solr+Flume+Kafka+
                Storm
项目描述： 对各大电商网站的指定商品类型数据的基本信息进行对比分析，给用户提供一个推荐商品的一个功能平台。整个项目分为四大模块：数据采集，数据存储，数据处理，系统监控。 数据采集主要从电商网站上面爬取相应的商品信息，比如商品的图片，商品的价格，商品的详细参数等。数据存储主要是把从电商网站上面爬取来的数据，根据数据的类型不同，存储到指定的数据仓库中。 数据处理我们需要对Hbase的原始数据建立索引，方便用Solr进行查询。系统监控我们使用Zookeeper对各节点的信息进行监控，使用log4j记录日志，先写入到kafka，后台的Storm程序对数据进行消费汇总，最后将数据存入到MySQL中 。
业务描述 :
1. 负责系统的监控，利用Zookeeper对集群中的各个节点进行监控，当其中的有节点宕机了，会用邮 件通知运维人员进行相应的处理
2. 负责将获取来的数据信息存放到Hbase数据库中，并且对数据建立索引等操作
主要责任：
1. 对采集的数据进行存储，根据数据的类型和运用场景不同，分别存放到Redis和Hbase中并使用web前端框架,对数据进行展现
2. 同时对采集的商品信息通过Solr建立索引，方便后续查询
3. 系统监控，主要是正对于集群中的硬件以及集群的节点的运行状体进行监控

2020.x -2020x 枫叶连锁酒店客户评价分析 

项目架构:SSM+Kafka+Hadoop+Hive+Spark+Flume
项目简介：面向酒店的咨询服务通过对酒店房间的住宿统计分析，帮助酒店提高收益。通过对酒店客户的用户画像分析，帮助酒店更好的了解客户。监控网络上的负面评价，及时作出处理，提升酒店品牌形象。
业务描述 :
1. 负责将爬取到的数据解析出来
2. 负责系统的监控，利用zookeeper对集群中的各个节点进行监控，当其中的有节点宕机了，会用邮 件通知运维人员进行相应的处理
3. 负责将获取来的数据信息存放到hbase数据库中，并且对数据建立索引等
主要责任：
1. 使用Flume将爬取的数据上传到Hdfs上相应的目录下
2. 将百度自然语言处理api返回的情感倾向保存到Hive上
3. 使用Hive分析情感倾向及评论观点，使用Sqoop导出到MySQL中并提供图表和表格进行数据展示

自我评价

参与过多个项目的开发，熟悉常见业务处理，能快速融入团队； 逻辑思维能力强，思路清楚，学习能力强，对新技术有着强烈的好奇心； 乐于与用户以及同事和领导沟通，以便快速解决项目遇到的问题； 具有良好的英语阅读能力，能阅读英文资料、技术文档等