锤子简历品牌推广师
大数据开发工程师简历范文
作者:锤子简历 2021/04/09 04:40:00
阅读 444

求职意向

大数据开发工程师 上海 薪资面议 随时到岗

教育背景

2020.x -2020x 锤子简历大学 网络工程

2020.x -2020x 锤子简历大学 计算机技术

工作经验

2020.x -2020x 喜马拉雅FM 大数据开发工程师

   主要工作内容可分为三个部分 首先是参与开发和维护推荐系统 包括推荐系统相关功能基础功能设施 如用户特征模块 推荐数据实时和离线分发模块 根据产品需求设计相关的推荐业务 如一键听。然后是基础设施服务的开发 包括服务性能监控模块 监控线上服务的访问性能 主要是HBase查询性能和方法调用的延迟 和HBase数据内存副本同步服务 最后就是参与画像系统建设  

2020.x -2020x 中国移动 大数据运维工程师

    主要负责大数据平台的流处理框架的维护 包括Kafka Flume等

项目经验

2020.x -2020x HBase数据本地内存副本同步服务 

  背景 线上服务需要依赖的一些数据很多存在于HBase上 而且这些HBase表数据不是很大 一般在几千行到几万行 可以一次性加载进内存 还有这些HBase表数据更新频率比较低 所以频繁全量拉取到服务节点内存会导致性能浪费 所以考虑增量实现 基于上述需求考虑构建一个统一的数据副本同步服务 用于各个相关具体业务的数据副本同步需求

  实现 为实现HBase数据的增量同步更新 需要给HBase数据在内存中构建出一个索引 为加快索引访问速度 可以将索引结构设计为哈希树 通过客户端保存的索引与服务端保存的索引进行比较 确定出待更新的数据 每次客户端需要发起内存副本同步更新时 首先是发送整个索引的哈希值 如果相同 则本次更新将不会执行 否则发送整个索引树给服务端 服务端通过将本地保存的索引树与客户端发送过来的索引树进行比较得出客户端内存副本是需要进行删除 更新还是追加 之后将增量更新部分和最新索引发送给客户端

2020.x -2020x 画像系统建设 

  画像系统是进行用户推荐相关业务开发不可缺少的基础设施 画像系统由多个模块组成 包括

1.画像配置模块 在画像系统中一个画像有组和画像名确定 组包括user(注册用户) device(非注册用户) album(专辑) track(声音)等 画像配置模块提供了一个画像注册的Web页面 用于注册各个画像
2.画像查询模块 是画像服务的入口 以RPC形式对外提供查询服务 user和device画像以HBase和Sharded Redis的组合提供了存储层实现 当Sharded Redis查询不到时将穿透到HBase 其它组画像直接在Codis Redis上查询
3.画像收集更新模块 画像收集更新方式包括离线更新和实时更新 离线更新以离线MapReduce或Spark任务形式更新画像 实时更新包括推模式和拉模式 推模式以RPC形式对外提供收集接口 客户端通过该接口将画像数据推送到服务上 拉模式主要是编写Flink SQL作业实时读取Kafka上的日志数据 解析后存入画像系统
4.画像可视化后台 画像可视化后台提供  画像分布可视化展现的页面 单个画像在各个用户类型上的分布情况 用户类型包括登录月活用户 设备月活用户 登录日活和设备日活用户等 分布情况用条形图形式呈现 实时查询满足多个画像查询条件的用户数量
5.画像管理模块 画像管理模块用于删除过期的位于Redis缓存中的画像数据 用户画像数据在Redis中以Hash形式存储 更新某个具体画像时会整体更新整个用户画像数据TTL 为正确TTL画像数据 在HBase中人工绑定画像的过期时间戳 画像管理模块在后台异步删除过期的画像
6.画像预热模块 画像预热主要是提高画像查询性能 读取Kafka中实时开屏用户信息 预先将HBase中的画像数据缓存到Redis上 减少画像查询的穿透率

2020.x -2020x 基于Fink SQL的实时作业注册和运行后台 

背景 算法人员想通过编写SQL语句快速实现实时作业的开发 用于从Kafka在读取用户行为日志 抽取画像和实现一些简单的实时计算

实现 提供作业注册和配置页面 用于算法人员编写实时作业 提供类SQL语法编写Flink作业并在底层转换为Flink SQL & Table代码

2020.x -2020x 一键听 

    一键听是一个具体的声音流产品 其上定义了很多频道 每个频道包含有很多声音专辑 每个专辑就是一个声音列表 用户每次点击某个频道就会产生收听行为 在内部实现中为每个用户维护一个频道的收听索引 收听索引是一个二维结构 一个维度是专辑的收听位置 另一个维度是该专辑下声音的收听位置 首次进入的用户将根据其用户特征和该频道内专辑的特征计算出一个索引 如果用户不喜欢听该专辑 也就是客户端返回过来的播放时长很短 那就将该专辑放到收听索引的最后位置 如果用户喜欢听该专辑 也就是客户端返回过来的播放时长达到一定的时长 则继续播放该专辑下面的声音 这样通过与用户不断的交互去动态改变频道收听的索引信息来实现最大化的推荐效果

自我评价

   1.性格随和 易于相处 具有较强的沟通和理解能力

   2.对技术有一定对追求 有代码洁癖 能够接受新的技术 对于技术难点有刨根问底的探究精神

内容来源说明:本文章来自网络收集,如侵犯了你的权益,请联系QQ:2772182309进行删除。