负责公司数据体系的建设(从无到有),包括设计指标体系,数据埋点上报、存储统计运算,以及最终各项数据服务类产品或工具输出,用于提高用户工作效率,保障业务运营正常运转;
入职后,一周时间啃下 《python cookbook》,做好技术转型,利用 python 进行数据平台开发工作。 协助部门Leader 从0开始搭建公司数据架构体系:ETL(python),存储/统计层(oracle),应用展示层(python/flask)。
之后独立负责 数据后台(D)项目后端项目开发。
独立负责 oracle pl/sql 存储过程开发,存储过程有效代码量1W行左右。
从0开始,对接公司各个业务部门进行第一次数据接入,协商数据埋点上报,采集数据。
年会被评选为年度优秀团队。团队规模5人。
2013
开始接管数据后台(D)项目,担任岗位,产品兼职开发,负责产品日常需求对接,以及制定开发计划,协同进行开发。
第一次成为导师,带领新同事熟悉工作,快速进入工作岗位投入项目开发。 加入公司上市项目团队(春雷),负责公司上市所需数据支撑,做到24小时随叫随到。这年公司成功在香港上市。
因公司成功上市,开始研究 oracle 替代方案,部门leader开始安排团队技术人员研究hadoop技术方案 。
年会被评选为公司年度优秀个人。5%入选率。
因工作成果突出,年底正式晋升为数据组组长,团队规模6人。
2014
这年开始带领团队,对接公司各项数据事项,负责组内工作管理,制定工作计划,组内人员招聘。
行业数据产品竞品调研,数据后台(D) 产品规划,日常迭代。
梳理公司内各个业务形态,分析业务产品功能,设计数据指标体系。
因业务数据量膨胀,运算时间变长,对 oracle 存储过程,存储结构进行重构优化,从整体运算时长14小时,优化至6小时。
为了方便公司内外部更方便的查看渠道相关数据,推广渠道后台开发上线运营。
部门扩张,纳入支付组后称为 “数据支付部” 这年,开始尝试 hadoop+hive+pg 技术方案,并且方案实施,部署,运行成熟。
2015
数据中心技术方案迁移,hadoop方案上线,制定了oracle存储过程迁移hive的技术方案,以及运算脚本编写规范。之后完成迁移,以及数据校验。
存储方案替换,oracle替换成 pg,同时对历史数据进行迁移。
团队自主研发 任务调度系统 项目 开发并上线。
梳理数据产品前后端技术架构,实现前后端分离技术方案,引用全新的前端开发框架 angular,并制定了前端初版指令构建模块。
团队开始招聘数据分析挖掘人员,在数据分析挖掘方向做一些探索尝试,未果。
因工作成果突出,晋升: 数据支付部-经理,向部门负责人(总监)汇报工作。
技术职级晋升T3-1, 公司最高职级T4。
2016
上半年继续负责数据中心方案迁移后续相关优化事项,完善hive运算模型,以及运算效率。
下半年因部门开始尝试承接公司其他内部产品项目开发。本人组织架构调整为部门产品组负责人。下属产品经理4人,负责部门内各项后台产品(数据类产品,支付系统,客服系统,话费系统,事件系统,运维管理系统,推送平台)日常产品管理工作,重点负责数据类产品。
因公司新业务的产品结构有重大调整,现有数据体系架构,并不适用于新的业务模式, 为配合公司新业务模式,新项目数据平台(data)启动。开始带领技术团队,重新梳理新业务模式,制定全新的运算模型,以及指标体系。
hive运算架构重构,运算架构升级之后从原先的基础 “3维数据,一个去重组合”,上升到“7个维度,9个去重组合”, 后因取数效率和实际应用场景,缩减了2个维度, 最终保留“5个维度,6个去重组合”。
hive运算架构整理优化,因运算组合增多,运算数据量暴增导致运算时间变长,负责带领团队对hive运算架构优化,以及相关运算脚本性能调优进行调优。同时hadoop节点扩容。
2017
数据仓库迁移,因公司业务服务上云,各大机房服务器纷纷下架,数据中心机房原先在香港,需将服务器回迁深圳机房。搬迁预计1月左右,于是在在深圳机房搭建临时hadoop集群,将各项服务切换至深圳集群,保证迁移期间数据服务正常运转。事后香港服务器抵达深圳机房,重新搭建新hadoop集群。然后再次迁移至香港新集群,期间负责管理调度整体数据迁移相关事宜。
bud项目启动,因d,data 两个数据后台同时在线上维护,运算同时存在两套,数据存在重叠,严重浪费资源,于是 数据平台(bud)启动,整合d,data,这年 d, data后台下线。同时整合其他数据产品,作为服务平台来运营。
公司级用户画像服务正式建立,并投入使用,支持300多个属性标签。
开放数据平台项目,开始构建实现业务自己定义埋点,存储,运算,展示,功能已经完成,但是还未投入使用。
自助取数服务平台上线,支持用户自助提取各项数据日志。
数据平台移动版上线,支持用户可用移动设备,通过浏览器,进行查看数据。
数据分析/挖掘探索,跟业务紧密合作,开始尝试提供一些数据分析挖掘类服务,进行主题分析,定期输出业务数据报告。
2018
在数据服务上,精益求精,不断完善数据平台bud产品功能,主动输出业内最新数据相关功能。