基于RoaringBitmap实现的CDP企业级用户画像系统

现状：
需求背景：
随着公司业务得不断发展，用户量也已经达到了百万级规模，业务数仓聚集了大量的用户核心数据，在满足正常的业务数据运营指标分析的前提下，需收集和统一来自多个来源的第一方客户数据，将来自不同场景、不同渠道的离线数据进行采集、整合、分析和应用，以此来支撑业务方精细化运营，搭建客户数据中台的用户画像标签的服务体系以及智能运营体系

现状：
数据孤立：不同的团队访问不同的数据，他们通常不会相互交流
数据不统一：企业数据可能有很多种定义，各个系统的数据字段未能统一
数据无法串联：由于数据孤立的情况，业务人员无法获取到用户全方位的数据

需解决问题：
1、建立完善的数据采集机制：完善的数据就像是燃料，可以充分推动CDP数据底座的建设；它能够清晰、全面地记录客户是谁，客户做了什么等信息
2、建立灵活的数据分发能力：CDP是数据中心，是连接各类数据的枢纽，它既需要支持业务人员可以轻松操作，也要支持这些数据能够在其他业务系统内能够迅速激活、调用
3、建立精确的画像整合能力：CDP以客户为中心，提供每个客户在企业所有触点上的统一视图；将各个数据源的数据结构统一，并能够用API调用的方式来访问客户信息
4、建立灵活的标签能力：CDP需要支持业务根据用户属性、行为属性等来创建和管理用户标签的界面；同时数据需要源源不断作迭代
5、确保系统可靠性：支持高并发场景；建立优秀的容错机制，当网络不稳定时，可以保证数据是完整的，不会丢失数据

达到的指标：
1、丰富的数据源接入：包括：研途数据、OMO数据、荟拓客、神策埋点、电商数据、保利威直播&录播等，数据源还在不断丰富中
2、全域数据打通，构建ONE-ID：以研途账号/手机号为核心，ID-Mapping打破数据孤岛，将用户在企业各个触点的数据统一整合
3、客户标签/人群包搭建：支持可视化逻辑运算界面，业务可灵活自主地构建标签/人群包，实时计算，随需随取；支持根据用户属性、行为数据来创建、管理标签/人群包
4、开放的平台能力：开放API接口，能够将数据分发到不同部门的主要系统中，使用者不需要放弃自己原本已经熟悉的工具界面
5、灵活、自动化的智能营销能力：人群数据作为基础，开发多渠道的触达通道，基于多维度用户洞察实现自动化智能营销
6、用户旅程编排引擎：人群数据为基础，整合各触达通道，赋能业务即时、精准、自动化营销，支持复杂场景和用户全生命周期旅程的编排设计