当前位置：网站首页>一文读懂字节跳动“埋点验证平台”

一文读懂字节跳动“埋点验证平台”

2022-08-08 14:51:00 【InfoQ】

更多技术交流、求职机会、试用福利，欢迎关注
字节跳动数据平台微信公众号，回复【1】进入官方交流群

序言

埋点数据作为推荐、搜索、产品优化的基石，其数据质量的重要性不言而喻，而要保障埋点数据的质量，埋点验证则首当其冲。工欲善其事必先利其器，要做好埋点验证会面临很多技术挑战：易用性、准确性、实时性、稳定性、扩展性，如何攻克这些挑战呢，其实还是技术，这也是本文的主旨所在。

目前埋点验证已在字节内部得到广泛使用，通过一键扫码开启验证、实时上报验证、自动生成验证报告，解决了埋点数据验证难、埋点质量保障难的问题。

埋点验证流程

埋点生命周期：4+6
4 个角色：PM、DA、RD、QA
6 个节点：提出需求、设计埋点、开发埋点、测试埋点、上报埋点、分析埋点

埋点验证流程：3+3+3
3 个角色：DA、RD、QA
3 个节点：设计埋点、测试埋点、验收埋点
3 个物料：埋点验证方案、埋点验证工具、埋点验证报告

技术架构

产品流程

先简单介绍一下产品，以便大家能对平台有整体认识，方便大家更加轻松地理解技术，平台主要包括三部分：埋点验证方案、埋点验证工具、埋点验证报告，三者相辅相成，极大的降低了用户的埋点验证成本。

附埋点验证工具图

技术架构图

埋点验证的链路很长，可以简单概括为三个环节：埋点上报、埋点接收、埋点验证，每个环节都有一定的复杂性，此处先介绍整体流程，让大家可以快速对全流程有所认识。其次将主要聚焦于“埋点验证”环节，此环节的重中之重是埋点验证引擎，它包括 4 个部分：规则生成器、规则选择器、埋点验证器和埋点推送器，通过对埋点验证引擎的详解让大家对“埋点如何验证”有更深的理解。

埋点上报环节重点是丰富的 SDK(客户端、服务端、JS、Chrome 插件)，要做到简单易用并且保证埋点实时上报。

埋点接收环节重点是数据接收服务(客户端-applog、Web 端-mcs、服务端-databus)、数据保存服务(消息队列)，要保证服务稳定并且保证埋点不丢失。

埋点验证环节重点是埋点验证引擎，要确保服务高性能并且保证埋点验证结果的准确性。

规则生成器

规则生成器将“埋点验证方案”转换为“验证规则”。埋点验证方案是验证规则的逻辑视图，方便用户操作，降低验证规则的编写和维护成本。通过逻辑视图和物理视图两层逻辑，确保了埋点验证引擎底层不受业务变化的影响。

埋点方案

埋点验证方案支持 2 种：

按需求验证：即新建需求计划，针对某次需求验证、

按元数据验证：即按元数据验证，元数据是指所有需求的并集

按元数据验证：

埋点名称：video_play

参数信息
(名称、类型、是否必填、值校验、是否是场景条件)
enter_from,string,必传,固定值(login),是
duration,integer,必传,值无限制,否
type,integer,必传,枚举(1,2,3),否

埋点数据：

{
&nbsp;&nbsp;&nbsp;&nbsp;&quot;app_id&quot;:100,
&nbsp;&nbsp;&nbsp;&nbsp;&quot;event&quot;:&quot;click&quot;,
&nbsp;&nbsp;&nbsp;&nbsp;&quot;params&quot;:{
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;enter_from&quot;:&quot;login&quot;,
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;duration&quot;:1,
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;type&quot;:3
&nbsp;&nbsp;&nbsp;&nbsp;}
}

埋点规则

{
&nbsp;&nbsp;&nbsp;&nbsp;&quot;app_id&quot;:100,
&nbsp;&nbsp;&nbsp;&nbsp;&quot;event_name&quot;:&quot;video_play&quot;,
&nbsp;&nbsp;&nbsp;&nbsp;&quot;logical_filter&quot;:{
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;enter_from&quot;:&quot;login&quot;
&nbsp;&nbsp;&nbsp;&nbsp;},
&nbsp;&nbsp;&nbsp;&nbsp;&quot;meta&quot;:{
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;required_field&quot;:[
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;duration&quot;,
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;enter_from&quot;,
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;type&quot;
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;],
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;scene&quot;:{
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;condition&quot;:&quot;enter_from=login&quot;,
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;name&quot;:&quot;登录页&quot;
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;},
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;validate_field&quot;:[
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;duration&quot;,
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;enter_from&quot;,
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;type&quot;
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;]
&nbsp;&nbsp;&nbsp;&nbsp;},
&nbsp;&nbsp;&nbsp;&nbsp;&quot;physical_validation&quot;:&quot;{\&quot;$schema\&quot;:\&quot;https://json-schema.org/draft/2019-09/schema\&quot;,\&quot;type\&quot;:\&quot;object\&quot;,\&quot;properties\&quot;:{\&quot;params\&quot;:{\&quot;type\&quot;:\&quot;object\&quot;,\&quot;properties\&quot;:{\&quot;duration\&quot;:{\&quot;type\&quot;:\&quot;integer\&quot;},\&quot;enter_from\&quot;:{\&quot;type\&quot;:\&quot;string\&quot;,\&quot;enum\&quot;:[\&quot;login\&quot;]},\&quot;type\&quot;:{\&quot;type\&quot;:\&quot;integer\&quot;,\&quot;enum\&quot;:[1,2,3]}},\&quot;required\&quot;:[\&quot;duration\&quot;,\&quot;enter_from\&quot;,\&quot;type\&quot;]}},\&quot;required\&quot;:[\&quot;params\&quot;]}&quot;,
&nbsp;&nbsp;&nbsp;&nbsp;&quot;source&quot;:&quot;schema_scene&quot;
}

埋点规则字段说明

app_id：应用 id

event_name：埋点名称

logical_filter：用于“规则选择器”

physical_validation：用于“埋点验证器”

source：区分规则来源：按需求验证、按元数据验证

规则选择器

规则选择器将依据“埋点”中的关键信息，从“验证规则池”中选择出对应的“埋点验证规则”。

选择逻辑：具体数据参考“规则生成器”
根据“埋点数据”中 app_id 和 event 从“验证规则池”中筛选出“匹配的规则”
将“埋点数据”的 parms 字段和“匹配的规则”的 login_filter 规字段进行匹配，选择出最终的“埋点验证规则”

埋点验证器

埋点验证器将依据“基础验证规则”以及“规则选择器”产出的“埋点验证规则”，对“埋点数据”进行验证并产出“验证结果”。

基础验证规则：埋点是否登记；埋点是否禁用；是否是 debug 埋点；

埋点验证规则：参数是否丢失；参数类型是否正确；参数取值是否符合预期:枚举、范围、正则；

埋点验证结果：验证结果提供双语格式，用户可自行选择中文或者英文；

埋点推送器

埋点推送器将“埋点验证结果”推送到前端，推送的过程存在数据交互频繁、数据体积大、数据传输稳定性的要求，这里我们自建 Push 服务进行数据传输，保证数据实时可达。

技术挑战

易用性：快速接入埋点验证，快速开始埋点验证

准确性：埋点验证结果准确、用户可信

实时性：埋点数据实时可见

稳定性：埋点数据可靠不丢失

扩展性：快速接入新的埋点数据格式

易用性

快速接入埋点验证，快速开始埋点验证

SDK

快速接入埋点验证

SDK 提供“埋点验证开关”，客户端集成 SDK 的时候，可根据不同环境来配置是否开启“埋点验证开关”

SDK 层判断如果开启“埋点验证开关”，埋点数据会双发，此过程对业务是透明的
双发的原因或者为什么不从“线上埋点通道”取数？这里主要考虑两个原因：
“线上埋点通道”数据量太大
SDK 层线上上报逻辑是采用微批的形式，默认 1 分钟从客户端上报一次，而埋点验证要求实时性，所以采用单独的通道

扫码连接

快速开始埋点验证

连接流程
建立 WS 连接：服务端和验证平台建立长连接，用于通信
ws_id：验证平台根据 ws_id 生成二维码
扫码：客户端扫描二维码
获取并打开验证开关：客户端获取设备信息并且打开埋点验证开关
上报 device_id：客户端将长连接信息和设备信息上报至服务端
下发 device_id：服务端将设备信息推送到验证平台
开始验证：埋点验证平台进入验证阶段
上报埋点：客户端开始上报埋点
推送埋点：服务端将埋点推送到验证平台

下发原理
客户端上报的埋点数据中含有设备信息
用户通过扫码在验证平台回填设备信息
服务端接收到埋点数据后，将埋点数据中的设备信息和验证平台的设备信息进行匹配，如果匹配则将埋点数据进行下发

准确性

埋点验证结果准确、用户可信

埋点验证引擎必须保证埋点验证结果的准确性，才能降低验证成本。针对埋点数据本身的格式验证，我们采用了 JsonSchema 作为验证手段，以支持完善的验证规则、可信的验证结果。上文中的“规则生成器”、“规则选择器”、“埋点验证器”也都在一定程度上保证了埋点验证结果的准确性。

埋点方案

event:video_play

埋点名称：video_play

参数信息
(名称、类型、是否必填、值校验、是否是场景条件)
enter_from,string,必传,固定值(login),是
duration,integer,必传,值无限制,否
type,integer,必传,枚举(1,2,3),否

埋点规则

jsonSchema

{
&nbsp;&nbsp;&nbsp;&nbsp;&quot;$schema&quot;:&quot;https://json-schema.org/draft/2019-09/schema&quot;,
&nbsp;&nbsp;&nbsp;&nbsp;&quot;type&quot;:&quot;object&quot;,
&nbsp;&nbsp;&nbsp;&nbsp;&quot;properties&quot;:{
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;params&quot;:{
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;type&quot;:&quot;object&quot;,
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;properties&quot;:{
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;duration&quot;:{
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;type&quot;:&quot;integer&quot;
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;},
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;enter_from&quot;:{
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;type&quot;:&quot;string&quot;,
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;enum&quot;:[
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;login&quot;
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;]
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;},
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;type&quot;:{
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;type&quot;:&quot;integer&quot;,
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;enum&quot;:[
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1,
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;2,
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;3
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;]
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;}
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;},
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;required&quot;:[
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;duration&quot;,
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;enter_from&quot;,
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;type&quot;
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;]
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;}
&nbsp;&nbsp;&nbsp;&nbsp;},
&nbsp;&nbsp;&nbsp;&nbsp;&quot;required&quot;:[
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;params&quot;
&nbsp;&nbsp;&nbsp;&nbsp;]
}

埋点数据

event:video_play

{
&nbsp;&nbsp;&nbsp;&nbsp;&quot;app_id&quot;:100,
&nbsp;&nbsp;&nbsp;&nbsp;&quot;event&quot;:&quot;click&quot;,
&nbsp;&nbsp;&nbsp;&nbsp;&quot;params&quot;:{
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;enter_from&quot;:&quot;login&quot;,
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;duration&quot;:1,
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&quot;type&quot;:3
&nbsp;&nbsp;&nbsp;&nbsp;}
}