搜索引擎系统评价指标建设

搜索系统如何衡量好坏，如何明确搜索系统的核心指标，如业务核心指标、技术指标等等，这里提到的指标主要是整个系统的指标，并不是排序模型等模块的评价指标；本文主要以笔者的亲身经历来分享实战中的搜索系统的指标建设。

核心指标

核心指标说白了就是老板比较关心的部分，主要是业务相关数据指标和体验相关数据指标，这些都需要量化评估。

业务核心指标和搜索业务本身息息相关，笔者之前参与的是带有商业成分的搜索，如竞价排名中，cpc 广告消耗等，这时要最关注如下几个指标：

指标	描述
人均消耗，也可以叫每用户平均收入（ARPU，Average Revenue Per User）	该指标显而易见是为公司业务带来最直接的收入提升，召回、排序等优化都以该目标为导向。

常见的有 cpc 人均消耗。

如果业务中包含电商成分，还会有如下核心指标：

指标	描述
人均 GMV	即人均消费金额，平均每个人给平台带来的销售额。
人均订单数	这个其实是属于下面要讲解的人均转化次数的特殊部分（针对商业的）。

对于自然流量最核心最直接的指标是人均点击为主，具体如下：

指标	描述
人均点击次数	针对搜索结果，每个用户点击的个数，该指标常和人均曝光和点击率（ctr）一起查看。
人均转化次数	该指标是人均点击次数指标的延伸，这里转化是统称的概念，基于业务行为漏斗的点击之后的一系列行为，如常见的下订单、反馈行为、拨电话等等，常和转化率（cvr）等指标一起查看。

除了业务上的量化指标，还需要从用户体验上指定指标建设，主要是 badcase 的指标及核心搜索接口的耗时（延迟时间）：

指标	描述
控制 badcase 数目	常用的评价方式是通过人工体验，主要是从相关性进行评价，取 top query 进行评测，如每个 query 的 top K 中，控制 badcase 数，k 一般取人均曝光（人均步长）或其 1.5 倍，当然 badcase 为 0 最好。
重要搜索接口耗时	这是纯工程上的指标，往往一个成熟的搜索接口背后实现逻辑复杂，有 query 分析模块、召回模块、排序模块等，需要各个模块保证较短的延迟，常结合缓存进行优化，当然该指标也是也快也好。