以网上电商购物评论为例,原始的主题模型主要针对篇幅较大的文档或者评论句子的集合,学习到的主题主要针对整个产品品牌;而现实情形是,用户评论大多针围绕产品的某些特征或内容主题展开(如口味、服务、环境、性价比、交通、快递、内存、电池续航能力、原料、保质期等等,这说明相比于对产品的整体评分, 用户往往更关心产品特征),而且评论文本往往较短。
本次大赛提供脱敏后的电商评论数据。参赛队伍需要通过数据挖掘的技术和机器学习的算法,根据语句中的主题特征和情感信息来分析用户对这些主题的偏好,并以<主题,情感词>序对作为输出。
在最终评测时,我们按照“主题词-情感词-情感值”为最小粒度逐条与标注数据进行比对,若三者均与答案相符,则判为情感匹配正确,否则为错误。 评分计算如下: a) 情感匹配正确数量:tp b) 情感匹配错误数量:fp c) 情感匹配漏判数量:fn1 d) 情感匹配多判数量:fn2
最终根据以上值计算选手的准确率(P)与召回率(R),按照含有度量参数β的Fβ公式进行计算: 准确率:P=tp/(tp+fp+fn2) 召回率:R=tp/( tp+fp+fn1) Fβ的数学定义如下:Fβ=(1+)∗P∗R/(∗P+R) β=1
王新日:https://github.com/xinrisanshao 李雪松:https://github.com/xs-L