1、微博情感分析评测总结1关注我呗2019年4月21任务设置观点句识别情感倾向性判断针对观点句情感要素抽取针对观点句2关注我呗2019年4月21数据集来自腾讯微博数据原始数据集20话题主要是热门事件，如“三亚春节宰客”约17500条微博约32000个句子3关注我呗2019年4月21数据集数据标注三标注者对同一数据标注数据集大小2023条微博3416个句子1209个非观点句2207个观点句407正面、1766负面、34其他2361个对象441正面、1910负面、10其他4关注我呗2019年4月21数据集标注标准关于观点句个人意愿、心情不是观点句，如“我感到很高兴”表达了明显观点的反问句属于观点句，如
2、“体育竞技有不残酷的吗？”关于观点句倾向性正面、负面，其他(Other)三类，“其他”表示中性或无法确定正负的情况不进行5关注我呗2019年4月21数据集标注标准关于观点句情感对象情感对象优先从当前句子抽取，但可以跨越当前句子从前面的句子或后面的句子中抽取（前面的邻近句子优先）情感对象尽可能完整和明确，事件按细粒度标注： “ipad的屏幕很棒！”- “ipad的屏幕” “官二代陶汝坤:作案动机极其卑劣”- “作案动机”对象本身不是情感表达： ”#官二代求爱不成将少女毁容# 这种畜生是怎么被教育出来的啊！” - “官二代”人称代词需要尽可能在当前微博内进行指代消解： “小明就读于北京大学，他是名
3、优秀的学生。”-”小明“抽取出句子中每个情感片段所对应的情感对象： “你根本已经不是个人了，你比蛇还冷血，你比畜生还畜生。” - “你” “你” “你”6关注我呗2019年4月21参评单位34支队伍包括全国重点高校与科研机构观点句识别：53组情感倾向判断：48组情感对象抽取：22组7关注我呗2019年4月21观点句识别任务要求识别每条微博中各个句子是观点句还是非观点句评价标准准确率、召回率、F值微平均宏平均8关注我呗2019年4月21观点句识别微平均0.5000.5500.6000.6500.7000.7500.8000.8500.9000.9501.0000.0000.2000.4000.6
4、000.8001.000PrecisionPrecisionRecallRecall9关注我呗2019年4月21观点句识别微平均0.0%5.0%10.0%15.0%20.0%25.0%0.00-0.050.05-0.100.10-0.150.15-0.200.20-0.250.25-0.300.30-0.350.35-0.400.40-0.450.45-0.500.50-0.550.55-0.600.60-0.650.65-0.700.70-0.750.75-0.800.80-0.850.85-0.900.90-0.950.95-1.00百百分分比比F-measureF-measure10关注
5、我呗2019年4月21观点句识别宏平均0.5000.5500.6000.6500.7000.7500.8000.8500.9000.9501.0000.0000.1000.2000.3000.4000.5000.6000.7000.8000.9001.000PrecisionPrecisionRecallRecall11关注我呗2019年4月21观点句识别宏平均0.0%5.0%10.0%15.0%20.0%25.0%0.00-0.050.05-0.100.10-0.150.15-0.200.20-0.250.25-0.300.30-0.350.35-0.400.40-0.450.45-0.50
6、0.50-0.550.55-0.600.60-0.650.65-0.700.70-0.750.75-0.800.80-0.850.85-0.900.90-0.950.95-1.00百百分分比比F-measureF-measure12关注我呗2019年4月21情感倾向性判断任务要求判断微博中每条观点句的情感倾向正面、负面、其他评价标准准确率、召回率、F值微平均宏平均13关注我呗2019年4月21情感倾向性判断微平均0.0000.1000.2000.3000.4000.5000.6000.7000.8000.9001.0000.0000.1000.2000.3000.4000.5000.6000.
7、7000.8000.900PrecisionPrecisionRecallRecall14关注我呗2019年4月21情感倾向性判断微平均0.0%2.0%4.0%6.0%8.0%10.0%12.0%14.0%16.0%0.00-0.050.05-0.100.10-0.150.15-0.200.20-0.250.25-0.300.30-0.350.35-0.400.40-0.450.45-0.500.50-0.550.55-0.600.60-0.650.65-0.700.70-0.750.75-0.800.80-0.850.85-0.900.90-0.950.95-1.00百百分分比比F-meas
8、ureF-measure15关注我呗2019年4月21情感倾向性判断宏平均0.0000.1000.2000.3000.4000.5000.6000.7000.8000.9001.0000.0000.1000.2000.3000.4000.5000.6000.7000.8000.900PrecisionPrecisionRecallRecall16关注我呗2019年4月21情感倾向性判断宏平均0.0%2.0%4.0%6.0%8.0%10.0%12.0%14.0%16.0%0.00-0.050.05-0.100.10-0.150.15-0.200.20-0.250.25-0.300.30-0.35
9、0.35-0.400.40-0.450.45-0.500.50-0.550.55-0.600.60-0.650.65-0.700.70-0.750.75-0.800.80-0.850.85-0.900.90-0.950.95-1.00百百分分比比F-measureF-measure17关注我呗2019年4月21情感要素抽取任务要求找出微博中每条观点句作者的评价对象判断针对情感对象的观点极性评价标准精确评价宽松评价准确率、召回率、F值18关注我呗2019年4月21情感要素抽取严格评价微平均0.0000.1000.2000.3000.4000.5000.6000.0000.0500.1000.15
10、00.2000.2500.300PrecisionPrecisionRecallRecall19关注我呗2019年4月21情感要素抽取严格评价微平均0.0%5.0%10.0%15.0%20.0%25.0%30.0%35.0%0.00-0.050.05-0.100.10-0.150.15-0.200.20-0.250.25-0.300.30-0.350.35-0.400.40-0.450.45-0.500.50-0.550.55-0.600.60-0.650.65-0.700.70-0.750.75-0.800.80-0.850.85-0.900.90-0.950.95-1.00百百分分比比F-
11、measureF-measure20关注我呗2019年4月21情感要素抽取严格评价宏平均0.0000.0500.1000.1500.2000.2500.3000.3500.4000.4500.5000.0000.0500.1000.1500.2000.2500.300PrecisionPrecisionRecallRecall21关注我呗2019年4月21情感要素抽取严格评价宏平均0.0%5.0%10.0%15.0%20.0%25.0%30.0%0.00-0.050.05-0.100.10-0.150.15-0.200.20-0.250.25-0.300.30-0.350.35-0.400.4
12、0-0.450.45-0.500.50-0.550.55-0.600.60-0.650.65-0.700.70-0.750.75-0.800.80-0.850.85-0.900.90-0.950.95-1.00百百分分比比F-measureF-measure22关注我呗2019年4月21情感要素抽取宽松评价微平均0.0000.1000.2000.3000.4000.5000.6000.7000.0000.0500.1000.1500.2000.2500.3000.3500.400PrecisionPrecisionRecallRecall23关注我呗2019年4月21情感要素抽取宽松评价微平均
13、0.0%5.0%10.0%15.0%20.0%25.0%0.00-0.050.05-0.100.10-0.150.15-0.200.20-0.250.25-0.300.30-0.350.35-0.400.40-0.450.45-0.500.50-0.550.55-0.600.60-0.650.65-0.700.70-0.750.75-0.800.80-0.850.85-0.90百百分分比比F-measureF-measure24关注我呗2019年4月21情感要素抽取宽松评价宏平均0.0000.1000.2000.3000.4000.5000.6000.7000.0000.0500.1000.1
14、500.2000.2500.3000.3500.400PrecisionPrecisionRecallRecall25关注我呗2019年4月21情感要素抽取宽松评价宏平均0.0%5.0%10.0%15.0%20.0%25.0%0.00-0.050.05-0.100.10-0.150.15-0.200.20-0.250.25-0.300.30-0.350.35-0.400.40-0.450.45-0.500.50-0.550.55-0.600.60-0.650.65-0.700.70-0.750.75-0.800.80-0.850.85-0.900.90-0.950.95-1.00百百分分比比F
15、-measureF-measure26关注我呗2019年4月21小结微博情感分析相当具有挑战性不同于产品评论数据，微博数据领域多样，话题广泛，表达自由本次评测中微博观点句识别、倾向性分析的最好结果F值接近于80%，情感要素抽取的最好结果精确评价F值接近于30%，比预想的结果要好，但仍有较大的提升空间本次评测的标注数据可作为相关研究的科研数据，已免费公开发布标注规范和任务设置有待进一步的改进27关注我呗2019年4月2128关注我呗2019年4月21致谢感谢腾讯微博提供数据！感谢北京大学、苏州大学、哈工大深圳研究生院的老师和同学进行数据标注与测评！感谢评测参与单位的支持和意见反馈！29关注我呗2019年4月2130关注我呗2019年4月21
