介绍
第二届“讯飞杯”中文机器阅读理解评测 (The Second Evaluation Workshop on Chinese Machine Reading Comprehension, CMRC 2018) 将于2018年10月与第十七届全国计算语言学学术会议(CCL 2018)在湖南长沙共同召开。本届中文机器阅读理解评测由中国中文信息学会计算语言学专业委员会(CIPS-CL)主办,哈工大讯飞联合实验室(HFL)承办,科大讯飞股份有限公司冠名赞助,旨在进一步促进中文机器阅读理解研究及发展并且为相关领域学者提供一个良好的沟通平台。在此,CMRC 2018评测委员会诚邀各家单位参加本次评测活动!
从2017年开始,全国计算语言学学术会议(CCL)计划举办评测活动。第一届“讯飞杯”中文机器阅读理解评测(The First Evaluation Workshop on Chinese Machine Reading Comprehension,CMRC 2017)在2017年10月与第十六届全国计算语言学学术会议(CCL 2017)在南京圆满落幕,得到了相关同行的积极参与和大力支持。
哈工大讯飞联合实验室(HFL)长期致力于机器阅读理解的研究和发展。在中文阅读理解方面,哈工大讯飞联合实验室在2016年7月提出首个中文填空型阅读理解数据集PD&CFT。在2017年承办了第一届“讯飞杯”中文机器阅读理解评测(CMRC 2017)并且发布了相关中文阅读理解数据集,进一步促进了中文机器阅读理解研究。我们希望通过持续的中文机器阅读理解评测,与相关领域学者共同推进中文机器阅读理解的技术水平。
———————————————————————————————
任务描述
在去年的CMRC 2017评测中,我们的任务焦点是填空型阅读理解任务(Cloze-style Machine Reading Comprehension),吸引了数十家单位报名参加,并且最终有十余家单位提交了系统结果。
今年我们将聚焦基于篇章片段抽取的阅读理解(Span-Extraction Machine Reading Comprehension),作为填空型阅读理解任务的进一步延伸。虽然在英文阅读理解研究上有例如斯坦福SQuAD、NewsQA等篇章片段抽取型阅读理解数据集,但目前相关中文资源仍然处于空白状态。本届中文机器阅读理解评测将开放首个人工标注的中文篇章片段抽取型阅读理解数据集,参赛选手需要对篇章、问题进行建模,并从篇章中抽取出连续片段作为答案。本次评测依然采取训练集、开发集公开,测试集隐藏的形式以保证评测的公平性。
更详细的评测任务描述及流程请密切关注评测网站:http://www.hfl-tek.com/cmrc2018/。
———————————————————————————————
奖项设置
本届评测将评选出如下奖项,颁发奖金和荣誉证书。
金奖 |
¥20,000 + 荣誉证书 |
银奖 |
¥10,000 + 荣誉证书 |
铜奖 |
¥ 5,000 + 荣誉证书 |
最佳单系统奖 |
¥10,000 + 荣誉证书 |
由中国中文信息学会计算语言学专委会(CIPS-CL)为获奖队伍提供荣誉证书。
———————————————————————————————
重要时间点
所有截止时间点为北京时间(GMT+8)23:59。
以下时间节点仅供参考,请注册参加者密切关注本网站以及邮件通知。
事件 |
状态 |
时间 |
预报名 |
>>已开始<< |
即日起 |
正式报名确认 |
未开始 |
2018年4月23日 ~ 2018年4月27日 |
发布训练集和开发集 |
未开始 |
2018年5月7日 |
系统搭建及调整 |
未开始 |
2018年5月7日 ~ 2018年8月7日 |
提交系统验证开发集 |
未开始 |
2018年6月7日 ~ 2018年8月7日 |
提交系统验证测试集 |
未开始 |
2018年8月13日 ~ 2018年8月17日 |
撰写系统描述摘要 |
未开始 |
2018年9月中旬 |
召开CMRC2018大会 |
未开始 |
TBD, 与CCL2018同步召开(2018年10月20日或21日) |
———————————————————————————————
注册报名
拟报名参加的单位,请通过如下方式填写预报名表。
网页链接:https://wj.qq.com/s/1822356/e14c
或扫描二维码:
———————————————————————————————
评测组织
主办方: 中国中文信息学会计算语言学专业委员会
承办方: 哈工大讯飞联合实验室
冠名商: 科大讯飞股份有限公司
评测委员会:
刘 挺(哈尔滨工业大学)
崔一鸣(科大讯飞股份有限公司)
———————————————————————————————
联系我们
如果有任何与本次评测相关的问题,请随时联系会务组。评测会务组邮箱: [email protected]