问答系统

信息检索系统的形式

问答系统(Question Answering System, QA)是信息检索系统的一种高级形式，它能用准确、简洁的自然语言回答用户用自然语言提出的问题。其研究兴起的主要原因是人们对快速、准确地获取信息的需求。问答系统是人工智能和自然语言处理领域中一个倍受关注并具有广泛发展前景的研究方向。

发展历史

早在计算机诞生不久的1950年，Alan Turing就提出了著名的图灵测试。该测试的目的并不是为了获取信息，而是用于测试计算机是否具有智能，但是过程是相似的。图灵测试是把计算机和人都藏在用户看不见的地方，用户提出一系列的询问，计算机或者人给出问题的解答，如果用户分不清是人在回答还是计算机在回答问题，那么该计算机就具有了智能。为了鼓励进行图灵测试的研究，1991年Hugh Loebner设立了一个Loebner Prize，奖金10万美元，用于奖励第一个通过图灵测试的系统，遗憾的是，迄今为止，尚没有个人或者组织能够获此殊荣。除了大奖以外，比赛还每年拿出2000美元奖励当年表现最出色的系统。十多年来，出现了PC Therapist，Albert等优秀的聊天机器人系统，它们提出的一些技术，很值得开放域问答系统所借鉴。

早期还有一些基于知识库的问答系统研究(Hendfix et a1． 1978，Woods 1973)，包括基于本体的问答系统，受限语言的数据库查询系统，问答式专家系统等。这些系统虽然能在特定的领域中达到比较好的性能，但是它们大多是受限的。首先是语言受限，即只能使用少数几种问题语言模式，一旦采用比较随意的语言，质量就会明显下降。其次是知识受限，一般只能够回答某一个特定领域中的专业性问题。

为了推动开放域问答系统的发展，信息检索评测组织(Text REtrieval Conferenee，TREC)自1999年开始，设立了开放域问答的评测任务，是TREC中历时最长的评测任务。其他的一些著名评测组织(如NTCIR和CLEF)也设置了问答系统评测的任务。关于问答系统的研究已在领域内受到强烈的关注。

相关评测

自1999 年文本检索会议( Text Retrieval Conference ,简称TREC) 引入问答系统评测专项(Question Answering Track ,简称QA Track) 后,人们对基于自然语言的问答系统再次产生了浓厚的兴趣,在近些年的TREC 比赛中,QA Track 是最受关注的评测项目之一。

日语问答评测平台Question Answering Challenge (QAC) 是从2002 年开始的,每两年举办一届。自NTCIR-5开始，其CLQA专项中加入中文评测语料，但尚未见有简体中文。

由IST Programme of the European Union 资助的Cross Language Evaluation Forum (CLEF) 在2003 年设立第一届多语言问答系统评测(Multilingual Question Answering) 项目,并计划每年举办一次。

分类

不同的应用需要不同形式的问答系统，其所采用的语料和技术也不尽相同。相应地，可以从不同的角度对问答系统进行分类，比如根据应用领域、提供答案的语料、语料的格式等角度进行分类。

从涉及的应用领域进行分类，可将问答系统分为限定域问答系统和开放域问答系统。

限定域问答系统是指系统所能处理的问题只限定于某个领域或者某个内容范围，比如只限定于医学、化学或者某企业的业务领域等。例如BASEBALL、LUNAR、SHRDLU、GUS等都属于限定域的问答系统。BASEBALL只能回答关于棒球比赛的问题，LUNAR只能回答关于月球岩石的化学数据的相关问题，SHRDLU只能回答和响应关于积木移动的问题等。由于系统要解决的问题限定于某个领域或者范围，因此如果把系统所需要的全部领域知识都按照统一的方式表示成内部的结构化格式，则回答问题时就能比较容易地产生答案。

开放域问答系统不同于限定域问答系统，这类系统可回答的问题不限定于某个特定领域。在回答开放领域的问题时，需要一定的常识知识或者世界知识并具有语义词典，如英文的WordNet在许多英文开放域问答系统中都会使用。此外，中文的WordNet、“同义词词林”等也常在开放域问答系统中使用。

按支持问答系统产生答案的文档库、知识库，以及实现的技术分类，可分为自然语言的数据库问答系统、对话式问答系统、阅读理解系统、基于常用问题集的问答系统、基于知识库的问答系统，以及基于大规模文档集的问答系统。

系统研究

中文问答系统相对于英文有如下几个方面的难点或不足之处：

· 连写：中文是连续书写，分词是汉语言处理的基础。中文问答系统由于是句子级别的信息检索，要分析句子，首先要分词。

· 形态：汉语缺乏狭义的形态变化，如英文中的主动被动语态，完成时进行时等，形态对于计算机就是标记，有利于计算机的处理。

· 语法：汉语语法灵活，句子各成分之间的关系靠词序、“意合”、虚词，变化较多。

· 语义：一词多义、同音词、同义词、近义词等，以及丰富的表达方式，上下文依赖度高，省略语等都是计算机处理的难点。

· 语法研究：面向计算机处理的中文语法研究不足，如中文问答系统需要的关于中文句型形式化、不同句型之间的转换的研究资料极少。

· 相关资源：缺乏包括语法、语义词典等中文语言学资源和相关生熟语料，国外这方面强得多，如TREC就提供的相当数量的可用于英文问答研究和评测的语料。

中文问答系统需要在现有的中文信息处理技术基础上，充分研究和利用问答的特性与需求，通过各种方法解决和克服(或暂时回避)以上难点和困难，设计和开发问答系统。

系统应用