计算机信息检索

第七章 信息组织中的自然语言
第一节 自然语言在信息组织中
的应用概述
一、自然语言的演化与发展
• 检索语言
– 广义而言,检索语言包括受控语言和自然语
言语言两类语言系统。
– 狭义而言,检索语言包括规范的受控语言。
检索语言的演化与发展
• 前信息检索阶段的自然语言
–原生态的自然语言是前信息检索阶段的原始的“检索
语言” 。
• 规范的受控语言
–如分类表、标题表、单元词表、叙词表、分类主题一
体化词表 。
• 受控语言向自然语言“回归”
–自然语言的应用是以计算机为前提的;
–在对词汇控制的科学性上、规范化程度上以及方法上
等方面的进步,使自然语言成为现代信息检索,尤其
是网络信息检索的主流保障语言。
检索系统中检索语言的应用变化
• 基于印刷型文献的手工检索
– 以受控语言(分类法、主题法)为主。
• 基于数据库的计算机检索
– 受控语言和自然语言结合。
• 基于网络的信息检索
– 以自然语言为主。
二、自然语言的优缺点
• 优点(VS受控语言)
• 缺点(VS受控语言)
• 结论
优点
• 可以降低标引难度及成本,从而提高标引速度
• 采用用户熟悉的自然语言,符合用户检索习惯,
•
•
•
减少了概念转换中产生的失真现象,专指度强
由于自然语言标引检索多采用自动处理方式,
省略了编制词表和词汇的智力负担
自然语言标引检索入口词多,有利于提高检全
率
操作简单方便,灵活,比较适合没有专业知识
的广大网络用户使用等
缺点
• 由于自然语言对标引用词不加严格控制,必然
会形成非关键性词语的大量出现,影响检准率
的提高
• 由于不能反映概念词间的一一对应关系,也不
能反映概念关系的隐含性,无法排除同义词、
近义词、多义词等词间的模糊现象,势必也会
直接影响到检全率的提高
结 论
• 自然语言和受控语言都有各自独特的优点和缺
点,不能简单彼此替代,而应当相互补充、交
融
• 针对上述自然语言及其检索中存在的这些问题
– 一方面要依靠计算机技术和自然语言处理技术的突
破发展;
– 另一方面受控语言的基本原理――对词汇的控制,
是永远不会被省略的,变化的只是词汇控制的方式、
方法和手段。
三、自然语言与自然语言处理
(一)自然语言处理
(二)自然语言在信息组织和检索中的应用
(一)自然语言处理
• 自然语言处理是自然语言得以应用所要解决的首
要的核心问题
• 自然语言处理是人工智能领域的一个重要分支,
它主要研究计算机对输入的自然语言文本的分析、
理解和生成,旨在建立人与计算机之间友好的交
流通道,实现更高层次的信息交互
• 自然语言处理(Natural Language Processing,简称
NLP)是实现自然语言理解的核心基础,是语言信
息处理的一个重要分支
• 自然语言处理追求的目标是计算机是如何来理解
一个句子和领会一个文档所要表述的意思
continued
• 由于自然语言十分复杂,人是如何理解语言的,
也还是个谜,因此给“理解”下一个定义极其
困难
– 从信息处理的角度看,语言既然是信息的载体,如
果计算机实现了机器翻译、自动文摘以及人机会话
等语言信息处理功能,则认为计算机具备了理解自
然语言的能力。
• 自然语言处理的核心技术主要是解决自然语言
的歧义问题
– 关键问题:如何建立大规模知识库。
语言学上对语言的层次划分
• 第一层次
–语音和文字,即基本语言信号的构成。
• 第二层次
–词法和句法(合称“语法”),即语言基本运用单位
的构成和组合的形式规律。
• 第三层次
–语义,即语言所要表达的概念结构。
• 第四层次
–语用,即语言与语言使用环境的相互作用。
自然语言处理研究内容的基础部分
• 语法分析(Syntactic Understanding)
• 语义分析(Semantic Understanding)
• 语用分析(Pragmatic Understanding)
例如:“汤姆给了玛丽一本大书。”
语法层分析
根据语言的语法,单词可以组成不同的
词组,词组可以包含不同的角色。
单词
角色
汤姆
人名
给
动词
玛丽
人名
一
冠词
大的
形容词
书
名词
等级表示语法结构
语义层分析
语义结构(句子各个部分之间的联系)
知识装饰下的丰富的语法结构
扩展的语义结构
计算机产生的语义结构
语境层分析
• 例1:“Could you turn the light on?”
“语境语义”--“Press the light
switch.”
“句子的语义”-- “Are you capable
of achieving to increase the amount of light?”
(句子脱离语言环境,本身的所表示的语义)
• 例2:“It is dark in here.”

语境语义--“Light is weak here.”

句子语义--“Press the light switch. ”
语义和语境含义之间的匹配
(二)自然语言在信息组织和检索中的应用
• 自然语言检索,从技术上讲,就是将自然语言
处理技术应用于信息检索系统的信息的组织、
标引和输出
• 具体地,汉语自动分词和自动标引、单汉字标
引、自动文摘、全文检索等都是自然语言在信
息组织和检索中的具体应用
–汉语的机械分词法、单汉字标引(未介入自然语言
理解的成分)。
–基于理解的自动标引技术、自动文摘技术(应用了
自然语言理解技术 )。
小结
•
•
•
•
自然语言的演化
自然语言与受控语言的优缺点
自然语言理解
自然语言在信息组织和检索中的具体应
用有哪些
结束