100字范文,内容丰富有趣,生活中的好帮手!
100字范文 > 自然语言处理-003NLP定义以及歧义性-学习笔记

自然语言处理-003NLP定义以及歧义性-学习笔记

时间:2024-07-22 17:20:55

相关推荐

自然语言处理-003NLP定义以及歧义性-学习笔记

自然语言处理的难点:

1. the challenge:multiple ways to express,对于同一个意思有多种表达方式

2. the challenge:Ambiguity,一词多义,一个词在不同语境中表达的含义

how to solve ambiguity?

例: interest,没有任何语境下,按照三个意思的主观统计概率进行意思归类

a financial interest in IBM (有语境的条件下),有data输入->更新主管概率(认知),要考虑上下文处理,NLP context

Case Study:Machine Translation

机器翻译系统:

通过12对的翻译对,将未知句子进行翻译

1. 针对单个单词进行翻译,找到

问题点:

1. 慢(AI与模型,算法优化)

2. 语义的问题无法解决

3. 没考虑上下文

4. 语法不对,前后顺序问题

5. 规则统计

LM为Language Model,语言模型

翻译系统的实现思想分成两个步骤:

1. 中文分词后进行单个单词的翻译——翻译模型p(c|e)

2. 将翻译好的单词进行排列组合,通过语言模型选择最佳的组合作为翻译的结果——语言模型p(e)

缺点:

1. 计算量非常大,如果是一篇文章有100个单词 100!

复杂度较高

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。