什么是分布假说(the Distributional Hypothesis)？

分布假设提出了一种观点，即在文本中具有相同含义的词被组合在一起。这种观点检查单词的含义及其在整个文本中的分布情况，然后将其与具有相似或相关含义的词的分布进行比较。这样的检查确定单词的出现英国语言学家J.R.Fi...

分布假设提出了一种观点，即在文本中具有相同含义的词被组合在一起。这种观点检查单词的含义及其在整个文本中的分布情况，然后将其与具有相似或相关含义的词的分布进行比较。这样的检查确定单词的出现英国语言学家J.R.Firth首先提出了“站在一堆书后面的女人”这一观点，他以“你应该知道一个单词由它所拥有的公司来认识”这一观点而闻名他以研究韵律而闻名，他相信没有一个系统能解释语言是如何运作的，他认为需要几个相互重叠的系统。美国语言学家泽利格·哈里斯建立在弗斯的工作基础上。他想用数学来研究和分析语言数据。他对数学的贡献是很重要的，但他也因在有生之年涵盖了广泛的语言学思想而闻名分布假设是语言学检验的一部分。数学和统计方法，而不是语言学方法，用来筛选大量的语言数据。这意味着，分布假设是计算语言学和统计语义学的一部分，它也与语言学家和语言哲学家关于儿童母语发展的观点有关，一种被称为语言习得的过程。统计语义学使用数学算法来研究词的分布，然后根据意义过滤这些结果并进一步研究，以找出与意义相关的词的分布情况。统计语义学主要有两种方法：按词簇分布和按文本分布地区通过相关词义的簇来研究词的分布，被称为超空间模拟语言（HAL）。HAL研究文本中聚集在一起的单词之间的关系。这可以是句内或段落内，但很少比这更远。单词的语义分布取决于单词接下来出现的频率全文研究使用潜在语义分析（LSA）。这是一种自然语言处理方法。在整个文本中，意义相近的词会彼此靠近出现。使用一种称为奇异值解压缩（SVD）的数学方法对这类文本进行聚类检查分布假设正被用来研究语义和词汇关系的组成部分，这一假设可以应用于人工智能（AI），这将有助于计算机程序更好地理解单词之间的关系和分布，并对儿童如何处理单词、创建单词联想和句子也有一定的启示

发表于 2020-09-16 06:01
阅读 ( 1949 )
分类：社会民生

什么是分布假说(the Distributional Hypothesis)？

你可能感兴趣的文章

相关问题

0 条评论

作家榜 »

推荐文章