什么是词汇分析(Lexical Analysis)？

词法分析是将一个字符串（或者更简单地说，文本）转换成有意义的组（称为标记）的过程。这种方法在各种应用中都有应用，从解释计算机语言到分析书籍。词法分析并不是句法分析的同义词，而是，它是整个解析过程的第一步，它为以后的使用...

词法分析是将一个字符串（或者更简单地说，文本）转换成有意义的组（称为标记）的过程。这种方法在各种应用中都有应用，从解释计算机语言到分析书籍。词法分析并不是句法分析的同义词，而是，它是整个解析过程的第一步，它为以后的使用创建了原始材料。词法分析是将字符串（或者更简单地说，文本）转换为有意义的组（称为标记）的过程。标记的构建块（也称为词素）可以通过多种方式生成，具体取决于词法分析所需的语法。一个常见的例子是按单词拆分句子；这通常是通过在空格周围拆分句子来完成的。每一个不带空格的连续字符串都是一个词素。文本字符串可以按一种或多种类型的字符进行拆分，创建具有不同复杂度的词素的多个版本。标记是在对每个词素进行评估并与其对应的值配对后生成的；根据定义，标记指的是这种配对，而不仅仅是词素。词汇分析，有点违反直觉，从上下文中剥离一个文本字符串。其目的只是生成用于进一步研究的构建块，而不是确定这些块是有效的还是无效的。在计算机语言解释的情况下，通过语法分析进行验证，文本验证可以根据上下文或内容进行，如果输入字符串被完全划分为适当的词素，并且每个词素都有一个适当的值，则认为分析是成功的。如果没有上下文或执行验证的能力，词法分析不能可靠地用于查找输入错误一个词法语法可能会给特定的词素指定错误值，这种分析也可以检测非法或格式错误的标记。虽然找到非法或格式错误的标记表示输入无效，但它与其他标记是否有效无关，因此，严格说来，这并不是一种验证类型。虽然词法分析是许多算法的一个组成部分，但它必须经常与其他方法结合使用才能产生有意义的结果。例如，将文本字符串拆分为单词来确定频率，就利用了词素创建，但是词素创建本身并不能监控特定词素在输入中出现的次数，如果词素本身是值得注意的，词法分析本身可能是有用的，但是由于数据量大，大量的输入可能会使原始词素的分析变得困难

发表于 2020-08-06 12:02
阅读 ( 1976 )
分类：电脑网络

什么是词汇分析(Lexical Analysis)？

你可能感兴趣的文章

相关问题

0 条评论

作家榜 »

推荐文章