32.5. 令牌—与 Python 解析树一起使用的常量

源代码： Lib/token.py

该模块提供了代表解析树的叶节点(终端令牌)的数值的常量。有关语言语法中名称的定义，请参见 Python 发行版中的文件Grammar/Grammar。名称 Map 到的特定数字值可能会在 Python 版本之间更改。

该模块还提供了从数字代码到名称和某些Function的 Map。这些函数镜像 Python C 头文件中的定义。

• token. tok_name

  • 字典将在此模块中定义的常数的数值 Map 回名称字符串，从而可以生成更易于理解的解析树表示形式。

• token. ISTERMINAL(* x *)

  • 对于终端令牌值返回 true。

• token. ISNONTERMINAL(* x *)

  • 对于非终端令牌值，返回 true。

• token. ISEOF(* x *)

  • 如果* x *是指示 Importing 结束的标记，则返回 true。

令牌常量为：

• token. ENDMARKER
• token. NAME
• token. NUMBER
• token. STRING
• token. NEWLINE
• token. INDENT
• token. DEDENT
• token. LPAR
• token. RPAR
• token. LSQB
• token. RSQB
• token. COLON
• token. COMMA
• token. SEMI
• token. PLUS
• token. MINUS
• token. STAR
• token. SLASH
• token. VBAR
• token. AMPER
• token. LESS
• token. GREATER
• token. EQUAL
• token. DOT
• token. PERCENT
• token. BACKQUOTE
• token. LBRACE
• token. RBRACE
• token. EQEQUAL
• token. NOTEQUAL
• token. LESSEQUAL
• token. GREATEREQUAL
• token. TILDE
• token. CIRCUMFLEX
• token. LEFTSHIFT
• token. RIGHTSHIFT
• token. DOUBLESTAR
• token. PLUSEQUAL
• token. MINEQUAL
• token. STAREQUAL
• token. SLASHEQUAL
• token. PERCENTEQUAL
• token. AMPEREQUAL
• token. VBAREQUAL
• token. CIRCUMFLEXEQUAL
• token. LEFTSHIFTEQUAL
• token. RIGHTSHIFTEQUAL
• token. DOUBLESTAREQUAL
• token. DOUBLESLASH
• token. DOUBLESLASHEQUAL
• token. AT
• token. OP
• token. ERRORTOKEN
• token. N_TOKENS
• token. NT_OFFSET