32.5. 令牌—与 Python 解析树一起使用的常量

源代码: Lib/token.py


该模块提供了代表解析树的叶节点(终端令牌)的数值的常量。有关语言语法中名称的定义,请参见 Python 发行版中的文件Grammar/Grammar。名称 Map 到的特定数字值可能会在 Python 版本之间更改。

该模块还提供了从数字代码到名称和某些Function的 Map。这些函数镜像 Python C 头文件中的定义。

  • token. tok_name

    • 字典将在此模块中定义的常数的数值 Map 回名称字符串,从而可以生成更易于理解的解析树表示形式。
  • token. ISTERMINAL(* x *)

    • 对于终端令牌值返回 true。
  • token. ISNONTERMINAL(* x *)

    • 对于非终端令牌值,返回 true。
  • token. ISEOF(* x *)

    • 如果* x *是指示 Importing 结束的标记,则返回 true。

令牌常量为:

  • token. ENDMARKER
  • token. NAME
  • token. NUMBER
  • token. STRING
  • token. NEWLINE
  • token. INDENT
  • token. DEDENT
  • token. LPAR
  • token. RPAR
  • token. LSQB
  • token. RSQB
  • token. COLON
  • token. COMMA
  • token. SEMI
  • token. PLUS
  • token. MINUS
  • token. STAR
  • token. SLASH
  • token. VBAR
  • token. AMPER
  • token. LESS
  • token. GREATER
  • token. EQUAL
  • token. DOT
  • token. PERCENT
  • token. BACKQUOTE
  • token. LBRACE
  • token. RBRACE
  • token. EQEQUAL
  • token. NOTEQUAL
  • token. LESSEQUAL
  • token. GREATEREQUAL
  • token. TILDE
  • token. CIRCUMFLEX
  • token. LEFTSHIFT
  • token. RIGHTSHIFT
  • token. DOUBLESTAR
  • token. PLUSEQUAL
  • token. MINEQUAL
  • token. STAREQUAL
  • token. SLASHEQUAL
  • token. PERCENTEQUAL
  • token. AMPEREQUAL
  • token. VBAREQUAL
  • token. CIRCUMFLEXEQUAL
  • token. LEFTSHIFTEQUAL
  • token. RIGHTSHIFTEQUAL
  • token. DOUBLESTAREQUAL
  • token. DOUBLESLASH
  • token. DOUBLESLASHEQUAL
  • token. AT
  • token. OP
  • token. ERRORTOKEN
  • token. N_TOKENS
  • token. NT_OFFSET

See also