19.1. HTMLParser —简单的 HTML 和 XHTML 解析器

Note

HTMLParser模块在 Python 3 中已重命名为html.parser。2to3工具在将源转换为 Python 3 时将自动适应导入。

2.2 版中的新Function。

源代码： Lib/HTMLParser.py

该模块定义了一个HTMLParser类，该类用作解析以 HTML(超文本标记语言)和 XHTML 格式设置的文本文件的基础。与htmllib中的解析器不同，此解析器不是基于sgmllib中的 SGML 解析器。

类别 HTMLParser. HTMLParser
- 当遇到开始标记，结束标记，文本，Comments 和其他标记元素时，HTMLParser实例将获得 HTML 数据并调用处理程序方法。用户应子类HTMLParser并重写其方法以实现所需的行为。

实例HTMLParser类不带参数。

与htmllib中的解析器不同，此解析器不会检查结束标记是否与开始标记匹配，也不会为pass关闭外部元素隐式关闭的元素调用结束标记处理程序。

还定义了一个异常：

exception HTMLParser. HTMLParseError
- HTMLParser能够处理损坏的标记，但是在某些情况下，当解析时遇到错误时，它可能会引发此异常。此异常提供三个属性：msg是一条简短消息，说明错误，lineno是在其上检测到损坏的构造的行号，offset是在该构造开始的行中的字符数。

19.1.1. HTML 解析器应用程序示例

作为一个基本示例，下面是一个简单的 HTML 解析器，该解析器使用HTMLParser类在遇到开始标记，结束标记和数据时将它们打印出来：

from HTMLParser import HTMLParser

# create a subclass and override the handler methods
class MyHTMLParser(HTMLParser):
    def handle_starttag(self, tag, attrs):
        print "Encountered a start tag:", tag

    def handle_endtag(self, tag):
        print "Encountered an end tag :", tag

    def handle_data(self, data):
        print "Encountered some data  :", data

# instantiate the parser and fed it some HTML
parser = MyHTMLParser()
parser.feed('<html><head><title>Test</title></head>'
            '<body><h1>Parse me!</h1></body></html>')

输出将是：

Encountered a start tag: html
Encountered a start tag: head
Encountered a start tag: title
Encountered some data  : Test
Encountered an end tag : title
Encountered an end tag : head
Encountered a start tag: body
Encountered a start tag: h1
Encountered some data  : Parse me!
Encountered an end tag : h1
Encountered an end tag : body
Encountered an end tag : html

19.1.2. HTMLParser 方法

HTMLParser个实例具有以下方法：

HTMLParser. feed(* data *)
- 将一些文本 Importing 解析器。它是由完整元素组成的；缓冲不完整的数据，直到馈送更多数据或调用close()。 * data *可以是unicode或str，但建议传递unicode。
HTMLParser. close ( )
- 强制处理所有缓冲的数据，就好像其后面带有文件结束标记一样。派生类可以重新定义此方法，以在 Importing 末尾定义其他处理，但是重新定义的版本应始终调用HTMLParserBase Class 方法close()。
HTMLParser. reset ( )
- 重置实例。丢失所有未处理的数据。在实例化时隐式调用它。
HTMLParser. getpos ( )
- 返回当前行号和偏移量。
HTMLParser. get_starttag_text ( )
- 返回最近打开的开始标签的文本。通常，结构化处理不需要此Function，但是在处理“已部署”的 HTML 或以最小的更改重新生成 Importing(可以保留属性之间的空白等)时可能很有用。

当遇到数据或标记元素且它们将在子类中被覆盖时，将调用以下方法。Base Class 实现不执行任何操作(handle_startendtag()除外)：

HTMLParser. handle_starttag(* tag ， attrs *)
- 调用此方法来处理标签(例如<div id="main">)的开头。

tag *参数是转换为小写字母的标签名称。 * attrs *参数是(name, value)对列表，其中包含在标签的<>括号内找到的属性。 * name 将转换为小写， value *中的引号已被删除，字符和实体引用已被替换。

例如，对于标签<A HREF="https://www.cwi.nl/">，此方法将称为handle_starttag('a', [('href', 'https://www.cwi.nl/')])。

在 2.6 版中进行了更改：htmlentitydefs中的所有实体引用现在都已替换为属性值。

HTMLParser. handle_endtag(* tag *)
- 调用此方法来处理元素的结束标记(例如</div>)。

tag *参数是转换为小写字母的标签名称。

HTMLParser. handle_startendtag(* tag ， attrs *)
- 与handle_starttag()相似，但在解析器遇到 XHTML 样式的空标记(<img ... />)时调用。该方法可以被需要此特定词法信息的子类覆盖；默认实现只是调用handle_starttag()和handle_endtag()。
HTMLParser. handle_data(* data *)
- 调用此方法可处理任意数据(例如，文本节点以及<script>...</script>和<style>...</style>的内容)。
HTMLParser. handle_entityref(* name *)
- 调用此方法以处理格式为&name;(例如>)的命名字符引用，其中* name *是常规实体引用(例如'gt')。
HTMLParser. handle_charref(* name *)
- 调用此方法来处理形式为&#NNN;和&#xNNN;的十进制和十六进制数字字符引用。例如，>的十进制等效值为>，而十六进制为>；在这种情况下，该方法将接收'62'或'x3E'。
HTMLParser. handle_comment(* data *)
- 遇到 Comment 时(例如)，将调用此方法。

例如，Comments将导致使用参数' comment '调用此方法。

Internet Explorer 条件 Comments(condcoms)的内容也将发送到此方法，因此，对于，此方法将接收'[if IE 9]>IE9-specific content<![endif]'。

HTMLParser. handle_decl(* decl *)
- 调用此方法来处理 HTML 文档类型语句(例如<!DOCTYPE html>)。

decl *参数将是<!...>标记(例如'DOCTYPE html')内语句的全部内容。

HTMLParser. handle_pi(* data *)
- 遇到处理指令时将调用此方法。 * data *参数将包含整个处理指令。例如，对于处理指令<?proc color='red'>，此方法将称为handle_pi("proc color='red'")。

Note

HTMLParser类使用 SGML 语法规则来处理指令。使用结尾'?'的 XHTML 处理指令将使'?'包含在* data *中。

HTMLParser. unknown_decl(* data *)
- 解析器读取无法识别的语句时，将调用此方法。

data *参数将是<![...]>标记内语句的全部内容。有时派生类覆盖它很有用。

19.1.3. Examples

下列类实现了一个解析器，将用于说明更多示例：

from HTMLParser import HTMLParser
from htmlentitydefs import name2codepoint

class MyHTMLParser(HTMLParser):
    def handle_starttag(self, tag, attrs):
        print "Start tag:", tag
        for attr in attrs:
            print "     attr:", attr

    def handle_endtag(self, tag):
        print "End tag  :", tag

    def handle_data(self, data):
        print "Data     :", data

    def handle_comment(self, data):
        print "Comment  :", data

    def handle_entityref(self, name):
        c = unichr(name2codepoint[name])
        print "Named ent:", c

    def handle_charref(self, name):
        if name.startswith('x'):
            c = unichr(int(name[1:], 16))
        else:
            c = unichr(int(name))
        print "Num ent  :", c

    def handle_decl(self, data):
        print "Decl     :", data

parser = MyHTMLParser()

解析文档类型：

>>> parser.feed('<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" '
...             '"http://www.w3.org/TR/html4/strict.dtd">')
Decl     : DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/html4/strict.dtd"

解析具有一些属性和标题的元素：

>>> parser.feed('<img src="python-logo.png" alt="The Python logo">')
Start tag: img
     attr: ('src', 'python-logo.png')
     attr: ('alt', 'The Python logo')
>>>
>>> parser.feed('<h1>Python</h1>')
Start tag: h1
Data     : Python
End tag  : h1

script和style元素的内容按原样返回，无需进一步分析：

>>> parser.feed('<style type="text/css">#python { color: green }</style>')
Start tag: style
     attr: ('type', 'text/css')
Data     : #python { color: green }
End tag  : style

>>> parser.feed('<script type="text/javascript">'
...             'alert("<strong>hello!</strong>");</script>')
Start tag: script
     attr: ('type', 'text/javascript')
Data     : alert("<strong>hello!</strong>");
End tag  : script

Parsing comments:

>>> parser.feed('<!-- a comment -->'
...             '<!--[if IE 9]>IE-specific content<![endif]-->')
Comment  :  a comment
Comment  : [if IE 9]>IE-specific content<![endif]

解析命名和数字字符引用，并将它们转换为正确的 char(注意：这 3 个引用都等效于'>')：

>>> parser.feed('&gt;&#62;&#x3E;')
Named ent: >
Num ent  : >
Num ent  : >

向feed()提供不完整的块是可行的，但是handle_data()可能会被多次调用：

>>> for chunk in ['<sp', 'an>buff', 'ered ', 'text</s', 'pan>']:
...     parser.feed(chunk)
...
Start tag: span
Data     : buff
Data     : ered
Data     : text
End tag  : span

解析无效的 HTML(例如，未引用的属性)也可以：

>>> parser.feed('<p><a class=link href=#main>tag soup</p ></a>')
Start tag: p
Start tag: a
     attr: ('class', 'link')
     attr: ('href', '#main')
Data     : tag soup
End tag  : p
End tag  : a

Docs

Docs4dev

Title here

19.1. HTMLParser —简单的 HTML 和 XHTML 解析器

19.1.1. HTML 解析器应用程序示例

19.1.2. HTMLParser 方法

19.1.3. Examples