15．12 Scrapy 规则化爬虫 -Python3网络爬虫开发实战(下)

当前位置:　首页>> 技术小册>> Python3网络爬虫开发实战(下)

15.12 Scrapy 规则化爬虫

引言

在Python网络爬虫开发的广阔领域中，Scrapy作为一个快速高级且用户友好的Web爬取和网页抓取框架，以其强大的功能集和灵活的扩展性赢得了广泛的认可。Scrapy不仅支持异步请求，还内置了多种中间件、选择器以及强大的项目结构，使得开发者能够高效地构建复杂的爬虫系统。其中，Scrapy的“规则化爬虫”（也称为“爬虫规则”或“Spider Rules”）功能，通过定义一系列爬取规则，使得爬虫能够自动化地识别并抓取符合特定模式的网页内容，极大地提高了爬虫的灵活性和效率。本章将深入探讨Scrapy中的规则化爬虫实现方式，包括其基本原理、配置方法、使用场景及高级技巧。

Scrapy规则化爬虫基础

1. Scrapy Spider与CrawlSpider

在Scrapy中，Spider是用户编写用于分析response并提取数据的类。而CrawlSpider是Spider的一个子类，特别适用于处理需要通过链接来发现新页面的情况。CrawlSpider通过定义一组规则（Rule）来识别可以跟进的链接，并提取这些链接指向页面的数据。每个规则由一个或多个LinkExtractor（链接提取器）来定义哪些链接应该被跟进，以及一个或多个Callback函数来指定当链接被跟进后应如何处理响应。

2. LinkExtractor

LinkExtractor是Scrapy中用于从网页中提取链接的类。它允许你通过正则表达式、CSS选择器或XPath表达式来指定哪些链接应该被提取。此外，你还可以设置是否允许相对URL、是否只提取符合特定属性的链接等选项。

3. Rule

Rule类定义了CrawlSpider如何根据LinkExtractor提取的链接来继续爬取。每个Rule都包含至少一个LinkExtractor来指定哪些链接应该被跟进，以及一个callback函数（可选），该函数定义了当链接被跟进后如何处理响应。Rule还允许你设置跟进链接的优先级、是否允许重复请求等参数。

规则化爬虫的实现

1. 定义CrawlSpider

首先，你需要从scrapy.spiders导入CrawlSpider类，并继承它来定义你的爬虫。在定义时，你需要指定爬虫的名称以及一个或多个起始URL。

from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
class MyCrawlSpider(CrawlSpider):
    name = 'my_crawl_spider'
    allowed_domains = ['example.com']
    start_urls = ['http://example.com/category/page1.html']
    rules = (
        # 定义一个规则
        Rule(LinkExtractor(allow=r'category/page\d+\.html'), callback='parse_item', follow=True),
    )
    def parse_item(self, response):
        # 处理响应数据
        pass

2. 编写Callback函数

callback函数是处理响应数据的地方。在这个函数中，你可以使用Scrapy的选择器（如XPath选择器或CSS选择器）来提取你感兴趣的数据。

def parse_item(self, response):
    item = MyItem()  # 假设MyItem是一个Item类
    item['title'] = response.xpath('//h1/text()').get()
    item['description'] = response.css('p::text').getall()
    yield item

3. 配置与优化

设置请求深度：通过depth_limit属性可以设置爬虫的最大请求深度，以避免无限循环或过度爬取。
设置请求优先级：在Rule中可以通过priority参数设置请求的优先级，确保重要链接优先处理。
处理重复请求：Scrapy默认会过滤掉重复的请求，但你也可以通过修改DUPEFILTER_CLASS设置来定制重复请求过滤的行为。
使用中间件：Scrapy提供了丰富的中间件接口，你可以通过编写自定义中间件来扩展爬虫的功能，如增加代理支持、用户代理伪装等。

实战案例

假设你需要从一个新闻网站抓取所有分类下的文章标题和链接。首先，你需要分析网站结构，确定哪些链接指向分类页面，哪些链接指向文章页面。然后，你可以编写一个CrawlSpider，定义一个规则来提取分类页面的链接，并设置另一个规则（或直接在parse_item中处理）来提取文章页面的数据。

from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
class NewsCrawlSpider(CrawlSpider):
    name = 'news_crawler'
    allowed_domains = ['news.example.com']
    start_urls = ['http://news.example.com/category/tech.html']
    rules = (
        # 提取分类页面链接
        Rule(LinkExtractor(allow=r'/category/[\w-]+/page\d+\.html'), callback='parse_category', follow=True),
        # 提取文章页面数据（假设文章链接具有特定模式）
        Rule(LinkExtractor(allow=r'/article/\d+-\w+\.html'), callback='parse_article'),
    )
    def parse_category(self, response):
        # 可以进一步处理分类页面数据，或只是通过follow=True让Scrapy继续跟进链接
        pass
    def parse_article(self, response):
        # 提取文章标题和链接
        title = response.xpath('//h1/text()').get()
        link = response.url
        yield {'title': title, 'link': link}

结论

Scrapy的规则化爬虫通过CrawlSpider和Rule类提供了一种高效、灵活的方式来构建能够自动发现新链接并处理这些链接指向页面数据的爬虫。通过合理配置LinkExtractor和Rule，你可以轻松地定义复杂的爬取逻辑，实现复杂的网页抓取任务。同时，Scrapy的扩展性和灵活性也允许你通过中间件、Item Pipeline等机制来进一步定制和优化你的爬虫系统。掌握Scrapy的规则化爬虫技术，将极大地提升你在Python网络爬虫开发领域的实战能力。