在Scrapy中使用分页功能访问多个页面。

我有多个页面的URLs,我尝试分页从这些URLs中提取数据,但它只工作了一次(只是一次)。我试着用分页法从这些URL中提取数据,但它只工作了一次(只有一次)。next_page). 有什么问题吗?

import json
import scrapy
import re
import pkgutil

from scrapy.loader import ItemLoader
from rzc_spider.items import AnnonceItem


class AnnonceSpider(scrapy.Spider):
    name = 'rzc_results'

    def __init__(self, *args, **kwargs):
        data_file = pkgutil.get_data("rzc_spider", "json/input/test_tt.json")
        self.data = json.loads(data_file)

    def start_requests(self):
        for item in self.data:
            request = scrapy.Request(item['rzc_url'], callback=self.parse)
            request.meta['item'] = item
            yield request

    def parse(self, response):
        item = response.meta['item']
        item['results'] = []
        item["car_number"] = response.css(
            "h2.sub::text").extract_first()

        for caritem in response.css("div.ad > div[itemtype='https://schema.org/Vehicle']"):
            data = AnnonceItem()
            #model
            data["model"] = caritem.css(
                "em.title::text").extract_first()

            item['results'].append(data)
        yield item

        next_page = response.css(
            'a.link::attr(href)').extract_first()
        if next_page is not None:
            url_pagination = 'https://www.websiteexample.com' + next_page
            meta = {'item': response.meta['item']}
            yield scrapy.Request(url=url_pagination, callback=self.parse, meta=meta)

    #ban proxies reaction
    def response_is_ban(self, request, response):
        return b'banned' in response.body

    def exception_is_ban(self, request, exception):
        return None

url的json文件(本例中是一个样本)。

[{
    "rzc_url": "https://www.websiteexample.com/model"
}]

解决方案:

试着检查一下URL。有时他们设置了陷阱,所以只有 next_page 有一个绝对的 URL,而另一个有一个相对的 URL。用urljoin代替url_pagination和next_page。导入它

yield scrapy.Request(urljoin(response.url, item), callback=self.parse, meta=meta)

给TA打赏
共{{data.count}}人
人已打赏
未分类

Selenium argument[0].scroll.to函数第二次失效了

2022-9-9 9:32:16

未分类

是否为双线图

2022-9-9 9:32:18

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索