GOOGLE ADS

Donnerstag, 28. April 2022

Wie können Sie Ihrem eigenen Template in scrapy/zyte ein neues Spider-Argument hinzufügen

Ich arbeite an einer kostenpflichtigen Proxy-Spider-Vorlage und hätte gerne die Möglichkeit, ein neues Argument in der Befehlszeile für Scrapy Crawler zu übergeben. Kann mir bitte jemand sagen wie man das macht? Vielen Dank.


Lösung des Problems

Dies ist erreichbar, indem kwargsSie die __init__-Methode Ihrer Spinne verwenden:

import scrapy
class YourSpider(scrapy.Spider):
name = your_spider
def __init__(self, *args, **kwargs):
super(YourSpider, self).__init__(*args, **kwargs)
self.your_arg = kwargs.get("your_cmd_arg", 42)

Nun wäre es möglich, die Spinne wie folgt aufzurufen:
scrapy crawl your_spider -a your_cmd_arg=foo

Weitere Informationen zum Thema finden Sie auf dieser Seite in der Scrapy-Dokumentation.

Keine Kommentare:

Kommentar veröffentlichen

Warum werden SCHED_FIFO-Threads derselben physischen CPU zugewiesen, obwohl CPUs im Leerlauf verfügbar sind?

Lösung des Problems Wenn ich das richtig verstehe, versuchen Sie, SCHED_FIFO mit aktiviertem Hyperthreading ("HT") zu verwenden, ...