sql >> Database >  >> RDS >> Mysql

Python Scrapy - vul start_urls in vanuit mysql

Een betere benadering is om de start_requests methode.

Dit kan uw database opvragen, net zoals populate_start_urls , en retourneer een reeks van Request voorwerpen.

U hoeft alleen uw populate_start_urls te hernoemen methode om start_requests en wijzig de volgende regels:

for row in rows:
    yield self.make_requests_from_url(row[0])


  1. Ontsnappen van speciale tekens in to_tsquery

  2. Failover-ondersteuning voor een DB

  3. Hoe voorwaarden te controleren en tekst in orakelformulieren voor tekstbestanden te schrijven

  4. Hoe kan ik deze SQL-instructie converteren naar Django QuerySet?