python-rq worker sluit automatisch

Oke ik heb het probleem gevonden. Het was vanwege de time-out van de werknemer.

try:
  --my code goes here--
except Exception, ex:
  self.error += 1
  with open("error.txt", "a") as myfile:
     myfile.write('\n%s' % sys.exc_info()[0] + "{}".format(self.url))
  pass

Dus volgens mijn code wordt het volgende domein uit de wachtrij gehaald als 200 url('s) van elk domein worden opgehaald. Maar voor sommige domeinen waren er onvoldoende URL's om de voorwaarde te beëindigen (zoals slechts 1 of 2 URL's).

Omdat de code alle uitzonderingen opvangt en wordt toegevoegd aan error.txt het dossier. Zelfs de rq timeout-uitzondering rq.timeouts.JobTimeoutException werd gepakt en aan het dossier toegevoegd. Waardoor de werker moet wachten op x hoeveelheid tijd, die leidt tot beëindiging van de werknemer.