From 00d367da4179583155c1edb7116d2d5e75dc0899 Mon Sep 17 00:00:00 2001 From: Leonardo Robol Date: Wed, 28 Oct 2009 20:47:55 +0100 Subject: [PATCH] Messo un controllo per salvare l'esecuzione in caso di errori di rete --- spidy.py | 13 ++++++++----- 1 file changed, 8 insertions(+), 5 deletions(-) diff --git a/spidy.py b/spidy.py index ff96166..7299992 100755 --- a/spidy.py +++ b/spidy.py @@ -361,22 +361,25 @@ class Crawler(threading.Thread): if page.exhausted: break - - self.waitingforpage = False - if debug >= 1: debug("Analyzing page %s" % str(page), 1) - # Come prima cosa devo fare il parsing dei # link che ci sono nella pagina # Diamo una mixata per simulare meglio # il caso.. dato che tanto è probabile che # alcuni link rimarranno non visitati! - links = get_links(page) + try: + links = get_links(page) + except: + ## Questo potrebbe andare male se per caso la rete + ## va giù o simili. A costo di non avere dati esatti + ## mettiamo la pagina così com'è, ovvero assumiamo + ## che non abbia link + links = -1 ## A questo punto io che mi occupo della pagina devo ## aggiungere tutti i link alla pagina -- 2.1.4