Spidr

Le script peut fonctionner sur une seule page, site web, plusieurs domaines ou même non-stop.
SPIDR est conçu pour être rapide et facile à utiliser

Caractéristiques :.

• Restaurer la file d'attente de spidering et l'histoire d'une session précédente .
• des chaînes personnalisées User-Agent.
• paramètres de proxy personnalisée.
• support HTTPS.


• suit:
• un balises.
• balises iframe.
• balises frame.
• Cookie liens protégées.
• HTTP 300, 301, 302, 303 et 307 redirections.
• Meta-Refresh redirections.
• HTTP Basic Auth liens protégées.

URL liste noire ou liste blanche sur la base de:
• schéma d'URL.
• Nom d'hôte
• Le numéro de port
• lien complet
• extension d'URL


• Fournit rappels pour:
• Chaque visité la page.
• Chaque URL visité.
• Chaque URL visité qui correspond à un modèle spécifié.
• Chaque origine et la destination d'un lien URI.
• Chaque URL qui n'a pas réussi à être visité.


• Fournit des méthodes d'action à:
• Pause spidering.
• Passer traitement des pages.
• Passer traitement des liens.

Ce qui est nouveau dans cette version:

• Catch OpenSSL :: :: SSL exceptions SSLError lorsqu'ils sont lancés HTTPS Sessions.