PHPCrawl

Peut être utilisé par écrit robots de recherche (araignées) que de pages Web de mines pour des informations diverses.
PHPCrawl acquiert des informations, il a été configuré pour chercher et le transmet à des applications plus puissantes pour un traitement ultérieur

Caractéristiques :.

• Filtres pour données d'URL et Content-Type
• Définir façons de gérer les cookies
• Définir façons de gérer les fichiers robots.txt
• Limitez son activité de diverses manières

Modes
• Multi-traitement

Ce qui est nouveau dans cette version:

• Correction de bugs:
• Liens qui sont partiellement urlencoded et partiellement pas se reconstruisent / codés correctement maintenant.
• Suppression d'un var_dump de débogage inutiles () de PHPCrawlerRobotsTxtParser.class.php
• Serveur-name-indication dans TLS / SSL fonctionne maintenant correctement.
• & quot; base href & quot;. -Tags Dans les sites Web se interprétés correctement maintenant à nouveau

Quoi de neuf en version beta 0.80:

• Code a été complètement remaniée, porté sur PHP5-OO- code et beaucoup de code a été réécrit.
• Ajout de la possibilité d'utiliser l'utilisation de multiples processus à l'araignée un site Web. Méthode & quot; goMultiProcessed () & quot; ajouté.
• Nouvelle méthode Overridable & quot; initChildProcess () & quot; ajoutée pour initier les enfants-processus en utilisant le robot multi-processus-mode.
• Implementet une alternative, SQLite interne mise en cache pour les URL mécanisme permettant à l'araignée très grands sites.
• Méthode & quot; setUrlCacheType () & quot; ajouté.
• Nouvelle méthode DéfinirRépertoireTravail () ajouté pour définir l'emplacement des robots travail-répertoire temporaire manuellement. Avoisinant méthode & quot; setTmpFile () & quot; est marqué comme obsolète (n'a pas de fonction plus).
• Nouvelle méthode & quot; addContentTypeReceiveRule () & quot; remplace la méthode et ancienne quot; addReceiveContentType () & quot;.
• La fonction & quot; addReceiveContentType () & quot; est toujours présent, mais a été marqué comme obsolète.

Exigences :

• PHP 5 ou supérieur
• PHP avec le support OpenSSL