Methabot

Le logiciel de Methabot est une vitesse optimisée, web scriptable et hautement configurable, ftp et robot de système de fichiers local. Il prend en charge filetype scriptées analyse, une grande variété d'options de personnalisation et est facilement configuré pour s'adapter anyones besoins particuliers.
Avec l'utilisation du système de module et langage de script, les utilisateurs sont en mesure de prendre le contrôle total ou partiel du processus de ramper et de décider cependant Methabot doit stocker des données Web, des statistiques et bien plus encore.
Tout en exécutant Methabot de la ligne de commande que vous êtes en mesure filetypes configure personnalisés, le filtrage des expressions, des comportements, et bien plus encore, de sorte que vous ne devez pas être un scripteur

Caractéristiques :

• Il est rapide, conçu à partir du sol et jusqu'à une vitesse d'optimisation à l'esprit.
• scriptable grâce à Javascript avec E4X
• filtrage du type de fichier défini par l'utilisateur (selon le type MIME, extension de fichier ou l'expression UMEX)
• Multi-thread
• Hautement configurable en ligne de commande
• du système de module Extensible, soutenir les analyseurs de données personnalisées et des filtres.
• filtrage simple mais puissant d'URL par UMEX.
• le téléchargement automatisé
• Soutien à gestion automatique des cookies lors de l'exécution sur HTTP
• Fiable, la mise en réseau à tolérance de pannes
• Portable, testé avec succès sur 32-bit / 64-bit Linux 2.6, 32-bit / 64-bit FreeBSD 6.x / 7.0, Windows XP et Mac OS X. devrait fonctionner sur presque tous les OS de type Unix.

Quoi de neuf dans cette version:

• Correction, lors externe peek a été utilisé la limite de profondeur était foiré.

Correctifs utilisation
• Mémoire nettoyage

L'option
• dynamique URL est plus défini de rechercher par défaut, car il ralentit l'exploration significative
• Construire système crée maintenant et installe certains fichiers d'en-tête que les modules peuvent utiliser lors de la liaison
• outil Metha-config ajouté
• lmm_mysql déplacé à l'extérieur de ce paquet

Ce qui est nouveau dans la version 1.5.0:

• Les changements et les nouvelles fonctionnalités:
• Soutien à la lecture du tampon intial de stdin
• - options de ligne de commande de type et --base-url ajoutés, avec l'option de initial_filetype dans les fichiers de configuration
• Cookies et informations DNS est maintenant correctement partagées entre les travailleurs lors de l'exécution multithread
• Ajout de quelques exemples d'utilisation des commandes à --examples
• De grandes améliorations à la communication inter-thread, désormais plus rapide et plus organisée
• Ajout du support pour les fonctions 'init' à son exécution. En savoir plus sur les fonctions d'initialisation au http://bithack.se/projects/methabot/docs/e4x/init_functions.html
• libmetha ne gèle pas lorsque vous faites de multiples requêtes HEAD HTTP simultanées plus. La raison pour laquelle le gel avait un bug dans libcurl qui est maintenant corrigé. Certaines solutions ont été ajoutés à libmetha pour empêcher le gel de se produisant lorsque vous utilisez les versions défaut de libcurl également.
• Support pour les anciennes versions de libcurl 7.17.x et 7.16.x
• Nouvelle information est disponible dans le & quot; ce & quot; objet de javascript analyseurs, content-type et l'état de transfert de code. Lire la suite sur http://bithack.se/projects/methabot/docs/e4x/this.html
• - option verbose remplacé par --silent, depuis le mode verbose est maintenant par défaut
• Le support initial pour FTP ramper et l'option ftp_dir_url crawler
• Profondeur limitant est maintenant robot spécifique
• Ajout des options de ligne de commande et --crawler --filetype
• Le support pour étendre et dominante robots et les types de fichiers déjà définis
• Support pour le mot-clé de copie dans les fichiers de configuration
• Support pour commuter dynamiquement le robot actif, cela vous permet de ramper différents sites de manières complètement différentes en une seule session ramper. En savoir plus sur la commutation de robot à http://bithack.se/projects/methabot/docs/crawler_switching.html
• Version libev mise à niveau à 3,51
• La directive include dans les fichiers de configuration rend maintenant que le fichier de configuration inclus n'a pas déjà été chargé, pour empêcher inclure les boucles et les définitions multiples filetype / chenilles.
• Divers SpiderMonkey corrections de collecte des ordures, libmetha ne plante plus lors du nettoyage après une séance multithread
• Ajout d'informations supplémentaires pour l'option --info
• L'option «externe» est maintenant corrigé et a permis à nouveau
• Nouvelle option --spread-travailleurs
• Nouvelle API de libmetha fonction lmetha_global_setopt () permet de modifier l'erreur / message / avertissement journaliste mondiale
• Ajout de la mise en œuvre initiale d'une suite de tests pour les développeurs
• Amélioration des rapports d'erreur lors du chargement des fichiers de configuration
• Correction quand un serveur HTTP n'a pas retourné un en-tête Content-Type, après une requête HEAD
• Correction lorsque les URL de tri après les requêtes HEAD HTTP multiple
• Correction dans le html convertisseur xml lorsque la page HTML ne dispose pas d'un & lt; html & gt; tag
• Correction, l'option extless-url ne fonctionne pas
• Correction, html convertisseur xml plus étouffe sur les marques d'ordre d'octet ou tout autre texte avant la réelle HTML
• Correction, empêché libmetha d'essayer d'accéder aux URL de protocoles qui ne sont pas pris en charge
• Correction lors de l'arrêt après une erreur.
• Correction, URL insolubles n'a pas éclaté la boucle de relance après trois tentatives
• Très expérimental et un support instable pour Win32, principalement destiné aux développeurs
• De nouveaux fichiers de configuration:
• google.conf, pour effectuer des recherches sur Google
• youtube.conf, youtube chercher
• meta.conf, gravures méta-informations comme les mots clés et description de pages HTML
• title.conf, imprime le titre de pages HTML
• ftp.conf, pour l'analyse des serveurs FTP

Ce qui est nouveau dans la version 1.4.1:

• Configurer ne pouvait pas trouver jsapi.h sur certains systèmes , ce qui devrait être fixé maintenant.
• Les fichiers de configuration sont désormais en mesure de modifier chenilles et filetype drapeaux, ajouté de externe »et« external_peek 'les options
• Correction, Methabot serait parfois planter lors du nettoyage URL vides après plusieurs HEAD HTTP
• Correction d'un crash qui a eu lieu lors de l'exécution synchrone.
• système Construire inclure fix quand jsconfig.h pas pu être trouvé.

Exigences :

• têtes de SpiderMonkey
• cURL