DedupeCopy

DedupeCopy est un outil multi-thread de fichiers simple copie conçu pour consolider et restructurer les systèmes de fichiers tentaculaires.
Le cas d'utilisation la plus courante est pour la sauvegarde de données dans une nouvelle mise en page, en ignorant les fichiers en double.
D'autres utilisations incluent:
& Nbsp; 1. Obtenir un fichier .csv décrivant tous les fichiers dupliqués
& Nbsp; 2. Comparaison des différents systèmes de fichiers
& Nbsp; 3. Restructuration ensembles existants de fichiers dans différentes mises en page (comme triés par extension ou la dernière date de modification)
Cet outil est * pas * un remplacement Robocopy ou rsync et ne cherche pas à remplir le rôle ceux jeu.
Comme avec tout le code qui marche une arborescence de fichiers, se il vous plaît à utiliser avec prudence et se attendre à aucune garantie!
Exemples de commandes:
& Nbsp; Générer un rapport de fichier en double pour un trajet:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p / Users / -r -m dupes.csv manifeste
& Nbsp; Copiez tous les fichiers * .jpg de plusieurs chemins à une structure de /YYYY_MM/*.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p C: images -p D: -e images jpg jpg -R: mtime -c X: images
& Nbsp; Copiez tous les fichiers à partir de deux disques à une seule cible, en préservant le chemin
& Nbsp; toutes les extensions:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p C: -p D: -c X: -m X: manifeste -R *: NO_CHANGE
& Nbsp; Reprendre une course interrompue (en supposant que "-m manifeste» utilisé dans l'essai avant):
& Nbsp; & nbsp; & nbsp; dedupe_copy.py -p / Users / -r dupes_2.csv -i manifeste -m manifeste
Séquentiellement copier différentes sources dans la même cible, ne pas copier les fichiers en double (deux sources et cibles) 1:
& Nbsp; & nbsp; & nbsp; 1.) Premier enregistrement manifeste pour tous les appareils
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; -p dedupe_copy.py \ cible part -m target_manifest
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ source1 part -m source1_manifest
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ source2 part -m source2_manifest
& Nbsp; & nbsp; & nbsp; 2.) Copiez chaque source à la cible (en précisant --compare sorte de manifeste
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; d'autres sources sont chargés, mais pas utilisés dans le cadre de l'ensemble de copier et
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; --no-pied pour sauter nouvelle analyse de la source):
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ source1 part -c \ cible part de source1_manifest -i
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; --compare source2_manifest --compare target_manifest & nbsp; --no-pied
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ source2 part -c \ cible part de source2_manifest -i
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; --compare source1_manifest --compare target_manifest --no-pied
Exemple complet:
& Nbsp; & nbsp; & nbsp;
& Nbsp; & nbsp; & nbsp; En supposant que vous commencez avec un ensemble de fichiers définis comme suit:
& Nbsp; & nbsp; & nbsp; C:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photos
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; some_photos
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo1.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo2.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo3.jpg
& Nbsp; & nbsp; & nbsp; D:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photos
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; copied_photo
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo3.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo4.jpg
& Nbsp; & nbsp; & nbsp; Et vous exécutez la commande:
& Nbsp; & nbsp; & nbsp; > Dedupe_copy.py -p C: images -p D: -e images jpg jpg -R: mtime -c X: Photos
Vous finiriez avec la suivante (photo3.jpg était un vrai double):
& Nbsp; & nbsp; & nbsp; X:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; Photos
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 2012_08
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo1.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo2.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo3.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 2012_09
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo4.jpg
Ce projet est en bitbucket: http://www.bitbucket.org/othererik/dedupe_copy

Requirements:

• Python