DataCleaner

DataCleaner est une solution open source et totalement gratuit pour les organisations et les entreprises qui souhaitent accroître et de mesurer la qualité de leurs données.
Avec DataCleaner, les utilisateurs seront en mesure de profil, de comparer, de valider les données contre les règles métier, et de surveiller la progression de ces mesures dans le temps.
Parmi ses caractéristiques, on peut citer la surveillance des données, profilage et analyse de données DQ, le nettoyage des données et d'enrichissement, de détecter et de fusionner les doublons, la qualité des données du client, ainsi que ETLightweight ultra-rapide (Extract-Transform-Load).
Pour en savoir plus sur les fonctions et les capacités de DataCleaner, ainsi que la façon de travailler avec elle, s'il vous plaît se référer à http://eobjects.dk/docs

What est nouvelle dans ce communiqué :

• améliorations et nouvelles fonctionnalités:
• Nous avons fait-il possible de créer et supprimer des tables via l'interface de bureau de DataCleaner. Notez que le terme & quot; la table & quot; ici couvre effectivement plus de tables de base de données relationnelles juste. Il comprend également des feuilles dans les banques de données MS Excel, Collections dans MongoDB, types de documents dans CouchDB et ElasticSearch et ainsi de suite ... En gros tous les types de banques de données qui soutiennent écriture-opérations, à l'exception des banques de données sur une seule table, tels que les banques de données CSV, en charge cette fonctionnalité! La fonctionnalité est exposée via:
• & quot; Création de la table & quot; activé via le menu du clic droit de schémas dans l'arborescence sur le côté gauche de l'application.
• & quot; Création de la table & quot; permis aussi sur les entrées de table de sélection des composants tels que INSERT INTO table, recherche et table de mise à jour.
• & quot; & quot tableau Goutte; activé via le menu du clic droit de tables dans l'arbre sur le côté gauche de l'application.
• Nous avons ajouté (en option) la capacité de spécifier votre service Web Salesforce.com Endpoint URL. Cela vous permet d'utiliser DataCleaner de se connecter à des environnements de sandbox de Salesforce.com ainsi à vos propres paramètres personnalisés.
• Le soutien ElasticSearch a été amélioré, permettant mappings personnalisés ainsi que la réutilisation des définitions de banques de données ElasticSearch maintenant aussi pour la recherche et l'indexation.
• L'échantillonnage des dossiers et la sélection des doublons potentiels à la fonction de détection des doublons a été amélioré, conduisant à une configuration plus rapide parce que les décisions prises lors de la session de formation sont plus représentatifs.
• Le format de fichier de modèle de détection des doublons a été mis à jour qui a supprimé la nécessité d'un fichier de «référence» séparée afin de sauver les décisions de formation passées. Compatibilité avec l'ancien format a été retenu, mais en utilisant le nouveau format ajoute de nombreux avantages pour l'expérience de l'utilisateur.
• Correction de bugs:
• Une question fil de la famine a été fixé dans le moniteur DataCleaner. L'impact de cette question était grand, mais il est arrivé que dans des cas rares et très personnalisés. Si écouteur d'objets personnalisés sur l'écran DataCleaner jetterait une erreur, il en résulterait une ressource ne jamais être libéré et de prendre un thread du pool Quartz-planification sur le serveur. Si cela se produirait de nombreuses fois le serveur pourrait éventuellement manquer de discussions dans cette piscine.
• Le menu vertical sur l'écran de résultat est en train de faire un bon travail d'afficher les étiquettes des composants qui ont des résultats. Cela rend plus facile à reconnaître quel menu des points à ce résultat élément.

Quoi de neuf dans la version 3.5.7:

• La transformation 'Synonyme recherche »a maintenant une option pour rechercher tous les signes de l'entrée. Ceci est utile si vous faites le remplacement des synonymes dans les valeurs d'un champ de texte de long.
• blocage de l'exécution des travaux DataCleaner par le service Web de l'écran pour cette pouvait parfois échouer avec un bug causé par le fil de blocage. Ce problème a été corrigé.
• Une amélioration a été faite dans la façon dont les emplois et la séquence des composants sont fermés / nettoyé après l'exécution.
• Le JNLP Version / Java WebStart de DataCleaner a été exposé à un bogue dans le runtime Java causant certains fichiers ne pas être reconnus par le lanceur WebStart JAR, dans certaines circonstances. Ce problème a été résolu en faisant de légères modifications à ces fichiers JAR.
• Quelques liens morts dans la documentation a été fixé.

Ce qui est nouveau dans la version 3.5.4:

• Il est maintenant possible de masquer les colonnes de sortie des transformations . Se cacher ne sera pas affecter le flux de traitement du tout, mais simplement les cacher à l'interface utilisateur, et donc potentiellement faire l'expérience plus propre, lors de l'interaction avec d'autres composants.
• Un nouveau service web a été ajoutée à l'application Web de surveillance, ce qui fournit un moyen d'interroger l'état de l'exécution d'un travail particulier.
• Un bug a été fixé, provoquant le rapport HTML à l'échec pour certains types d'analyse lorsque aucun dossiers avaient été traités.
• et 6 autres bug mineur a été adressée.

Ce qui est nouveau dans la version 3.5.1:

• Capturer changé enregistrements:
• Un nouveau filtre a été ajouté pour permettre le traitement incrémentiel des dossiers qui ont été traités avant pas, par exemple, pour le profilage ou la copie des enregistrements que modifié. Le nom des nouveaux filtres est capture changé dossiers, se référant à la notion de capture de données modifiées.
• l'exécution en attente d'emplois:
• Le moniteur DataCleaner va maintenant la file d'attente de l'exécution de la même tâche, si elle est déclenchée plusieurs fois. Cela garantit que vous ne lancez accidentellement pas le même travail en même temps ce qui peut conduire à toutes sortes de questions, en fonction de ce que le travail fait.
• Correction de bogues:
• Plusieurs corrections de bugs a été mis en œuvre.

Ce qui est nouveau dans la version 3.5:

• Plusieurs assistants sont maintenant disponibles pour l'enregistrement des banques de données; y compris de téléchargement de fichier sur le serveur pour les fichiers CSV, entrée de connexion de base de données, l'enregistrement des titres de compétences guidée Salesforce.com et plus.
• Les assistants de construction de l'emploi ont également été étendues avec plusieurs fonctionnalités améliorées; Sélection de la distribution de la valeur et le modèle de trouver des champs de l'assistant d'analyse rapide, un tout nouvel assistant pour la création EasyDQ emplois de nettoyage à la clientèle basé et un nouvel assistant de l'emploi pour le tir emplois Pentaho Data Integration (lire la suite ci-dessous).
• Vous pouvez maintenant requêtes ad-hoc toute banque de données directement dans l'interface utilisateur Web. Cela rend plus facile d'obtenir un aperçu rapide ou sporadiques dans les données sans la mise en place des emplois ou d'autres approches gérées de traitement des données.
• Une fois que les emplois ou les banques de données sont créés, l'utilisateur est guidé à prendre des mesures à l'objet nouvellement construit. Par exemple, vous pouvez très rapidement exécuter un travail juste après qu'elle a construit, ou interroger une banque de données après qu'il est inscrit.
• Les administrateurs peuvent désormais télécharger directement des emplois dans le dépôt, ce qui est particulièrement pratique si vous voulez à la main-éditer le contenu XML des fichiers de travail.
• Une grande partie de la croûte technique est maintenant caché en faveur de montrer dialogues simples. Par exemple, quand un travail est déclenché un grand indicateur de chargement est affiché, et lorsque vous avez terminé le résultat sera affiché. L'écran d'enregistrement de pointe qui a été précédemment il peut encore être affichés lorsque vous cliquez sur un lien pour plus de détails.

Ce qui est nouveau dans la version 3.1.2:

• Nous avons ajouté un service Web dans le suivi l'application pour obtenir un (liste des valeurs métriques). Cela rend le contrôle encore plus utilisable comme un élément clé de l'infrastructure, comme un moyen de surveiller les données (qualité) et d'exposer les résultats à des applications tierces.
• La composante «recherche Table 'a été améliorée par l'ajout de rejoindre sémantique que une propriété configurable. Utilisation de la sémantique rejoindre vous pouvez modifier si vous le souhaitez la recherche fonctionne sémantiquement comme un LEFT JOIN ou un INNER JOIN.
• Les composants EasyDQ ont été améliorés, en ajoutant de nouvelles options de configuration et une interface de résultat de déduplication plus riche.
• Amélioration des performances ont été un thème spécifique de cette version. Des améliorations ont été apportées dans le moteur de DataCleaner d'utiliser davantage une approche de traitement en continu dans certains cas de coin qui ne figurait pas auparavant.

Quoi de neuf dans la version 3.1.1:

• La date et l'heure liées à des options d'analyse ont été élargis , ajoutant analyseurs de distribution pour les numéros de semaine, mois et années. Tous les analyseurs liés à la date et l'heure sont désormais regroupées au sein d'un sous-menu appelé & quot; Date et heure & quot; dans & quot; Analyser & quot;.
• Une option & quot; & quot statistiques descriptives; option a été ajoutée à l'analyseur de numéro et la date / heure analyseur. Cette option ajoute des paramètres supplémentaires pour les résultats de ces analyseurs, comme médian, Asymétrie, percentiles et l'aplatissement. Ces mesures sont facultatives depuis leur empreinte mémoire est un peu plus grand que les mesures existantes.
• Les lignes dans les tableaux de la chronologie de l'application Web de surveillance ont maintenant des petits points en eux. Ceci est particulièrement utile pour les graphiques avec quelques (ou même une seule) observations en eux -. Pour pointer exactement où les points d'observation sont
• L'analyseur de requête lors de l'appel des requêtes ad hoc ont également été sensiblement améliorée. Les requêtes peuvent maintenant contiennent des clauses distinctes, * -wildcards, sous-requêtes et sont à tolérance de panne vers les questions texte-cas.
• Deux nouveaux transformateurs ont été ajoutées pour générer les UUID et pour générer des horodateurs.

Ce qui est nouveau dans la version 3.1:

• formules métriques - élaborés qualité des données KPI:
• Il est maintenant possible de construire beaucoup plus élaborée qualité des données KPI dans l'application web de suivi de DataCleaner. L'interface utilisateur vous permet de créer des formules complexes dans un style de formule tableur; en utilisant des variables recueillies par DataCleaner emplois.
• formules métriques peut combiner un certain nombre de mesures, les constantes et les opérations, tant qu'elle peut être exprimée dans une équation mathématique.
• Par exemple - mesurer le taux de doublons en pourcentage de la nombre total d'enregistrements. Ou de mesurer la quantité de codes de produits qui sont conformes à un ensemble de plusieurs modèles de chaîne.
• Ad-hoc interrogation - de toute la banque de données:
• Avec DataCleaner 3.1 vous pouvez maintenant effectuer des requêtes ad-hoc à toute banque de données! Les requêtes peuvent être exprimées en SQL plaine et seront appliquées aux bases de données ainsi que les fichiers, bases de données NoSQL et plus, fournissant un mécanisme de requête vraiment utile de prolonger votre expérience en découverte et profilage des données.
• L'option de requête est également disponible via un service Web pour les utilisateurs de suivi avec le rôle d'administrateur. La requête est fourni en tant que paramètre de HTTP POST ou le corps, et le résultat est fourni en une table de XHTML.
• Valeur matcher - une nouvelle option d'analyse:
• Souvent, vous avez une idée solide sur laquelle les valeurs doivent être autorisés et attendus pour un domaine particulier. Dans DataCleaner il ya toujours eu l'option d'analyse valeur de distribution qui pourraient vous aider à faire valoir vos hypothèses. Dans DataCleaner 3.1 si, vous avez une offre plus précise - la valeur matcher. Cette option d'analyse vous permet de spécifier un ensemble de valeurs attendues, puis effectuez une distribution des valeurs comme l'analyse, en particulier pour valider et d'identifier des valeurs inattendues.
• copie, l'effacement et la gestion des emplois:
• Gestion des emplois et des résultats dans l'application du moniteur DataCleaner a été grandement améliorée. Vous pouvez maintenant cliquer sur un emploi dans la page de planification de l'écran, et de trouver des options de gestion disponibles pour des opérations telles que renommer, copier, supprimer et plus encore. Chaque opération respecte les liens avec d'autres artefacts dans le moniteur, tels que les résultats d'analyse, les horaires et plus. Cela signifie que la gestion du référentiel de surveillance est devenu beaucoup plus facile et mature.
• Gérer l'historique de la qualité des données:
• Parfois, vous êtes confronté à des situations où vous voulez réellement faire le suivi avec les données historiques! Il pourrait être que vous avez des sauvegardes historiques ou des sauvegardes de bases de données, que vous souhaitez montrer et raconter l'histoire de. Vous pouvez maintenant faire l'analyse de ces données historiques, le télécharger sur le moniteur DataCleaner, et en utilisant un nouveau service web, une série de données historiques de ce résultat d'analyse particulier. Cela signifie que vos échéanciers seront correctement tracer les résultats en utilisant leur date prévue, mais avec les résultats que vous avez recueillis peut-être à un moment ultérieur.
• le soutien de l'ordonnanceur en cluster (EE seulement):
• Le planificateur de moniteur DataCleaner a été externalisée, de sorte qu'il peut être remplacé par les moyens de configuration simple. Dans l'Enterprise Edition (EE) de DataCleaner, nous fournissons un ordonnanceur en cluster, offrant la possibilité de charger l'équilibre et distribuer vos exécutions sur un cluster de machines.
• simple code d'accès (SSO) en utilisant CAS (EE seulement):
• Dans l'Enterprise Edition (EE) de DataCleaner nous fournissons maintenant une option unique code d'accès pour l'application du moniteur. Maintenant DataCleaner peut être une partie intégrante de votre infrastructure IT, aussi la sécurité-sage.
• ... Et beaucoup plus:
• Le ci-dessus est simplement un résumé. Plus de trente problèmes ont été résolus dans cette version. Nous avons résolu plusieurs demandes provenant des forums et de la communauté, et nous encourageons tout le monde à utiliser ce moyen comme un véhicule pour le changement. Nous sommes très heureux de faire du développement de DataCleaner être fortement influencé par les cours d'eau dans la communauté.

Ce qui est nouveau dans la version 3.0.3:

• Ajoute un service pour renommer emplois dans le référentiel de surveillance .
• Vous pouvez accéder à cela comme un service Web RESTful ou de manière interactive dans l'interface utilisateur.
• Un service Web a été ajouté pour changer la date historique de un résultat d'analyse dans le référentiel de contrôle.
• L'application Web a été rendue compatible avec les conteneurs héritage JSF.
• La mise en cache de configuration dans l'application Web a été grandement améliorée, conduisant à plus rapides chargement de la page et d'initialisation de l'emploi fois.

Quoi de neuf dans la version 3.0.2:

• Lorsque le déclenchement d'un emploi dans l'application web de suivi, le panneau auto-rafraîchit chaque seconde pour obtenir le dernier état de l'exécution.
• les banques de données basées sur des fichiers (tels que CSV ou Excel tableurs) avec des chemins absolus sont maintenant correctement résolus dans l'application web monitoring.
• Le & quot; Choisissez parmi clé / valeur map & quot; transformateur prend désormais en charge expressions select imbriquées comme & quot; Address.Street & quot; ou & quot; les lignes de commande [0] .product.name & quot;.
• Le mécanisme table de consultation ont été optimisés pour une performance, en utilisant des déclarations préparées lors de l'exécution des bases de données JDBC.
• Les administrateurs peuvent maintenant télécharger des banques de données basées sur des fichiers directement à partir du & quot; Datastores & quot; page.
• La gestion des exceptions dans l'application web de suivi a été un peu amélioré, rendant les messages d'erreur plus précise et intuitive.