Aller au contenu principal
Nettoyage

Suppresseur de lignes dupliquées

Supprimez les lignes répétées par égalité JavaScript exacte et sensible à la casse en gardant la première occurrence, l'ordre, les espaces et les fins de ligne. Pratique pour dédoublonner des logs, listes d'emails, clés API ou exports de bases de données. Rapide, déterministe et sans effet de bord.

Outils texte

En bref

Dédupliquez du texte par ordre d’insertion Set ; casse, espaces, normalisation Unicode et lignes vides restent significatifs.

Fonctionnalités prises en charge

  • Tout texte séparé par CRLF/LF ; la ligne complète avec espaces et casse sert de clé.
  • Un Set garde la première occurrence exacte dans l’ordre ; l’aperçu direct peut se mettre à jour automatiquement.
  • La sortie se télécharge en unique-lines.txt et le statut estime le nombre retiré.
  • Normalisez la casse si justifié, dédupliquez puis triez avec Text Sorter.
  • Non, seule la déduplication exacte est faite et l’ordre initial reste.

Comment utiliser Suppresseur de lignes dupliquées

Réalisez un flux Suppresseur de lignes dupliquées vérifiable dans ce navigateur.

  1. 1

    Étape 1

    Fournir l’entrée exacte

    Tout texte séparé par CRLF/LF ; la ligne complète avec espaces et casse sert de clé.

  2. 2

    Étape 2

    Régler les contrôles disponibles

    Seul Aperçu direct est disponible ; aucun mode sans casse, trim, tri ou suppression des vides.

  3. 3

    Étape 3

    Exécuter l’opération

    Un Set garde la première occurrence exacte dans l’ordre ; l’aperçu direct peut se mettre à jour automatiquement.

  4. 4

    Étape 4

    Vérifier le résultat

    Testez séparément « Apple », « apple », « apple » précédé d’un espace et une ligne vide.

  5. 5

    Étape 5

    Continuer ou exporter

    Normalisez la casse si justifié, dédupliquez puis triez avec Text Sorter.

Erreurs fréquentes

Dédupliquer des enregistrements CSV ou de journal contenant des retours à la ligne

Conséquence: Chaque limite CRLF ou LF devient une valeur indépendante ; un enregistrement multiligne cité est donc découpé et dédupliqué par fragment plutôt que par enregistrement.

Correction: Analysez d’abord le format structuré puis fournissez une valeur de comparaison complète par ligne physique.

Trier avant la déduplication alors que l’ordre de première apparition a un sens

Conséquence: Le Set conserve la première occurrence dans l’ordre reçu. Un tri préalable change cet ordre et perd la position ou la priorité originale de chaque ligne retenue.

Correction: Dédupliquez d’abord la séquence intacte, vérifiez l’ordre retenu, puis triez le résultat unique.

Oublier ce cas limite : Pourquoi deux lignes visuellement identiques restent-elles ?

Conséquence: Une normalisation Unicode ou un espace invisible différent produit une autre chaîne.

Correction: Normalisez Unicode/espaces avant seulement si ces différences sont sans importance.

Bonnes pratiques

  • Testez séparément « Apple », « apple », « apple » précédé d’un espace et une ligne vide.
  • Normalisez Unicode/espaces avant seulement si ces différences sont sans importance.
  • Gardez la source car normaliser peut fusionner des enregistrements distincts.

Flux de travail liés

Dédupliquer une liste avant de la trier

Convertisseur de casse de texteSuppresseur de lignes dupliquéesTrieur de texte

Normalisez la casse si justifié, dédupliquez puis triez avec Text Sorter.

  1. Conserver une copie intacte avec l’ordre d’origine
  2. Normaliser casse, Unicode ou espaces seulement si ces différences sont volontairement négligeables
  3. Supprimer les doublons exacts et vérifier la première occurrence conservée
  4. Envoyer le résultat unique à Text Sorter seulement lorsque la provenance n’est plus nécessaire

Limites du navigateur

  • Une normalisation Unicode ou un espace invisible différent produit une autre chaîne.
  • Entrée, clés du Set et sortie coexistent en mémoire.
  • FileReader décode les fichiers importés comme texte.

Ressources de référence

ECMAScript Set ObjectsÉditeur: Ecma International · Révisé: 2026-07-26ECMAScript String ObjectsÉditeur: Ecma International · Révisé: 2026-07-26

Exemples concrets

Entrée
apple banana apple Apple
Résultat
apple banana Apple

Le second apple minuscule disparaît ; Apple reste distinct.

Questions fréquentes

Les espaces, la casse et les lignes vides font-ils partie de la clé ?

Tout texte séparé par CRLF/LF ; la ligne complète avec espaces et casse sert de clé.

Pourquoi deux lignes visuellement identiques restent-elles ?

Une normalisation Unicode ou un espace invisible différent produit une autre chaîne.

Les lignes restantes sont-elles triées ou normalisées ?

Non, seule la déduplication exacte est faite et l’ordre initial reste.

Comment confirmer quelle occurrence répétée a été conservée ?

Testez séparément « Apple », « apple », « apple » précédé d’un espace et une ligne vide.

Les listes collées ou importées sont-elles téléversées ?

Texte et Set restent dans le navigateur sans téléversement ; hors ligne après cache.

Faut-il trier la liste avant ou après la déduplication ?

Normalisez la casse si justifié, dédupliquez puis triez avec Text Sorter.

Confidentialité et fonctionnement hors ligne

Texte et Set restent dans le navigateur sans téléversement ; hors ligne après cache.