Supprimer les doublons d'un fichier texte ?

Bonjour,

Je vient de coder un petit programme en C++, qui me permet de supprimer les doublons de mon fichier texte (qui contient près de 200000 lignes). Le problème c'est que c'est vraiment très très lent. Je crois me souvenir qu'il existe une commande Linux qui permet de faire ça tout seul, un truc du genre "sort -u in.txt > out.txt" !
Bon, tout ça c'est bien sympa, mais je bosse sous Windows. Je me demande donc si il n'existe pas un equivalent windows ?

Cordialement

K. Pierre

Salut,

Tu fais erreur, la commande "sort" existe sous Windows.
Je viens de faire un text avec un fichier qui contient les noms des pays, ça à l'air de marcher :
sort pays.txt > pays2.txt

Ouvre une fenêtre DOS et tape : help sort.

Effectivement, cette commande existe bel et bien sous DOS, mais elle ne semble pas remplir la meme fonction que sous Linux. La seul chose que j'ai reussie a faire avec cette commande là, c'est reorganiser mon fichier par ordre alphabetique. De plus, l'aide n'indique rien concernant les doublons ... :(

Par "doublon", tu entends ligne complète ?

ciao...
BruNews, MVP VC++

Oui, j'entend ligne compléte. Voila a quoi ressemble mon fichier :

C:\Program Files\toto\a.exe
C:\Program Files\tata\b.exe
C:\Documents and Settings\tutu\moi.jpg
C:\Program Files\toto\a.exe
C:\test.mp3
...

Donc de temps en temps, j'ai 2 chemins qui sont identiques. Comme ici avec "C:\Program Files\toto\a.exe" qui apparait 2 fois. Je souhaiterais donc supprimer ce doublon, pour ne voir apparaire cette ligne qu'une fois. J'ai bien un petit programme en C++ qui me fait, mais ca prend des heures (des vrais heures, celle de 60 minutes hein !  ) ... !

Cordialement

K. Pierre
 

OK, j'ai un creux dans l'emploi du temps.
Vois si tu peux zipper un fichier exemple (super BIG, genre 200 000 lignes) et le mettre sur un FTP pour que je puisse tester les perfs en situation réelle.
PS: Pas envie de me burner avec la casse, sera case sensitive.

ciao...
BruNews, MVP VC++

Bah en fait, un simple "dir /b /s >  tonfichier.txt" dans la console DOS suffit. Je fait comme ca pour tester. Tu prends 10 ou 20 lignes au pif dans le fichier de sortie, tu copies / colles ici et la dans le fichier, tu obtiens a peu de chose prés mon cas de figure. Actuellement ma procedure en C++ est la suivante :

- Lecture d'une ligne de mon fichier liste
   - Je regarde si la ligne lue est presente dans mon fichier de sortie (celui où chaque ligne sera unique)
      - Si elle n'est pas presente, je l'ecris dans ce fichier de sortie et je passe la la ligne suivante de ma liste
      - Si elle est presente, je n'ecris rien et je passe a la ligne suivante de ma liste

Je ne pourrais poster mes sources que demain, le tout est au boulot ;)

Cordialement

K. Pierre

Laisse tomber tes sources, en heures pas utile...
Je vais tester sur petit et je te dirai quand sera dispo, tu testeras en situation réelle.

ciao...
BruNews, MVP VC++

http://brunews.com/LignDbl.zip

exe de 2.5 Ko dans le zip.
J'ai juste testé sur petit fichier, tu nous diras si va bon je donnerai le code.

ATTENTION: il faut mettre le fichier à traiter dans dossier du exe et le nommer a.txt, si tout ok on mettra le nom de fichier en param de la fonction (ou de l'exe).

ciao...
BruNews, MVP VC++

OUPS,
oublié de préciser que le fichier est refait sur place, pas de fichier 2 de fait.

ciao...
BruNews, MVP VC++