tri sur un fichier ASCII XYZ

[je56]

Bonjour à tous,

 

Petite question, quelqu'un aurait-il un truc pour faire un tri sur un fichier ASCII en XYZ qui contient environ 60 millions de points... c'est un MNT sur un département et j'explose COVADIS et tous les autres logiciels que j'ai trouvé en voulant l'importer.

 

Ce que je voudrais, c'est faire un tri sur les X, les Y ou encore mieux sur les deux afin de limiter le nombre de point afin de pouvoir exploiter le fichier. J'ai déjà essayé avec des tableurs mais le nombre de point empêche d'ouvrir le fichier.

 

Merci par avance pour le coup de main.

 

A +

 

Eric

 

[Eric]

Wahoo

 

60 millions de points, c'est de la balle.

 

Par curiosité ça fait quoi en taille de fichier.

 

Est ce qu'il est possible de le mettre à disposition pour voir ce qu'il contient.

 

Merci

 

Eric

 

[je56]

le fichier ASCII fait 400Mo.....

Par contre, je ne peux pas le diffuser, il y a une convention d'utilisation dessus.

 

Eric

 

Quand je dis 60 Million de points, c'est une approximation faite en fonction du nombre de ligne du fichier que j'ai réussi a ouvrir avec un éditeur de texte (qui malheureusement ne permet pas de faire de tri).

[lili2006]

Bonjour à toutes et tous,

 

Et si tu fais =>

 

1) Ouvrir Excel

2) Fichier ouvrir option "tous les fichiers (*.*)"

3) Ouverture de l'assistant Importation de texte - Étapes 1 à 3/3

 

Choisir les bonnes options suivant le rangement de tes données,...

 

Si tu ne peux pas fournir le fichier, tu peux peut-être nous montrer une ligne ?

 

Bon courage,

[bonuscad]

Bonjour,

 

Tu ne fais pas dans la "gnognote" ;)

 

que j'ai réussi a ouvrir avec un éditeur de texte

 

C'est déjà ça. Tu ne pourrais pas depuis ton éditeur faire des sauvegarde par bloc de lignes, et importer ensuite ceux-ci par vagues?

 

J'ai eu à faire ce genre de travail (par contre je ne rappelle plus le nombre total de points)

Pour ma part j'avais fais des zones de travail de même dimensions que les dalles ortho-plan de l'IGN.

 

Le fichier global de points a été fais par la suite, par insertion DECOMPOSE (Important) des dalles par un script. Ce fichier me demande environ 2-3 mn pour l'ouverture (sur une bonne machine).

Mais a vrais dire je ne me sert jamais de ce fichier beaucoup trop lourd à manipuler.

 

J'ai opté pour la gestion par dalles appelées en Xref (le mode accroche "NODAL" fonctionne très bien, que ce soit a travers les commandes ou a travers de routine lisp réclamant des points)

 

 

[je56]

réponse à lili2006.

 

je voudrais bien pouvoir l'ouvrir dans Excel mais le nombre de ligne est trop important donc plantage d'excel.

 

réponse à Bonuscad.

 

je voudrais justement scinder mon fichier ASCII pour avoir des fichiers correspondants à des dalles ortho IGN ou à des communes (a peu près)...

 

 

En tout cas merci de vous pencher sur mon probleme...

 

 

[lili2006]

Re,

 

je voudrais bien pouvoir l'ouvrir dans Excel mais le nombre de ligne est trop important donc plantage d'excel.

 

Même en faisant comme la méthode décrite plus haut ?

[bonuscad]

Si j'ai bien compris, tu as un problème d'importation des points du à la taille du fichier ASCII de départ.

 

La seule méthode que je vois possible pour toi est de scinder ce fichiers en de multiples fichiers.

Ceux-ci ne correspondront à rien au niveau de la surface couverte, mais il te permettront au moins de faire l'import par répétition et ainsi ne pas mettre à genoux AutoCAD.

 

Mais il certain que cela va être laborieux d'arriver scinder tous ceci comme tu le désire.

Cela reste faisable.

 

Pour ma part, comme j'ai un peu d'expérience, mon gabarit de travail à été fait à l'aide de scripts ET/OU de lisp.

J'ai eu des traitements qui se sont fait en plusieurs heures.

 

Pour gérer une base de cette dimension il faut être rigoureux et bien réfléchir à sa conception.

L'exploitation n'en est que faciliter par la suite.

 

Vu ta base de départ, la tache n'est pas aisée, car tu es presque obligé de passer à l'établissement complet du fichier de points sous AutoCAD pour pouvoir le scinder en zone établie.

Ça risque d'être chaud, les sauvegardes à différent points de l'avancement vont certainement servir. J'espère que le matériel est à la hauteur... et que tu aimes le café car tu risque d'avoir le temps d'en boire.

[speedy]

Bonjour à toutes et à tous

J'ai déjà eu ce type de problème, le client m'avait exporter depuis son SIG les points topos et les courbes de niveau avec un pas très rapproché......j'ai du en final le scinder avec UltraEdit text editor, les autres ne supportait pas les 300 Mo...

 

C'est quand même très long à faire et le pire c'est de l'assembler après.

Il serait plus léger s'il était en dwg.

 

@+

 

Michel a

 

 

[je56]

En fait, j'avais menti :exclam: . en le décomposant, cela me fait 680 fichiers de 10401 points donc au total, 7 072 680 points

 

Le problème avec ce découpage, c'est qu'il est réalisé selon un découpage du fichier original et donc les semis de points ne sont pas très intéressants. Et je me vois mal expliquer au chef qu'il va devoir investir une fortune en café et heures sup pour réaliser les 680 fichiers et les redécouper pour avoir un rendu intéressant....

 

 

[bonuscad]

Et je me vois mal expliquer au chef qu'il va devoir investir une fortune en café et heures sup pour réaliser les 680 fichiers et les redécouper pour avoir un rendu intéressant....

 

En même temps il ne faut pas croire que la création d'une BD quelconque d'un département complet (pour SIG ou tout autres systèmes) se construisent d'un coup de baguette magique.

 

Dans ton cas il faut avoir un peu d'expérience en script et en lisp pour pouvoir automatiser les taches répétitive sur 680 fichiers et faire les traitements dans ceux-ci de façon autonome à l'aide de lisp.

 

Sous-traiter la tâche ? Il faut investir aussi...

Se tourner vers une autre solution qu'AutoCAD? C'est pas gratuit...

 

Ce genre d'investissement demande un peu de réflexion plus poussée.

 

Un problème personnel que j'ai en ce moment est la gestion du nouveau système de projection L93 et de maintenir encore l'ancien système LIIE. Cela m'oblige à gérer un doublon supplémentaire de mes bases des données et de les tenir à jour toute deux, pour l'instant !... :(

[Charon]

 

Bonjour,

 

UN peu en retard, mais bon...

 

A priori, un tableur comme excel ne gère que 65536 lignes (environ), mais on est loin du compte par rapport à ton fichier...

 

J'aurai tendance à dire qu'une solution sans scinder le fichier initial serait de l'importer dans une base de données, laquelle n'est pas normalement limitée en nombre d'enregistrements, puis de faire une requête sur la table pour ne récupérer que les points que tu souhaites conserver dans une nouvelle table, que tu exporteras ensuite...

 

J'espère que je suis clair, car je me comprends bien, mais sais-je bien me faire comprendre ?

 

 

[SupportCova]

Bonsoir,

 

si c'est pour faire un MNT, il est possible par Covadis de créer un MT à partir d'un fichier ASCII en appliquant un filtre planimétrique. Si vous connaissez la disposition et la taille des dalles, tracer un rectangle représentant une dalle. Ensuite par la fonction de chargment de semis de point, pour les points à prendre en compte, spécifier "A partir d'un fichier" et prendre le format "gabarit", puis taper le format du gabarit. Par ex si les X, Y et Z sont séparés par des espaces, taper X Y Z comme format de gabarit.

En bas, dans le filtrage planimétrique, cocher "contour de sélection" et sélectionner le rectangle.

La lecture du fichier se limitera au point compris dans l'emprise du rectangle et le MNT sera calculé à partir de ces points là seulement. Une fois le MNT obtenu, faire un WBLOC pour le sortir dans un autre DWG, déplacer le rectangle et recommencer le chargement. Ca devrait prendre quand même un peu de temps.

Faire attention au recouvrement des dalles afin d'être sûr que les MNT seront bien jointifs.

[je56]

Merci à tous pour vos réponse..

Je vais essayer la solution de supportcova ..... quand on m'en laissera le temps ;) ;)

 

A+

 

Eric

[GAMMA12]

Essaye avec microstation, moi j'ai importer toute la cartho d'un département en XYZ

[lecrabe]

 

Hello

 

En effet je veux bien croire que tu exploses avec 7 millions de points XYZ

 

Je pense qu'il faudrait jeter un oeil au logiciel Rhino Terrain qui fonctionne par dessus Rhino 3D, il sera peut etre capable de traiter tes 7 millions de points "en un seul fichier" !?

http://www.rhinoterrain.com/

 

Le probleme c que tu as sans doute beaucoup de points inutiles: Z presque identiques

dans une zone donnee (plaine par exemple), il faudrait pouvoir les eliminer !

 

Pour Olivier (Covasupport) ou autre specialiste Covadis : est ce que Covadis (A partir de quelle version) permet de faire cette "simplification/reduction" du fichier de points ?

 

Le Decapode

 

 

[je56]

le problème, c'est que je n'ai ni microstation ni rhino3d et que la période n'est pas à l'achat de logiciel.... :cool:

 

 

Merci quand même pour les infos

 

 

Eric

[RhymOne]

Salut

Ma solution proposée Arc Gis ou ces outils; il ma deja ettoné par des gestions de ville entière et voir des pays entier .

Un *.txt de 300mo lui fait pas peur a mon avis.