Stockage, analyse spatiale et transformation de coordonnées

[Olivier Eckmann]

Bonjour,

 

J'avais posé la question sur les forums US ICI mais sans réponse, je vous expose mes interrogations.

 

La BD Alti (IGN) est fournie à titre gratuit sous forme de dalles (grilles) de points connus en Z tous les 75m couvrant toute la France. Ces données sont au format ASC (Grid ESRI) avec des grilles de 1000*1000 points. Il y a 160 dalles pour couvrir la France soit 160Millions de points. Ces points sont connus en coordonnées Lambert93.

 

J'envisage de développer une appli qui demande de sélectionner une poly fermée dans AutoCAD, trouver tous les points inclus dans cette zone et de construire le MNT correspondant. Le but serait de pouvoir produire un résultat en restant sous les 2 minutes de traitement.

 

Avant de me lancer, je suis à la recherche d'expérience sur le stockage de ce type et volume de données:

- est-ce que je dois garder les 160 fichiers et les utiliser en brut? Ou bien les stocker dans une base spatiale PostGIS, SQLite?

- est-ce que j'ai intérêt à utiliser un algo de recherche de points dans un polygone? D'utiliser la requête spatiale de la BD? d'utiliser l'API FDO pour la requête spatiale à travers AutoCAD MAP?

- Etant donné que l'on travaille avec plusieurs systèmes de coordonnées différentes, mais jamais le Lambert93, est-ce que j'ai intérêt à convertir ma base de points en Latitude/Longitude ou à conserver le Lambert93. Je pensais utiliser les algo de changement de système d'AutoCAD MAP, à moins que d'autres API libre soit plus performantes?

 

Si quelqu'un à un début d'info sur quoique ce soit, je suis preneur.

 

Merci

 

Olivier

[vincentp010]

Salut,

 

Cette idée avait déjà germée dans ma tête il y a quelques temps.

 

Pour moi, le plus rapide pour le traitement serait une base de données.

Si je met tout dans le même fichier texte, j'ai 9143569 point et 180Mo de fichier, ça fait un peut lourd pour tester toutes les lignes.

 

Après je ne connais pas grand chose en base spatiale, mais on doit pouvoir interroger un point pour savoir s'il est dans un polygone.

 

Il faudrait faire des tests pour voir ce qui serait le plus rapide.

[Olivier Eckmann]

Salut,

 

Aujourd'hui j'ai déjà un programme pour lire les grid ESRI et les convertir en XYZ avec ou sans suppression d'un point sur 2 ou 3...

Partant d'une grille de 1Millions de points (10Mo) ça génère un fichier XYZ (10Mo) en 2 secondes environ en local et 6 secondes à travers le réseau.

L'idée de rester en grille me semblait pas mal, car ça me permettait de tester rapidement si la grille est dans l'emprise de la poly AutoCAD et de ne traiter que les points des grilles incluses. J'imagine que c'est ce que font les index spatiaux des base de données.

 

Par contre pour les transformations de coordonnées, je ne sais pas trop. Pour passer du Lambert 93 au RGF93.CC pas de souci, on est sur le même ellipsoïde, c'est rapide, par contre la transformation en NTF Lambert zone est assez catastrophique, environ 10 fois plus lente.

 

Olivier

[x_all]

slt.

j'ai pas d'expérience de gestion de base de données, et n'ai qu'une vague idée des performance de PostGIS, SQLite.

mais en tant qu'utilisateur de ces données j'avais trouver leur système de numérotation bien fichu. les nom des fichiers sont codé pour qu'on retrouve leur point sur une grille. Il me semble que faire un 1er trie pour savoir de quelles dalles on a besoin, ça diminuerai pas mal les temps de calculs. à moins de faire de trés grosse sélections.

[GEGEMATIC]

salut,

j'ai pratiqué un peu mapserver, et j'avais trouvé que les bases postgresql étaient très rapides

comme on peut les piloter en ligne de commande, avec Gdal, donc créer une ligne de commande pour gdal ne doit pas être compliqué ?

en tout cas, c'est à comparer avec Autocad map, qui reste très lent.

Gégé

[Olivier Eckmann]

Bonjour,

 

Merci pour vos réponses, je pense que je vais rester dans un premier temps à traiter les dalles telles qu'elles ont définies.

Un premier tri des dalles selon leur emprise afin de ne tester que les dalles "intéressantes" devraient être assez rapide.

Je dois monter un serveur PostGIS cet été, j'essaierais de voir ce que ça donne. Comme je n'ai encore jamais programmé avec la couche FDO, j'en profiterais pour essayer, ce sera un bon exercice.

J'avais lu un articlede Norma Yuan qui expliquait comment implémenter la couche spatiale de SQL Serveur avec seulement 2 DLL à référencer. J'essaierais de voir aussi de ce côté.

Pour la transformation de coordonnées, je vais essayer avec MAP, mais je vais tester aussi en externe pour voir si je peux m'en affranchir.

 

Je vous tiens au courant des avancées et des résultats.

 

Olivier