[Tramber]

Ah ouais, j'ai eu de la chance avec mes recherches.
Un autre au hasard :
www.cadxp.com/topic/12565
je tombe bien sur :
http://cadxp.com/top...e-moniteur-out/

Désolé mon truc ne marche pas à chaque fois mais il marche 3 fois sur 4 essais

[Tramber]

Je viens de faire plein d'essais qui fonctionnent avec des numéros au hasard
Pour ceux qui ne fonctionnent pas, je ne sais ce qui se passe.

Tiens google s'est énervé et m'a demandé si j 'étais un robot !

[Fraid]

Citation

Tiens google s'est énervé et m'a demandé si j 'étais un robot !

j'avais prévenu, hihihihi

[Fraid]

je commence par regrouper les méthodes qui vont bien.
ferais des essais peut etre ce soir, sinon demain soir.
vous tiens au jus.

sinon, j'ai eu peur, mon Netbeans est planté, heureusement j'ai Eclipse qui tiens la route.

[Fraid]

pour les curieux, je vais partager mon aventure.

1er mission objets que j'ai déja programmé et qui vont nous aider (all is object in java)
l'aspirateur

//Copie du code HTML d'une page Internet dans un fichier texte   
    static void coo (String url,String fich) {
    
    
    try {   
        
        HttpURLConnection conn = (HttpURLConnection) new URL(url).openConnection();//Creation de l'objet qui va se connecter au site
        conn.connect();//Connection au site
    
        BufferedInputStream textaecrire = new BufferedInputStream(conn.getInputStream());//Creation de l'objet qui va recevoir le flux
 
        FileOutputStream capture = new FileOutputStream(new File(fich));//Creation du fichier qui va recevoir la lecture du flux
        int i;
        while ((i = textaecrire.read())!= -1){
             
        capture.write(i);
        }
        capture.close();
        textaecrire.close();
        conn.disconnect();
     } catch (Exception e) {e.printStackTrace(); System.out.println("Vérifiez votre connexion ou site indisponible");}
    
    }

Le casseur de page

static void kasHtml (String fich1, String fich2 ) {
        
        try {
            BufferedReader text1 = new BufferedReader(new FileReader(fich1));
            BufferedWriter sortie = new BufferedWriter(new FileWriter(fich2));
            String line;
            while ((line = text1.readLine()) != null) {
                line = line.trim();
                line = line.replaceAll ("\\>\\<", "\\>\\\n\\<");           
                sortie.write(line);
            }
            text1.close();
            sortie.close();
        }catch (Exception e) {e.printStackTrace(); }
        
    }

Je vais récupérer tout d'abord la liste des forums et sous/forum

a pluch

[Fraid]

Citation

...Maman, y a le troll dans la matrice...

on remet a demain les éventuels testes

[Patrick]

Je dispose d'une sauvegarde de la base SQL faite le 1er avril 2008 (non ce n'est pas une blague)
Ca doit correspondre à peu près à la photographie du site avant sa refonte par le nouveau propriétaire.
Je pourrais la mettre à disposition, mais uniquement au nouveau propriétaire puisque cette base contient l'intégralité des données dont je ne suis plus propriétaire.

[Fraid]

Bonjour Patrick,

Si l'Admin n'est pas disponible, cela ne vas pas faire avancer le Schmilblick...

je continue malgré tous mes investigations, cela me fait réviser le Java au moins.
et passer du lisp au java c'est sportif.

donc petit footing du lundi matin

Récupération de la liste des forums que je vais explorer,
si le serveur hébergeant le site me laisse faire...

package cadxplink;

import java.io.BufferedInputStream;
import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.FileReader;
import java.io.FileWriter;
import java.io.IOException;
import java.net.HttpURLConnection;
import java.net.URL;
import java.util.ArrayList;

public class cadxplink {

	public static void main(String[] args) throws FileNotFoundException, IOException {
		
		String FICHIER = ("c:\\Data\\CADXP\\Accueuil.txt");
		String BAL1 = ("<a href=\"http://cadxp.com/forum/");
		String BAL2 = ("\" title='Aller au forum");
		ArrayList<String> listforum =  new ArrayList<String>();
		listforum = antiDoublon(textEntre2Balise(FICHIER, BAL1, BAL2));
		BufferedWriter TEXTFORUM = new BufferedWriter(new FileWriter("c:\\Data\\CADXP\\Forums.txt"));
		for (int i=0; i<listforum.size(); i++) {
			String str = listforum.get(i);
			TEXTFORUM.write(str);
			TEXTFORUM.newLine();
		}
		
		TEXTFORUM.close();

	}//Fin du main
public static ArrayList<String> textEntre2Balise(String texteAlire, String bl1, String bl2) throws FileNotFoundException, IOException {
    	 ArrayList<String> liste =  new ArrayList<String>();
        String lin = "";String Texte = "";int pas = 0;
        BufferedReader text = new BufferedReader(new FileReader(texteAlire));
        while ((lin = text.readLine()) != null) {
            if (lin.indexOf(bl1) != -1 && lin.indexOf(bl2) != -1) {
                lin = lin.substring(lin.indexOf(bl1)+ bl1.length(),lin.length());
                lin = lin.substring(0,lin.indexOf(bl2));
                
                if (pas > 0) Texte = Texte + ", " + lin; else Texte = lin;
            }
            pas++;
        }
        text.close();
        liste = stringListToArraylist(Texte, ",");
        return liste;
    }
    public static ArrayList<String> stringListToArraylist (String texteAlire, String separateur) {
        
        ArrayList<String> liste =  new ArrayList<String>();

           String lecture =  texteAlire;int bOb =0;
           int indexV = texteAlire.indexOf(separateur);
           while (indexV != -1){
               
               liste.add(lecture.substring(0, indexV));
               lecture = lecture.substring(indexV+2);
               indexV = lecture.indexOf(separateur);
               if (indexV== -1){liste.add(lecture);bOb = 1;break;}
           }
           if (bOb==0)liste.add(texteAlire);
        return liste;
    }
    
    public static ArrayList<String> antiDoublon(ArrayList<String> al) {
        
    	ArrayList<String> al2 = new ArrayList<String>();
        for (int i=0; i<al.size(); i++) {
            String o = al.get(i);
            if (!al2.contains(o))
                al2.add(o);
        }
        al = null;
        return al2;
    }
}

j'ai préalablement enregistrer la page d'accueuil avec un clic droit afficher le code...et appliquer vite fait le casseur qui est plus haut(qui permet d'interroger le texte plus facilement.

c'est sur ce même principe que je vais essayer de récupérer les liens.

[Tramber]

Euh, Fraid, fais un peu de place à la conversation en mettant plutôt un lien car le Java pour moi c'est plutôt Danse et Musique et pour les autres... sans nier l'intérêt.
Je lis bien ton code en général mais n'y mets pas le nez en particulier.
Imagine ceux qui ne font même pas de prog tout court
Dis-nous plutôt ce que tu nous prépares comme automate une fois les données collectées ?

[Fraid]

T'inquiete, le principale est déjà la, comptais pas en mettre +, ce n'est que l'utilsation en boucle et profondeur aprés.

en tout cas, 1er tests réussis, je ne me fait pas jeter par le serveur,(200 requetes en 1 seconde)

en final, si ce que j'entreprend est réalisable, ce n'est pas encore sur, on auras un fichiers textes comme le cahiers des charges demandé, lien mort;lien vif

reste à découvrir comment l'utiliser sans l'admin.???

[Fraid]

ça avance, mais 2 neurones viennent de se connecté, quand je vais lancer ma turbine je vais très certainement rendre le site inaccessible...

vais donc attendre ce soir.
et vous prévenir avant.
incapable de savoir le temps que cela va prendre...10mn, 1 heures, pense pas +

[Fraid]

je lance la récupation des posts
cela ne fonctionne pas, tenté du récursif...même en java, j'ai du mal.
a toute
c'est partis pour 25heures...
mais sa n'as pas l'air de trop ralentir le site

[Fraid]

46 642 posts à fouiller maintenant
ils on mis 4 heures; 2,8 GO

comme j'ai du taf today, je pense que la liste demandée seras la ce soir.
par contre, pas moyens de savoir si mon algo à tout ramasser
il y a les posts à plusieurs pages qui m'on embêté, à cause d'une légère différence de mise en forme aléatoire des numéros de pages.

[Fraid]

je continue, mon monologue public...

suis pas loin de la routine finale.

je ne vais pas etre exhaustif, impossible.

des liens sont sans le titre.
donc pas moyen de retrouver l'original

ensuite, il y des titres semblables...
ce seras plus pour demain
en plus il y du caractères a gérer avec les titres
en tout cas j'avance
pour l'instant cela reste possible, mais pas complet.

[didier]

Coucou

Je pense tout de même qu'il aurait fallu attendre l'avis, l'action, l'autorisation de Cadmin pour faire de genre de truc, non ?
Il ne se fait pas beaucoup entendre sur ce coup où on cherche à améliorer à sa place

[Fraid]

Coucou to,

De toutes façon, sans lui on ne peut rien faire sur le site.
Rien nous empêche en attendant de lui filer un coup de main en lui fournissant la liste. Il n'auras plus qu'a chercher / remplacer.

[Cadmin]

Bonjour

Pour vos "liens morts", j'avoue ne pas savoir s'il existe une solution. De plus, la maîtrise d'IP Board n'est pas évidente.

Si une solution cohérente est proposée, nous regarderons en interne, si quelqu'un peut gérer.

Merci de préciser, si ce problème est récurent depuis longtemps ??? le maximum d'infos simples.

Bonne journée

[philsogood]

hello,
le problème existe depuis le basculement du forum que vous avez initié il y a qqs années
Phil

[didier]

Coucou

Un grand merci à Cadmin d'avoir répondu,

• à mon message privé
• sur le site, car j'ai du mal avec le mot "communauté" mais c'est une autre histoire

Oui, les liens morts ça date, ce qui date aussi c'est le dépôt de fichiers dwg (ce qui est un comble pour un site sur AutoCAD) sur le site, les forums, et en dernier lieu le dépôt d'image
Plein de petites choses à régler, de notre côté on continuera à faire vivre le site mais sans aide de votre part il pourrait y avoir de la désaffection.

Amicalement

[Fraid]

Bonjour,

Une mauvaise nouvelle, je n'irais pas plus loin que Google (je bosserais dans la Silicon Valley sinon)
trop d’exceptions, le code généré par leur fucking soft est trop imprévisible.
en plus, aucun moyen de savoir si j'ai récupéré l'ensemble des posts.
Voila
si quelqu’un est intéressé par ma capture, un mp et je lui envois un lien.
cela m'auras permis de progresser en Java.
vivement qu'il existe une API pour Autocad.
la pomme va surement aider.
tcho