map openstreetmap

[mothsart]

Hello les primtuxovores,

Depuis un petit moment, la map openstreetmap de Primtux me pose un soucis de sécurité.
Je m'explique : tout le monde peut l'édité tel un wiki ce qui est bien en soit mais ce qui veut aussi dire que n'importe qui peut y mettre le bronx (volontairement ou non).
Je trouve que ça commence à devenir une chouette vitrine de l'implémentation de Primtux en France et il serait dommage de perdre ça un jour pour des raisons "stupides".

J'ai donc pour idée de créer un dépôt git qui collecterais régulièrement (un bête cron) le fichier json avec toutes les données. (en réalité, j'ai déjà créé ce petit script en python pour être sur de la possibilité de la chose)
à chaque nouveau déclenchement, il effectuerais la récupération des données, la comparera au dernier fichier archivé.
Si rien n'a bougé, on ne fait rien.
Si au contraire, ça à changé, il met à jour le fichier puis crée un nouveau commit dans la foulée.

Jusqu'à là, vous me direz que l'intérêt est sans doute minime mais j'aimerais en faire autre chose :
créer à partir de ses données des chiffres :

le nb d'utilisateurs de Primtux, le nb pouvant aider etc et en faire un petit fichier html avec pourquoi pas un graphique montrant la progression depuis les premières collectes.

Ce contenu HTML pourra être visible directement sur Primtux.fr via une petite édition (normalement, une <iframe> devrait suffire).
On devrait par conséquent, avoir des données assez fraiches sur le site via cet astuce.

La seul question un peu délicate étant de savoir ou ce script sera croné.
Si c'est possible de faire ça sur l'hébergeur de Primtux.fr, ça serait idéal... sinon, je pense que je mettrais ça sur un rpi @home qui tournerais h24. (j'ai de toute façon pour idée d'avoir un rpi qui me fasse pas mal d'opé de ce genre)

[Philippe Dpt35]

Il est vrai que je n'ai pas trouvé d'historique de l'édition de la carte, comme sur un wiki, et qui permettrait de revenir à une situation antérieure en cas de mauvaise manipulation.

[Steph]

On peut mettre un cron sur le serveur.

[mothsart]

On peut mettre un cron sur le serveur.

Ah, c'est cool ça.

J'ai avancé dessus et j'ai récupéré les infos :

nombre d'utilisateurs de Primtux (points verts) : 140
nombre de personnes qui peuvent aider à l'utilisation (points bleus) : 4
nombre de personnes qui peuvent aider à l'utilisation et à l'installation (points rouges) : 32

[mothsart]

Je viens de terminer le script. Le dépôt : https://framagit.org/mothsart/umap
Voici les instructions pour le mettre en place :

1. Il faut python3 et la dépendance "requests" (dispo soit via apt soit via "pip install requests").
2. Il faut disposer de git sur le serveur (pareil, via apt)
3. Il va falloir cloner le dépôt soit via un compte framagit soit via un compte créé pour l'occasion.
4. Il faut ajouter une clé ssh sur le serveur correspondant à l'utilisateur du dépôt pour que le push ne demande pas de login/mdp.

soit sur le serveur faire "ssh-keygen -t rsa -b 2048 -C "unmail@example.com" puis récupérer le contenu de clé publique dans "/home/user/.ssh/id_rsa" et la coller dans https://framagit.org/profile/keys + cliquer sur "ajouter une clé".

5. paramétrer ton cron pour qu'il lance le script "./recup" : on peut allé jusqu'à toutes les heures ce qui est largement suffisant : perso, je conseillerais 1 ou 2 fois par jour pour l'instant... amplement suffisant.

Je me suis appliqué pour bien commenter le script : ça peut être intéressant.

Ce qu'il fait :

1. il récupère les fichiers d'archives du plus récent au plus vieux
2. il récupère le contenu (fichier json) de l'archive la plus récente
3. il récupère (fichier json) d'openstreetmap
4. il compare les 2 fichiers : si ils sont identiques, c'est que l'on a déjà la version actuelle et on arrête le script.
Dans le cas contraire, la map a changé et on enregistre le nouveau fichier
5. il analyse ces données et on les mets en forme (HTML)
6. il crée le commit correspondant aux changements et le pousse sur le dépôt

[Steph]

Bon là il faut que je vérifie parce que c'est du mutualisé, pas sûr que tout soit faisable.

[mothsart]

ah oui, mince. Au pire, c'est pas grave. Comme dis, je peux mettre sur une rpi.

Et on peut créer une page de formulaire web en php (ou autre techno) ? parce que je pense qu'à l'avenir ça serait mieux de remplir la carte via un formulaire : ça permettrait de collecter plus de données du genre :
- nb de postes installés
- différentiation entre utilisation familial, école, médiathèque etc.

[Steph]

On ne peut pas faire un cron qui télécharge simplement les données avec le bouton d'export?

[Steph]

Là je l'ai verrouillée, il n'y a que moi, mhep et zoom61 qui pouvons l'éditer.

[Philippe Dpt35]

L'intérêt ne résidait-il pas dans le fait que tout à chacun pouvait y inscrire son établissement ?

[Steph]

CARTE DES MEMBRES POUVANT AIDER ET DES ÉCOLES SOUS PRIMTUX
Merci de vous y inscrire en nous envoyant un email si vous souhaitez y apparaître.

[Philippe Dpt35]

Tu changé les droits alors, parce qu'avant je pouvais accéder à l'édition. C'est moi qui avais d'ailleurs auparavant réalisé la légende et fait les modifications de couleurs de balises en conséquence.

[Steph]

Je viens de le faire, mais tu peux très bien être éditeur, il suffit d'avoir un compte. Il faut savoir ce qu'on veut: si tout le monde peut éditer, on s'expose mais on peut peut-être avoir plus de point / sinon on risque d'avoir moins d'école mais plus de sécurité.
Est-il besoin d'un script de sauvegarde alors qu'on peut ajouter des éditeurs? Un script avec un rpi qui tourne 24/24 n'est -il pas une mesure démesurée?

[mothsart]

On ne peut pas faire un cron qui télécharge simplement les données avec le bouton d'export?

Ben, c'est grosso modo ce que ça fait sauf que ça garde l'historique, récupère et met en forme les données et les pousse sur git.

Là je l'ai verrouillée...

Je pense que c'est mieux.
Je ne sais pas la proportion d'édition de notre part et extérieur mais j'imagine que celle extérieur est assez marginal.

Est-il besoin d'un script de sauvegarde alors qu'on peut ajouter des éditeurs? Un script avec un rpi qui tourne 24/24 n'est -il pas une mesure démesurée?

Pour l'instant, je vais le mettre sur mon ordi de dev avec un cron par jour.
Je vais de toute façon mettre en place une rpi qui va tourner h24 pour x taches. Si je rajoute celle-ci, se sera une goutte dans l'océan.

Donc l'objectif 1 de "protéger les saisies malheureuses est résolu.
Je réitère ma question sur la possibilité d'utiliser un formulaire de saisie en php et une table sql (en général mysql sur du mutualisé).
L'idée serait d'utiliser ce point d'entrée pour formater les données à mettre sur la map et du coup pouvoir récolter des stats plus probantes.

[mothsart]

N'ayant plus les droits, c'est possible de rajouter :

Je représente le Centre Hospitalier Alpes Isère, qui dans le cadre de son projet RSE de réhabilitation des postes vétustes, a décidé de mettre en œuvre l’industrialisation de la distribution de PrimTux auprès des écoles du 38 dont voici la liste pour les première livraisons en cours :

• Ecole de Burcin, 311 route du Triève 38690 BURCIN
• Ecole Jeanne d’Arc, 6 Rue du Bourg Neuf 38480 Pont de Beauvoisin
• Ecole Soeur Emmanuelle, 7 rue des moulins 38590 St Etienne de St Geoirs
• Ecole primaire, 160 rte Village 38490 Charancieu
• Ecole élémentaire de la Romanche, 765 La Commanderie, 38220 Notre-Dame-de-Mésage
• Ecole de SECHILIENNE, 119 rue de l'ALS, 38220 SECHILIENNE
• Ecole Pierre et Marie Curie, 3 rue Général Charlot - 38500 Voiron
• Ecole élémentaire Louis Pergaud, 441 rue Vercors Le Bourg - 38210 St Quentin sur Isère

Vous pouvez nous référencer ainsi :

Notre localisation
CH ALPES ISERE
3 rue de la gare
38120 St Egreve

Direction des systèmes d’information du CH Alpes Isère
La direction des systèmes d’information du Centre Hospitalier Alpes-Isère déploie PrimTux dans le cadre de son projet RSE, auprès des écoles élémentaires/primaires.

[Steph]

Je l'ai fait.

[mothsart]

Ah, mince, t'as du le faire avant mon script... je voulais qu'il se déclenche

[Steph]

Quand j'ai eu le message, ça fait un moment.

[ThierryM]

Adieu a totes,

Je viens de me rendre compte que je ne peux plus rajouter des infos sur la carte umap. Du coup, comment fait-on ?
Cordialement,

Thierry

EDIT :
Mon identifiant sur umap.openstreetmaps : ThierryM (comme ici ).

[Philippe Dpt35]

Je veux bien avoir également les droits que j'ai perdus pour ajouter des données sur cette carte !

[Steph]

Thierry c'est bon mais Philippe je ne te trouve pas.

[Philippe Dpt35]

Sans doute parce que je n'ai pas eu les droits depuis que ça a été restreint.

[Steph]

Non, je ne te trouve pas sur openstreetmap, les droits d'édition pour tout le monde je les ai enlevés, mais quand j'entre PhilippeDpt35 personne ne m'est proposé.

[Philippe Dpt35]

Ah, OK. Je pense que c'est parce que je ne suis pas inscrit sur openstreetmap. Je n'avais pas percuté sur cette sans doute nécessaire inscription à partir du moment où on met en place des droits restreints.
Je fais une inscription.

[Philippe Dpt35]

En fait si, j'étais inscrit depuis très longtemps puisqu'à une époque (lointaine) j'avais activement participé à l'édition de données cartographiques.
Je suis sous Philippe Dpt35, avec un espace entre Philippe et Dpt35.