Technologie - 🤖

1019 readers

14 users here now

Ici concerne le champs de domaine large de la technologie : actualités sur l'informatique, partage de programme informatique et de code, montrer vos projets Arduino, ect.

Mégafil ici

Le pass BnF pour accéder à la presse : https://jlai.lu/post/4214444
https://archive.is/ pour accéder aux articles avec paywalls
!tipiak@anarchist.nexus pour les ISOs d'Ubuntu

founded 2 years ago

MODERATORS

Creer des flux rss avec FreshRss et XPath (jlai.lu)

submitted 2 years ago by obercail@jlai.lu to c/technologie@jlai.lu

6 comments fedilink hide all child comments

Bonjour à tous,

Depuis la dernière mise à jour de FreshRss, il est possible de faire du scrapping de site web avec xpath afin de créer des flux rss pour les sites qui n'en n'ont pas.

Plus de détail ici : https://danq.me/2022/09/27/freshrss-xpath/

J'ai mis en place ce principe pour récupérer des infos sur le site de la mairie et celui de la com'com.

Je bloque sur un troisième, le site de l'office de tourisme (pour récupérer l'agenda culturel). J'aurais besoin d'aide afin de m'en dépatouiller. Je ne sais pas si je suis au bon endroit. Mais si vous savez vers quelle communauté je pourrais me tourner pour résoudre ce soucis, n'hésitez pas à me le dire.

Un peu de contexte.

Lors de son chargement, le site de l'office de tourisme charge dans un premier temps le html, mais sans les événements de l'agenda. Ces événements sont présents sur la page, mais dans une balise script sous forme d'un json stocké dans une variable item.

Une autre requête POST est ensuite effectuée avec en paramètre ce json pour le mettre en forme (html) puis l'insérer dans le corps de la page.

À partir de là, le scrapping se complexifie, auriez-vous une idée de comment récupérer ce json pour le transformer en quelque chose qui ressemblerais à un flux atom/rss/json ?

Je pensais faire un script bash, mais je suis un peu perdu avec xmlint, xisdel et jq.

C'est peu être un peu ambitieux, qu'en pensez-vous ?

you are viewing a single comment's thread
view the rest of the comments

[–] obercail@jlai.lu 0 points 2 years ago (1 children)

Oui item est rempli lors du premier GET celui de la page html. Mais pas la div censé contenir les évènements est vide. Un POST est ensuite fait avec le contenu du json de la balise item.

Ca me parait très sale, bon après je suis pas dev web et je connnais pas les contraintes de dev.

Merci en tout cas, je m'y repencherais peut-être un peu plus tard, (Avec du scripting bash ou python) en attendant, j'ai scrappé les actualités des mairies alentours, mais c'est un peu moins bien, jme retrouve pollué avec des infos qui me concerne pas directement.

[–] Sushouane@jlai.lu 3 points 2 years ago

Si c'est bien ce que tu décris, c'est juste teubé je pense, les contraintes du dev web y sont pas pour grand chose. C'est con, ton Json dans le script ça doit être grosso merdo ce que tu voudrais dans ton flux RSS...