Analyse automatique des règlements d'urbanisme
À quoi ça sert, au juste, tout cet effort d’analyse des fichiers PDF? D’abord, bien sûr, ça facilite la recherche, telle qu’implémentée dans SÈRAFIM (un SystÈme de Recherche Ad-hoc pour Fouiller dans les Informations Municipales) puisqu’on est capable d’indexer chaque article et chapitre individuellement - on peut ainsi comparer les dispositions par rapport aux piétons dans l’aménagement des stationnements à travers quelques villes des Laurentides, par exemple.
Mais pas juste ça! Le fait d’avoir extrait les unités semantiques des règlements nous permet d’ajouter plusieurs fonctionnalités pour en faciliter la lecture et la compréhension, dont:
- L’ajout d’hyperliens. Par exemple, dans l’article 264 du règlement de zonage de Sainte-Adèle, on peut maintenant naviguer vers le règlement de construction cité là-dedans ainsi que l’article 251 sur les aménagements piétonniers.
- La navigation structurée en-ligne. Au lieu d’avoir besoin de télécharger le PDF pour trouver un chapitre ou section spécifique, on peut voir tous les règlements dans une arborescence et expansionner pour obtenir rapidement le contenu recherché. Des hyperliens vers la page spécifique du PDF sont aussi fournis.
- Mais surtout, ça nous permet d’utiliser… 🎉des grands modèles de langage🎆 (oui, ces célèbres patentes qu’on appelle à tort de l’intelligence artificielle) pour en faire des analyses automatiques, des résumés, et d’autres manipulations.
L’analyse spécifique qu’on en fera ici est une analyse du plus proche voisin qui nous permettra de faire de façon plus efficace une analyse du type mentionné ci-haut, c’est à dire, répondre à des questions du genre «comment se comparent les dispositions par rapport à l’aménagement des -stationnements entre Sainte-Adèle, Saint-Sauveur et Prévost». (si cela vous semble une question hautement inutile, vous n’êtes sûrement pas le public cible de ce blogue)
Pour ce faire, nous utiliserons la célèbre (ou pas) logithèque SentenceTransformers pour calculer des réprésentations vectorielles (embeddings) correspondant à chaque unité sémantique dans l’ensemble des règlements. Par la suite, on peut utiliser une multiplication matricielle très rapide pour obtenir les proches voisins de chaque élément (c’est à dire les articles semblables dans d’autres règlements ou d’autres villes). C’est vraiment très simple et efficace! Par contre, pour des très grands corpus de documents, il sera nécessaire d’utiliser un outil de référencement optimisé tel que FAISS ou RAGatouille.
Analyse et extraction du texte
Préalablement on aura téléchargé un ensemble de règlements avec ALEXI. Pour faciliter la chose on se limitera à trois règlements de zonage:
- Sainte-Adèle (si le lien ne fonctionne pas, veuillez consulter les règlements d’urbanisme)
- Sainte-Agathe-des-Monts - ou ici
- Prévost (mobilité et stationnement) - ou ici
Les ayant téléchargés, on va les analyser avec ALEXI:
alexi extract *.pdf
Cela va prendre quelques minutes pour créer le répertoire export
avec plein de fichiers HTML et JSON (si vous voulez avoir plus
d’information sur ce qui se passe vous pouvez utiliser alexi -v extract *.pdf). Par exemple, on voit que tous les articles du
règlement de zonage de Sainte-Adèle se trouvent maintenant sous
export/Rgl-1314-2021-Z-en-vigueur-20240823/Article, chacun dans un
répertoire avec un seul fichier index.html.
Le texte des unités sémantiques est maintenant converti d’une forme graphique (des PDF) vers une forme moyennement sémantique (du HTML). Ce qui nous intéresse, par contre, c’est le texte brut. On peut alors utiliser BeautifulSoup ou lxml pour l’extraire de nouveau et le passer dans le modèle SentenceTransformers:
from bs4 import BeautifulSoup
def get_text(path) -> str:
with open(path) as infh:
soup = BeautifulSoup(infh)
return soup.article.text
articles = {path : get_text(path) for path
in Path("export").glob("**/Article/*/*.html")}Réprésentation vectorielle et proches voisins
Pour générer les réprésentations vectorielles (embeddings) il nous faut un modèle pré-entraîné. Il en existe plusieurs sur le site HuggingFace qui sont spécialisés pour le français, qu’on retrouve (avec plusieurs informations utiles sur leur performance) dans l’espace DécouvrIR. Pour notre démonstration on utilisera la variété le plus simple et rapide, un «Single-vector dense bi-encoder» de moins de 100M paramètres. En cochant les cases on trouve que le meilleur à date est biencoder-distilcamembert-mmarcoFR… on y va!
import sentence_transformers as st
model = st.SentenceTransformer("antoinelouis/biencoder-distilcamembert-mmarcoFR")Il nous reste qu’à transformer (lolle) les textes extraits en vecteurs ou plus précisément en une matrice. Pour ce faire on va les énumérer et retenir les indices pour faire la correspondance entre documents et rangées de cette matrice:
artidx = {path: idx for idx, path in enumerate(articles)}
idxart = list(articles)Par la suite on calcule les vecteurs:
embeddings = model.encode(list(articles.values()), convert_to_tensor=True,
show_progress_bar=True)Sur une carte graphique GT1030, qu’on peut acheter usagée autour de 75
$, cela prend environ 30 secondes. Enfin, on utilise la fonction
semantic_search pour trouver les plus proches voisins de chaque
rangée de la matrice (c’est instantané):
neighbours = st.util.semantic_search(embeddings, embeddings, top_k=20)Pour voir ce que cela donne pour l’article 264 mentionné ci-haut, on va trouver le vecteur correspondant à cet article, puis ensuite afficher les plus proches articles qui ne viennent pas du même règlement:
import textwrap
# la rangée qui correspond à l'article 264 du règlement 1314-2021-Z
srcpath = Path("export/Rgl-1314-2021-Z-en-vigueur-20240823/Article/264/index.html")
idx = artidx[srcpath]
for n in neighbours[idx][1:]:
neighbour_idx = n["corpus_id"]
dstpath = idxart[neighbour_idx]
if dstpath.parts[1] == srcpath.parts[1]:
continue
print(idxart[neighbour_idx])
print(textwrap.fill(articles[idxart[neighbour_idx]].strip()[0:250]), "...")
print()On voit que le modèle a bel et bien trouvé des articles pertinents:
export/RUD_T6_VR/Article/6.4.6.3/index.html
Article 6.4.6.3 Aménagement d’une aire de stationnement extérieure de
15 cases ou plus En plus des dispositions de l’article précédent, les
dispositions suivantes s’appliquent à toute aire de stationnement de
15 cases ou plus. L’aménagement d’une ai ...
export/RUD_T6_VR/Article/6.4.6.4/index.html
Article 6.4.6.4 Aménagement d’une aire de stationnement extérieure de
100 cases ou plus En plus des dispositions des articles précédents,
une aire de stationnement pour véhicule de 100 cases et plus doit
respecter les dispositions suivantes : 1° une ...
export/RUD_T6_VR/Article/6.4.9.1/index.html
Article 6.4.9.1 Nombre de cases de stationnement pour véhicule
automobile Tous les usages principaux doivent disposer d’un
stationnement hors rue d’une capacité minimale et maximale conforme
aux dispositions du présent article. Cette exigence est co ...
export/RUD_T6_VR/Article/6.4.5.1/index.html
Article 6.4.5.1 Aménagement d’une aire de stationnement extérieure de
moins de 3 cases ou allée de stationnement Une aire de stationnement
extérieure de moins de 3 cases ou une allée de stationnement doit
respecter les dispositions suivantes : 1° el ...
export/Reglement-2009-U53-fevrier-2024/Article/12.1.7/index.html
Article 12.1.7 Accès aux aires de stationnement (modifié, règlement
numéro 2011-U53-18, entré en vigueur le 2011-07-21) (modifié,
règlement numéro 2011-U53-21, entré en vigueur le 2011-12-15) Toute
case de stationnement doit être implantée de telle ...
Ce qu’on voit aussi est que la plupart des articles les plus similaires viennent du règlement de Prévost. Ceci nous indique que le règlement de zonage de Prévost (2024) serait plus similaire à celui de Sainte-Adèle que celui de Sainte-Agathe (2009).
Recherche semantique
Bien sûr, rien nous empêche de comparer autre chose que des articles des règlements. On peut également convertir des questions ou d’autres documents en vecteurs. Si par exemple on voulait savoir quelles articles ressemblent aux normes proposées par le CRE Montréal pour le stationnement écoresponsable en matière de verdissement… on peut le faire! Il faut simplement télécharger et extraire le texte de cette page:
import requests
r = requests.get("https://reglementaction.com/verdissement-du-stationnement/")
soup = BeautifulSoup(r.content)Puis le transformer avec le modèle et faire semantic_search sur les
règlements:
tvec = model.encode(soup.text)
for n in st.util.semantic_search(tvec, embeddings)[0][0:4]:
neighbour_idx = n["corpus_id"]
score = n["score"]
print(score, idxart[neighbour_idx])
print(textwrap.fill(articles[idxart[neighbour_idx]].strip()[0:500]), "...")
print()Et on trouve des dispositions potentiellement intéressantes dans les règlements:
0.413027286529541 export/Rgl-1314-2021-Z-en-vigueur-20240823/Article/188/index.html
Article 188 Compensation de la surface végétalisée minimale par des
espaces de stationnements perméables La surface d’une portion d’un
espace de stationnement situé à l’intérieur du périmètre urbain conçu
à l’aide de pavés alvéolés ou de gazon renforcé avec dalle alvéolée
peut être comptabilisée dans le calcul de la surface végétale minimale
par un ratio de 50% (exemple : 100 m2 de stationnement en dalle
alvéolé peut donc représenter un crédit de 50 m2 de surface
végétalisée). La surface ainsi ...
0.38985273241996765 export/Rgl-1314-2021-Z-en-vigueur-20240823/Article/267/index.html
Article 267 Ilot de verdure Un espace de stationnement hors rue
extérieur comportant 20 cases ou plus doit être aménagé de façon à ce
que toute série de 20 cases de stationnement adjacentes soit isolée
par un îlot de verdure conforme aux dispositions suivantes : Un îlot
de verdure doit respecter les dimensions suivantes : une largeur
minimale de 2 mètres; une superficie minimale de 25 mètres carrés pour
les cases aménagées en rang double, soit dos-à-dos; une superficie
minimale de 13 mètres car ...
0.3851878046989441 export/RUD_T6_VR/Article/6.1.2.6/index.html
Article 6.1.2.6 Agrandissement majeur d’un bâtiment Un agrandissement
majeur représentant 25 % ou plus de la superficie de plancher du
bâtiment principal, mais moins de 100 % de cette superficie peut être
réalisé malgré l’existence d’un aménagement d’une aire de
stationnement dérogatoire pourvu que les conditions suivantes soient
respectées : 1° dans le cas d’une aire de stationnement extérieure de
15 cases et plus, l’aire de stationnement doit être réaménagée de
manière à respecter les exigenc ...
0.3690324127674103 export/RUD_T6_VR/Article/6.4.4.1/index.html
Article 6.4.4.1 Revêtement d’une aire de stationnement Une aire de
stationnement extérieure doit être recouverte par l’un des matériaux
de revêtement suivants qui peuvent être perméables ou non, le cas
échéant : 1° l’asphalte; 2° le béton; 3° le pavé d e béton; 4° le pavé
de béton avec alvéoles végétalisées ou remplies de poussières de roche
ou de pierres concassées. Une aire de stationnement située dans une
zone de type T1, T2 ou ZP.1 et ZP.3 peut être recouverte de gravier. ...
On peut également extraire les règlements modèles de la page et chercher les articles similaires (ce qui marche mieux lorsqu’on a une plus grande collection de règlements).
Conclusion
J’ai fait un survol très rapide de ce qu’on est capable de faire avec une extraction sémantique et structurée du texte d’un PDF de règlement, et comment c’est facile de faire des analyses en utilisant SentenceTransformers.
Dans des futurs billets on regardera l’agglomération des articles, la possibilité d’entraîner un modèle spécifique pour ce domaine, ainsi que la possibilité de faire une comparaison quantitative entre règlements pour des critères spécifiques par rapport à l’environnement.