Aller au contenu

Chaîne de données

De Wiki Alseno

Chaîne de données

Une mesure traverse six étapes avant d'aider à décider :

capteur ──LoRa──> passerelle ──Internet──> TTN ──webhook──> API ──> base de données ──> tableau de bord

Chaque étape peut perdre, déformer ou dupliquer une mesure. Cette page explique comment l'éviter, avec l'exemple de l'API qui reçoit les données chez Alseno Tech (Laravel et MySQL).

Les étapes

  1. Capteur : mesure et envoie une trame de quelques octets. Voir Capteur de sol.
  2. Passerelle : relaie la trame avec ses mesures de signal. Voir Passerelle LoRaWAN.
  3. TTN : authentifie, déchiffre, décode. Voir TTN.
  4. Webhook : TTN envoie un message JSON à votre API. Voir l'exemple c du Kit de démarrage.
  5. API et base : normalise, déduplique, stocke.
  6. Tableau de bord : affiche l'état, l'historique, le conseil d'arrosage.

Un modèle de données qui absorbe tout

Nous avons rendu l'API indépendante du réseau : TTN et ChirpStack décrivent la même réalité avec des noms différents, on les normalise une fois. Ajouter un réseau, c'est ajouter une classe de lecture, rien d'autre ne bouge.

Les tables : réseaux → applications → appareils → réceptions → mesures.

  • La table des mesures est en clé/valeur (grandeur, valeur, unité). Un capteur qui remonte une grandeur nouvelle est stocké sans migration ni changement de code.
  • Une table dédiée garde une ligne par passerelle ayant entendu le paquet, avec RSSI, SNR et position. C'est la matière première de la cartographie de couverture (Couverture radio), conservée sans effort supplémentaire.
  • La trame brute est toujours conservée. Un décodeur peut se tromper (le nôtre a déjà transformé un compteur de paquets en humidité) : sans le brut, on ne peut rien rejouer.
  • Un indicateur est un capteur sépare les vrais capteurs des appareils de test (mouchards de couverture). Sans lui, notre ancienne base avait enregistré 130 lignes d'humidité du sol qui étaient un compteur de paquets. Un appareil inconnu est créé comme capteur et journalisé, pour correction à la main.

Dédoublonner

TTN peut renvoyer un message, et un import peut être rejoué. L'empreinte d'un message est un SHA-256 de (réseau, appareil, compteur de trame, horodatage). Le compteur seul ne suffit pas : il repart à zéro après une nouvelle connexion de l'appareil. Conséquence agréable : tout import est rejouable sans risque.

Authentification et jetons d'ingestion

  • L'envoi de données exige une clé, passée dans un en-tête HTTP. Une clé par source, révocable individuellement, éventuellement limitée à un réseau.
  • Les clés sont hachées en base (SHA-256) : la fuite de la base ne livre pas les clés.
  • Limitez le débit par adresse (ici 600 requêtes par minute).
  • La lecture des données est protégée à part (OAuth). Notre première version répondait aux lectures sans aucune authentification depuis Internet ; on ne refait pas l'erreur.
  • Répondez 200 aux messages inconnus ou déjà reçus (voir TTN) ; 401 seulement si la clé est mauvaise.
  • Derrière un relais HTTPS (proxy), configurez la confiance en l'en-tête d'adresse d'origine, sinon l'application fabrique des liens en http:// et les journaux montrent l'adresse du relais.

Sauvegarder une base SQLite en mode WAL

Si vous démarrez avec SQLite (comme l'exemple c), ne sauvegardez jamais en copiant le fichier : en mode WAL, des lignes valides peuvent encore être dans le fichier annexe -wal (4 Mo non fusionnés dans un de nos cas). Utilisez l'API de sauvegarde, qui produit une copie cohérente même pendant l'écriture :

import sqlite3

# Copie cohérente de la base, même si le webhook écrit en même temps.
source = sqlite3.connect("mesures.db")
copie = sqlite3.connect("mesures-sauvegarde.db")
with copie:
    source.backup(copie)
copie.close()
source.close()

Pour une base appelée à grossir ou à servir plusieurs utilisateurs, passez à MySQL ou PostgreSQL ; le modèle de tables ci-dessus reste le même.

Filtrer le bruit avant de décider

Avant d'envoyer des mesures à un conseil d'arrosage : ignorez les appareils qui ne sont pas des capteurs, ignorez les valeurs hors plage, et signalez les capteurs muets (un capteur est « périmé » après quatre messages manqués, par exemple vingt minutes pour un envoi toutes les cinq minutes).

Voir aussi

Agriculture de précision · Kit de démarrage · Pièges et leçons