Sourdine mesure la résistance d’une chaîne d’alerte au masquage d’alarme : des attaques qui ne visent pas l’agent supervisé, mais l’observateur, en étouffant ou en supprimant un signal qui aurait dû lever une alarme.
Le banc est autonome et jetable : il monte sa propre cible éphémère (Prometheus et Alertmanager en conteneurs isolés, ou un modèle en mémoire), joue un catalogue de scénarios étiquetés et calcule ses métriques. Il ne touche jamais une supervision de production. Tout y est synthétique.
Le banc évalue un détecteur de référence heuristique, volontairement imparfait. Il n’évalue pas le produit SentinelleIA ; aucun chiffre publié ici n’est « celui de SentinelleIA ».
Filiation
Sourdine s’inscrit dans la lignée des attaques par dissimulation formalisées sur les systèmes de contrôle industriel par Erba et Tippenhauer (ACSAC 2020, ACSAC 2022). Ces travaux attaquent le maillon détection en falsifiant des séries de capteurs ; Sourdine attaque le maillon alerte en abusant des primitives d’Alertmanager (inhibition, silence, regroupement, coupure de collecte), dans le domaine de la supervision d’agents IA. Trois axes de démarcation : le maillon attaqué, le domaine, le mécanisme.
Ce que contient le banc
| Élément | Version 0.14.0 |
|---|
| Scénarios | 47, un fichier JSON par scénario, catalogue ouvert |
| Scénarios d’attaque | 26, couvrant 22 vecteurs |
| Scénarios sains | 21 : contrôles de cohérence et pièges à faux positif |
| Protocole | deux passes par scénario, sans détecteur puis avec |
| Mesures | suppression réussie, rattrapage, faux positifs, suppression résiduelle, plus un contrôle de cohérence |
| Cibles | sim (modèle en mémoire, déterministe) et docker (vrais conteneurs Prometheus, Alertmanager, exporter synthétique, récepteur de notifications) |
| Détecteur évalué | baseline-heuristic-v1, derrière une interface où brancher tout autre détecteur |
Résultats de référence (v0.14.0)
| Cible | Suppression réussie | Rattrapage | Faux positifs | Suppression résiduelle | Cohérence |
|---|
| sim | 100 % (26/26) | 84,6 % (22/26) | 9,5 % (2/21) | 15,4 % (4/26) | 100 % |
| docker | 88,5 % (23/26) | 82,6 % (19/23) | 9,5 % (2/21) | 15,4 % (4/26) | 100 % |
Lecture sans embellissement : les deux faux positifs sont les mêmes depuis la version 0.1.0, et la baisse du taux au fil des versions vient du dénominateur (6 scénarios sains en 0.1.0, 21 en 0.14.0), pas du détecteur. L’ensemble résiduel en simulation est fermé à quatre attaques depuis la version 0.6.0, dont la dissimulation statistique complète, marginalement indétectable par construction. En conteneurs, l’ensemble résiduel diffère et trois attaques ne masquent pas ; ces écarts de fidélité sont nommés et expliqués dans la documentation du banc.
Disponibilité
Le code et le harnais (licence Apache 2.0), les scénarios, les échantillons gelés et la documentation de méthode (licence CC BY 4.0) sont publiés sur un dépôt public, avec un DOI Zenodo attribué à chaque version. Les liens vers le dépôt et le DOI sont ajoutés sur cette page le jour de la publication.
Citer Sourdine
Auteur : Quoc-Nam Nguyen (Apex Numeris SAS, Lyon). Titulaire des droits : Apex Numeris SAS. Titre de l’enregistrement Zenodo : Sourdine : banc d’attaques de masquage d’alarme pour la supervision d’agents IA / Sourdine: alarm-masking attack benchmark for AI agent monitoring. Le dépôt fournit un fichier CITATION.cff ; le DOI de concept, commun à toutes les versions, est celui à citer.
Contact
Quoc-Nam Nguyen, qnn@apex-numeris.com.
Mentions légales
- Éditeur
- Apex Numeris SAS, société par actions simplifiée, Vénissieux, France. SIREN 990 397 960. Courriel : contact@apex-numeris.com.
- Directeur de la publication
- Le représentant légal d’Apex Numeris SAS.
- Hébergement
- OVH SAS, 2 rue Kellermann, 59100 Roubaix, France.
- Données personnelles
- Ce site ne dépose aucun cookie, n’embarque aucun traceur ni ressource tierce et ne collecte aucune donnée par formulaire. Les journaux techniques du serveur (adresse IP, page demandée, horodatage) servent à la sécurité et à l’exploitation ; ils sont conservés quatorze jours.
- Marque
- Sourdine est une marque déposée par Apex Numeris SAS.
Sourdine measures how well an alerting chain resists alarm masking: attacks that do not target the monitored agent but the observer, by muffling or suppressing a signal that should have raised an alarm.
The benchmark is self-contained and disposable: it brings up its own ephemeral target (Prometheus and Alertmanager in isolated containers, or an in-process model), plays a catalogue of labelled scenarios and computes its metrics. It never touches production monitoring. Everything in it is synthetic.
The benchmark evaluates a heuristic baseline detector, deliberately imperfect. It does not evaluate the SentinelleIA product; no figure published here is “SentinelleIA’s”.
Lineage
Sourdine belongs to the line of concealment attacks formalised on industrial control systems by Erba and Tippenhauer (ACSAC 2020, ACSAC 2022). Those works attack the detection link by forging sensor time series; Sourdine attacks the alerting link by abusing Alertmanager primitives (inhibition, silence, grouping, collection cutoff), in the domain of AI agent monitoring. Three axes set it apart: the link under attack, the domain, the mechanism.
What the benchmark contains
| Element | Version 0.14.0 |
|---|
| Scenarios | 47, one JSON file each, open catalogue |
| Attack scenarios | 26, covering 22 vectors |
| Healthy scenarios | 21: coherence controls and false-positive traps |
| Protocol | two passes per scenario, without the detector and then with it |
| Measures | successful suppression, catch rate, false positives, residual suppression, plus a coherence control |
| Targets | sim (in-process model, deterministic) and docker (real Prometheus, Alertmanager, synthetic exporter and notification receiver containers) |
| Detector under evaluation | baseline-heuristic-v1, behind an interface where any other detector can be plugged in |
Reference results (v0.14.0)
| Target | Successful suppression | Catch rate | False positives | Residual suppression | Coherence |
|---|
| sim | 100 % (26/26) | 84.6 % (22/26) | 9.5 % (2/21) | 15.4 % (4/26) | 100 % |
| docker | 88.5 % (23/26) | 82.6 % (19/23) | 9.5 % (2/21) | 15.4 % (4/26) | 100 % |
How to read these figures, without embellishment: the two false positives have been the same since version 0.1.0, and the drop in the rate across versions comes from the denominator (6 healthy scenarios in 0.1.0, 21 in 0.14.0), not from the detector. The residual set in simulation has been closed at four attacks since version 0.6.0, including full statistical concealment, marginally undetectable by construction. In containers the residual set differs and three attacks do not mask; these fidelity gaps are named and explained in the benchmark documentation.
Availability
The code and harness (Apache License 2.0), the scenarios, the frozen samples and the method documentation (CC BY 4.0) are published in a public repository, with a Zenodo DOI assigned to every version. The links to the repository and to the DOI are added to this page on publication day.
Citing Sourdine
Author: Quoc-Nam Nguyen (Apex Numeris SAS, Lyon, France). Rights holder: Apex Numeris SAS. Zenodo record title: Sourdine : banc d’attaques de masquage d’alarme pour la supervision d’agents IA / Sourdine: alarm-masking attack benchmark for AI agent monitoring. The repository ships a CITATION.cff file; the concept DOI, shared by all versions, is the one to cite.
Contact
Quoc-Nam Nguyen, qnn@apex-numeris.com.
Legal notice
- Publisher
- Apex Numeris SAS, a French simplified joint-stock company, Vénissieux, France. SIREN 990 397 960. E-mail: contact@apex-numeris.com.
- Publication director
- The legal representative of Apex Numeris SAS.
- Hosting
- OVH SAS, 2 rue Kellermann, 59100 Roubaix, France.
- Personal data
- This site sets no cookie, embeds no tracker or third-party resource and collects no data through forms. The server’s technical logs (IP address, requested page, timestamp) serve security and operations; they are kept for fourteen days.
- Trademark
- Sourdine is a trademark filed by Apex Numeris SAS.