Scénarios

Les graphiques présentant les principaux résultats sont tous accessibles en scrollant. Cliquez sur les menus déroulants pour obtenir plus d’informations.

Avant d’explorer les modélisations

Quel intérêt à étudier la fiabilité des scénarios de modélisations ? (cliquer pour dérouler)

Dans un cas de figure où les scénarios de modélisation sous-estiment l’évolution de l’épidémie (A), le risque est de ne pas réagir, ou pas assez. Inversement, si les scénarios surestiment l’évolution de l’épidémie (B), le risque est de surréagir et notamment de prendre trop de mesures aux effets délétères sans qu’elles soient justifiées. En effet, la plupart des mesures de freinage de l’épidémie (confinement, couvre-feu, fermeture de classes, fermetures de lieux publics) ont des impacts sanitaires, sociaux et économiques négatifs. Par conséquent, surréagir face à l’épidémie n’est pas une bonne chose (de même que ne pas réagir assez).

Une explication plus détaillée est disponible sur la page Impact.

L’intérêt des modélisations n’est-il pas d’empêcher qu’elles se produisent ? (cliquer pour dérouler)

Un argument souvent entendu au sujet des scénarios de modélisation est le suivant : comme le scénario permet d’anticiper le pire, il mène à prendre des mesures qui vont justement empêcher que le scénario modélisé se produise, ce qui explique le décalage entre le scénario de modélisation et la réalité (où des mesures de freinage ont été prises!). Effectivement, il n’est pas possible d’établir une comparaison dans ce cas de figure.

Cependant, les scénarios de modélisation intègrent souvent plusieurs hypothèses sur les mesures de freinage qui pourraient être mises en place. Ici, nous ne comparerons la réalité qu’avec des scénarios où les mesures de freinage mises en place avaient aussi été modélisées.

Ainsi, la comparaison entre scénarios de modélisation et réalité permettra bien d’évaluer si ceux-ci ont bien anticipé la réalité.

A titre d’exemple, l’Institut Pasteur a produit des scénarios le 7 juillet 2021 dans le contexte de la 1ère vague delta. L’annonce de la mise en place du pass sanitaire le 12 juillet rend la comparaison de ces scénarios à la réalité illégitime. En revanche il est possible de comparer les scénarios ultérieurs du 26 juillet et du 5 août.

Retour sur les principaux scénarios de modélisation

1. Mars 2020, les modélisations qui ont conduit le monde à se confiner

Contexte (cliquer pour dérouler)

En mars 2020, l’incertitude sur les conséquences qu’allaient avoir le covid-19 était grande. Lorsque l’Italie a commencé à être fortement touchée à la mi-mars, de nombreux pays européens ont réalisé que le covid-19 allait avoir un impact significatif. Pour anticiper l’évolution de la pandémie, les décideurs se sont tournés vers le domaine de la modélisation épidémiologique.

Une équipe de scientifiques de l’Imperial College (Londres), menée par le Professeur Neil Ferguson, a notamment publié le 16 mars le rapport qui a conduit de nombreux gouvernements européens, dont le gouvernement français, à confiner leur pays. Les scénarios présentés dans le rapport anticipaient, en l’absence de mesures strictes, de l’ordre de 500 000 morts en moins de 3 mois au Royaume-Uni, et des chiffres similaires pour la France. La mise en œuvre de mesures standard telles que celles prévues dans les plans de préparation à la pandémie (stratégie d’atténuation) entraînerait 250 000 décès. Selon le rapport, seule la mise en œuvre de mesures plus strictes pour supprimer le virus (comme le confinement) permettrait de contenir la vague et serait le seul moyen d’éviter la saturation du système hospitalier. Selon les chercheurs, le confinement représentait “l’option politique privilégiée”. Se fiant à ce rapport, les gouvernements ont pour beaucoup choisi de mettre en place des mesures de confinement.

Bien évidemment, les projections décrivant ce qu’il devrait se passer en l’absence de mesures ne peuvent être comparées avec ce qui s’est réellement passé dans les pays confinés. C’est d’ailleurs un contre-argument commun : c’est précisément grâce aux mesures que les scénarios de modélisation pessimistes ne se sont pas réalisés.

Cependant, un pays permet de tester la validité des scénarios de modélisation : la Suède. Lors de la première vague, la Suède a choisi de ne pas se confiner, préférant se reposer des mesures plus légères. Il est donc possible de comparer ce qu’anticipaient les modélisations pour la Suède et la réalité.

Comparaison à la réalité (cliquer pour dérouler)

L’appendice du rapport 12 de l’Imperial College, publié le 26 mars, contient des modélisations de l’épidémie en Suède.

Les 2 premiers graphiques représentent les pics de lits occupés en réanimation et à l’hôpital. Les barres grises représentent les scénarios de l’Imperial College : confinement strict précoce, confinement strict tardif, et aucune mesure. Les barres rouges représentent la réalité. La Suède ayant mis en place des mesures de distanciation sociale sans pour autant imposer un confinement, les chiffres observés auraient dû se trouver quelque part entre les scénarios confinement et aucune mesure.

Alors même que la Suède n’a PAS confiné sa population, les scénarios AVEC confinement surestiment le pic de lits utilisés d’un facteur 2 à 10. Un scénario avec des restrictions plus légères devrait se situer entre les scénarios confinement et le scénario aucune restriction, ce qui donne une surestimation d’un facteur 10 à 60.

La dernière figure présente en gris les différents scénarios de l’Imperial College relatifs à la mortalité, et en rouge le nombre de morts réels. Là encore, les scénarios surestiment largement la mortalité. Le nombre de morts réels correspond au scénario de confinement précoce, ce qui n’a évidemment pas été l’approche suivie par la Suède. Les scénarios intermédiaires de distanciation sociale surestiment quant à eux la mortalité d’un facteur 3 à 7.

Pic de réanimation

Pic hospitalier

Décès

Impact politique et médiatique (cliquer pour dérouler)

Ces modélisations furent un des principaux éléments déclencheurs du confinement national français, ainsi que dans d’autres pays. Dans son rapport du 12 mars 2020, le Conseil Scientifique, s’appuyant sur les résultats de l’Imperial College, avance ainsi que les mesures classiques utilisées pour limiter la propagation des épidémies ne permettraient pas de réduire suffisamment la circulation du virus, impliquant la nécessité d’un confinement strict

“On ne s’attend pas à ce que la réduction de la taille du pic épidémique soit suffisante pour éviter une saturation du système de santé. (…) Cette intuition a été illustrée à travers la réalisation d’un modèle COVID19 particulier (Neil Ferguson, communication personnelle)“

Extrait du rapport du Conseil Scientifique du 12 mars 2020

Les figures présentées ci-dessus montrant que ces modèles surestimaient largement ce qui se passait avec des mesures classiques de contrôle des épidémies, cette affirmation était potentiellement fausse.

L’influence politique de ces modélisation se poursuit bien après mars 2020. Lorsqu’en juillet 2021 le Tribunal Constitutionnel espagnol a déclaré inconstitutionnel le premier confinement, le président espagnol a répliqué en assurant que ce dernier avait sauvé 450 000 vies en Espagne.

Ce n’est pas moi qui le dit, mais des études scientifiques indépendantes qui l’établissent : grâce à ce confinement, 450 000 vies ont été sauvées. Nous avons perdu la vie de plus de 27 000 de nos compatriotes, mais nous avons sauvé la vie de 450 000 personnes.

Président du gouvernement espagnol, Pedro Sánchez

Si la source de ce chiffre n’est pas précisée, elle correspond bien au scénario pessimiste ne rien faire de l’appendice du rapport 12 de l’Imperial College appliqué à l’Espagne. Le cas de la Suède interroge cette affirmation. En effet, si le gouvernement suédois avait confiné sa population, il aurait pu affirmer à l’image du ministre espagnol que son action avait sauvé 90 000 personnes. Nous savons qu’il n’en est rien, le bilan réel sans confinement étant de 5 000 morts, soit 18 fois moins.

Discussion sur les hypothèses des scénarios (technique) (cliquer pour dérouler)

Pour les décès, l’Imperial College a développé 4 scénarios :

  1. Aucune mesure
  2. Atténuation : distanciation sociale de la population de manière uniforme (40% de réduction des contacts)
  3. Atténuation bis : comme 2. mais en augmentant la distanciation sociale des plus de 70 ans (réduction des contacts de 60% pour cette catégorie)
  4. Suppression des transmissions : distanciation sociale élargie et intense (réduction de 75% des contacts de l’ensemble de la population).

Il est impossible de mesurer la réduction de contacts effective, mais les données de mobilité peuvent fournir une approximation. En Suède, la fréquentation des lieux de travail, gares, et des lieux de commerce et loisirs a été réduite au maximum de 30-45%, et celle des magasins alimentaires et pharmacies de 10-15%. Cela semble confirmer que la Suède ne penchait pas vers le scénario 4, mais plutôt vers une atténuation légère. Pour comparaison, en France, la fréquentation des lieux de travail, de commerce et de loisir a été réduite de 70-90% et celle des magasins alimentaires de 50%, ce qui est aligné avec le scénario 4 de confinement.

Bien que n’étant pas réalistes, nous avons fait le choix de représenter les scénarios aucune mesure pour plusieurs raisons :

  • Dans le cas des pics de réanimations et hospitaliers, aucun scénario intermédiaire n’a été produit, seulement les scénarios confinement et 0 mesure. Présenter ces 2 scénarios permet donc d’imaginer où aurait dû se trouver la réalité, quelque part entre les 2.

  • Bien qu’irréalistes, les projections aucune mesure sont souvent mises en avant comme unique contrefactuel à l’absence de confinement, comme l’illustre le cas du pic hospitalier évoqué ci-dessus. C’est aussi le cas dans la presse (chiffre de 500 000 morts au Royaume-Uni) ou par le politique (chiffre de 450 000 personnes sauvées selon la ministre de la justice espagnole). Cet article de BFM affirme même qu’une stratégie d’atténuation est une stratégie de “laissez-faire” :

Par “laisser-faire”, les chercheurs désignent des mesures dites d’atténuation, comme la quarantaine des cas identifiés de Covid-19 et de leurs proches, la fermeture des écoles.

2. Avril 2020, déconfinement Île-de-France

Contexte (cliquer pour dérouler)

Le 29 avril 2020, pendant le premier confinement, un article du journal Les Echos rapportait des modélisations de l’Institut Pasteur. Ces modélisations portaient sur l’évolution de l’épidémie post-confinement. Le ministère de la Santé indiquait alors que ces modèles étaient non finalisés et en cours d’analyse, et par conséquent ne peuvent pas être rendus publics pour le moment. A notre connaissance ils n’ont jamais été rendus publics par la suite.

Comparaison à la réalité (cliquer pour dérouler)

Fin juin, le scénario optimiste surestime les données réelles de 66%. Les scénarios médian et pessimiste se situent eux 3.5 et 9 fois au-dessus de la réalité.

Impact politique et médiatique (cliquer pour dérouler)

Bien que le rapport ayant conduit à ces modélisations n’a, à notre connaissance, pas été rendu public, celles-ci ont néanmoins été communiquées à la presse et à l’exécutif, comme le rapporte l’article des Echos :

Ce sont peut-être les modélisations réalisées par l’Institut Pasteur pour l’ARS Ile-de-France et l’AP-HP - par le Pr Simon Cauchemez - qui invitent à la prudence le gouvernement. Datées de mardi et à vocation interne, elles montrent que le nombre de patients en réanimation restera longtemps élevé, en tout cas jusqu’à l’été. Et cela quels que soient les scénarios.

La confidentialité du rapport dont sont issues ces courbes pose la question de la transparence des modélisations qui informent les décisionnaires publics. De manière similaire, le rapport du Conseil Scientifique du 12 mars 2020 faisait référence aux modélisations de l’Imperial College sur lesquelles il s’appuyait en ces termes : “Neil Ferguson, communication personnelle”, sans information additionnelle.

Discussion sur les hypothèses des scénarios (technique) (cliquer pour dérouler)

Les modélisations n’étant pas publiques, il ne nous a pas été possible d’étudier plus en détail les hypothèses des scénarios. L’article des Echos fait simplement mention de différents taux de reproduction du virus, de 1.2, 1.5, ou plus.

3. Novembre 2020, 2e vague, et 2e confinement

Contexte (cliquer pour dérouler)

Le 26 octobre, l’Institut Pasteur produit des scénarios d’évolution de l’épidémie en l’absence de confinement. Ce rapport n’a à notre connaissance pas été rendu public, et nous n’avons pas pu le consulter. Nous avons simplement trouvé une figure extraite du rapport, que l’on peut trouver sur cette page.

Le 28 octobre, face à la perspective présentée par ces chiffres, Emmanuel Macron annonce un confinement généralisé, qui prendra effet le 30 octobre, rendant la comparaison de la réalité à la figure ci-dessus (qui ne modélise pas un confinement) illégitime.

Le 30 octobre, l’Institut Pasteur produit une mise à jour de ses scénarios pour tenir compte de l’impact du confinement. Le rapport n’a pas été rendu public à notre connaissance. Certains médias y ont cependant eu accès, et ont reproduit les scénarios sous forme d’infographie. L’article des Echos constitue notre source pour nos graphiques.

Comparaison à la réalité (cliquer pour dérouler)

Le scénario le plus optimiste est proche du pic réel de lits occupés en réanimation (+15%). Les scénarios médian et le plus pessimiste se trouvent eux à +30% et +100%.

Lits de réanimation

Admissions en réanimation

Impact politique et médiatique (cliquer pour dérouler)

Les modélisations du 26 octobre ont été un des élément déclencheur du 2ème confinement. Notamment, lors de son allocution du 28 octobre, Emmanuel Macron a annoncé que le nombre de patients en réanimation dépasserait les 9000 “quoi que nous fassions”, ce qui ne disaient pas les modèles. Le pic réel sera deux fois moins élevé, à environ 4800 lits de soins critiques. On constate qu’en vue de justifier une décision politique, seule la modélisation la plus pessimiste a été mise en avant par l’exécutif. Elle a aussi été présentée comme une certitude, alors qu’il ne s’agissait que d’un scénario parmi d’autres.

Ces modélisations ont également été largement reprises dans la presse: “Deuxième vague : les scénarios qui inquiètent” titrait ainsi LCI après l’annonce du 2ème confinement, présentant les scénarios dont les pics de réanimation étaient de 5500, 6200 et 9000 patients.

Discussion sur les hypothèses des scénarios (technique) (cliquer pour dérouler)

Le rapport n’ayant pas été rendu public, il ne nous a pas été possible d’explorer en détail les hypothèses des scénarios. Selon les éléments rapportés par Les Echos, les différents scénarios correspondent à différentes valeurs de taux de reproduction R de 0.7 à 1.2, reflétant une efficacité plus ou moins marquée du confinement.

4. Hiver 2021, couvre-feu étendu

Contexte (cliquer pour dérouler)

Dans un contexte d’émergence du variant britannique alpha, le rapport du conseil scientifique du 12 janvier 2021 a produit de premières estimations préliminaires portant sur son impact très incertain, que ce soit sur la taille du pic hospitalier (de 7 000 à 40 000 lits de soins critiques) ou sur la date de l’augmentation (de février à avril), rendant la comparaison des courbes à la réalité impossible.

Cependant ces projections seront affinées dans un succession de rapports de l’INSERM et l’Institut Pasteur de mi-janvier à mi-février. Ces scénarios ont servi de base pour envisager la mise en place d’un confinement strict début février, qui n’aura finalement pas eu lieu, offrant la possibilité de comparer les projections à ce qu’il s’est réellement passé.

Dès le 15 décembre 2020, un couvre-feu à 20h était en place sur l’ensemble du territoire français. Il sera avancé à 18h pour 15 départements le 2 janvier 2021, puis pour l’ensemble du territoire le 16 janvier.

De premiers confinements régionaux seront mis en place le 20 mars, suivis plus tard par d’autres jusqu’au confinement national le 3 avril. Le temps de latence entre la mise en place des mesures et leur effet sur les hospitalisations étant au minimum d’une semaine, voire 2 à 3 semaines comme l’indique le rapport du conseil scientifique (les premiers effets des mesures adoptées […] ne peuvent apparaître qu’après deux à trois semaines), nous arrêtons notre graphique au 27 mars. Au-delà, il n’est plus légitime de comparer la dynamique de la pandémie aux scénarios sans confinement.

Comparaison à la réalité : INSERM (cliquer pour dérouler)

A noter : les scénarios sur 16 janvier et 2 février tiennent partiellement compte de l’impact du couvre-feu avancé à 18h. Celui du 14 février en tient pleinement compte. Nous discutons des choix d’inclusion des scénarios plus bas dans la partie Discussion sur les hypothèses des scénarios.

Les scénarios de l’INSERM (ici, ici et ici) réalisés pendant 1 mois pointent tous vers une augmentation exponentielle des admissions à l’hôpital. La réalité sera une légère diminution suivi d’une augmentation ramenant environ au niveau initial. Quasiment tous les scénarios dépassent les 30 000 admissions hebdomadaires avant la mi-mars sans signe de ralentissement de la dynamique, alors que la réalité se trouvait aux alentours de 10 000, soit 3 fois moins. Les scénarios le plus optimistes surestiment les hospitalisation d’un facteur 50-100%.

Comparaison à la réalité : l’Institut Pasteur (cliquer pour dérouler)

A noter : tous ces scénarios tiennent bien compte de l’impact du couvre-feu avancé à 18h.

Pour le rapport du 8 février, les 2 scénarios principaux se prolongeant en mars reflètent une hypothèse “sans vaccination” et une hypothèse “optimiste” de vaccination. Il est précisé qu’ « en pratique, l’impact de la campagne actuelle est susceptible d’être intermédiaire entre les scénarios avec et sans vaccination », d’où notre choix de représenter ces 2 courbes. Plus loin dans le rapport sont présentés des variantes secondaires illustrant l’influence d’une faible variation du taux de reproduction : ce sont les courbes s’arrêtant début mars.

Le scénario le plus optimiste colle à la réalité jusqu’à la mi-mars. Ce n’était pas le scénario principal présenté aux décideurs (cf les 2 scénarios se prolongeant en mars). Les autres surestiment les admissions réelles d’un facteur 50-100%.

Pour le rapport du 23 février, le scénario médian correspond globalement à la réalité, qui se trouve aux alentours du scénario médian.

Il n’est pas fait mention de la différence importante avec les scénarios du rapport précédent du 8 février.

Auto-évaluation de l’Institut Pasteur (cliquer pour dérouler)

Une auto-évaluation rétrospective portant sur le rapport du 8 février sera faite par l’Institut Pasteur dans un rapport ultérieur du 26 avril. Il y est indiqué que

“dès le 8 février, ce modèle avait anticipé que le couvre-feu serait efficace pour contenir la circulation du virus historique mais n’empêcherait pas une augmentation importante des hospitalisations en l’absence de mesures supplémentaires”

Cette affirmation est accompagnée de la figure ci-dessous. Un an après le début de la pandémie, cette figure constituera la première comparaison rétrospective officiellement publiée par l’Institut Pasteur.

Nous n’avons cependant pas trouvé une telle projection dans le rapport du 8 février. Toutes celles que nous avons trouvées sont représentées sur nos graphiques présentés ci-dessus.

Impact politique et médiatique (cliquer pour dérouler)

La rapport INSERM du 16 janvier préconise explicitement des mesures de distanciation sociale plus poussées dans son résumé :

“Ces résultats montrent la nécessité de renforcer les mesures de distanciation sociale”

Pourtant l’équipe INSERM dit ne pas prendre en compte le couvre-feu avancé pour la majorité de ses scénarios, une mesure dont l’objectif même était d’éviter un confinement.

Elle ne tient pas compte du couvre-feu anticipé à 18h et étendu au territoire national le 16 janvier 2021. L’évaluation de cette mesure de distanciation sociale sera réalisée sur les données épidémiques dans les prochaines semaines. Pour cette raison, nous avons fourni un scénario plus optimiste en supposant une activité épidémique stable”

A noter que si l’impact du couvre-feu n’est aussi que partiellement pris en compte dans les rapports du 16 janvier et du 2 février, il est en revanche pleinement intégré pour celui du 14 février. Vous trouverez plus de précisions à ce sujet dans la partie suivante Discussion des hypothèses du scénario (technique).

Ces résultats ont également été présentés dans un rapport spécial du Conseil scientifique le 29 janvier 2021, indiquant que ces résultats montrent la nécessité de mesures rigoureuses de distanciation sociale pour faire face à la menace du variant et étudiant la mise en œuvre d’un confinement strict début février.

Discussion sur les hypothèses des scénarios (technique) (cliquer pour dérouler)

Les scénarios de l’Institut Pasteur prennent bien en compte l’effet du couvre-feu avancé de 20h à 18h, tout comme le rapport de l’INSERM du 14 février. Les rapports INSERM du 16 janvier et 2 février ne prennent pas directement en compte cet effet, mais tentent de le représenter à travers les scénarios optimistes

Le modèle ne tient pas compte du couvre-feu anticipé à 18h et étendu au territoire national le 16 janvier 2021. L’évaluation de cette mesure de distanciation sociale sera réalisée sur les données épidémiques dans les prochaines semaines. Pour cette raison, nous avons fourni un scénario plus optimiste en supposant une activité épidémique stable. Cela pourrait être le résultat de mesures efficaces.

Rapport INSERM du 16 janvier 2021

A propos des scénarios de l’INSERM :

  • rapport du 16 janvier : les scénarios correspondent à 3 taux de reproduction du variant historique (1, 1.1 et 1.2), couplés à un variant alpha 50% ou 70% plus transmissible. Les courbes sont issues de la figure 1.

  • rapport du 2 février : les scénarios correspondent à 3 taux de reproduction du variant historique (0.9, 1 et 1.1) couplés à un variant alpha 50% plus transmissible. Les courbes sont les courbes grises de la figure 2 (redondance avec les courbes des figures 1 et 3).

  • rapport du 14 février : variant alpha 50% plus transmissible. La transmissibilité du virus historique, n’est pas renseignée. En plus de la projection standard, 2 scénarios explorant une variation de la transmission du variant historique de +/- 10% illustrent un allègement ou un renforcement des mesures. La réalité n’a correspondu à aucun de ces 2 cas de figure, mais nous avons fait le choix de représenter ces 2 scénarios pour ne pas nous faire accuser d’exclusion arbitraire (la variation de 10% pouvant se produire naturellement de manière aléatoire par le comportement des gens).

A propos des scénarios de l’Institut Pasteur :

  • rapport du 8 février : les scénarios correspondent à 3 taux de reproduction du variant historique (0.9, 0.95 et 1), couplés à un variant alpha 40%, 50% ou 70% plus transmissible. Les courbes sont issues des figures 2a, 6a, 7c

  • rapport du 23 février : de nombreuses variantes sont proposées, car comme le souligne le rapport, face à la grande incertitude, une unique prévision pour les prochains mois n’est pas possible. Dans le détail les différentes hypothèses portent sur la plus grande transmissibilité du variant alpha (+50%, 60% ou 70%) et un changement de trajectoire épidémique (diminution ou augmentation de 8% ou 16%) qui intervient à différentes dates (22 février ou 8 mars). Les courbes sont extraites des figures 2c, 5a, 5c, 5e.

A propos de tous les scénarios

Le variant alpha est supposé être uniquement plus transmissible, et n’augmente pas le risque d’hospitalisation. Cela sera modifié dans les rapports ultérieurs, par exemple celui du 26 avril 2021, où la probabilité d’hospitalisation est augmenté de 64% avec l’infection alpha.

Pour tous les rapports, nous arrêtons l’extraction des courbes au 27 mars comme expliqué dans le paragraphe contexte, les premiers confinements étant implémentés le 20 mars et l’effet des mesures sur les hospitalisations mettant au moins une semaine à se matérialiser (cf rapport du conseil scientifique, les premiers effets des mesures adoptées […] ne peuvent apparaître qu’après deux à trois semaines).

A propos des scénarios n’intégrant pas le couvre-feu anticipé

Les rapport INSERM du 16 janvier et 2 février méritent précision, car il y est dit que l’effet du couvre-feu anticipé à 18 heures n’est pas pris en compte, mais que le scénario le plus optimiste pourrait refléter la mesure. Aurions-nous dû ne garder que celui-ci et exclure les autres scénarios ? Notre décision de tous les conserver s’appuie sur plusieurs points :

  • Tout d’abord les auteurs ont fait le choix de les représenter, indiquant qu’ils validaient eux-mêmes la pertinence de ces scénarios. En effet, c’est sur la base de ces scénarios qu’ils affirment que “les nouvelles hospitalisations devraient atteindre environ 25 000 entre mi-février et début avril en l’absence d’intervention”.

  • En s’appuyant sur ces résultats, ils donnaient également des recommandations politiques explicites : “Ces résultats montrent la nécessité de renforcer les mesures de distanciation sociale”, et ce bien que le couvre-feu, dont le but même est d’éviter des mesures plus restrictives, n’était pas modélisé.

  • Enfin, on voit que les scénarios du 16 janvier et 2 février sont très similaires à ceux du 14 février, alors même que ce dernier intègre l’effet du couvre-feu anticipé, indiquant que la prise en compte du couvre-feu ne change que faiblement les résultats.

5. Mai-Juin 2021, sortie du 3e confinement

Contexte (cliquer pour dérouler)

Des scénarios sont publiés les 26 avril et 21 mai, portant sur les trajectoires épidémiques pour la sortie du 3e confinement et l’été. Nous arrêtons les comparaisons à la mi-juin, moment de l’apparition variant delta, non anticipable par les modèles.

Une auto-évaluation informelle du rapport du 21 mai a été publiée sur le compte twitter de Simon Cauchemez, en charge de l’équipe modélisation de l’Institut Pasteur. A notre connaissance cela n’a pas été fait pour le rapport du 26 avril. L’auto-évaluation ne mentionne pas la différence observée avec les scénarios du 26 avril.

Comparaison à la réalité (cliquer pour dérouler)

Pour le premier rapport, les scénarios se situent à la mi-juin au-dessus de la réalité, la surestimation allant d’un facteur 2 à 6.

En revanche la décrue observée suit de près les scénarios du second rapport. Il n’y est pas fait mention de la différence importante entre les scénarios des 2 rapports consécutifs.

26 avril et 21 Mai - Admissions Hôpital

21 Mai - Soins Critique

Auto-évaluation de l’Institut Pasteur (cliquer pour dérouler)

Voici la comparaison informelle des scénarios du 21 mai à la réalité menée sur le compte twitter de Simon Cauchemez, en charge de l’équipe modélisation de l’Institut Pasteur.

Un tel travail n’a pas été mené pour les scénarios du 26 avril, et à notre connaissance aucun commentaire n’a été émis sur la différence importante entre les scénarios du 26 avril et ceux du 21 mai.

Impact politique et médiatique (cliquer pour dérouler)

Ces modélisations ont appuyé le rapport du Conseil Scientifique du 6 mai 2021. Après avoir rappelé que “ces projections […] ne sont pas des prédictions”, le Conseil s’appuie sur les modélisations pour estimer que sous des hypothèses plausibles, un rebond important de l’épidémie est possible durant la période estivale si les mesures de contrôle sont relâchées trop rapidement, et cela même lorsqu’on considère un rythme important de vaccination. C’est un des arguments qui l’a poussé à se positionner en faveur d’une réouverture des activités sociales “prudente et maîtrisée” suite au 3ème confinement.

Plusieurs épidémiologistes ont fait des déclarations allant dans le sens du rapport de l’Institut Pasteur du 26 avril. Ici et par exemple, le 27 avril :

On va rester à 5 000 ou 6 000 patients Covid des semaines

Il faut attendre au moins cinquante jours” pour voir les hospitalisations baisser

La diminution s’est produite la semaine suivante, et 50 jours plus tard (le 15 juin), il y avait moins de 1 000 patients en soins intensifs. Vous trouverez d’autres exemples 19 avril et 5 mai.

“Je ne vois pas comment on peut espérer une baisse massive des cas d’ici fin mai”

La probabilité d’éviter une nouvelle saturation totale de l’hôpital est faible

Discussion sur les hypothèses des scénarios (technique) (cliquer pour dérouler)

Pour le rapport du 26 avril, les courbes sont extraites des figures 3b et 3d. Les hypothèses faites dans les scénarios sont les suivantes :

  • Un variant alpha plus transmissible de 60% ou 40% comparé à la souche originelle. Il augmente aussi de 67% la probabilité d’hospitalisation.

  • Des levées des mesures plus ou moins rapides, se traduisant par des taux de reproduction de reprise R de 1 à 1.3, à partir du 15 mai. Nous avons exclu le scénario le plus pessimiste (R = 1.3) qui correspondait à une levée quasi totale des mesures dès la mi-mai, ce qui n’a pas été le cas.

  • Des hypothèses médianes ou pessimistes concernant la réduction des hospitalisations

  • Efficacité vaccinale de 90% contre les cas sévères et 80% contre les infections, 2 semaines après la dose 1. Les personnes infectées ont une immunité totale.

  • Adhésion vaccinale de 85% pour les > 65 ans, et 70% pour les 18-64 ans.

  • Un rythme de distribution des doses de vaccin de 350 000 ou 500 000 doses par jour. Nous n’avons retenu que les scénarios à 500 000 doses/jour, qui sont proches de la réalité, comme le montre le graphique ci-dessous.

Les hypothèses faites dans le rapport du 21 mai sont sensiblement les mêmes. Les courbes viennent des figures 3A, 3C, 3E, 3G.

Certaines hypothèses sont décrites comme potentiellement trop optimistes par les modélisateurs, comme par exemple celle de l’adhésion vaccinale. Il est aussi précisé que le modèle ne prend pas en compte la fin des restrictions de voyage, ou la réouverture des écoles.

Dans les 2 cas nous arrêtons la comparaison à la mi-juin, lorsque l’apparition du variant delta non prévue par les modèles et devenu dominant rend les hypothèses caduques.

6. Août 2021, 4e vague et variant delta

Contexte (cliquer pour dérouler)

Un premier rapport de l’Institut Pasteur est sorti le 9 juillet 2021 dans un contexte de propagation du variant delta. Deux des trois scénarios présentés anticipaient pour fin août un nombre de lits de soins critiques au moins égal à la 2ème vague, et en l’absence de mesures un pic courant septembre bien au-dessus de la 1ere vague.

Face à la perspective d’une submersion hospitalière que suggéraient ces scénarios, le passe sanitaire élargi a été acté le 21 juillet, entraînant une forte augmentation des vaccinations et rendant caduques les hypothèses du rapport du 9 juillet.

Pour remédier à cela, l’Institut Pasteur a publié 2 nouveaux rapports, les 26 juillet et 5 août, afin de tenir compte de l’effet du pass sanitaire ; ce sont ces 2 rapports que nous comparons à la trajectoire réelle.

Comparaison à la réalité (cliquer pour dérouler) (cliquer pour dérouler)

Pour le premier rapport, la réalité est presque 2 fois moins importante que les scénarios les plus optimistes, 3 à 4 fois moins importante que les scénarios médians, 10 fois moins importante que les scénarios pessimistes.

Le rapport publié 10 jour plus tard corrige partiellement cette surestimation, la réalité correspondant environ au scénario le plus optimiste, mais restant 2 fois moins importante que le scénario médian et 4 fois moindre que le scénario pessimiste.

Lits de soins critiques

Admissions en soins critiques

Admissions à l’hôpital

Impact politique et médiatique (cliquer pour dérouler) (cliquer pour dérouler)

En ligne avec les projections présentées, le président du conseil scientifique Jean-François Delfraissy prévoyait alors une situation hospitalière compliquée pour fin août lors de son audition devant les sénateurs :

Le modèle montre bien que d’ici fin août, nous allons nous trouver dans une situation très complexe, avec un impact sur le système de soins”

Cette mise en avant des projections de l’Institut Pasteur au Sénat est intervenue avant que celui-ci ne se prononce sur l’extension du pass sanitaire, et a donc pu jouer un rôle dans l’avis des sénateurs.

Les modélisations de l’Institut Pasteur ont été également utilisées par le Conseil d’Etat comme argument pour rejeter les demandes de référés-libertés au sujet de l’extension du pass sanitaire. Pour rejeter ces demandes, le Conseil d’Etat a notamment expliqué que

les données “pourraient se révéler encore plus préoccupantes au début du mois d’août, selon les modélisations de l’Institut Pasteur.”

Il est intéressant de noter que le Royaume-Uni a été confronté à la même situation : une augmentation des hospitalisations en juillet, accompagnée de scénarios suggérant une submersion de l’hôpital. Contrairement à la France, le Royaume-Uni n’a pas mis en place de pass sanitaire et a levé presque l’intégralité des mesures de contrôle. Nous détaillons cela dans la section suivante.

Discussion sur les hypothèses des scénarios (technique) (cliquer pour dérouler)

Le scénarios du premier rapport sont extraits des figures 3, 4, 5 et 6. Les scénarios dont les hypothèses ne collaient pas à la réalité ont été exclus de la comparaison, permettant de ramener le nombre de variantes de 108 à seulement 6 pour les admissions et 12 pour le nombre de lits occupés. Dans le détail, ces hypothèses sont :

  • Durée de passage en soins critiques : 14.6 jours ou 10 jours

  • Réduction du nombre de reproduction effectif le portant à 1.5, 1.8 ou 2 (0, -10% ou -20%)en raison des mesures barrières et du pass sanitaire.

  • Adhésion vaccinale des >60 ans : 90 ou 95%. Nous avons seulement retenu les scénarios 90%, en ligne avec le graphique ci-dessous.

  • Adhésion vaccinale des 18-59 ans : 70% ou 90%. Nous avons seulement retenu les scénarios 90%, en ligne avec le graphique ci-dessous.

  • Adhésion vaccinale des 12-17 ans : 30%, 50% 70%. Nous n’avons pas eu besoin de vérifier cette hypothèse, car pour une haute couverture vaccinale des adultes (90%), la vaccination des adolescents n’a aucune incidence sur la trajectoire hospitalière selon les propres résultats du rapport.

  • Doses de vaccins distribués par jour : 500 000, 700 000 ou 800 000. Nous avons éliminé les scénarios à 800 000 doses/jour, trop éloignés de la réalité (voir graphique ci-dessous). Celui à 700 000 ne correspond qu’au début du mois d’août, mais nous avons fait le choix de le conserver, afin de ne pas risquer d’exlure de scénarios optimistes plus proches de la réalité.

Les courbes du second rapport sont issues de la figure F. Le rapport fait uniquement des hypothèses sur

  • durée de passage en soins critiques (10, 14 ou 17 jours)

  • nombre de doses de vaccin distribuées par jour (600 000, 700 000 800 000). Au vu du second graphique ci-dessous, nous avons exclu les scénarios à 700 000 et 800 000 doses/jour.

  • réduction du nombre de reproduction effectif (-10%, -25% ou -40%) en raison des mesures barrières et du pass sanitaire.

  • Adhésion vaccinale : 95% pour les +60 ans, 90% pour les 18-60 ans, 30% pour les 12-17 ans. A noter que ces chiffres sont similaires à ceux que nous avons retenus pour le scénario du 26 avril.

Par ailleurs un certain nombre d’hypothèses étaient communes aux 2 scénarios :

  • Le variant delta n’est pas considéré comme plus susceptible d’entraîner une hospitalisation que le variant alpha (+64% pour les 2 variants).

  • Efficacité vaccinale 2 semaines après la dose 1 : 90% contre hospitalisation, 80% contre infection, 50% contre transmission.

  • Le modèle ne suppose pas une baisse d’efficacité vaccinale face au variant delta. Il est dit que “cela pourrait conduire à présenter des projections trop optimistes pour le mois d’août”.

  • Les personnes infectées sont considérées comme totalement immunisées. Il est dit que “cela pourra conduire à faire des projections trop optimistes”.

7. Eté 2021, Freedom Day au Royaume-Uni

Contexte (cliquer pour dérouler)

Le Royaume-Uni a été confronté en juillet à une situation similaire à la France : une augmentation des hospitalisations, accompagnée de scénarios anticipant une submersion de l’hôpital. Contrairement à la France, le Royaume-Uni n’a pas mis en place de pass sanitaire et a levé presque l’intégralité des mesures de contrôle. Nous détaillons cela dans la section suivante.

Nous présentons une comparaison entre scénarios de modélisation et réalité dans le cas du “Freedom Day”, jour de levée de la quasi-totalité des mesures restrictives au Royaume-Uni. Le 19 juillet, dans le cadre de son plan de sortie de crise, le gouvernement britannique a en effet décidé de lever la plupart de ses mesures de restrictions (telles que les limitations de capacité dans les lieux accueillant du public, port du masque obligatoire ou encore limitations de déplacement).

Comparaison à la réalité (cliquer pour dérouler)

Les données présentées ci-dessous comparent la réalité des patients hospitalisés avec les différents scénarios de modélisations visant à prévoir l’impact de la levée des restrictions. Les données sont issues du rapport du 7 juillet du SAGE (Scientific Advisory Group for Emergencies), et la mise en forme provient du site du The Spectator.

Le pic réel se trouve sous le scénario le plus optimiste, les scénarios médians sont 2 à 3 fois supérieurs, et le scénario le plus pessimiste est plus de 5 fois supérieur.

Impact politique et médiatique (cliquer pour dérouler)

Cette levée des restrictions avait été fermement critiquée par de nombreux scientifiques dans une lettre ouverte au prestigieux journal médical The Lancet, qui l’avait qualifiée de “dangereuse et prématurée”. Cette lettre ouverte a été reprise par différents médias britanniques et internationaux, qui s’appuyaient sur ces modélisations pour annoncer “une troisième vague importante d’hospitalisations et de décès” à la suite de la levée des restrictions, décrite comme une “expérience dangereuse sans éthique”.

Le fait que les modélisations aient largement surestimées l’impact de la réouverture a été décrit dans le journal scientifique Nature par un épidémiologiste renommé:

Personne ne comprend vraiment ce qu’il se passe.

8. Automne-Hiver 2021, pré-Omicron

Contexte (cliquer pour dérouler)

Dans un contexte notamment marqué par la généralisation du pass sanitaire, l’Institut Pasteur a publié des modélisations sur la dynamique de l’épidémie pendant la transition automne-hiver. Bien que l’arrivée du variant Omicron ait rendu obsolète ces modélisations courant décembre, il reste une période de 2 mois sur laquelle elles peuvent être comparées à la réalité.

Comparaison à la réalité (cliquer pour dérouler)

La plupart des scénarios se trouvent au niveau d’une circulation épidémique contenue, en-dessous des admissions hospitalières réelles d’un facteur 4 à 6.

Les scénarios plus proches de la réalité correspondent à un “relâchement” des mesures/comportements de 40%“, qui ramène au”niveau de contrôle mesuré en juin-juillet”, couplé à une modulation défavorable du climat. Bien que les mesures de contrôle n’aient pas été relâchées au niveau de juin-juillet, période à laquelle il n’y avait pas de pass sanitaire, il nous est impossible de mesurer le “relâchement des comportements”, et nous avons donc gardé ces scénarios.

Impact politique et médiatique (cliquer pour dérouler)

Ces modélisations ont été reprises par le Conseil Scientifique dans son rapport du 5 octobre 2021. Il s’est appuyé dessus notamment pour recommander de maintenir le pass sanitaire pendant une période courant a minima jusqu’au 15 novembre 2021 (première prolongation du pass sanitaire). Elles ont été également reprises dans la presse nationale.

Discussion sur les hypothèses des scénarios (technique) (cliquer pour dérouler)

Nos courbes sont issues des figures 7 et 9.

  • Des comportements/mesures réduisant les transmissions au niveau de juin/juillet avant le pass sanitaire (-40% par rapport à juin/juillet), ou à un niveau intermédiaire (-20%)

  • Une modulation du climat qui augmente les contaminations de 33% (estimé), 20% ou 40%

  • Un relâchement des mesures/comportements au 15 octobre ou au 15 novembre. Les dates du 15 décembre et 15 janvier étaient également étudiées mais ne nous intéressent pas car hors de notre période d’étude

  • 3 variantes d’hypothèses sur l’efficacité vaccinale contre l’hospitalisation et l’infection respectivement de 95% et 60% (référence), 90% et 60%, et 95% et 80%.

  • Efficacité vaccinale contre la transmission de 50% si l’on est infecté.

  • Le variant delta augmente le risque d’hospitalisation de 50% comparé au variant alpha.

  • Le variant alpha augmente le risque d’hospitalisation de 42% comparé à la souche historique.

Comme nous l’avons déjà dit, le “relâchement des gestes barrières” est une hypothèse impossible à vérifier. Une mesure imparfaite de cette hypothèse serait la tendance à la mobilité de Google, qui ne montre pas d’augmentation nette au cours de la période :

9. Décembre 2021, seconde vague delta

Contexte (cliquer pour dérouler)

Dans un contexte de seconde vague delta, l’Institut Pasteur a produit 2 rapports le 29 novembre et le 2 décembre 2021 avec des scénarios couvrant l’hiver et le printemps 2022. Malheureusement l’émergence du variant omicron 2 semaines plus tard rend caduques les hypothèses et ne permet pas une comparaison à la réalité.

Une critique souvent apportée à la comparaison des données réelles aux “scénarios” telle que réalisée ci-dessus est que ces derniers ne constituent pas des “prédictions”, et servent simplement à donner une idée des grandes tendances et de l’impact de différentes mesures.

Néanmoins, au-delà des scénarios présentés dans ses rapports, l’Institut Pasteur publié également des “Projection à court terme des besoins hospitaliers” sur cette page , régulièrement mise à jour. Ici, le but est bien de prévoir correctement le nombre de malades, l’Institut précisant que “l’erreur relative pour les projections du nombre de lits de soins critiques au niveau national est de 11% à 14 jours.”

Nous comparons ici la projection du modèle 2 semaines avant le pic de la seconde vague delta de mi-décembre 2021. Ce pic est intervenu juste avant l’émergence du variant omicron, qui a changé la donne dans les semaines qui ont suivi.

Comparaison à la réalité (cliquer pour dérouler)

Au moment du pic du variant delta, la projection du modèle correspond à une surestimation 2 semaines plus tard de 30% pour les lits de soins critiques, et d’environ 40% pour les autres indicateurs.

Malgré une précision moyenne de 10% du modèle, au moment du pic l’erreur réelle aura été bien plus élevée. Nous aurions souhaité comparer les projections du modèle aux autres pics (février 2021, avril 2021, août 2021) afin d’évaluer s’il s’agissait d’une erreur ponctuelle ou d’un biais systématique sur les pics. Une telle évaluation est importante car c’est l’anticipation d’un pic hospitalier qui conditionne la réponse politique.

Malheureusement la mise à jour régulière des projections sur la page présentant les résultats écrase les projections publiées précédemment, et nous n’avons pas pu effectuer cette évaluation systématique. Une conservation des résultats précédents en open data aiderait une telle démarche et une appropriation par les citoyens.

Lits de soins critiques

Lits d’hôpital

Admissions en soins critiques

Admissions à l’hôpital

Discussion sur les hypothèses des scénarios (technique) (cliquer pour dérouler)

Il n’y pas de respect des hypothèses à vérifier pour ces projections. L’horizon de 2 semaines est trop court pour qu’une mesure mise en place après publication viennent modifier la trajectoire épidémique. En effet, comme le rappelle le rapport du conseil scientifique, “les premiers effets des mesures adoptées […] ne peuvent apparaître qu’après deux à trois semaines”.

10. Janvier 2022, variant Omicron

Contexte (cliquer pour dérouler)

Suite à l’apparition du variant Omicron, l’Institut Pasteur a publié un premier rapport le 27 décembre 2021, présentant plus d’une centaine de scénarios. En effet, il y est précisé qu’“étant donné les incertitudes […], il n’est pas possible de quantifier précisément l’impact qu’aura la vague Omicron”. Nous n’avons donc pas analysé ce rapport.

Le rapport suivant du 7 janvier reprend pour base le précédent à la lumière des nouvelles données, et exclut les scénarios ne collant aux propriétés d’Omicron, rendant possible l’analyse des résultats.

Nous analysons également un rapport publié le 15 février, qui constitue une auto-évaluation comparant ce qui a été “prédit” (terme utilisé par le rapport) à ce qui s’est réellement passé.

Comparaison à la réalité (cliquer pour dérouler)

Le rapport distinguait des scénarios “probables” de scénarios “moins probables”. Il distinguait également une hypothèses d’efficacité à 6 mois de la dose de rappel contre les infections de 85% ou 60%.

La réalité est une efficacité initiale de 50% puis 0% au-delà de 3 mois (voir paragraphe “Auto-évaluation de l’Institut Pasteur”), excluant a minima le scénario 85%. Mais l’Institut Pasteur l’utilisant pour affirmer dans son rapport rétrospectif que “les dynamiques prédites et observées des admissions quotidiennes sont proches”, nous avons fait le choix de le représenter.

Le pic de lits de soins critiques interviendra quelques jours après la publication du rapport au lieu du mois et demi anticipé. La hauteur du pic sera légèrement en-dessous du scénario le plus optimiste, mais plus de 2 fois moindre que les scénarios médians et pessimistes. Les scénarios “peu probables” surestiment encore plus la réalité.

Hypothèse (moins) fausse : efficacité vaccinale 60%

Hypothèse fausse : efficacité vaccinale 85%

Impact politique et médiatique (cliquer pour dérouler)

L’auto-évaluation de l’Institut Pasteur a été transmise aux sénateurs dans le cadre de leur enquête sur l’adéquation du vaccin pass à l’évolution de l’épidémie de covid-19. Il est indiqué que “les projections de l’Institut Pasteur se sont avérées être dans les fourchettes prévues”. Nous détaillons dans la section suivante les raisons pour lesquelles nous pensons que cette affirmation est sérieusement remise en cause. De plus, il n’y a aucune mention d’autres scénarios passés où l’Institut Pasteur s’est complètement trompé, par exemple en août 2021.

Le rapport d’auto-évaluation de l’Institut Pasteur a également été cité dans certains articles de presse comme disant que “l’institut Pasteur avait presque tout bon sur l’impact d’Omicron”.

Auto-évaluation de l’Institut Pasteur et hypothèses (cliquer pour dérouler)

Plusieurs points soulèvent question dans l’auto-évaluation menée par l’Institut Pasteur présentée ci-dessous. On notera au passage que notre propre rétrospective est cohérente avec la figure présentée par l’Institut.

La plus évidente est l’absence totale d’allusion à l’hyothèse d’efficacité vaccinale et le choix de ne représenter que les courbes illustrant une efficacité vaccinale de 85%, contrairement à nos graphiques. Pourtant une note officielle de la DREES titre explicitement :

“Au-delà de trois mois, la dose de rappel ne semble plus protéger contre les infections au Covid-19”

Au moment de la publication du rapport, les données de surveillance britanniquesindiquaient déjà une efficacité vaccinale de seulement 40% au bout de 10 semaines, bien loin des 85%. Leurs données plus récentes (ci-dessous) confirment une efficacité initiale de 45% puis presque nulle au-delà de 3 mois.

Des journalistes ont correctement identifié dès le 13 janvier qu’une protection de 85% contre les infections est un “chiffre largement incorrect”. L’équipe de Pasteur pouvait-elle ignorer ces éléments au moment de son auto-évaluation ?

Par ailleurs, contrairement à nous, l’auto-évaluation ne présente pas les scénarios “moins probables”. Se pose alors la question des bonnes pratiques d’évaluation rétrospective, à définir en amont. L’équipe aurait-elle écarté ces scénario si la réalité les avait suivi ?

Nous notons que si l’équipe insiste régulièrement sur le fait que “les scénarios ne sont pas des prédictions”, l’auto-évaluation est moins prudente, le terme “prédit” revenant plusieurs fois dans le rapport, par exemple “les dynamiques prédites et observées des admissions quotidiennes sont également proches.”

Nous rappelons que la vérification de l’adéquation des hypothèses est importante, car comme le rappelle le début de chacun des rapport de l’Institut Pasteur :

“Les trajectoires décrites dépendent des hypothèses faites; si les hypothèses ne se réalisent pas, la dynamique observée pourra être différente des projections.”

Pourtant, l’Institut Pasteur n’a pas appliqué à lui-même sa propre déclaration concernant son hypothèse d’efficacité des vaccins.

Contactez-nous via email or twitter