Évaluation des effets redistributifs des réformes socio-fiscales : comment s’y retrouver ?

L’évaluation de l’effet des réformes fiscales et sociales suscite l’attention médiatique, que les publications proviennent de l’Insee ou d’organismes tels que l’Institut des politiques publiques (IPP) ou l’Observatoire français des conjonctures économiques (OFCE). Mais ces travaux présentent parfois des résultats assez différents et il n’est pas facile de s’y retrouver. Ces différences proviennent principalement de méthodes proches mais non identiques. Nous revenons dans cet article sur la méthode d’évaluation des effets redistributifs et les raisons qui peuvent expliquer des écarts dans les analyses. Ces raisons relèvent principalement des questions suivantes : quelles mesures sont étudiées et comment ? Comment est pris en compte leur calendrier d’application ? Quelles sont les données utilisées et les hypothèses de simulation ? À cette occasion, nous rappellerons les choix privilégiés par l’Insee pour ce type d’évaluation.

L’Insee vient de publier son évaluation des réformes socio-fiscales mises en place en 2019 dans l’ouvrage France, portrait social. Il s’agit d’évaluer l’effet sur le niveau de vie des ménages et les inégalités des modifications en 2019 des prélèvements et des prestations par rapport à une situation où elles n’auraient pas été mises en œuvre. Cette publication annuelle de l’Insee, en collaboration avec la Drees (le service statistique du ministère des Solidarités et de la Santé), est menée depuis 2014 et s’appuie sur le modèle de microsimulation Ines.

Ce modèle est cogéré par l’Insee, la Drees et la Cnaf. Son code source a été mis en libre accès depuis 2016, accompagné d’une documentation détaillée. Un article récent détaille assez simplement son fonctionnement et ses applications. Par ailleurs, les hypothèses qui président à l’évaluation des nouvelles mesures et de leurs effets, au regard d’une situation « contrefactuelle » (par exemple celle correspondant à aucune mesure), font l’objet d’une méthodologie rigoureuse et documentée. Notons que le modèle Ines est également utilisé par l’Observatoire français des conjonctures économiques (OFCE) qui fait partie de ses premiers utilisateurs et saluait en 2017 cette mise à disposition sur son blog comme une révolution silencieuse dans la statistique publique.

Il y a quelques semaines, l’Institut des politiques publiques (IPP) a rendu publique son évaluation des mesures du budget pour 2021. En février 2020, l’IPP d’une part, et l’OFCE d’autre part publiaient leurs évaluations du budget 2020 avec dans les deux cas des résultats sur les années 2018-2019-2020, ce qui avait retenu toute l’attention des médias. La direction générale du Trésor avait également étudié en 2019 les effets des mesures depuis le début du quinquennat à horizon 2020. Contrairement à ces études, les évaluations des réformes socio-fiscales publiées par l’Insee présentent pour chaque mesure la simulation estimée en masse budgétaire ainsi que les effectifs de gagnants et perdants. En revanche, toutes ces études détaillent les effets des réformes socio-fiscales selon le niveau de vie. Leurs résultats affichés selon le niveau de vie diffèrent parfois, notamment sur les années 2018 ou 2019. Pourquoi ?

Tout d’abord, ces études ne s’intéressent pas toutes au même objet. Si toutes affichent des effets en fonction du niveau de vie, d’un côté, l’IPP représente les effets sur le revenu disponible et, de l’autre, l’OFCE représente les effets sur le niveau de vie. Le premier étant égal au second divisé par le nombre d’unités de consommation. L’Insee privilégie la représentation en niveau de vie car celui-ci permet de mieux comparer la situation de ménages de configuration familiale différente, par exemple un célibataire vs. un couple avec enfants.

Mais d’autres différences existent entre ces évaluations, que nous allons résumer dans les lignes qui suivent.

Une source importante de différence provient des mesures prises en compte dans l’analyse. L’OCFE et l’IPP évaluent l’effet des mesures inscrites dans le budget d’une année donnée, 2020 par exemple. Ce délai court de publication permet notamment de donner des résultats rapidement après la diffusion du projet de loi de finances (PLF) à l’automne précédent, 2019 dans notre exemple. Mais cette évaluation est alors produite avant leur application réelle puisque l’année étudiée est encore en cours. Or, les mesures inscrites au PLF ne correspondent pas strictement aux règles réellement en vigueur durant l’année étudiée. En effet, le PLF peut être modifié pendant le débat parlementaire sur la loi de finances. Le système socio-fiscal peut également être modifié par des lois ou décrets en cours d’année.

Effectuée plus tardivement, la publication de l’Insee dresse, elle, un bilan de l’effet des mesures réellement mises en œuvre une année donnée. Ces travaux sont diffusés l’année suivante, à l’automne. C’est à cette occasion que l’équipe en charge du modèle Ines met à jour la législation effective de l’année, dès le début 2021 si l’année étudiée est l’année 2020. Ce cadre permet ainsi de bien identifier les gagnants/perdants une fois que l’année est effectivement passée.

Deux précisions supplémentaires sont également importantes. D’abord, dans son évaluation, l’Insee ne prend en compte dans son analyse principale que les seules mesures modifiant les composantes du revenu disponible. En effet, les mesures sont évaluées dans le champ de la redistribution monétaire et à partir des indicateurs d’inégalité, qui s’appuient sur ce revenu disponible. Les mesures affectant les taxes indirectes comme la TICPE ou les taxes sur le tabac sont aussi étudiées mais dans une analyse secondaire de la même publication. Ensuite, la publication France, portrait social n’évalue pas les réformes affectant les revenus primaires, composés des revenus d’activité, du patrimoine et de remplacement (allocations chômage et pensions de retraite). Elle se concentre sur les prélèvements et les prestations. Par exemple, les réformes récentes de l’assurance chômage, les sous-indexations des retraites ou l’augmentation de salaire net liée à la prime exceptionnelle de pouvoir d’achat (s’inscrivant dans le cadre des mesures d’urgence économiques et sociales votées fin 2018) n’ont pas été prises en compte. Pour cette dernière, si l’aspect incitatif du dispositif sur le versement de cette prime par les entreprises sort du champ de l’analyse conduite par l’Insee, les mesures d’exonération fiscale et sociale pourraient en faire partie, mais il n’a pas été possible de simuler au niveau individuel les ménages qui en ont effectivement bénéficié¹.

Enfin, pour l’année 2018, un choix important ayant un impact sur les résultats pour les ménages plus modestes concerne la prise en compte, ou pas, de la réduction de loyer de solidarité dans le parc HLM ; l’Insee l’a neutralisée pour le dossier de l’ouvrage car elle est compensée par une baisse de loyer équivalente, et donc neutre l’année étudiée pour les ménages concernés. Elle a eu en revanche un effet important sur les indicateurs usuels d’inégalité et de pauvreté tels que mesurés par l’Insee dans ses publications sur le niveau de vie.

En lien avec ce premier point, des différences peuvent exister dans la définition de ce qu’est « une mesure ». La définition précise du scénario « contrefactuel » est cruciale dans ce type d’études. Le contrefactuel correspond à la situation à laquelle on compare la situation résultant des nouvelles mesures. Ce scénario de référence doit être explicite pour permettre une bonne interprétation des résultats. Ce sont ces hypothèses qui déterminent le cadre des politiques évaluées.

À ce titre, dans la publication France, portrait social de l’Insee, les revalorisations des prestations sociales² au-delà des évolutions légales sont systématiquement prises en compte et comparées à leurs évolutions mécaniques, c’est-à-dire en l’absence de revalorisation supplémentaire. Par exemple, les revalorisations des montants du complément familial majoré et de l’allocation de soutien familial en 2018, du minimum vieillesse et de l’allocation aux adultes handicapés en 2019 ou à l’inverse des gels et sous-indexations des prestations sociales en 2019, ont été prises en compte par l’Insee et la Drees. Certaines de ces mesures n’ont pas été retenues dans d’autres publications, ce qui peut expliquer des différences sur les effets des mesures dans le bas de la distribution des niveaux de vie.

Une autre source de différences – encore plus technique –peut venir de la méthode de simulation des mesures affectant les cotisations, comme par exemple la bascule CSG/cotisations³ en 2018 ou la fusion des régimes de retraite complémentaire Agirc-Arrco en 2019. L’Insee et la Drees ont pris en compte le changement de revenu net induit par la modification des cotisations et les effets indirects de la mesure sur l’impôt sur le revenu et les prestations sociales. Ce point nécessite d’en tenir compte dans les données de revenu primaire en entrée du modèle mais aussi d’ajuster le contrefactuel correspondant. Sans cela, l’effet de la baisse de la CSG pour les chômeurs en 2018 pourrait par exemple être surestimé, si l’effet indirect à la baisse sur l’impôt et à la hausse sur les prestations n’est pas intégré. Il est important de toujours mentionner ces précisions (même si d’apparences techniques) dans les études sur le sujet.

En comparant les différentes évaluations des mesures, il importe donc de regarder dans les moindres détails quelles mesures ont été prises en compte… et comment !

La troisième source majeure de différence vient de l’horizon temporel pris en compte. Dans France, portrait social, l’Insee privilégie la situation où les mesures applicables au cours de l’année 2018 auraient été en vigueur depuis le début de l’année 2018. Leur effet est mesuré une fois les dispositifs étudiés pleinement montés en charge, en « année pleine ». Ainsi, une mesure entrant en cours d’année est comptée sur l’année entière. Par exemple, pour mesurer l’effet de la revalorisation exceptionnelle de l’allocation aux adultes handicapés intervenue en novembre 2019, on simule la situation où cette revalorisation aurait été effective dès janvier 2019, c’est-à-dire sur douze mois et non trois. Cela permet notamment de comparer des mesures d’une année sur l’autre et d’estimer l’effet complet des réformes, indépendamment du calendrier de leur application.

L’effet des mesures peut être plus positif en année pleine qu’en moyenne sur l’année, comme c’est le cas en 2019 mais aussi surtout en 2018 du fait des deux baisses successives de cotisations et de revalorisation de prestations intervenant en cours d’année. À l’inverse, certaines études évaluent les réformes en moyenne sur l’année, c’est-à-dire en suivant le calendrier réel de leur application, ce qui peut constituer une source notable d’écart des effets de certaines mesures appliquées en cours d’année. Par ailleurs, d’autres analyses cumulent les effets sur plusieurs années, qui ne peuvent donc pas être comparés directement avec des effets sur une seule année.

Une quatrième source de différences provient des données utilisées. Le modèle Ines s’appuie principalement sur l’enquête Revenus fiscaux et sociaux (ERFS), qui est la source privilégiée par l’Insee pour l’analyse des niveaux de vie et donc des inégalités et de la redistribution monétaire. Elle regroupe les informations de l’enquête Emploi, menée par l’Insee, de données administratives fiscales (provenant de l’administration fiscale : la direction générale des Finances publiques, DGFip) et sociales (provenant de la Cnaf, la Cnav et la CCMSA (caisse des agriculteurs)). L’ERFS dispose ainsi d’informations détaillées sur l’emploi, la situation familiale ou les revenus pour un échantillon de plus de 50 000 ménages et 130 000 personnes. Cette richesse d’information permet de simuler finement les prestations, les cotisations et contributions sociales qui dépendent de nombreuses variables non présentes dans les sources fiscales (contour de la famille, calendrier d’activité, type d’emploi et d’entreprise, lieu d’habitation, situation de handicap, etc.).

L’échantillon de l’ERFS est représentatif de la population française vivant en logement ordinaire et en France métropolitaine. Cela veut dire que certains ménages en représentent quelques centaines aux caractéristiques identiques. La variété de ces informations est gage de qualité des estimations du modèle Ines mais la taille de l’échantillon de l’ERFS impose de considérer la précision des résultats diffusés avec précaution. Ainsi, l’Insee publie principalement des résultats par dixième de population (chaque dixième présente le même nombre d’individus, 10 % de la population). Certains résultats peuvent être donnés en divisant la population en vingtièmes afin d’estimer par exemple pour les 5 % les plus aisés l’effet de la transformation de l’ISF en IFI et de l’instauration PFU car les gains sont concentrés et il est nécessaire d’étudier finement le haut de la distribution. Mais l’effet estimé aux extrémités est moins robuste que ceux estimés par dixième en raison de l’incertitude statistique liée à la taille de l’échantillon et à la plus grande dispersion des niveaux de vie à ces extrémités. L’OFCE et le Trésor utilisent également l’ERFS, tandis que l’IPP utilisait pour ses publications sur les années 2018-2019 des bases administratives appariées statistiquement à ERFS.

Le millésime de la base utilisée, c’est-à-dire l’année de recueil des données, peut également être source de différences. Selon les informations publiques disponibles, l’OFCE, l’IPP ou le Trésor utiliseraient des bases de données qui ont une différence de 4 ans ou plus par rapport à la législation simulée. Cela permet de diffuser des résultats contemporains, mais la contrepartie est que les données sont moins représentatives de la population l’année où la législation étudiée s’applique. Pour le bilan des mesures 2019 publié dans France, portrait social, l’Insee s’est appuyé sur l’ERFS 2017, soit un écart de deux ans. Pour ce faire, les revenus ont été vieillis jusqu’en 2018 avec les données fiscales individuelles et jusqu’en 2019 avec des données externes comme celles de la comptabilité nationale et des données fiscales agrégées. En outre, l’ERFS 2017 est également calée sur la structure démographique et sociale de l’année 2019 grâce aux informations du recensement de la population et de l’enquête emploi.

Afin d’évaluer les mesures de 2020, il sera crucial d’avoir assez d’information sur les revenus et le marché du travail en 2020. Il faut pour cela tout d’abord que l’année 2020 soit achevée, puis laisser à la collecte statistique et aux remontées administratives le temps d’être effectuées.

Une autre source de différence peut venir de la méthode elle-même de simulation. Dans certaines publications précitées, les effets de mesures ne sont pas simulés sur un échantillon d’individus mais sont parfois directement imputés à certains dixièmes ou centièmes de la population. C’était par exemple le cas pour la mise en place de l’impôt sur la fortune immobilière (IFI) et du prélèvement forfaitaire unique (PFU) dans la publication du budget 2018 de l’OFCE ou de l’ISF dans la publication du Trésor. Cela revient à attribuer des effets à une tranche de niveau de vie, sans s’appuyer sur une simulation microéconomique des mesures. Par exemple, au lieu de calculer à partir des données disponibles sur les individus et leur ménage le gain lié à la réforme du PFU ou de l’IFI, il s’agit de fixer les montants des gains macroéconomiques – indiqués dans le PLF – et de les appliquer aux plus aisés par exemple. Dans ce cas, les résultats affichés sont plus des hypothèses que des estimations.

Par ailleurs, les méthodes peuvent aussi diverger pour mesurer les effets des taxes indirectes ou de l’IFI par exemple. En effet, les consommations (sur lesquelles s’appliquent les taxes indirectes) ou les patrimoines (sur lesquels est calculé l’IFI) ne sont en général pas connus dans les données en entrée des modèles de microsimulation (l’ERFS pour Ines). L’équipe en charge du modèle Ines a développé un module « patrimoine » et un module « taxation indirecte » visant à imputer aux ménages respectivement un patrimoine et des consommations. Cela permet de simuler la transformation de l’ISF en l’IFI et les modifications de taxes indirectes à partir des barèmes législatifs. Une documentation précise est donnée sur la méthode et les résultats de ces imputations (ici pour l’ISF/IFI et ici pour le module taxation indirecte). Cette méthode est à l’origine des écarts entre la publication de l’Insee dans France, portrait social et l’estimation initiale de l’IPP sur les effets de la transformation de l’ISF en IFI (qui étaient plus concentrés sur les plus hauts centièmes de niveaux de vie). Les derniers travaux actualisés de l’IPP, s’appuyant sur les données fiscales récentes, se sont en revanche rapprochés des estimations de l’Insee. De même, la méthodologie de l’OFCE pour mesurer l’effet de la fiscalité sur le tabac conduit à des pertes plus fortes que dans la publication comparable de l’Insee dans France, portrait social.

Une dernière source majeure de différence tient à la prise en compte ou pas des effets de comportement. En effet, les mesures socio-fiscales peuvent conduire à des changements de comportements, modifiant les revenus primaires des ménages, ou le recours à des prestations. Les prendre en compte ou pas peut avoir des effets importants sur les résultats. Dans la plupart des dernières publications de ce type, seule la baisse de consommation de tabac suite à la hausse de la fiscalité est prise en compte, avec diverses hypothèses sur la sensibilité de cette consommation aux prix. Le choix fait – de longue date – par l’Insee est de ne pas prendre les effets de comportement affectant les revenus primaires ou les prélèvements indirects dans son analyse principale. Cela nécessiterait un grand nombre d’hypothèses supplémentaires et qui pourraient s’avérer discutables. En effet, les effets comportementaux ne sont qu’exceptionnellement mesurés avec précision. En s’appuyant sur des travaux qui sont toujours critiquables et divergents, un lecteur s’interrogerait « pourquoi avoir retenu l’ampleur de ce comportement tirée de cette étude et pas d’une autre ? ».

Il apparaît cependant important de savoir comment ces effets de comportements pourraient modifier les résultats. C’est pour cela que dans les deux dernières éditions de l’ouvrage France, portrait social, des scénarios alternatifs et complémentaires aux résultats « sans comportement » ont été simulés pour montrer comment les résultats seraient modifiés en prenant en compte les modifications de comportements liés à la fiscalité sur le tabac, aux réformes de l’IFI et du PFU (effets qui ont été affinés et détaillés dans cette étude récente pour l’IFI et le PFU). Enfin, dans la dernière livraison de France, portrait social, la hausse de taux de recours à la prime d’activité (PA) liée à la mesure d’augmentation du bonus de la PA de début 2019, en réponse à la crise des gilets jaunes, a été prise en compte dans l’analyse principale. En effet, cette hausse a pu être mesurée de façon relativement précise en comparant les données de la CNAF sur les personnes recourant effectivement à la PA, à une situation où le taux de recours des dernières années a été appliqué aux éligibles à la PA après la réforme. Ici aussi, des résultats sans prise en compte de cette hausse du recours ont été donnés, pour être totalement transparent. Cette prise en compte de la hausse du recours à la PA est une autre raison qui peut expliquer des différences par rapport à d’autres évaluations dans le bas de la distribution des niveaux de vie.

Nous nous félicitons du développement des évaluations par microsimulation ces dernières années et des nombreuses contributions rendues possibles par la mise à disposition de données aux organismes de recherche. Mais la multiplication des évaluations doit conduire à bien regarder en détail les choix faits sur les points que nous venons de passer en revue. Nous espérons que ce billet permettra de donner un mode d’emploi pour bien comparer les résultats. ■

1. Des éléments plus détaillés sont exposés sur cette mesure dans France, portrait social. ↩︎
2. Pour rappel, les allocations d’assurance chômage et les pensions de retraite ne sont pas considérées comme des prestations sociales dans ce cadre d’analyse. ↩︎
3. C’est-à-dire la suppression des cotisations maladie et chômage pour les salariés (et la baisse des cotisations maladie et famille pour les travailleurs indépendants), en contrepartie de la hausse de 1,7 point du taux de CSG sur les revenus d’activité. ↩︎

• Flore Cornuet, Michaël Sicsic (Insee) ; Simon Fredon, Félix Paquier, Noémie Vergier (Drees), Les réformes socio-fiscales de 2019 augmentent fortement le revenu disponible des ménages, surtout pour ceux de niveau de vie intermédiaire et ceux en emploi, France, portrait social, édition 2020
• Anne-Lise Biotteau, Kevin Schmitt, Michaël Sicsic (Insee) ; Simon Fredon, Félix Paquier, Noémie Vergier (Drees) ; Guillaume Berthoin (Cnaf), Les personnes les plus aisées sont celles qui bénéficient le plus des mesures socio-fiscales mises en oeuvre en 2018, principalement du fait des réformes qui concernent les détenteurs de capital, France, portrait social, édition 2019, Insee Références
• Mathias André, Marie-Cécile Cazenave, Maëlle Fontaine, Juliette Fourcot, Antoine Sireyjol, Effet des nouvelles mesures sociales et fiscales sur le niveau de vie des ménages : méthodologie de chiffrage avec le modèle de microsimulation Ines, Documents de travail, n° F1507 décembre 2015
• Simon Fredon (Drees) et Michaël Sicsic (Insee), Ines, le modèle qui simule l’impact des politiques sociales et fiscales, Courrier des statistiques n°4 – 2020
• Félix Paquier et Michaël Sicsic, Effets des réformes 2018 de la fiscalité du capital des ménages sur les inégalités de niveau de vie en France : une évaluation par microsimulation, Documents de travail, n° F2020-01, septembre 2020
• Le modèle de microsimulation Ines (présentation du modèle et bibliographie récente)
• Code source sous licence libre et documentation du modèle Ines
• Note détaillant la qualité des simulations d’Ines