Le 13 novembre 2024, la défenseure des droits a publié un rapport intitulé « Algorithmes, systèmes d’IA et services publics : quels droits pour les usagers ? » , dans lequel elle analyse la garantie des droits des usagers des services publics face à l’utilisation des algorithmes et des systèmes d’IA.

Dans une perspective d’automatisation, d’amélioration et d’accélération de certaines procédures, de plus en plus de décisions administratives individuelles sont prises par le biais d’algorithmes ou de systèmes d’IA.

C’est dans ce contexte que la défenseure des droits a souhaité attirer l’attention sur deux points nécessitant une particulière vigilance, et formuler des recommandations pour garantir le respect des droits et libertés.

Le premier élément d’importance sur lequel la défenseure des droits attire l’attention, est l’importance de l’effectivité de la participation d’un agent dans le processus pour qu’il ne soit qualifié que de « partiellement automatisé ».

Pour cause, l’intervention humaine dans le processus de décision ne peut pas se contenter d’être symbolique, sans quoi la prise de décision serait intégralement automatisée et ne serait plus soumise aux mêmes règles.

Ainsi il est indispensable que l’intervention de l’agent se caractérise par un acte positif et effectif. L’humain doit avoir un réel impact sur le processus de décision.

Au regard de ces considérations, la Défenseure des droits recommande :

« Dans les cas où la décision administrative individuelle prise sur le fondement du résultat d’un algorithme ou d’un système d’IA est qualifiée de décision partiellement automatisée : d’édicter des critères et des modes opératoires obligatoires, alternativement ou cumulativement, pour qualifier plus précisément « l’intervention humaine ».

Deuxièmement, l’article 47 de la loi « Informatique et Libertés » dispose que l’information des usagers ayant fait l’objet de décisions administratives automatisées constitue une condition de validité de ces décisions, et place donc la transparence comme le second élément indispensable à considérer dans le cadre des prises de décision partiellement automatisées.

Afin que cette disposition consacrant l’information des personnes soit au mieux respectée, la défenseure des droits recommande notamment :

• De se concentrer sur le respect des réglementations déjà en vigueur qui imposent des principes clairs garantissant la transparence via l’information des personnes (RGPD, CRPA)
• De consacrer un droit à l’explication des décisions administratives individuelles entièrement ou partiellement automatisées ;
• De travailler, en parallèle du développement des systèmes automatisés, sur les moyens et les outils adéquats pour expliquer les prises de décision issues de ces systèmes.