Double page 52

Surveillance et décisions automatisées

Des algorithmes décident déjà qui obtient un prêt, qui est contrôlé par l'administration, qui est suspecté par la police. Lorsqu'ils se trompent, les conséquences peuvent être graves.

Arrêté à cause d’un algorithme (2020)

En janvier 2020, à Détroit, aux États-Unis, Robert Williams est arrêté devant sa femme et ses deux filles, puis passe la nuit en détention. Un logiciel de reconnaissance faciale l’a désigné comme l’auteur d’un vol, à partir d’une image floue de vidéosurveillance. Il est innocent. Plusieurs études ont montré que certains de ces logiciels se trompaient beaucoup plus souvent sur les personnes à la peau foncée.

Illustration à venir : l'arrestation à tort de Robert Williams (2020)

COMPAS, l’algorithme qui prédisait la récidive

Aux États-Unis, des tribunaux utilisent un logiciel nommé COMPAS pour estimer le risque qu’un accusé commette un nouveau délit. En 2016, une enquête du média ProPublica affirme que l’algorithme surestime nettement ce risque pour les accusés noirs, et le sous-estime pour les accusés blancs. Le débat sur l’équité de ces outils est toujours vif.

Le scandale des allocations aux Pays-Bas

Aux Pays-Bas, l’administration fiscale a utilisé un système automatisé pour repérer les fraudes aux allocations pour la garde d’enfants. Des dizaines de milliers de familles, souvent d’origine étrangère, ont été accusées à tort de fraude et contraintes de rembourser des sommes énormes. Certaines ont été ruinées. En janvier 2021, le scandale entraîne la démission du gouvernement.

Des enveloppes du service néerlandais des allocations (Belastingdienst Toeslagen). (mystic_mabel · CC BY-SA 2.0 · Wikimedia Commons)

Clearview AI

L’entreprise américaine Clearview AI a collecté des milliards de photos de visages sur Internet et les réseaux sociaux, sans le consentement des personnes, pour créer un moteur de recherche de visages vendu à des services de police. En 2022, la CNIL, l’autorité française de protection des données, lui a infligé une amende de 20 millions d’euros.

Les garde-fous

Le droit de savoir qu’une décision a été prise par un algorithme.
Le droit d’obtenir une explication et de contester la décision.
L’obligation d’une intervention humaine pour les décisions importantes.
L’interdiction de certains usages, comme la notation sociale des citoyens.

→ DP 56