Technologies numériques : intelligence artificielle, surveillance et manipulation
Les technologies numériques ne sont pas de simples outils neutres placés entre les mains de leurs utilisateurs. Elles organisent ce que nous voyons, les personnes avec lesquelles nous interagissons, les informations que nous recevons et les décisions qui nous concernent. Elles peuvent faciliter l’accès au savoir, améliorer des diagnostics, automatiser des tâches pénibles et rendre des services accessibles à grande échelle. Mais elles peuvent également surveiller, classer, influencer et exclure sans que les personnes comprennent clairement ce qui leur arrive. Le problème moral ne vient donc pas seulement d’un mauvais usage occasionnel. Il peut être inscrit dans :
- la conception du système ;
- son modèle économique ;
- les données utilisées ;
- la concentration du pouvoir ;
- l’absence de recours.
Une plateforme qui maximise le temps passé n’a pas besoin de vouloir explicitement polariser la société pour favoriser des contenus capables de retenir l’attention. Un algorithme de recrutement n’a pas besoin d’avoir une intention discriminatoire pour reproduire les inégalités présentes dans les données historiques. Un système de surveillance peut être créé pour prévenir un danger réel, puis être progressivement utilisé pour d’autres objectifs. Les technologies numériques augmentent ainsi notre capacité d’agir tout en rendant parfois plus difficile l’identification de celui qui agit. Lorsqu’une décision automatisée cause un tort, plusieurs acteurs peuvent se renvoyer la responsabilité :
- concepteur ;
- entreprise ;
- utilisateur ;
- fournisseur des données ;
- algorithme.
Mais un système technique ne peut pas devenir un espace sans responsabilité. L’intelligence artificielle ne décide pas moralement au même sens qu’une personne. Elle applique des modèles, des objectifs et des critères produits dans un environnement humain. Même lorsqu’elle apprend à partir de données et produit des résultats inattendus, son déploiement reste un choix institutionnel. La question centrale n’est donc pas :
La technologie est-elle bonne ou mauvaise ?
Elle est :
Qui contrôle le système, quels intérêts poursuit-il, quelles personnes supportent les risques et quelles possibilités réelles existent pour comprendre, refuser ou contester ses décisions ?
Définition simple
Une intelligence artificielle est un système informatique capable d’accomplir certaines tâches associées à des capacités humaines comme :
- reconnaître ;
- prédire ;
- produire du langage ;
- recommander ;
- décider selon des critères.
Le terme recouvre des systèmes très différents. Un outil classant des images, un modèle générant du texte et un logiciel attribuant un score de risque ne possèdent pas les mêmes fonctions ni les mêmes dangers. La décision automatisée est une décision produite entièrement ou partiellement par un système informatique. La surveillance numérique consiste à collecter, croiser ou analyser des informations relatives aux comportements, aux déplacements, aux communications ou aux relations. La manipulation consiste à influencer une personne d’une manière qui contourne ou affaiblit sa capacité à comprendre et à décider selon ses propres raisons. Un système de recommandation choisit les contenus, produits ou informations présentés à un utilisateur à partir de données et d’objectifs définis. Un biais algorithmique est une différence systématique dans les résultats d’un système qui avantage ou désavantage certains groupes, volontairement ou non.
L’outil est-il neutre ?
Un marteau peut servir à construire ou à frapper. Cette image conduit à penser que l’outil serait moralement neutre et que seule l’intention de l’utilisateur compterait. Cette conception est insuffisante pour les systèmes numériques complexes. Une technologie contient des choix concernant : ce qu’elle mesure, ce qu’elle optimise, ce qu’elle rend facile, ce qu’elle rend invisible. Une plateforme peut permettre la communication tout en donnant structurellement davantage de visibilité aux contenus suscitant : colère, peur, conflit. Le résultat ne dépend pas uniquement de l’intention des utilisateurs. Il dépend de l’architecture. La technologie ne possède pas nécessairement une intention propre. Elle organise néanmoins un environnement qui favorise certains comportements.
La conception comme choix moral
Concevoir une technologie, c’est décider quelles valeurs seront privilégiées. Un système de reconnaissance faciale peut optimiser : rapidité, précision moyenne, faible coût. Mais il faut aussi choisir le niveau d’erreur acceptable, la manière de traiter les faux positifs et les lieux où le dispositif sera utilisé. Un outil médical peut maximiser la détection d’une maladie. Cela peut augmenter le nombre de fausses alertes et exposer davantage de patients à des examens inutiles. Aucun objectif technique n’est isolé. Optimiser une valeur implique souvent d’accepter un coût dans une autre dimension. Le choix de la métrique est donc déjà normatif.
L’intelligence artificielle comme aide
L’intelligence artificielle peut améliorer certaines décisions en traitant rapidement :
- grandes quantités de données ;
- régularités statistiques ;
- signaux difficiles à détecter.
Elle peut aider un professionnel à :
- repérer une anomalie ;
- comparer des options ;
- automatiser une tâche répétitive.
L’assistance est particulièrement utile lorsque le système reste intégré à une pratique permettant : vérification, contextualisation, correction. Mais l’aide peut progressivement devenir une autorité. Le professionnel finit par considérer que la recommandation algorithmique est forcément plus objective que son propre jugement. Il ne vérifie plus réellement le résultat. Le contrôle humain devient alors symbolique.
Automatisation et responsabilité
Lorsqu’un système produit une erreur, l’entreprise peut affirmer :
L’algorithme a décidé.
Cette phrase est moralement trompeuse. Le système n’a pas choisi : d’être déployé, dans ce domaine, avec ces données, sans contrôle suffisant. Ces décisions appartiennent à des personnes et à des institutions. La responsabilité peut être distribuée, mais elle ne doit pas être dissoute. Il faut identifier :
- qui a conçu ;
- qui a validé ;
- qui a déployé ;
- qui avait le pouvoir de suspendre ;
- qui devait contrôler.
Plus une décision affecte fortement une personne, plus l’organisation doit être capable d’expliquer la chaîne de responsabilité.
Le contrôle humain significatif
La simple présence d’un humain ne garantit pas un contrôle réel. Un professionnel peut recevoir une recommandation qu’il doit valider en quelques secondes, sans comprendre : données utilisées, marge d’erreur, logique du résultat. Il devient alors un signataire humain placé après une décision déjà prise. Un contrôle humain significatif demande :
- temps ;
- compétence ;
- autorité de contredire ;
- accès à des informations pertinentes.
L’humain ne doit pas seulement pouvoir cliquer sur « confirmer ». Il doit pouvoir comprendre pourquoi une contestation est possible et assumer la décision finale.
Le biais d’automatisation
Nous avons tendance à faire confiance à une recommandation produite par une machine, surtout lorsqu’elle est présentée sous forme de score ou de pourcentage. Cette apparence de précision peut masquer : incertitude, erreur, choix arbitraires. Un score de 73 ne signifie pas nécessairement que le phénomène a été mesuré avec une exactitude supérieure à un jugement verbal. Le chiffre peut simplement donner une forme quantitative à une estimation fragile. Le biais d’automatisation apparaît lorsque l’humain accepte le résultat malgré des indices contraires. Il faut donc concevoir les systèmes de manière à favoriser la vigilance plutôt que l’obéissance.
Les données ne sont pas le monde
Une intelligence artificielle apprend souvent à partir de données. Mais les données sont :
- sélectionnées ;
- classées ;
- produites dans un contexte.
Elles ne représentent jamais parfaitement la réalité. Une base de données policière contient les infractions détectées et enregistrées, non toutes les infractions commises. Si certains quartiers sont davantage surveillés, davantage d’infractions y seront observées. Le système peut ensuite conclure que ces quartiers présentent un risque supérieur et recommander d’y renforcer la surveillance. La boucle confirme progressivement sa propre hypothèse. L’algorithme n’a pas inventé l’inégalité. Il peut la stabiliser et lui donner une apparence scientifique.
Biais historique
Un modèle entraîné sur des décisions passées apprend les régularités de ces décisions. Si le passé contient des discriminations, le système peut les reproduire. Supposons qu’une entreprise ait historiquement recruté davantage d’hommes à certains postes. Un modèle peut apprendre que les profils ressemblant aux salariés masculins déjà recrutés correspondent davantage à la réussite. Même si le sexe n’est pas directement utilisé, d’autres variables peuvent servir de substituts :
- parcours ;
- activité ;
- vocabulaire ;
- interruptions professionnelles.
Supprimer une caractéristique sensible ne suffit donc pas toujours. Il faut examiner les effets réels du système.
Discrimination directe et indirecte
Une discrimination directe utilise explicitement une caractéristique comme :
- sexe ;
- origine ;
- handicap.
Une discrimination indirecte utilise une règle apparemment neutre qui désavantage fortement un groupe sans justification suffisante. Un algorithme peut reproduire les deux formes. Il peut utiliser directement une catégorie interdite. Il peut aussi employer un critère corrélé à cette catégorie. La question morale ne doit donc pas se limiter à :
Le système connaît-il l’origine de la personne ?
Il faut demander :
Quels groupes sont écartés et le critère est-il réellement nécessaire à l’objectif ?
Équité et incompatibilité des critères
L’équité algorithmique ne possède pas une définition unique. On peut vouloir que :
- taux d’erreur soit identique entre groupes ;
- proportion de décisions favorables soit comparable ;
- personnes ayant le même risque reçoivent le même score.
Ces exigences peuvent être incompatibles lorsque les situations initiales diffèrent. Le choix d’une définition de l’équité dépend alors d’un jugement moral et politique. La technique ne peut pas décider seule quelle forme d’égalité doit être privilégiée. Les responsables doivent annoncer :
- critère retenu ;
- justification ;
- effets attendus.
Personnalisation
Les systèmes numériques personnalisent :
- contenus ;
- prix ;
- publicités ;
- informations.
Cette personnalisation peut être utile. Elle évite de présenter à chacun un volume d’informations impossible à parcourir. Mais elle peut également enfermer l’utilisateur dans une représentation construite à partir de ses comportements passés. La personne reçoit ce que le système estime susceptible de retenir son attention, non nécessairement ce qui élargirait sa compréhension ou servirait ses intérêts à long terme. La personnalisation peut ainsi réduire la découverte et renforcer les préférences existantes.
Les bulles informationnelles
Une bulle informationnelle apparaît lorsqu’une personne reçoit principalement des contenus compatibles avec ses opinions ou ses habitudes. Le phénomène ne dépend pas uniquement des algorithmes. Les individus choisissent aussi :
- leurs proches ;
- leurs médias ;
- leurs communautés.
Mais les systèmes de recommandation peuvent amplifier cette tendance en apprenant que la confirmation retient davantage l’attention. Une société démocratique demande pourtant l’exposition à :
- désaccord ;
- faits communs ;
- perspectives différentes.
Forcer chaque personne à consommer des opinions opposées serait paternaliste. L’architecture peut néanmoins favoriser une diversité minimale plutôt qu’une pure optimisation de l’engagement.
Captation de l’attention
L’attention est une ressource limitée. Une plateforme dont le revenu dépend du temps passé possède un intérêt à : attirer, retenir, faire revenir. Elle peut utiliser :
- notifications ;
- défilement infini ;
- récompenses imprévisibles ;
- compteurs sociaux.
Chaque élément semble mineur. L’ensemble peut rendre plus difficile l’arrêt volontaire. La personne utilise le service, mais le service apprend aussi à exploiter ses vulnérabilités. La question morale n’est pas seulement celle du consentement initial. Elle est celle de la capacité réelle à rester maître de son attention.
Addiction comportementale
Le terme addiction doit être utilisé avec prudence. Toutes les habitudes numériques intensives ne constituent pas une addiction clinique. Mais certaines architectures utilisent des mécanismes proches de ceux qui entretiennent des comportements compulsifs :
- récompense variable ;
- incertitude ;
- comparaison sociale ;
- stimulation continue.
L’utilisateur peut souhaiter arrêter et continuer malgré lui. L’entreprise connaît souvent mieux les conditions de maintien du comportement que l’utilisateur lui-même. Cette asymétrie d’information et de pouvoir renforce sa responsabilité.
Le consentement numérique
Les utilisateurs acceptent fréquemment de longues conditions d’utilisation. Cet accord possède une valeur juridique. Il ne constitue pas nécessairement un consentement moralement éclairé. La personne ne peut raisonnablement lire et comparer tous les contrats nécessaires à une vie numérique ordinaire. Elle peut aussi ne disposer d’aucune alternative réelle à un service devenu indispensable pour travailler, communiquer ou accomplir une démarche.
Le consentement ne doit donc pas servir à transférer toute la responsabilité vers l’utilisateur. Certaines pratiques doivent être limitées même lorsqu’elles figurent dans un contrat accepté.
Les interfaces trompeuses
Une interface peut être conçue pour orienter la personne vers l’option favorable à l’entreprise. Elle peut :
- mettre en évidence l’acceptation ;
- cacher le refus ;
- compliquer la suppression ;
- utiliser un vocabulaire culpabilisant.
Ces interfaces trompeuses exploitent les limites de l’attention. Elles ne suppriment pas toute possibilité de choix. Elles rendent une option artificiellement plus difficile.
La manipulation n’est pas toujours un mensonge explicite. Elle peut consister à organiser le contexte de manière à contourner la réflexion.
Incitation ou manipulation ?
Toute organisation d’un choix influence. Placer les aliments sains en évidence dans une cantine modifie les comportements. Envoyer un rappel aide certaines personnes à respecter un rendez-vous. Une influence peut être légitime lorsqu’elle :
- poursuit un intérêt identifiable de la personne ;
- reste transparente ;
- conserve une possibilité simple de refus ;
- n’exploite pas une vulnérabilité.
Elle devient manipulatrice lorsqu’elle cherche à produire un comportement que la personne n’adopterait probablement pas si elle comprenait pleinement le procédé et ses objectifs. La frontière dépend donc : transparence, intérêt poursuivi, contrôle conservé.
Les nudges
Un nudge modifie l’architecture du choix sans interdire formellement les options. Inscrire automatiquement une personne à un programme tout en lui permettant de se retirer peut augmenter la participation. Les nudges peuvent aider à surmonter :
- oubli ;
- inertie ;
- complexité.
Ils peuvent aussi devenir paternalistes ou manipulateurs. Une architecture de choix légitime devrait être :
- justifiable publiquement ;
- facilement réversible ;
- évaluée selon ses effets.
La personne doit pouvoir comprendre qu’elle est orientée et pourquoi.
Publicité ciblée
La publicité ciblée utilise les données afin de présenter un message à une personne considérée comme réceptive. Elle peut réduire le nombre de publicités inutiles. Mais elle permet aussi d’exploiter des vulnérabilités précises : inquiétude, isolement, impulsivité, endettement. Une publicité visible par tous peut être critiquée publiquement. Une publicité personnalisée est parfois montrée uniquement à un groupe étroit, ce qui rend son contrôle plus difficile. La transparence devrait permettre de savoir :
- pourquoi la publicité est montrée ;
- qui l’a financée ;
- quelles données ont été utilisées.
Publicité politique
La publicité politique ciblée menace particulièrement l’espace démocratique. Des groupes différents peuvent recevoir des messages contradictoires sans pouvoir les comparer. Un candidat peut promettre une politique à certains et suggérer l’inverse à d’autres. La persuasion politique a toujours utilisé la segmentation. Le numérique augmente :
- précision ;
- invisibilité ;
- vitesse.
Une démocratie demande un espace suffisamment public pour que les arguments puissent être examinés par les adversaires, les journalistes et les citoyens.
Manipulation politique
La manipulation politique ne se limite pas aux fausses informations. Elle peut utiliser des contenus vrais mais sélectionnés de manière à produire :
- peur ;
- colère ;
- sentiment de menace permanente.
Un système optimisant l’engagement peut favoriser les acteurs les plus efficaces pour déclencher ces émotions. Il ne choisit pas nécessairement une idéologie. Il favorise une forme de communication. Cette dynamique peut avantager les discours : simplistes, outranciers, polarisants. Le problème concerne alors autant le modèle de recommandation que le contenu individuel.
Désinformation
La désinformation utilise des informations fausses ou trompeuses afin d’induire en erreur. Les plateformes peuvent accélérer sa diffusion. Mais une politique de modération rencontre plusieurs risques :
- erreur ;
- partialité ;
- concentration du pouvoir sur la vérité publique.
Tout contenu faux ne doit pas nécessairement être interdit. Il faut distinguer :
- erreur ordinaire ;
- satire ;
- opinion ;
- fraude organisée ;
- danger immédiat.
La réponse peut combiner :
- réduction de diffusion ;
- information contextuelle ;
- transparence ;
- sanction des réseaux coordonnés.
La suppression doit être réservée aux situations suffisamment justifiées et contestables.
Liberté d’expression et amplification
La liberté d’expression protège le droit de s’exprimer contre certaines interdictions. Elle ne donne pas nécessairement un droit à être automatiquement recommandé à des millions de personnes. Cette distinction est essentielle.
Une plateforme peut laisser un contenu accessible tout en refusant de l’amplifier par son système de recommandation. Mais le pouvoir de décider ce qui sera visible reste considérable.
Les règles d’amplification doivent donc être :
- publiques ;
- cohérentes ;
- ouvertes au recours.
Modération privée
Les grandes plateformes exercent un pouvoir proche d’une gouvernance. Elles définissent :
- règles ;
- sanctions ;
- visibilité ;
- accès.
Mais elles ne possèdent pas toujours les garanties d’une institution publique : transparence, séparation des fonctions, recours indépendant. Une entreprise privée peut légitimement organiser son service. Lorsqu’elle contrôle une infrastructure essentielle de discussion publique, sa responsabilité devient plus forte. Il peut être nécessaire de lui imposer des obligations procédurales sans transformer l’État en arbitre direct de toutes les opinions.
Vie privée
La vie privée ne consiste pas seulement à cacher des fautes. Elle protège un espace dans lequel une personne peut : expérimenter, réfléchir, changer, établir des relations sans observation permanente. Une surveillance constante modifie les comportements même lorsque personne n’utilise immédiatement les données contre la personne. Elle peut produire :
- conformisme ;
- autocensure ;
- peur de la trace.
La vie privée est donc une condition de l’autonomie et de la liberté politique.
« Je n’ai rien à cacher »
L’argument selon lequel une personne honnête n’aurait rien à cacher est trompeur. Nous fermons une porte, protégeons une conversation ou choisissons à qui révéler certaines informations sans commettre d’infraction. Le problème n’est pas seulement le secret. Il est le contrôle sur :
- contexte ;
- destinataire ;
- interprétation.
Une information anodine isolément peut devenir sensible lorsqu’elle est croisée avec d’autres données. La transparence totale ne supprime pas seulement la possibilité du crime. Elle supprime aussi une partie de la liberté personnelle.
Données personnelles
Les données numériques peuvent révéler :
- déplacements ;
- santé ;
- relations ;
- habitudes ;
- opinions probables.
Elles peuvent être collectées directement ou déduites. Une entreprise peut ne pas connaître explicitement une conviction politique, mais la prédire à partir : lectures, achats, réseau social. La protection doit donc concerner non seulement les données fournies, mais aussi les profils et inférences produits. La personne devrait pouvoir savoir quelles conclusions sont tirées à son sujet lorsqu’elles influencent une décision importante.
Anonymisation
Les données peuvent être anonymisées afin de réduire le risque d’identification. Mais le croisement de plusieurs bases peut parfois permettre de retrouver une personne. L’anonymisation n’est donc pas une garantie absolue. Plus les données sont détaillées, plus leur valeur analytique augmente et plus le risque de réidentification peut devenir important. Une bonne gouvernance ne repose pas seulement sur la promesse technique d’anonymat. Elle limite aussi : accès, durée de conservation, usages autorisés.
Minimisation des données
Un principe de minimisation demande de collecter uniquement les données réellement nécessaires. Cette règle s’oppose à la logique :
Conservons tout, cela pourra servir plus tard.
L’accumulation crée des risques :
- fuite ;
- détournement ;
- extension des usages.
Une donnée non collectée ne peut pas être volée ou réutilisée abusivement. La collecte doit donc être justifiée avant son existence, pas seulement sécurisée après.
Surveillance commerciale
Les entreprises observent les utilisateurs afin de :
- personnaliser ;
- mesurer ;
- vendre ;
- prédire.
La surveillance commerciale ne possède pas la force coercitive directe de l’État. Elle peut néanmoins influencer profondément : prix, accès, information. Les données peuvent aussi être transmises ou vendues à d’autres acteurs. L’utilisateur ne connaît souvent pas l’ensemble de la chaîne. Le modèle économique fondé sur la collecte maximale crée un conflit structurel entre :
- intérêt de l’entreprise ;
- maîtrise de la personne.
Prix personnalisés
Une entreprise peut adapter le prix selon ce qu’elle estime être la disposition à payer. Cette pratique peut parfois offrir une réduction à certaines personnes. Elle peut aussi faire payer davantage à ceux qui semblent : pressés, dépendants, peu informés. La personnalisation devient injuste lorsqu’elle exploite une vulnérabilité plutôt qu’une différence légitime de coût. La transparence est difficile, car le consommateur ne sait pas nécessairement qu’un autre prix existe. Les biens essentiels demandent une protection particulièrement forte contre ces pratiques.
Surveillance publique
L’État peut utiliser la surveillance pour prévenir : terrorisme, crime, fraude, menace sanitaire. Ces objectifs sont légitimes. Mais l’État possède un pouvoir de contrainte beaucoup plus grand que l’entreprise. Les données peuvent servir à :
- enquêter ;
- sanctionner ;
- limiter des droits.
La surveillance publique doit donc respecter des conditions fortes :
- base légale ;
- objectif précis ;
- nécessité ;
- proportionnalité ;
- contrôle indépendant.
La simple possibilité d’améliorer la sécurité ne suffit pas.
Surveillance ciblée et surveillance de masse
Une surveillance ciblée concerne une personne ou un groupe à partir d’indices précis. Une surveillance de masse collecte les informations d’une population entière afin de rechercher ensuite des signaux. La seconde transforme potentiellement chaque citoyen en objet d’analyse. Elle peut détecter certains phénomènes difficiles à repérer autrement. Elle crée aussi un pouvoir considérable et un risque d’usage secondaire. Plus la surveillance est large, plus la justification, le contrôle et la limitation temporelle doivent être exigeants.
Le paradoxe de la sécurité
Une surveillance accrue peut réduire certains risques. Elle peut aussi créer de nouveaux dangers :
- abus politique ;
- fuite de données ;
- discrimination ;
- dépendance technique.
Une base centralisée utile pour la sécurité peut devenir une cible attractive. La question ne doit donc pas opposer sécurité et vie privée comme si la première gagnait toujours à chaque collecte supplémentaire. Une architecture respectueuse de la vie privée peut aussi être une architecture plus sûre.
Reconnaissance faciale
La reconnaissance faciale permet d’identifier ou de suivre des personnes à partir d’images. Elle peut aider à retrouver : personne disparue, suspect recherché. Elle peut également rendre possible une surveillance continue des espaces publics. Le visage ne peut pas être remplacé comme un mot de passe. Une erreur d’identification peut conduire à :
- contrôle ;
- suspicion ;
- arrestation.
L’usage doit être limité selon : finalité, précision, contexte, contrôle humain. Une technologie acceptable pour vérifier volontairement son identité n’est pas nécessairement acceptable pour identifier toute personne passant dans une rue.
Le droit à l’anonymat dans l’espace public
Se déplacer dans l’espace public ne signifie pas renoncer à toute vie privée. Une personne est visible par les gens présents. Elle n’accepte pas nécessairement que tous ses déplacements soient :
- enregistrés ;
- reliés ;
- conservés ;
- analysés.
La différence entre être vu et être traçable durablement est fondamentale. L’anonymat relatif permet : réunion, protestation, exploration. Sa disparition peut modifier la liberté politique même si les autorités n’utilisent pas immédiatement les données de manière abusive.
Surveillance au travail
Les employeurs peuvent contrôler certains aspects de l’activité afin de :
- organiser ;
- protéger ;
- évaluer.
Les outils numériques permettent désormais de mesurer : frappes, déplacements, pauses, communications, rythme. Une surveillance permanente peut réduire le travailleur à une série d’indicateurs. Elle peut ignorer : qualité, coopération, réflexion, contexte. Le pouvoir de l’employeur et la dépendance économique rendent le consentement du salarié particulièrement fragile. Le contrôle doit rester lié à un objectif professionnel légitime et proportionné.
Management algorithmique
Le management algorithmique attribue :
- tâches ;
- horaires ;
- évaluations ;
- sanctions
à partir de données. Il peut améliorer l’organisation. Il peut aussi rendre le pouvoir plus opaque. Le travailleur ne sait pas pourquoi son score baisse ou pourquoi il reçoit moins de missions. Le responsable humain affirme parfois ne pas pouvoir modifier le système. Une organisation juste doit permettre : explication, contestation, correction, interlocuteur responsable. La rationalisation technique ne doit pas éliminer la relation de travail.
Notation et classement
Les plateformes demandent fréquemment aux utilisateurs et aux travailleurs de se noter mutuellement. Ces évaluations peuvent signaler la qualité. Elles peuvent aussi produire une dépendance à des jugements : rapides, subjectifs, biaisés. Une légère baisse de note peut supprimer l’accès au travail ou à un service. La personne n’a pas toujours la possibilité de répondre. Un système de réputation doit intégrer : droit de contestation, protection contre la vengeance, contexte, limitation de la portée. Une note ne doit pas devenir une identité générale.
Crédit et assurance
Les systèmes prédictifs peuvent estimer un risque financier ou assurantiel. Ils permettent une tarification plus précise. Mais une précision parfaite peut détruire le principe de mutualisation. Si chaque personne paie exactement selon son risque individuel, les plus vulnérables peuvent devenir incapables de s’assurer. La justice doit donc distinguer :
- information pertinente ;
- solidarité nécessaire.
Tout ce qui peut être prédit ne doit pas nécessairement être utilisé. Une société peut décider que certaines différences de risque doivent rester partagées.
Police prédictive
La police prédictive utilise des données pour identifier des lieux ou des personnes considérés comme plus risqués. Elle peut aider à répartir les moyens. Mais elle risque de créer une boucle :
- un quartier est davantage surveillé ;
- davantage d’infractions y sont détectées ;
- le système confirme le niveau de risque ;
- la surveillance augmente encore.
Le résultat peut être présenté comme objectif alors qu’il dépend de l’histoire des contrôles. Une politique juste doit comparer les prédictions aux données sur :
- plaintes ;
- victimisation ;
- pratiques policières.
Le contrôle doit porter autant sur la manière de produire les données que sur l’algorithme.
Justice pénale et scores de risque
Un score peut être utilisé pour évaluer :
- récidive ;
- aménagement ;
- détention.
La cohérence statistique peut réduire certaines intuitions arbitraires. Mais punir davantage une personne parce qu’elle ressemble à un groupe statistiquement associé à un risque soulève un problème. La peine devrait porter sur :
- acte ;
- responsabilité individuelle.
Les prédictions peuvent informer certaines mesures de protection. Elles ne doivent pas devenir une condamnation anticipée pour un crime futur. La personne doit pouvoir connaître et contester les éléments du score.
Médecine et intelligence artificielle
L’IA médicale peut améliorer :
- détection ;
- suivi ;
- personnalisation ;
- organisation.
Elle peut réduire certaines erreurs humaines. Mais elle peut également créer une nouvelle dépendance. Un modèle efficace en moyenne peut être moins fiable pour un groupe peu représenté dans les données. Il peut aussi devenir obsolète lorsque :
- population ;
- matériel ;
- pratiques
changent. Le déploiement doit donc prévoir :
- validation ;
- surveillance continue ;
- information des professionnels ;
- recours pour le patient.
L’innovation médicale ne doit pas contourner les exigences ordinaires de preuve.
Le patient doit-il savoir ?
Une personne peut avoir intérêt à savoir qu’une décision importante a été assistée ou produite par un système automatisé. Cette information lui permet de demander : explication, second avis, contrôle humain. Mais une obligation d’expliquer chaque usage technique mineur pourrait devenir inutilement lourde. Il faut distinguer :
- outil administratif ;
- recommandation clinique déterminante ;
- décision sans intervention humaine réelle.
Plus l’influence sur le soin est importante, plus la transparence doit être forte.
Éducation et intelligence artificielle
Les outils numériques peuvent personnaliser les exercices, aider à comprendre et rendre certaines ressources accessibles. Ils peuvent aussi : surveiller les élèves, standardiser l’apprentissage, remplacer une partie de la relation pédagogique. Un système qui prédit précocement le niveau futur d’un enfant peut enfermer celui-ci dans une catégorie. La prédiction devient performative :
- moins d’attentes ;
- moins d’opportunités ;
- résultat confirmé.
L’école doit utiliser les données pour soutenir, non pour fixer définitivement les possibilités d’un élève.
Création et intelligence artificielle
Les systèmes génératifs peuvent produire :
- textes ;
- images ;
- musiques ;
- programmes.
Ils rendent la création plus accessible et augmentent la productivité. Ils soulèvent aussi des questions concernant :
- données d’entraînement ;
- attribution ;
- rémunération ;
- imitation.
La création humaine ne se réduit pas au résultat final. Elle inclut : intention, expérience, contexte, relation au public. Un contenu généré peut posséder une valeur esthétique. Il ne doit pas pour autant effacer la contribution des œuvres et des personnes ayant rendu son apprentissage possible.
Travail et remplacement
L’intelligence artificielle peut automatiser certaines tâches intellectuelles. Elle peut libérer du temps. Elle peut aussi réduire le besoin de certains emplois ou dévaloriser certaines compétences. Le problème moral n’est pas de préserver chaque tâche existante pour toujours. Il est de déterminer qui reçoit les gains et qui supporte la transition. Une entreprise peut augmenter fortement sa productivité grâce à un savoir collectif et à des données produites par de nombreux acteurs. Il est alors justifiable de partager les bénéfices par : salaires, réduction du temps de travail, formation, contribution fiscale. L’innovation ne doit pas devenir une manière de privatiser les gains et de socialiser les pertes.
Déqualification
Un outil peut assister un professionnel. À long terme, il peut aussi diminuer sa capacité à accomplir la tâche sans assistance. Si les individus ne pratiquent plus certaines compétences, ils deviennent dépendants du système. Cette déqualification pose un risque lorsque :
- outil tombe en panne ;
- résultat est incorrect ;
- fournisseur modifie les conditions d’accès.
Il faut préserver un niveau suffisant de compréhension et de compétence humaine dans les domaines critiques. L’efficacité immédiate ne doit pas détruire toute autonomie future.
Concentration du pouvoir numérique
Les technologies numériques présentent souvent des effets de réseau. Plus un service possède d’utilisateurs, plus il devient utile, ce qui attire encore davantage d’utilisateurs. Cette dynamique favorise la concentration. Une entreprise peut alors contrôler simultanément :
- données ;
- infrastructure ;
- accès au public ;
- capacités de calcul.
Le pouvoir économique devient un pouvoir social et politique. La concurrence ordinaire peut ne pas suffire lorsque changer de service signifie perdre :
- réseau ;
- historique ;
- compatibilité.
La régulation peut exiger :
- interopérabilité ;
- portabilité ;
- séparation de certaines fonctions ;
- contrôle des acquisitions.
Dépendance aux infrastructures privées
Une société peut dépendre d’entreprises privées pour : communication, stockage, identité, paiement, intelligence artificielle. Cette dépendance crée un risque. Une décision commerciale, une panne ou un conflit géopolitique peut affecter des services essentiels. La résilience demande :
- diversification ;
- standards ouverts ;
- capacités publiques ;
- plans de continuité.
Le recours au privé n’est pas en lui-même injuste. La souveraineté collective exige toutefois de ne pas abandonner entièrement les infrastructures fondamentales à des acteurs incontrôlables.
Transparence algorithmique
Demander la transparence semble une solution évidente. Mais publier le code ne suffit pas toujours. Un modèle complexe peut rester incompréhensible même lorsque son architecture est connue. La transparence pertinente doit porter sur :
- objectif ;
- données ;
- critères ;
- performances ;
- erreurs ;
- gouvernance.
Différents acteurs ont besoin de différents niveaux d’information :
- utilisateur ;
- auditeur ;
- régulateur ;
- chercheur.
La transparence ne doit pas non plus exposer inutilement :
- données personnelles ;
- sécurité ;
- secrets légitimes.
Explicabilité
Une explication doit aider la personne à comprendre pourquoi une décision l’a concernée. Elle peut prendre plusieurs formes : facteurs principaux, règle appliquée, comparaison, possibilité de modification. Une explication techniquement exacte peut être inutilisable. Dire qu’un réseau de neurones a activé certains paramètres ne permet pas nécessairement de contester la décision. L’explication doit être adaptée au droit ou à l’intérêt de la personne :
Qu’est-ce qui a compté et comment puis-je corriger une erreur ?
Audit
Un audit examine le fonctionnement réel d’un système. Il peut rechercher :
- biais ;
- sécurité ;
- conformité ;
- dérive dans le temps.
Un audit effectué uniquement par l’entreprise elle-même risque d’être insuffisant. L’indépendance est particulièrement importante lorsque les enjeux concernent : droits, santé, justice, accès à l’emploi. L’audit doit pouvoir accéder aux données nécessaires tout en protégeant les informations sensibles. Il doit aussi conduire à des conséquences réelles lorsque des problèmes sont découverts.
Droit au recours
Une personne affectée par une décision importante doit pouvoir : connaître la décision, contester les faits, présenter son contexte, obtenir un réexamen humain. Un recours purement formel est insuffisant si :
- délai trop long ;
- procédure incompréhensible ;
- décision déjà irréversible.
Le recours doit être accessible et proportionné à l’enjeu. Plus le système est automatisé, plus l’institution doit organiser activement la possibilité de corriger ses erreurs.
Principe de précaution
Les technologies nouvelles créent parfois des risques difficiles à prévoir. Une interdiction générale de toute innovation serait excessivement rigide. Mais un déploiement massif avant toute évaluation peut produire des dommages difficiles à réparer. Une approche prudente peut utiliser :
- expérimentation limitée ;
- environnement contrôlé ;
- évaluation indépendante ;
- arrêt possible.
La réversibilité est essentielle. Un projet pilote véritablement limité est différent d’un déploiement national présenté comme provisoire.
Domaines interdits ou fortement limités
Toutes les utilisations ne méritent pas le même niveau d’acceptation. Certaines combinaisons peuvent être particulièrement dangereuses : décision létale autonome, surveillance biométrique permanente, manipulation ciblée de personnes vulnérables, notation sociale généralisée. Dans ces domaines, une simple obligation de transparence peut être insuffisante. La société peut décider que certaines capacités ne doivent pas être déployées, même si elles sont techniquement possibles. La liberté d’innover ne crée pas un droit automatique à expérimenter sur la population.
Innovation responsable
L’innovation responsable ne signifie pas ajouter un comité éthique à la fin du développement. Elle demande d’intégrer les questions morales dès le début :
- quel problème cherche-t-on à résoudre ?
- l’IA est-elle nécessaire ?
- qui pourrait être lésé ?
- comment contester ?
- que se passe-t-il en cas d’échec ?
Parfois, la meilleure solution n’est pas un système plus sophistiqué. Elle peut être :
- règle plus simple ;
- davantage de personnel ;
- meilleure organisation.
La fascination technologique peut conduire à automatiser un problème institutionnel sans le résoudre.
La responsabilité des ingénieurs
Les ingénieurs ne contrôlent pas toujours les usages finaux. Ils possèdent néanmoins une responsabilité liée à leur compétence. Ils peuvent être mieux placés que d’autres pour identifier : vulnérabilité, biais, risque de détournement. Leur obligation n’est pas illimitée. Ils travaillent dans des organisations et ne disposent pas toujours du pouvoir de décision. Mais le devoir professionnel peut demander : alerter, documenter, refuser certaines tâches, protéger les utilisateurs. Une entreprise ne doit pas exiger une loyauté absolue lorsque la sécurité publique est en jeu.
Lanceurs d’alerte
Le lanceur d’alerte révèle une pratique cachée susceptible de causer un tort important. Cette action peut violer :
- confidentialité ;
- loyauté ;
- contrat.
Elle peut être justifiée lorsque : danger sérieux, voies internes inefficaces, révélation proportionnée, intérêt public réel. La divulgation doit limiter autant que possible les dommages secondaires. Une société qui dépend d’organisations techniques complexes doit protéger ceux qui permettent d’identifier les abus que le public ne pourrait découvrir autrement.
Gouvernance démocratique
Les décisions technologiques sont souvent présentées comme techniques. Mais choisir :
- surveillance acceptable ;
- degré d’automatisation ;
- usage des données
est un choix politique. Ces décisions ne doivent pas appartenir uniquement :
- entreprises ;
- ingénieurs ;
- experts.
Les citoyens, les travailleurs et les personnes concernées doivent pouvoir participer. La participation ne signifie pas qu’un vote populaire peut déterminer la précision d’un modèle. Elle signifie que les finalités, les limites et les procédures doivent être démocratiquement justifiables.
Compétition internationale
Un État peut craindre qu’une régulation ralentisse ses entreprises face à des concurrents moins exigeants. Cet argument possède une part de vérité. Une règle isolée peut déplacer certaines activités. Mais il peut aussi devenir une excuse permanente :
Nous devons accepter le risque parce que quelqu’un d’autre le fera.
La coopération internationale est donc importante. Elle reste difficile lorsque les technologies possèdent une valeur : économique, militaire, stratégique. La compétition ne supprime pas l’éthique. Elle augmente le besoin de règles communes et de vérification.
Usage militaire
L’intelligence artificielle peut améliorer :
- détection ;
- logistique ;
- défense ;
- précision.
Elle peut aussi accélérer les décisions au point de réduire le temps de délibération humaine. Dans un conflit, chaque camp peut automatiser afin de ne pas être plus lent que l’adversaire. Cette dynamique crée un risque d’escalade. La guerre n’annule pas les exigences de :
- distinction ;
- proportionnalité ;
- responsabilité.
Un système capable de sélectionner et d’attaquer une cible sans contrôle humain significatif soulève une objection particulièrement forte.
L’intelligence artificielle peut-elle être un agent moral ?
Les systèmes actuels peuvent produire des réponses ressemblant à des raisonnements moraux. Cela ne prouve pas qu’ils possèdent : conscience, intention, responsabilité. Ils peuvent simuler une justification à partir de régularités apprises. Un agent moral doit pouvoir répondre de ses actes d’une manière plus profonde. Attribuer trop rapidement une personnalité morale à la machine risque de permettre aux humains de se décharger de leurs responsabilités. La question pourrait changer si des systèmes conscients apparaissaient réellement. Cette hypothèse demanderait alors d’examiner leurs propres intérêts et droits. Elle ne doit pas être confondue avec les capacités actuelles de production de langage ou de décision statistique.
L’IA comme conseiller moral
Une intelligence artificielle peut aider à :
- identifier des arguments ;
- repérer une incohérence ;
- comparer des conséquences.
Elle peut élargir la réflexion. Mais elle ne doit pas être considérée comme une autorité morale infaillible. Ses réponses dépendent : données, consignes, conception, contexte fourni. Elle peut produire une formulation convaincante et fausse. L’utilisateur doit conserver :
- jugement ;
- responsabilité ;
- possibilité de demander des sources.
L’outil peut soutenir l’autonomie intellectuelle ou la réduire selon la manière dont il est utilisé.
Personnalisation morale
Un système pourrait apprendre les valeurs de l’utilisateur et lui proposer des décisions compatibles avec ses préférences. Cela paraît respectueux de l’autonomie. Mais il risque d’enfermer la personne dans ses opinions antérieures. Une morale critique demande parfois d’être confronté à :
- contradiction ;
- objection ;
- point de vue d’autrui.
Un conseiller qui confirme toujours l’utilisateur devient un instrument de rationalisation. La bonne assistance doit aider à penser par soi-même sans prétendre que toutes les préférences initiales sont moralement équivalentes.
Enfants et personnes vulnérables
Les enfants possèdent une capacité réduite à comprendre : collecte de données, techniques d’influence, effets futurs. Ils sont particulièrement sensibles :
- récompense ;
- comparaison ;
- approbation sociale.
Le consentement parental ne justifie pas nécessairement toutes les pratiques. Certaines formes de profilage, de publicité ou de captation devraient être fortement limitées indépendamment du contrat accepté. La protection doit également concerner les adultes dont la vulnérabilité est connue ou prédite : addiction, difficultés financières, fragilité psychique.
Le droit à la déconnexion
Les outils numériques rendent possible une disponibilité permanente. Le salarié peut recevoir des demandes hors de son temps de travail. Même sans ordre explicite, la culture professionnelle peut créer une attente de réponse immédiate. Le droit à la déconnexion protège : repos, vie privée, santé. Il ne consiste pas nécessairement à interdire tout message. Il demande que la personne puisse ne pas répondre sans subir de désavantage injuste. La technologie doit servir l’organisation du travail, non abolir toute frontière temporelle.
La fracture numérique
La numérisation peut simplifier l’accès pour beaucoup. Elle peut exclure ceux qui :
- ne possèdent pas l’équipement ;
- maîtrisent mal l’outil ;
- ont un handicap ;
- rencontrent des problèmes de connexion.
Une administration ne doit pas transformer une compétence technique en condition générale d’accès aux droits. Des alternatives humaines doivent rester disponibles pour les démarches essentielles. L’inclusion numérique ne consiste pas seulement à former les personnes. Elle demande de concevoir des services réellement accessibles.
Accessibilité
Le numérique peut améliorer l’autonomie des personnes handicapées grâce à :
- synthèse vocale ;
- traduction ;
- commande adaptée ;
- assistance.
Mais un service mal conçu peut créer de nouvelles barrières. L’accessibilité doit être intégrée dès la conception, non ajoutée tardivement comme faveur. Elle relève d’une égalité d’accès. Une innovation qui ne fonctionne que pour l’utilisateur moyen peut aggraver l’exclusion de ceux qui avaient déjà le plus besoin d’alternatives.
Coût environnemental
Les technologies numériques possèdent un coût matériel. Elles demandent : énergie, métaux, infrastructures, refroidissement, renouvellement des appareils. Le caractère virtuel de l’interface rend ces coûts peu visibles. Une utilisation doit donc être évaluée selon : utilité, consommation, durée de vie, réparabilité. L’intelligence artificielle ne doit pas être appliquée à toute tâche simplement parce qu’elle est disponible. Une solution plus simple peut parfois produire un résultat suffisant avec moins de ressources.
Une méthode d’évaluation
1. Définir le problème
Quel besoin réel le système cherche-t-il à résoudre ?
2. Vérifier la nécessité de l’automatisation
Une règle simple ou une organisation humaine pourrait-elle mieux répondre ?
3. Identifier les personnes concernées
Utilisateurs, travailleurs, personnes évaluées et groupes indirectement affectés.
4. Examiner les données
Origine, qualité, représentativité, consentement et durée de conservation.
5. Définir l’objectif optimisé
Précision, profit, rapidité, engagement ou sécurité ?
6. Mesurer les erreurs
Qui subit les faux positifs et les faux négatifs ?
7. Évaluer les risques de discrimination
Résultats par groupe et pertinence des critères.
8. Préserver un contrôle humain réel
Compétence, temps, autorité et responsabilité.
9. Organiser la transparence et le recours
Explication compréhensible et correction accessible.
10. Prévoir l’arrêt
Le système doit pouvoir être suspendu lorsqu’un dommage sérieux apparaît.
Exemple : recrutement automatisé
Une entreprise utilise un modèle pour classer les candidatures. Le système réduit le temps de traitement et peut appliquer les mêmes critères à tous. Mais les données historiques reflètent les recrutements passés. L’entreprise doit vérifier :
- variables utilisées ;
- effets par groupe ;
- pertinence professionnelle ;
- possibilité de recours.
Le modèle peut servir à repérer des candidatures. Il ne devrait pas exclure automatiquement une personne sur la base d’un score opaque sans réexamen.
Exemple : diagnostic médical
Un système détecte une anomalie avec une performance moyenne supérieure à celle de nombreux professionnels. Son utilisation paraît justifiée. Mais il doit être validé sur : population locale, différents équipements, groupes sous-représentés. Le médecin doit connaître les situations dans lesquelles le modèle est moins fiable. Le patient doit pouvoir bénéficier d’un second examen lorsque la décision possède des conséquences importantes.
Exemple : surveillance dans une ville
Une municipalité souhaite utiliser des caméras intelligentes pour détecter des comportements dangereux. L’objectif de sécurité peut être légitime. Il faut néanmoins préciser :
- comportements détectés ;
- durée de conservation ;
- taux d’erreur ;
- accès aux données ;
- contrôle indépendant.
Un dispositif temporaire contre un risque précis ne doit pas devenir automatiquement une surveillance générale de tous les déplacements.
Exemple : réseau social
Une plateforme recommande les contenus suscitant le plus d’interactions. Le système augmente le temps passé et les revenus publicitaires. Il peut aussi favoriser : outrage, conflit, désinformation. La plateforme ne peut pas se présenter comme simple hébergeur si elle organise activement la visibilité. Elle doit évaluer les effets de son modèle et permettre davantage de contrôle à l’utilisateur :
- ordre chronologique ;
- réglages compréhensibles ;
- réduction des notifications ;
- transparence sur la recommandation.
Exemple : score de risque pénal
Un tribunal utilise un score statistique pour estimer la récidive. Le score peut apporter une information. Il ne doit pas remplacer l’évaluation individuelle ni déterminer automatiquement une peine plus lourde. La personne doit pouvoir connaître : données utilisées, erreurs, méthode générale. Une caractéristique liée au groupe social ne doit pas devenir une forme de culpabilité anticipée.
Les principales erreurs à éviter
Croire que la technologie est entièrement neutre
Son architecture favorise certains objectifs et comportements.
Attribuer la responsabilité à l’algorithme
Le déploiement et le contrôle restent des décisions humaines.
Confondre présence humaine et contrôle humain réel
Un validateur sans temps ni autorité ne contrôle pas effectivement.
Prendre un score précis pour une vérité certaine
La quantification peut masquer une grande incertitude.
Croire que les données décrivent objectivement tout le réel
Elles reflètent aussi les pratiques et les institutions qui les produisent.
Supprimer une variable sensible sans examiner les effets
D’autres critères peuvent servir de substituts.
Chercher une définition purement technique de l’équité
Les critères d’égalité impliquent des choix moraux.
Présenter la personnalisation comme toujours favorable à l’utilisateur
Elle peut aussi enfermer et manipuler.
Réduire le consentement à l’acceptation d’un contrat
Le choix peut être opaque ou pratiquement obligatoire.
Confondre influence et manipulation
L’objectif, la transparence et la facilité de refus comptent.
Opposer absolument liberté d’expression et modération
L’amplification algorithmique n’est pas identique au droit de parler.
Croire que la vie privée sert seulement à cacher des fautes
Elle protège l’autonomie, la relation et la liberté politique.
Considérer toute donnée comme utilisable parce qu’elle est techniquement accessible
La possibilité de collecte ne crée pas une légitimité.
Faire de la transparence du code la solution unique
La gouvernance, les données et les résultats doivent aussi être examinés.
Autoriser un système sans recours réel
Une décision automatisée faillible doit rester contestable.
Déployer massivement avant d’évaluer
La réversibilité et l’expérimentation limitée sont essentielles.
Utiliser l’innovation comme justification morale
Une nouveauté doit répondre à un besoin et respecter des limites.
Refuser toute régulation au nom de la compétition
La course technologique peut précisément produire des risques collectifs.
Considérer l’IA comme une autorité morale
Elle peut aider à raisonner sans assumer la responsabilité de la décision.
Une position équilibrée
Une position équilibrée reconnaît la valeur immense des technologies numériques. Elles peuvent augmenter : accès au savoir, efficacité, autonomie, sécurité. Elle refuse cependant l’idée que toute amélioration moyenne justifie automatiquement le déploiement. Plus une décision affecte les droits, plus les exigences doivent être fortes. Un système utilisé pour recommander un film ne demande pas les mêmes garanties qu’un système utilisé pour diagnostiquer, recruter, surveiller ou condamner.
Cette position exige que l’humain conserve un contrôle significatif dans les domaines importants. Elle ne transforme pas le contrôle humain en simple formalité. Elle demande également une protection de la vie privée fondée sur : minimisation, limitation des usages, sécurité, droit de recours. La manipulation commerciale et politique doit être encadrée, surtout lorsqu’elle exploite des vulnérabilités individuelles invisibles. Enfin, l’innovation doit être démocratiquement gouvernée. Les entreprises et les experts possèdent des compétences indispensables. Ils ne doivent pas décider seuls des limites imposées à la liberté, à l’égalité et à la vie privée.
Conclusion
Les technologies numériques augmentent la capacité humaine de connaître, de prédire et d’agir. Elles augmentent aussi la possibilité de contrôler les personnes sans violence visible. Un individu peut être surveillé, classé ou exclu par un système qu’il ne voit pas et qu’aucun interlocuteur ne semble réellement maîtriser. La première exigence morale consiste donc à maintenir une responsabilité identifiable. Un algorithme n’est pas un sujet que l’on peut punir, interroger ou convaincre. Les institutions qui l’utilisent doivent pouvoir répondre :
- de son objectif ;
- de ses erreurs ;
- de ses effets.
La seconde exigence concerne l’autonomie. Une technologie respecte difficilement l’autonomie lorsqu’elle exploite les faiblesses de l’utilisateur afin de prolonger son engagement ou d’orienter une décision qu’il ne comprend pas. Le consentement numérique ne doit pas devenir une fiction juridique permettant de tout autoriser. La troisième exigence concerne l’égalité. Un système peut reproduire des discriminations sans utiliser explicitement une catégorie interdite. La neutralité apparente du calcul ne garantit pas la justice. Les résultats doivent être examinés dans leur distribution réelle. La quatrième exigence concerne le pouvoir. Les données, les infrastructures et les capacités d’intelligence artificielle peuvent se concentrer entre quelques acteurs. Ceux-ci ne contrôlent alors pas seulement des marchés. Ils influencent l’information disponible, les conditions de travail et parfois les décisions publiques. Une société démocratique ne peut pas abandonner entièrement ces fonctions à des organisations privées opaques. La bonne réponse n’est pas de refuser la technologie. Elle est de refuser qu’elle soit déployée comme une fatalité. Un système doit être autorisé parce qu’il répond à un besoin suffisamment important dans des conditions :
- proportionnées ;
- contrôlables ;
- contestables.
Certaines utilisations peuvent être acceptées avec des garanties. D’autres doivent rester limitées ou interdites lorsque leur pouvoir menace trop directement la liberté humaine. La question centrale n’est finalement pas :
Jusqu’où la machine peut-elle aller ?
Elle est :
Jusqu’où voulons-nous lui déléguer le pouvoir de décider, d’observer et d’influencer nos vies, et quelles limites refusons-nous de franchir même lorsqu’elles seraient techniquement efficaces ?
À retenir
Les technologies numériques ne sont pas entièrement neutres : leur conception favorise certains objectifs et comportements.
L’intelligence artificielle recouvre des systèmes très différents qui ne présentent pas les mêmes risques.
Une décision automatisée reste le résultat d’un choix humain de conception et de déploiement.
La responsabilité peut être distribuée sans être dissoute.
Un contrôle humain significatif demande du temps, de la compétence et une réelle autorité de contredire le système.
Le biais d’automatisation conduit à faire excessivement confiance aux résultats chiffrés.
Les données reflètent les pratiques et les inégalités du monde dans lequel elles sont produites.
Un algorithme peut reproduire une discrimination historique sans intention discriminatoire.
Supprimer une variable sensible ne suffit pas lorsque d’autres variables lui sont fortement corrélées.
Les différentes définitions techniques de l’équité peuvent être incompatibles.
Choisir un critère d’équité est aussi un choix moral.
La personnalisation peut améliorer le service ou enfermer l’utilisateur dans ses préférences passées.
Les systèmes de recommandation peuvent amplifier les contenus polarisants parce qu’ils retiennent l’attention.
L’attention est une ressource limitée pouvant être exploitée par un modèle économique.
Le consentement à de longues conditions d’utilisation n’est pas nécessairement éclairé.
Les interfaces trompeuses orientent le choix en rendant certaines options artificiellement difficiles.
Une influence devient manipulatrice lorsqu’elle contourne la compréhension et exploite une vulnérabilité.
Les nudges doivent être transparents, réversibles et publiquement justifiables.
La publicité ciblée peut exploiter des vulnérabilités individuelles invisibles au débat public.
La publicité politique personnalisée menace la possibilité de comparer les promesses et les arguments.
La désinformation ne se réduit pas à une erreur individuelle ; elle peut être organisée et amplifiée.
La liberté d’expression ne donne pas automatiquement un droit à l’amplification algorithmique.
La modération privée exerce un pouvoir important qui demande des garanties procédurales.
La vie privée protège la possibilité d’expérimenter, de réfléchir et de changer sans observation permanente.
Ne rien avoir à cacher ne signifie pas accepter d’être continuellement surveillé.
Les données déduites peuvent être aussi sensibles que les données directement fournies.
L’anonymisation ne supprime pas toujours le risque de réidentification.
La minimisation consiste à ne collecter que les données réellement nécessaires.
La surveillance commerciale peut influencer les prix, l’accès et l’information.
La surveillance publique demande une base légale, un objectif précis, une nécessité et un contrôle indépendant.
La surveillance de masse pose des risques plus importants que la surveillance ciblée.
La reconnaissance faciale dans l’espace public peut transformer la visibilité ordinaire en traçabilité permanente.
Être vu dans la rue ne signifie pas consentir à l’enregistrement de tous ses déplacements.
La surveillance numérique du travail peut réduire la personne à des indicateurs incomplets.
Le management algorithmique doit rester explicable et contestable.
Une note ou un score ne doit pas devenir une identité sociale générale.
La personnalisation du risque peut détruire la solidarité assurantielle.
La police prédictive peut créer une boucle entre surveillance et données observées.
Les scores de récidive ne doivent pas devenir une peine pour un comportement futur.
L’IA médicale doit être validée sur les populations et les contextes réels de son utilisation.
Une bonne performance moyenne peut masquer de mauvaises performances pour certains groupes.
L’éducation numérique doit soutenir les élèves sans fixer prématurément leurs possibilités.
Les systèmes génératifs soulèvent des questions de contribution, d’attribution et de rémunération.
L’automatisation doit conduire à un partage équitable des gains de productivité.
L’assistance technique peut provoquer une déqualification et une dépendance.
La concentration des données et des infrastructures crée un pouvoir économique, social et politique.
L’interopérabilité et la portabilité peuvent réduire la dépendance envers une plateforme.
La transparence utile concerne les objectifs, les données, les performances et la gouvernance, pas seulement le code.
Une explication doit permettre à la personne de comprendre et de contester la décision.
Les audits doivent être indépendants lorsque les enjeux concernent des droits fondamentaux.
Toute décision importante doit pouvoir faire l’objet d’un recours accessible.
Le principe de précaution peut justifier des expérimentations limitées et réversibles.
Certaines utilisations peuvent être interdites même lorsqu’elles sont techniquement possibles.
L’innovation responsable commence par la question du besoin réel.
Les ingénieurs possèdent une responsabilité liée à leur compétence et à leur capacité d’alerte.
Les lanceurs d’alerte peuvent être moralement justifiés lorsqu’ils révèlent un danger sérieux de manière proportionnée.
Les choix technologiques majeurs doivent être soumis à une gouvernance démocratique.
La compétition internationale ne rend pas les limites morales inutiles.
Les systèmes militaires autonomes posent une difficulté particulière de responsabilité et de contrôle létal.
Produire un langage moral ne prouve pas qu’une intelligence artificielle soit un agent moral responsable.
L’IA peut aider au raisonnement sans remplacer l’autonomie intellectuelle.
Un conseiller personnalisé doit aussi exposer aux objections plutôt que simplement confirmer les préférences.
Les enfants et les personnes vulnérables demandent une protection renforcée contre le profilage et la manipulation.
Le droit à la déconnexion protège la frontière entre travail et vie personnelle.
La numérisation des services publics doit conserver des alternatives accessibles.
L’accessibilité numérique doit être intégrée dès la conception.
Les technologies numériques possèdent un coût matériel et environnemental.
La possibilité technique n’est jamais, à elle seule, une justification morale du déploiement.
Repères bibliographiques
- Norbert Wiener, The Human Use of Human Beings.
- Jacques Ellul, La Technique ou l’enjeu du siècle.
- Gilbert Simondon, Du mode d’existence des objets techniques.
- Hannah Arendt, Condition de l’homme moderne.
- Michel Foucault, Surveiller et punir.
- Langdon Winner, The Whale and the Reactor.
- Bruno Latour, travaux sur les techniques et les réseaux sociotechniques.
- Luciano Floridi, The Ethics of Information et The Ethics of Artificial Intelligence.
- Shannon Vallor, Technology and the Virtues.
- Helen Nissenbaum, Privacy in Context.
- Julie Cohen, Between Truth and Power.
- Shoshana Zuboff, The Age of Surveillance Capitalism.
- Daniel Solove, Understanding Privacy.
- Carissa Véliz, Privacy Is Power.
- Neil Richards, Why Privacy Matters.
- Virginia Eubanks, Automating Inequality.
- Cathy O’Neil, Weapons of Math Destruction.
- Safiya Umoja Noble, Algorithms of Oppression.
- Ruha Benjamin, Race After Technology.
- Joy Buolamwini, Unmasking AI.
- Meredith Broussard, Artificial Unintelligence.
- Kate Crawford, Atlas of AI.
- Frank Pasquale, The Black Box Society.
- Sandra Wachter, travaux sur l’équité, l’explicabilité et la protection des données.
- Solon Barocas, Moritz Hardt et Arvind Narayanan, Fairness and Machine Learning.
- Cynthia Dwork et collègues, travaux sur l’équité algorithmique.
- Batya Friedman et David Hendry, Value Sensitive Design.
- Brent Mittelstadt, travaux sur l’éthique algorithmique.
- Mireille Hildebrandt, Smart Technologies and the End(s) of Law.
- Nick Bostrom, Superintelligence, à lire comme analyse prospective et controversée.
- Stuart Russell, Human Compatible.
- Brian Christian, The Alignment Problem.
- Mark Coeckelbergh, AI Ethics.
- Joanna Bryson, travaux sur la responsabilité et l’anthropomorphisme des systèmes d’IA.
- Thomas Metzinger, travaux sur l’éthique des systèmes artificiels et de la conscience.
- Cass Sunstein et Richard Thaler, Nudge.
- Cass Sunstein, The Ethics of Influence.
- Harry Brignull, travaux sur les interfaces trompeuses.
- B. J. Fogg, Persuasive Technology.
- Tristan Harris et les travaux du Center for Humane Technology.
- Zeynep Tufekci, Twitter and Tear Gas.
- Eli Pariser, The Filter Bubble.
- Siva Vaidhyanathan, Antisocial Media.
- Tarleton Gillespie, Custodians of the Internet.
- Sarah T. Roberts, Behind the Screen.
- Danielle Citron, Hate Crimes in Cyberspace.
- Jack Balkin, travaux sur la liberté d’expression et les plateformes.
- Lawrence Lessig, Code and Other Laws of Cyberspace.
- Jaron Lanier, Who Owns the Future?
- Evgeny Morozov, To Save Everything, Click Here.
- Dominique Cardon, À quoi rêvent les algorithmes.
- Antonio Casilli, En attendant les robots.
- Antoinette Rouvroy, travaux sur la gouvernementalité algorithmique.