Interview
Laura Nolan : « La technologie militaire
est souvent adoptée ultérieurement à des
fins civiles »
Mohsen Abdelmoumen
Laura
Nolan. DR.
Jeudi 2 janvier 2020
English version here
Mohsen
Abdelmoumen : Vous être une
brillante ingénieure en informatique et
avez été recrutée chez Google où vous
avez travaillé sur le projet Maven. Que
pouvez-vous nous dire sur ce projet
Maven qui lie Google au Pentagone ?
Laura Nolan :
Je n’ai pas travaillé directement
sur Maven lui-même ; on m’a demandé
d’aider à apporter certaines
modifications à la plate-forme de Google
pour permettre à Maven d’être exécuté
sur elle.
Le projet Maven
fait partie d’une initiative du
département de la Défense des États-Unis
appelée Algorithmic Warfare Cross-Functional
Team (AWCFT) [Équipe interfonctionnelle
de guerre algorithmique], qui a été
créée pour essayer de profiter de
l’expertise technologique du secteur
privé pour l’armée américaine. Maven a
été le premier projet de l’AWCFT. Google
et plusieurs autres sociétés étaient
impliquées.
L’armée américaine
analysait les vidéos de surveillance de
ses drones principalement manuellement,
et d’après ce que j’ai compris, la
quantité de vidéos qu’elle pouvait
analyser était limitée parce qu’elle ne
pouvait engager suffisamment de
personnes. Maven visait à automatiser
une grande partie de l’analyse – elle
était censée identifier les personnes et
les véhicules dans les enregistrements
vidéo. D’après ce que j’ai compris, il
est également censé être capable de
maintenir une sorte de chronologie des
activités dans une région et une sorte
de graphique social des interactions
(les gens vont de bâtiment en bâtiment).
J’ai aussi entendu des gens dire que
l’objectif était de pouvoir trouver
certains modèles d’activité.
Ce projet n’est pas
un projet d’armement autonome, mais
c’est certainement quelque chose qui
pourrait devenir une grande partie du
système de contrôle d’une arme autonome.
Cependant, à lui
seul, Maven est répréhensible pour moi.
Premièrement, il s’agit d’un système qui
permet une surveillance de masse dans
une zone, pas seulement une surveillance
ciblée d’individus déjà soupçonnés.
Comme dans tous les systèmes de
surveillance de masse, il y a ici de
réels problèmes éthiques. Premièrement,
il porte atteinte à la vie privée des
personnes sous surveillance, dont la
plupart sont des civils innocents.
Deuxièmement, c’est une forme de
contrôle – ce qui est hostile en soi.
Les États-Unis
effectuent ce type de surveillance
intensive avec des drones dans de
nombreuses zones qui ne sont même pas
officiellement déclarées zones de
guerre, et ils le font pendant des
périodes incroyablement longues. Cela
crée un climat de peur qui nuit à la
santé mentale de ceux qui vivent sous
surveillance. Les gens craignent
d’envoyer leurs enfants à l’école,
d’assister à des événements comme des
mariages ou des réunions publiques.
C’est préjudiciable au tissu social de
leurs sociétés quand c’est fait depuis
de nombreuses années, comme au Pakistan.
Maven permettrait
d’augmenter le niveau de surveillance
des drones – parce que l’armée
américaine aurait une capacité accrue
pour traiter la vidéo capturée. Maven
pourrait également, avec une volonté
politique, conduire à une augmentation
du niveau des « signature strikes »,
(ndlr : des frappes contre des
personnes dont les activités seraient
liées au terrorisme mais dont l’identité
n’est pas connue) c’est-à-dire que les
gens sont pris pour cible sur la base de
modèles de comportement. Avec le genre
d’informations que Maven est conçu pour
extraire, il devient très facile
d’écrire des règles comme « trouvez-moi
des groupes d’hommes d’âge militaire
au-dessus d’une certaine taille » ou
« trouvez-moi des convois de véhicules
allant vers ce point ».
Comment
expliquez-vous qu’une entreprise comme
Google s’implique dans un projet de
recherche dans le domaine militaire ?
Je n’ai pas pris
cette décision, et je ne peux évidemment
pas vous dire ce que pensaient les
dirigeants qui ont pris cette décision.
Cependant, Google a beaucoup investi
dans son produit Cloud, et les autres
grandes entreprises de ce secteur
(Amazon, Microsoft) travaillent
certainement avec des militaires.
L’opinion
publique mondiale ignore ces expériences
sur les armes létales autonomes,
notamment les robots tueurs. Ne
pensez-vous pas que nous vivons une
époque très dangereuse avec ces
expériences terrifiantes ?
Lorsque la Campagne
pour « Arrêter les robots tueurs » a
mené des sondages d’opinion, il a
toujours été démontré que l’opinion
publique est contre ces technologies,
même dans les pays les plus militarisés
comme les États-Unis et la Russie. La
sensibilisation à cette question n’est
pas universelle, mais il y a de nombreux
signes prometteurs. Le Secrétaire
général de l’ONU, Antonio Guterres,
s’est prononcé à plusieurs reprises et
avec la plus grande fermeté contre les
armes autonomes. Des milliers de
techniciens et de chercheurs se sont
engagés par écrit à ne pas travailler
sur de telles armes. 30 pays ont demandé
explicitement un traité d’interdiction,
et de nombreux autres pays ont exprimé
de vives préoccupations à ce sujet. Nous
avons commencé à voir des résolutions
parlementaires nationales contre les
armes létales autonomes, par exemple de
la part de la Belgique. Nous avons
également vu le BDI, le groupe
industriel allemand, réclamer une
interdiction.
Nous vivons
absolument une époque dangereuse. Ce
sont probablement ceux qui vivent
actuellement dans des zones de conflit
qui ont le plus à craindre à court terme
des armes autonomes. La guerre à
distance a déjà abaissé la barre pour
permettre aux pays développés de
s’engager dans des conflits.
L’accroissement de l’autonomie
accélérera et amplifiera encore
davantage ce processus, car il réduira
la nécessité pour le personnel
d’effectuer l’analyse, le ciblage et le
pilotage des armes. Le fait que de
nombreuses armes puissent être
contrôlées par un nombre réduit de
personnes pourrait également accroître
le pouvoir des tyrans.
Ceux d’entre nous
qui vivent dans des pays développés plus
pacifiques ne devraient pas non plus se
reposer sur leurs lauriers. La
technologie militaire est souvent
adoptée ultérieurement à des fins
civiles dans les services de police et
de contrôle aux frontières. Si les armes
autonomes sont couramment utilisées dans
l’armée, elles sont plus susceptibles
d’être utilisées lors d’attaques
terroristes. L’usage militaire
légitimera leur utilisation par d’autres
groupes.
Pourquoi d’après
vous les médias mainstream
n’évoquent-ils jamais ces expériences ?
Pourquoi y a-t-il très peu
d’informations sur ces expériences ?
Je ne sais pas si
on peut dire ça. Les médias grand public
relatent volontiers les armes autonomes,
et j’ai personnellement fait pas mal
d’interviews jusqu’à présent.
Les armes autonomes
sont une question urgente, mais il y en
a beaucoup d’autres aussi, comme la
crise climatique, la guerre au Yémen, le
Brexit, les armes nucléaires, la
répression des Ouïghours en Chine
occidentale, Hong Kong… et seulement
quelques centimètres dans les journaux
pour en parler.
Vous êtes une
lanceuse d’alerte courageuse et vous
avez quitté Google à cause du projet
Maven. Les lanceurs d’alerte sont soit
menacés soit emprisonnés et sacrifient
leur carrière pour rendre publique la
vérité. Ne pensez-vous pas qu’ils
doivent être protégés par des lois
spécifiques et être soutenus par
l’opinion publique pour avoir donné des
informations sensibles qui concernent
l’humanité ?
Oui, je pense que
l’Union Européenne montre la voie dans
ce domaine avec l’approbation récente de
la nouvelle Directive sur les Lanceurs
d’Alerte, qui répond à ces
préoccupations. J’aimerais que cela soit
mis en œuvre rapidement dans les
parlements nationaux et, bien sûr, que
d’autres pays qui ne protègent pas
fermement les lanceurs d’alerte fassent
de même.
Ne pensez-vous
pas que le pas a été franchi dans ce
domaine de recherche, que ce soit avec
les armes létales autonomes ou « robots
tueurs » ou avec le projet Sensor to
Shooter, ou encore avec ces munitions
vagabondes comme les hybrides
drones/missiles, et que la menace pèse
sur l’humanité entière ? Cette
technologie n’est-elle pas
irréversible ?
On ne peut pas « désinventer »
une technologie, mais on peut
certainement créer une réglementation
pour empêcher son utilisation et on peut
aussi créer un consensus moral contre
son utilisation. Cela a été fait avec
les armes biologiques, les armes
chimiques, les lasers aveuglants, les
mines terrestres et autres armes.
Prétendre que l’utilisation de n’importe
quelle technologie est inévitable, c’est
être profondément nihiliste.
Le Lt. Général
Jack Shanahan, le directeur du Centre de
l’Intelligence Artificielle au
Pentagone, a voulu rassurer le public
sur l’utilisation de Sensor to Shooter.
D’après lui, l’homme gardera toujours le
contrôle. Peut-on croire les propos du
Lt. Général Shanahan ?
Shanahan ne sera
pas toujours en fonction et nous ne
savons pas quelles seront les opinions
de son successeur. Seul un instrument
juridiquement contraignant peut empêcher
une course aux armements en matière
d’armement autonome.
Les représentants
américains se réfèrent souvent à la
Directive 3000.09 du DoD comme étant un
engagement à éviter la capacité
d’armement autonome. Cependant, il peut
être remplacé à tout moment et son
libellé est faible : il parle de
« jugement humain approprié ». Il peut
être approprié pour un commandant
d’envoyer une munition errante pour
patrouiller une grande zone à la
recherche de convois et les détruire,
mais ce n’est pas du contrôle.
Il y a aussi un
autre problème. Le projet Sensor to
Shooter, qui doit être mis en œuvre sur
les données de Maven, est censé suggérer
des cibles à frapper aux opérateurs
humains. Cependant, ils n’ont pas parlé
de la façon dont ils vont éviter le
problème du préjugé d’automatisation,
qui est une tendance humaine à favoriser
les suggestions de machines –
essentiellement, automatiquement et sans
critique, accepter ce que disent les
ordinateurs. Il est difficile d’éviter
les préjugés liés à l’automatisation, et
il y a beaucoup de recherches dans ce
domaine. J’ai été extrêmement déçue que
les récents principes du Defense
Innovation Board* de l’Intelligence
Artificielle ne s’attaquent pas à ce
problème (*Défense Innovation
Board = organisation créée en 2016 pour
apporter l’innovation technologique et
les meilleures pratiques de la Silicon
Valley aux forces armées américaines).
En tant que
scientifique, comment expliquez-vous que
la science qui devrait servir au
bien-être humain soit devenue une arme
fatale entre les mains d’aventuriers
sans scrupules ?
Je pense que ce
n’est certainement pas la première fois
que la technologie et la science sont
utilisées pour surveiller, opprimer,
blesser et tuer des gens. En tant que
société mondiale, nous devons toujours
être vigilants quant à l’utilisation des
nouvelles technologies. L’ONU est le
meilleur outil dont nous disposons pour
y parvenir et pour promouvoir le
multilatéralisme.
Cependant, l’ONU
traverse une crise financière – les pays
ne paient pas leurs cotisations. C’est
gaspiller énormément de temps de réunion
précieux à discuter de questions
financières plutôt que de questions de
fond, comme les nouvelles armes.
Le manque de
clairvoyance du président américain
Trump dans ses pressions en faveur de
réductions budgétaires de l’ONU et les
arriérés de paiement des États-Unis sont
une grande partie de ce problème. Trump
et les États-Unis agissent très
dangereusement en sabotant l’ONU.
Vous connaissez
très bien ce dossier. Comment
expliquez-vous l’opacité qui entoure
toutes ces expériences ? Où va le monde
avec ces expériences folles ? Ce que
l’on sait sur ces expérimentations
n’est-il pas le sommet de l’iceberg, ce
qui nous est caché étant plus
effrayant ?
Absolument, il est
difficile de savoir ce qui est fabriqué
en secret. Ce que nous savons est déjà
assez mauvais. Actuellement, je suis
très préoccupée par le drone turc Kargu,
qui est une arme rôdante avec
reconnaissance faciale. Selon certaines
informations, la Turquie a l’intention
de déployer cette force à la frontière
avec la Syrie dans un avenir proche.
Vont-ils les utiliser comme des drones
chasseurs-tueurs autonomes ciblant des
individus ? Cela soulève d’énormes
questions morales, ainsi que des
préoccupations d’exactitude technique.
La reconnaissance faciale non
coopérative en vidéo n’est pas assez
précise pour être utilisée pour la prise
de décision, selon le NIST des
États-Unis (National Institute of
Standards and Technology).
[https://www.paxforpeace.nl/publications/all-publications/slippery-slope]
[https://nvlpubs.nist.gov/nistpubs/ir/2017/NIST.IR.8173.pdf]
Vous revenez de
l’ONU à Genève où vous avez participé à
une réunion sur les armes létales
autonomes, dont les robots tueurs. A
votre avis, y a-t-il une prise de
conscience réelle sur ces sujets très
graves ?
Je crois qu’il y a
une prise de conscience absolue parmi
les délégués à l’ONU, parmi ceux des
nombreux parlements qui sont
responsables des affaires étrangères, de
l’armée et du désarmement. La
sensibilisation du public augmente
également. Au fil des ans, nous
constatons une tendance nette dans
l’opinion publique – elle est de plus en
plus contre les armes autonomes. Il
semble probable que cela soit le
résultat d’une prise de conscience
accrue.
Vous êtes membre
du Comité international pour le contrôle
des armements robotiques (ICRAC).
Quelles sont les principales missions de
cet organisme et quel est son impact ?
L’ICRAC
est un groupe interdisciplinaire de
personnes qui s’intéressent à ce
problème – il y a des universitaires en
technologie, en droit, en éthique, en
psychologie et dans d’autres domaines,
et certains professionnels de ce secteur
comme moi. L’ICRAC et ses membres
effectuent des recherches dans le
domaine des armes autonomes, assistent à
des réunions (comme la récente réunion
de la CCAC [Convention sur certaines
armes classiques] à Genève) où nous
présentons souvent des documents et
donnons des conférences lors de
manifestations parallèles. Nous
discutons aussi avec des parlementaires,
des médias, d’autres ONG, donnons des
conférences publiques sur les armes
autonomes, écrivons ou signons
occasionnellement des lettres ouvertes –
des activités de campagne normales, en
fait.
L’ICRAC est l’un
des membres fondateurs de la Campagne
pour arrêter les robots tueurs et il a
été l’une des premières organisations à
sonner l’alarme sur cette question. Le
fait que la question ait fait l’objet de
discussions sérieuses tant à la
Convention des Nations Unies sur les
armes classiques que récemment à
l’Assemblée générale témoigne de
l’impact de l’ICRAC.
Interview
réalisée par Mohsen Abdelmoumen
Qui est Laura
Nolan ?
Laura Nolan est
ingénieur en logiciel dans l’industrie
depuis plus de 15 ans. Plus récemment,
elle a travaillé chez Google en Irlande
en tant qu’ingénieur de la fiabilité des
sites.
Elle a été l’une
des nombreuses signataires de la lettre
ouverte « supprimez Maven », qui
demandait à Google d’annuler sa
participation au projet du DoD américain
d’utiliser la technologie de
l’intelligence artificielle pour
analyser les séquences de surveillance
des drones. Elle a fait campagne au sein
de Google contre le Projet Maven, avant
de quitter l’entreprise en signe de
protestation. En 2018, Laura a également
fondé TechWontBuildIt Dublin, une
organisation pour les travailleurs de la
technologie qui se préoccupent des
implications éthiques de cette industrie
et du travail qui y est fait.
Reçu de Mohsen Abdelmoumen pour
publication
Le sommaire de Mohsen Abdelmoumen
Les dernières mises à jour
|
