Démocratie Réelle Maintenant des Indignés de Nîmes

Frank Pasquale, professeur à l’Université du Maryland, vient de publier « The Black box society ». Il décrit comment les algorithmes, protégés par le secret commercial, créent de nouveaux rapports de pouvoir.

Frank Pasquale (University of Maryland)

Frank Pasquale est professeur de droit à l’université du Maryland, aux Etats-Unis. Il travaille depuis longtemps sur les rapports entre les technologies de l’information et la loi, et s’intéresse en particulier aux dimensions éthiques et sociales de ces questions.

Son dernier livre « The Black box society : the secret algorithms that control money and information » (« La Société de la boîte noire : les algorithmes secrets qui contrôlent l’argent et l’information »), vient de paraître aux Etats-Unis.

Nous l’avons interviewé à cette occasion, pour parler du secret et du pouvoir des algorithmes et de l’importance de descendre Google et Facebook de leurs piédestaux respectifs.

Rue89 : D’où vous est venue l’idée de travailler sur le secret, et le secret des algorithmes en particulier ?

Frank Pasquale : J’ai commencé à travailler sur les moteurs de recherche en 2004-2005, et je me suis rendu compte que ceux-ci posaient un certain nombre de problèmes dont on ne parlait pas.

En 2003, il y a eu un premier procès contre Google : celui-ci faisait systématiquement descendre dans ses résultats une entreprise appelée SearchKing, qui était un autre moteur de recherche. Or il était impossible de savoir si Google essayait délibérément de se débarrasser d’un concurrent ou si le site descendait automatiquement dans les résultats parce qu’il était mauvais. On ne pouvait pas savoir parce que les algorithmes de Google, qui régissent ces résultats, sont protégés par le secret commercial.

Dans votre livre, vous expliquez que ce genre de secret est de plus en plus courant, et vous parlez, pour décrire le phénomène, de « société de la boîte noire ». Qu’est-ce que ça veut dire ?

La boîte noire est une métaphore d’ingénieur, qui décrit un système dans lequel vous savez ce qui entre et ce qui sort, mais rien de la transformation qui s’est opérée entre les deux.

La presse américaine a longtemps présenté Google comme un modèle pour les entreprises, en mettant en avant tous ses côtés sympathiques : la cantine délicieuse, les massages offerts, les décisions laissées aux ingénieurs... Mais ces articles ne disaient rien du rôle des avocats et des financiers, qui travaillaient à garder secret tout le fonctionnement interne de l’entreprise. C’est ça, la boîte noire : ce qui se passe dans les entreprises est protégé par le secret.

Aujourd’hui, aux Etats-Unis, de plus en plus d’entreprises affirment que toute l’analyse de données qu’elles mènent en interne relève du secret commercial, et que les algorithmes de notation, d’une personne ou d’une entreprise, sont protégés par le premier amendement, qui garantit la liberté d’expression. Certains tribunaux ont déjà accepté ces arguments. C’est comme ça que se crée une boîte noire de plus en plus impénétrable.

La boîte noire, c’est aussi une référence à la boîte noire d’un avion, qui enregistre toutes les manœuvres de l’appareil. Aujourd’hui, les grosses entreprises surveillent de très près leurs employés et peuvent faire de leur vie un enfer si ceux-ci veulent révéler des informations. On l’a vu avec l’affaire LuxLeaks : les employés qui voulaient parler se sont vite aperçus qu’ils risquaient la prison.

Auparavant, le secret commercial s’appliquait aux personnes les plus haut placées dans les entreprises. Aujourd’hui, les entreprises attachent une telle importance à leurs secrets qu’elles l’appliquent jusqu’en bas de la hiérarchie. Aux Etats-Unis, le secret commercial est même utilisé pour forcer les employés de la chaîne de sandwichs Jimmy John’s à signer un contrat de confidentialité sur la composition de leurs sandwichs ! En revanche, les actions des dirigeants restent cachées dans ces boîtes noires – protégées par le secret commercial, le jargon qu’ils emploient et des techniques de verrouillage et de cryptographie.

On est donc moins dans une société de la transparence que dans une société du secret ? Ou du moins, dans une société de la transparence asymétrique, où la majorité des gens sont surveillés au travail ou par le gouvernement, tandis que le secret est le privilège des plus puissants ?

Absolument. La capacité de surveiller les moindres faits et gestes des autres, tout en cachant les siens, est la forme la plus haute du pouvoir.

C’est l’histoire platonicienne de l’anneau de Gygès : celui qui est invisible, et qui donc peut voir tout ce que font les autres à leur insu, dispose d’un avantage stratégique énorme. C’est le ressort central d’entreprises comme Google ou Facebook. Elles disent qu’elles doivent leur richesse et leur succès au fait d’avoir les meilleurs analystes de données et les meilleurs algorithmes. Mais ce succès tient moins à des compétences spéciales qu’à une position de pouvoir particulière, qui leur permet de surveiller tout le monde en se soustrayant elles-mêmes aux regards.

Vous divisez le livre en trois parties : la première est consacrée aux entreprises spécialisées dans la réputation, la seconde aux moteurs de recherche et la troisième à la finance. Est-ce dans ces trois secteurs que se concentre aujourd’hui le pouvoir ?

Oui absolument. Ce sont ces gens qui contrôlent nos vies.

Les entreprises spécialisées dans la réputation, c’est la vision à la première personne. Ma réputation, c’est la façon dont les autres me perçoivent et me connaissent, et les algorithmes de réputation participent à cette interprétation.

Les moteurs de recherche, c’est la façon dont j’essaie de comprendre le monde qui m’entoure.

Et la finance... avec le secteur militaire, c’est ce qui détermine in fine nos marges de manœuvre. Et ils utilisent ces technologies de réputation et de recherche.

Or, on voit régulièrement de petites entreprises de pointe, qui maîtrisent des algorithmes de réputation et de recherche, se faire absorber par le secteur militaire ou la finance. Par exemple, les forces de l’ordre font souvent appel aux services d’une entreprise de la Silicon Valley nommée Palantir, spécialisée dans l’analyse de données. Les révélations de Snowden ont montré à quel point la NSA utilisait les technologies de Facebook et Google pour espionner les gens partout dans le monde... Et la CIA a préféré sous-traiter à Amazon son service de « nuage » plutôt que de créer le sien.

Pour moi, tout ceci montre la constitution et l’installation d’une élite de plus en plus unifiée, entre l’élite de la Silicon Valley, l’élite financière de New York et l’élite du renseignement militaire de Washington. Toutes les entreprises de la Silicon Valley sont en permanence à la limite de la légalité, en matière de fiscalité, de droit de la concurrence, de protection de la vie privée... Et leur avantage tient souvent au fait d’être liées à l’élite gouvernementale.

Regardez Google : au début, on disait que les vrais méchants, c’étaient les maisons de disques, mais que YouTube allait fort heureusement mettre fin à ce monopole, maintenant que tout le monde pouvait mettre toute la musique du monde en ligne et que les artistes pouvaient se passer des majors. Et regardez aujourd’hui : Google, le propriétaire de YouTube, coopère avec les maisons de disques, en faisant descendre dans ses résultats les sites pirates. Avant, quand les maisons de disques estimaient qu’un site était pirate, elles devaient passer par la justice. Aujourd’hui, il semble que Google fasse progressivement descendre un site dans les résultats, une fois qu’il a reçu suffisamment de plaintes.

Vous écrivez que « l’autorité s’exprime de plus en plus de manière algorithmique ». Que voulez-vous dire par là ?

C’est le journaliste américain Clay Shirky qui a exprimé cette idée d’autorité algorithmique, qu’on peut résumer ainsi : avant, la meilleure source faisait autorité. Si je voulais trouver le meilleur article d’info internationale, j’allais voir sur le site du New York Times ou du Guardian, des journaux qui font autorité à cause de leur ancienneté, des prix de journalisme qu’ils ont reçus, etc.

Dans le monde de l’autorité algorithmique, je vais sur Google et je tape « meilleur article d’info internationale ». Google me propose un millier de résultats parmi lesquels il en sélectionne un en tête de liste. Ici, ce n’est plus la source qui crée autorité mais mes précédentes recherches Google. Or je ne sais rien des algorithmes qui choisissent pour moi.

Pour Shirky, c’est une bonne chose. Mais je suis plus critique et j’interroge ce que nous perdons lorsque nous entrons dans le monde de l’autorité des algorithmes. Ce qu’il promet, évidemment, c’est qu’aujourd’hui n’importe qui peut voir son article en tête des résultats de Google News, ce n’est plus réservé à un petit groupe de gens « légitimes » comme ceux du New York Times.

Mais nous ignorons tout des arrangements commerciaux qui existent entre Google et les entreprises de notation et classement. Quels sont leurs buts ? Capter plus de notre attention ? Récolter plus de données ? Nous savons vraiment peu de choses sur cette autorité algorithmique et ce qui l’anime.

Justement, l’une des idées fondamentales de votre livre, c’est que les algorithmes ne sont pas neutres ou objectifs, mais peuvent au contraire refléter des préjugés ou être biaisés. Comment cela est-il possible ?

Pour construire un algorithme, vous êtes obligé de donner la priorité à un certain type de signal, parmi tous les signaux que vous recevez.

Aux Etats-Unis, Latanya Sweeney, professeure de droit à Harvard, s’est aperçue que quand elle faisait une recherche avec son nom dans Google, elle voyait apparaître des publicités automatiques proposées par AdSense titrées « Latanya : arrêtée ? ». Elles proposaient d’accéder à son casier judiciaire (via instantcheckmate.com), suggérant ainsi qu’elle avait déjà été condamnée. Par contre, si elle cherchait « Tanya Sweeney », alors les publicités qui s’affichaient lui proposaient de simples services de localisation, avec des titres neutres comme : « Tanya Sweeney : nous l’avons retrouvée pour vous ». La différence, c’est que Latanya est un prénom que l’on trouve plus souvent chez les Afro-américains, alors que Tanya est plus souvent un prénom « blanc ».

Latanya Sweeney a recherché sur Google les 2300 noms les plus représentés chez les Afro-américains. Elle a découvert que la plupart du temps, les mêmes publicités de instantcheckmate.com s’affichaient, avec le prénom suivi de « arrêtée ? » Ce n’était pas le cas pour les prénoms connotés « blancs ». En réponse, Google et les annonceurs ont affirmé que le processus était entièrement automatisé, et reflétait ce sur quoi les gens cliquaient le plus.

Et ceci est loin d’être un cas isolé : il y a déjà eu des problèmes similaires avec les posts recommandés de Facebook, par exemple.

Ce qui est problématique, c’est que si l’on regarde la composition démographique de la Silicon Valley, on y trouve très peu d’Afro-américains. Mais pendant des années, il a été impossible d’avoir des données sur le sujet : les géants de la Silicon Valley refusaient de communiquer les statistiques ethniques concernant leurs employés, en affirmant qu’il s’agissait d’un secret commercial. Après une énorme pression de la presse spécialisée, ces entreprises ont finalement révélé les chiffres. Et la proportion d’Afro-américains travaillant dans la Silicon Valley est d’environ 2%. Ils ne prennent clairement pas cette question au sérieux !

Mais ne peut-on pas dire que c’est juste l’algorithme qui reflète les préjugés racistes de la société en général ?

Si Google n’était qu’une grosse machine automatique, que l’entreprise mettait en marche sans plus intervenir après, alors cet argument serait recevable. Mais en réalité, il existe de nombreux contre-exemples.

A un moment donné, si l’on tapait « juif » (« jew ») dans le moteur de recherche, on tombait en premier sur un site antisémite et négationniste. Ce n’était pas le cas pour « Israel » ou « Jewish », mais pour « Jew », qui est le terme utilisé par les antisémites : ceux-ci se trouvaient algorithmiquement propulsés vers le haut des résultats. A ce moment-là, Google avait vivement réagi en affichant un message sur leur page de résultat, disant qu’ils ne cautionnaient ni la validité du site ni sa crédibilité.

Cela tient beaucoup aux contraintes que les développeurs acceptent comme légitimes, et à celles qu’ils refusent.

Pourtant, l’idée que les machines sont neutres et que la technologie est une solution est très présente dans la Silicon Valley. C’est ce que vous appelez le « techno-libertarianisme ». L’idée qu’on peut régler des questions sociales ou politiques avec la technologie, ce que le chercheur Evgeny Morozov appelle le « solutionnisme ». Comment répondre à ce problème ?

D’abord il faut arrêter de vénérer ces entreprises, comme si ce qu’elles faisaient était aussi génial et compliqué qu’envoyer un homme sur la Lune ou guérir le cancer. Les gens doivent commencer à comprendre, même grossièrement, comment fonctionne le « big data » : comment les données sont récoltées, nettoyées, utilisées.

Nous avons aujourd’hui un vrai problème culturel : beaucoup, beaucoup de gens, parmi lesquels des politiques, n’ont pas la moindre idée de comment tout ceci fonctionne. Ils voient ça comme quelque chose de magique, et pensent qu’il faut être un génie pour faire ça. J’essaie de calmer un peu ces ardeurs, et de dire que si ces entreprises ont la position dominante qu’elles ont aujourd’hui, c’est surtout parce que ce sont elles qui possèdent le plus de données.

De plus, c’est l’intelligence collective qui aide Google à affiner ses algorithmes. Google, c’est nous tous, c’est toutes nos recherches sur le Web. Même chose pour Instagram. On s’émerveille en disant : « oh, il n’y a que quatorze personnes pour faire tourner Instagram, alors qu’il y en avait 14 000 chez Kodak. Ces quatorze personnes sont incroyablement intelligentes ! » Mais non ! Ces quatorze personnes ne représentent rien, comparées à l’ensemble des photos que nous prenons !

Est-ce que les algorithmes accentuent les inégalités au lieu de les redresser ?

Oui, je pense qu’on peut dire ça. Aujourd’hui, sont concentrées un nombre considérables de richesse et de données dans les mains d’un tout petit nombre d’entreprises qui maîtrisent des algorithmes clés. On peut donc dire que les algorithmes accroissent les inégalités sociales au lieu de les redresser.

Bien sûr, il existe des contre-exemples : un algorithme pourra estimer qu’on peut accorder du crédit à quelqu’un à qui on n’en aurait jamais donné. Les algorithmes permettront aussi de nouvelles façons d’apprendre, nous feront découvrir des choses que nous n’aurions jamais perçues autrement. C’est une dimension évidemment très importante. Mais nous devons aussi regarder leurs côtés négatifs et comprendre que des régulations et des politiques publiques peuvent répondre aux problèmes que ces algorithmes engendrent. Ce n’est pas un phénomène naturel qui poursuit un processus inéluctable.

Quelles mesures pourrait-on prendre pour ouvrir les boîtes noires des algorithmes ?

Commençons par la finance. Dans ce contexte, je suis en faveur d’échanges d’informations et de rapports automatiques. Thomas Piketty, dans « Le capital au XXIe siècle », insiste sur l’importance des paradis fiscaux et celle de savoir où est l’argent dans le monde. A l’heure actuelle, 20 000 à 40 000 milliards de dollars sont manquants. Avec un enregistrement automatisé des transactions, les autorités fiscales n’auraient pas à attendre la divulgation des documents, à faire des procès, etc.

En ce qui concerne Internet, j’ai quelques idées. Par exemple, pour contrer Google Books : pourquoi la bibliothèque du Congrès n’a t-elle pas demandé une copie numérique de tous les livres qui sont déposés chez elle ? S’ils l’avaient fait, et ils auraient dû le faire, nous aurions une alternative publique à Google et Amazon. Les livres sont des éléments cruciaux, qui offrent des avis d’autorité, fiables, sur un grand nombre de questions. Il est vraiment triste de vivre dans un monde où une grande partie de la population a accès à ces livres via une entité commerciale.

En ce qui concerne la protection de la vie privée, celle-ci doit être appliquée bien plus strictement pour protéger les individus. Le secret commercial, dans bien des cas, n’est que l’appropriation des lois sur la protection de la vie privée par les entreprises. A mon sens, chaque mesure qui étend le secret commercial pour les entreprises doit être compensée par une mesure équivalente dans la protection de la vie privée des individus. Les courtiers en données ne devraient pas pouvoir avoir un dossier sur moi sans que je puisse le consulter, l’annoter, le contester et le faire modifier si besoin.

Le gouvernement a un énorme pouvoir qu’il n’utilise pas du tout. Quand il s’en défend sur le ton du « nous ne pouvons pas faire ça, ça ralentirait l’innovation », c’est parce qu’il y a beaucoup de personnes très haut placées dans le gouvernement qui espèrent finir à Google ou dans une de ces énormes entreprises ! Ces comportements sont souvent le fruit de la lâcheté. Les gens sous-estiment le pouvoir réel du gouvernement.

Est-ce que l’Europe a fait un meilleur travail de régulation ?

Bien meilleur. Les Européens ont des années lumières d’avance sur les Etats-Unis, sur la façon dont ils envisagent la vie privée, dans les questions de droit anti-trust que pose Google. Ils ont une approche beaucoup plus agressive que l’approche minimaliste des Etats-Unis.

Pour lutter contre l’influence de ces algorithmes secrets, vous ne parlez pas du tout du mouvement open source et des mouvements open data. Vous ne croyez pas qu’ils puissent représenter une alternative ?

Pour certains problèmes bien précis, l’open data sera très utile : par exemple si vous voulez réparer les routes dans telle ou telle ville, et que vous avez accès aux données pour savoir où se concentrent les réclamations, vous pouvez organiser de petits groupes de pression et obtenir une action des pouvoirs publics. Mais je ne pense pas que l’open data créera des alternatives viables à ces géants de l’Internet ou aux banques.

Quant à remplacer les systèmes propriétaires par des versions open source... Si ma vie se résumait à être sur des réseaux sociaux, ce ne serait pas très compliqué pour moi de partir sur un réseau social open source et d’y mettre en ligne mes milliers de photos, et convaincre ensuite mes amis de me rejoindre. Si ma vie se résumait à faire des trajets avec Uber, ce serait très facile de basculer sur une alternative open source, et d’attendre une demi-heure plutôt que quelques minutes avec Uber. Si je ne faisais qu’envoyer des mails, poster des photos sur Instagram... Mais je fais toutes ces choses en même temps, en plus de ma vie professionnelle et familiale. Je n’ai pas le temps de faire tout ça, tout simplement ! Et si même moi, que ces questions préoccupent suffisamment pour que j’en fasse un livre, je n’ai pas le temps, je doute que beaucoup de gens l’aient.

Beaucoup de gens disent qu’ils sont prêts à échanger un peu de leur vie privée contre une promesse de sécurité ou d’une meilleure expérience de consommation, des publicités ciblées personnalisées. Les révélations de Snowden n’ont pas provoqué de protestations massives. Face à ce manque d’intérêt ou du moins, de réaction publique pour la question, que faire ?

Je ne pense pas que le changement social viendra de l’apparition de ces questions dans le débat public ou de l’action des consommateurs. Je me concentre sur les membres des plus hautes institutions – Congrès, Sénat, Parlement européen, etc.