Publicité

Test de compréhension : l'intelligence artificielle fait mieux que l'humain

C'est une première. Les systèmes développés par le chinois Alibaba et Microsoft ont donné plus de bonnes réponses que des humains lors d'un test de lecture et de compréhension de l'université de Stanford.

Par Claude Fouquet

Publié le 21 janv. 2018 à 11:00

L'élève qui dépasse son maître ? Cela y ressemble fortement. Alors que les assistants intelligents se font une place croissante dans le quotidien, suscitant d'ores et déjà des craintes, deux systèmes d'intelligence artificielle (IA) - celle développée par le chinois Alibaba et celle de Microsoft - viennent en effet de faire mieux que des êtres humains dans un test de compréhension et de lecture développé par l'université de Stanford.

Ce test, baptisé SQuAD (pour « Stanford Question Answering Dataset »), est quasi inconnu du grand public mais est devenu incontournable pour les géants de la tech qui développent des systèmes d'IA.

Il repose sur 100.000 questions générées à partir de plus de 500 articles aux sujets extrêmement variés, tirés eux-mêmes de Wikipedia. Il doit permettre de déterminer si une IA est capable de lire de grandes quantités d'information et de fournir des réponses précises à des questions aussi variées que « comment s'appelait l'empire de Gengis Kahn ? », « quel est le numéro atomique de l'oxygène ? » « qu'est qui provoque la chute d'un corps ? » ou bien encore « quel est le premier grand magasin au monde ? ».

Publicité

L'intelligence artificielle d'Aliba a été la première à battre des humains. Une victoire remportée sur le fil puis que le système chinois a obtenu le score de 82,440 points alors que les humains rivaux en obtenaient 82,304. Elle a été suivie peu après par celle de Microsoft, qui a obtenu 82.650 points au même test.

Alibaba et Microsoft promettent des retombées pour les utilisateurs

Les deux entreprises, qui devancent largement aussi leurs principaux concurrents (Samsung est 14e, Tencent 15e et Facebook 16e), n'ont d'ailleurs pas manqué d'évoquer les retombées futures de leurs performances. Dans un communiqué, Alibaba parle d'exporter cette technologie à ses clients dans un futur proche et vante la valeur commerciale de son IA.

De son côté, Microsoft souligne sur son blog qu'il « s'agit d'un jalon majeur […] pour réussir à faire interagir des moteurs de recherche comme Bing ou des assistants virtuels comme Cortana avec les gens et leur apporter de l'information de manière plus naturelle ».

Les humains gardent pourtant un léger avantage

Pour autant, les humains conservent un léger avantage sur les machines dans leur système de compréhension. Le test de Stanford ne mesure pas uniquement le pourcentage des réponses strictement correctes.

Il mesure aussi, comme l'a rappelé Pranav Rajpurkar qui a participé à l'élaboration de SQuAD, « le niveau moyen de recoupement » entre les réponses attendues et celles effectivement données par les machines ou les humains. Un cas dans lequel l'avantage reste franchement aux humains. Ils obtiennent un score de 91,221 % dans ce test dénommé simple « F1 », contre 88,607 pour Alibaba et 88,493 pour Microsoft.

Combler cet écart de seulement 2,5 points est « le prochain défi » pour les IA, estime Pranav Rajpurkar.

Claude Fouquet

MicrosoftTeams-image.png

Nouveau : découvrez nos offres Premium !

Vos responsabilités exigent une attention fine aux événements et rapports de force qui régissent notre monde. Vous avez besoin d’anticiper les grandes tendances pour reconnaitre, au bon moment, les opportunités à saisir et les risques à prévenir.C’est précisément la promesse de nos offres PREMIUM : vous fournir des analyses exclusives et des outils de veille sectorielle pour prendre des décisions éclairées, identifier les signaux faibles et appuyer vos partis pris. N'attendez plus, les décisions les plus déterminantes pour vos succès 2024 se prennent maintenant !
Je découvre les offres

Nos Vidéos

xqk50pr-O.jpg

Crise de l’immobilier, climat : la maison individuelle a-t-elle encore un avenir ?

x0xfrvz-O.jpg

Autoroutes : pourquoi le prix des péages augmente ? (et ce n’est pas près de s’arrêter)

qfkr8v3-O.jpg

La baisse de la natalité est-elle vraiment un problème ?

Publicité