Vers une mesure des biais des modèles de NLP

L’Intelligence Artificielle n’est jamais neutre.

C’est une évidence pour beaucoup, mais c’est un point qu’il est souvent bon de rappeler.

Les algorithmes de traitement du langage, et notamment ceux de NLG (Natural Language Generation) sont entraînés sur des jeux de données, publics ou privés, qui sont eux-mêmes biaisés.

Le biais peut intervenir lors de la conception du dataset, en raison des choix fait par les concepteurs, ou dans les données elles-mêmes, en particulier s’il s’agit d’extraits de textes pré-existants.

Partant de ce constat, des chercheurs en IA de Amazon et de UC Santa Barbara ont publié il y a quelques jours une étude présentant une méthode de mesure de ces biais.

Cette méthode repose sur un dataset, baptisé BOLD (Bias in Open-Ended Language Generation Dataset), formés à partir d’extraits d’article Wikipédia et contenant un ensemble de 23 679 instructions réparties en 43 sous-groupes.

Cet ensemble permet ainsi de tester un modèle de NLP/NLG sous toutes les coutures et d’identifier les biais les plus nocifs.

Testés sur des modèles actuels, dont le GPT-2 et le CTRL, BOLD a ainsi permis de prouver l’existence de biais marqués, et de quantifier leur magnitude par rapport à des textes produits par des humains.

Source : https://arxiv.org/pdf/2101.11718.pdf