Microsoft a lancé un outil de reconnaissance d’image qui tente de décrire le contenu d’une image. Cet outil d'intelligence artificielle est encore en phase de développement et apprend constamment à partir d'images téléchargées par les utilisateurs.

En ce qui concerne l'exactitude, la description est parfois assez précise, tandis que parfois CaptionBot propose des descriptions qui n'ont rien à voir avec ce qui est décrit. Il existe également des cas où l'application ne peut pas fournir de description du tout, en raison de son état approximatif.

Microsoft a conçu CaptionBot pour apprendre avec plus d’expérience, en s’attendant à ce que ses légendes deviennent plus précises au fil du temps. Plus le nombre d'images téléchargées par les utilisateurs est important, plus l'application devient performante, comme se décrit CaptionBot:

Je peux comprendre le contenu de n'importe quelle image et je vais essayer de le décrire aussi bien que n'importe quel humain. J'apprends encore, je vais donc garder ta photo mais pas d'informations personnelles.

CaptionBot utilise trois technologies pour décrire ce qui est décrit dans une image: Computer Vision, Emotion et Bing Image de Microsoft. L'API Computer Vision extrait des informations riches à partir d'images pour classer et traiter des données visuelles en plus d'identifier et d'extraire du texte à partir d'une image. Comme son nom l’indique, l’API Emotion analyse les visages pour détecter toute une gamme de sentiments, allant de la colère au mépris, au dégoût, à la peur, au bonheur, à la neutralité, à la tristesse et à la surprise. Bing Image cherche des images sur le Web.

Nous avons testé CaptionBot et les résultats étaient exacts dans 50% des cas. Par exemple, nous avons téléchargé deux images: l’une représentant une souris de jeu, l’autre une pile de cartes. Dans les deux cas, l'outil suggérait qu'il s'agissait d'un téléphone cellulaire. D'autre part, CaptionBot a détecté avec précision des humains et des visages.

Apparemment, CaptionBot est obsédé par les téléphones portables. Un utilisateur de Twitter a rapporté que l'application pensait que Michelle Obama était un téléphone portable. Pour plus de légendes drôles CaptionBot, consultez cette page Twitter.

Vous pouvez également tester CaptionBot ici. Faites un essai: vous aiderez l'outil à s'améliorer ou vous rirerez bien!