Sakana affirme que son article généré par IA a passé l’évaluation par les pairs – mais c’est plus nuancé que ça
La startup japonaise d’IA Sakana vient de faire une annonce retentissante : son système d’IA aurait généré l’une des premières publications scientifiques ayant passé avec succès l’évaluation par les pairs. Une première qui soulève autant d’espoirs que de questions dans la communauté scientifique. Mais comme souvent avec l’IA, la réalité mérite d’être examinée de plus près.
L’expérience de Sakana : entre prouesse technique et limites
La startup a utilisé son système baptisé « The AI Scientist-v2 » pour générer un article scientifique qu’elle a ensuite soumis à un workshop de l’ICLR, une conférence renommée en intelligence artificielle. L’expérience a été menée en collaboration avec des chercheurs des universités de Colombie-Britannique et d’Oxford.
Le processus de génération
- Génération complète du contenu scientifique (hypothèses, expériences, analyses)
- Production autonome des visualisations et du texte
- Sélection des sujets basée sur les thématiques du workshop
Les limites et controverses
Des faiblesses techniques persistantes
L’IA a commis plusieurs erreurs notables dans les citations, confondant par exemple une publication de 2016 avec l’article original de 1997. Un rappel que la précision historique n’est pas encore le point fort de ces systèmes.
Un processus d’évaluation allégé
- Pas de « méta-review » complète
- Critères d’acceptation plus souples pour les workshops
- Retrait volontaire avant publication finale
Les réactions des experts
Matthew Guzdial, Université d’Alberta
« Ces résultats sont trompeurs. L’intervention humaine dans la sélection des articles montre que c’est la collaboration homme-machine qui fonctionne, pas l’IA seule. »
Mike Cook, King’s College London
« Il faut distinguer la capacité à passer une évaluation et celle à contribuer réellement à l’avancement des connaissances. »
FAQ
L’IA peut-elle réellement faire de la recherche scientifique ?
Pour l’instant, elle excelle surtout dans la rédaction mais peine encore à générer des découvertes véritablement novatrices.
Quels sont les risques pour la science ?
Le principal danger serait la multiplication d’articles générés par IA créant du « bruit » dans la littérature scientifique sans réelle valeur ajoutée.
Conclusion
Cette expérience de Sakana, bien que prometteuse, révèle surtout le chemin qu’il reste à parcourir avant que l’IA puisse véritablement contribuer à la recherche scientifique. Elle souligne l’importance d’établir rapidement des normes claires concernant l’utilisation de l’IA dans la production scientifique.
