Validation de classements de publications générés par IA
Dans quelle mesure les classements de publications générés par l'IA de Kurate.org correspondent-ils aux évaluations d'experts humains ?
Description du projet
Swiss Economics a été mandaté pour valider les classements de publications générés par l'IA de Kurate.org, un système de classement automatisé qui utilise de grands modèles de langage (LLMs) pour évaluer l'impact potentiel de preprints académiques.
Notre rapport de validation compare plusieurs méthodes de classement de Kurate avec les évaluations observées d'experts humains dans le cadre du processus d'évaluation d'ICLR 2026. L'analyse montre que Kurate produit des classements qui correspondent étroitement aux évaluations des experts, et qui dans certains cas surpassent le niveau de concordance observé entre les experts humains individuels et les décisions du comité de programme d'ICLR. Les résultats sont robustes sur différents sous-domaines de recherche et répliqués sur différents échantillons.
Les résultats soutiennent Kurate comme un outil crédible et rentable pour le screening automatisé de publications scientifiques, et soulèvent des questions intéressantes sur la manière dont l'IA peut utilement compléter le processus d'évaluation académique.
Methods
- Analyse de corrélation des rangs
- Documentation pour Kurate.org
Publications