English below

L’enquête de CutlurIA commence avec une analyse quantitative du vocabulaire et des représentations de l’IA en collaboration avec l’équipe-projet Inria ALMAnaCH.
Toute recherche sur l’IA se confronte à la difficulté de traiter une notion ambiguë et polymorphe qui couvre de manière instable une pluralité de techniques et approche computationnels différents. Comme ce projet souhaite le montrer, cette pluralité se démultiplie dans l’imaginaire et dans le débat public, mais elle existe déjà dans les communautés académiques et industrielles qui développent les différentes techniques de l’IA. Le premier volet de notre histoire culturelle de l’IA concerne donc la littérature scientifique, c’est-à-dire les dizaines de milliers d’articles, livres et interventions à des conférences dédiées à cet univers technologique. Afin d’explorer de manière large un si grand domaine et de dresser une première cartographie des différentes régions de l’IA et de leur évolution dans un temps (relativement) long, nous allons exploiter des techniques avancées d’analyse scientométrique et même nous servir réflexivement de certaines méthodes d’intelligence artificielle.
L’analyse s’appuie sur une expérimentation développée pour le Global Forum on Artificial Intelligence for Humanity de 20191. Son objectif est de développer une cartographie des imaginaires et concepts de l’IA qui servira de contexte pour les autres axes de recherche de CulturIA et qui sera enrichie qualitativement par ceux-là.
La première étape consiste en l’extraction d’un corpus de notices bibliographiques (auteurs, affiliations, titres, résumés, mots-clés) des bases Scopus et ISI Web of Science. Nous exploiterons également certaines catégories de la base de pré-publications arXiv ainsi que le site public français HAL. L’ensemble des données recueillies sera encodé en TEI, pour garantir une exploitabilité optimale et faciliter l’identification et la suppression des doublons. Il sera important dans cette phase de compenser les biais disciplinaires de ces archives. Pour cela nous nous assurerons que notre corpus couvre non seulement la recherche fondamentale en mathématiques et sciences de l’information, mais aussi les recherches en sciences humaines et sociales sur les applications, les impacts et les représentations de l’IA. Une deuxième compensation devra adresser la double augmentation temporelle dans le volume des publications scientifiques et dans la couverture des bases bibliométriques. Finalement, nous tiendrons compte des biais linguistiques qui attribuent plus de visibilité aux publications anglophones qu’à celles dans d’autres langues. Le choix des critères de recherche et de sélection sera évidemment de la plus grande importance dans cette étape d’extraction. Pour définir notre requête, nous nous appuierons sur des travaux précédents2, mais aussi sur des entretiens avec des acteurs du domaine ainsi que sur l’analyse des sites des conférences thématiques.
Nous soumettrons le corpus ainsi obtenu à une double analyse. En premier lieu, une analyse de réseau par « bibliometric coupling3 », en construisant le réseau de références qui apparaissent dans les notices bibliographiques de notre corpus. Ce réseau nous permettra non seulement d’identifier les références clés du domaine qui pour leur haut nombre de citations semblent avoir joué un rôle particulièrement important dans la structuration du débat sur l’IA, mais aussi de détecter des clusters disciplinaires et sous-disciplinaires – des groupes de références dessinant différentes régions du monde de l’IA et correspondant à différentes approches, objets ou applications4. À partir de ces clusters, nous identifierons les différents sous-débats du domaine aussi bien que les mots clés, auteurs, revues et conférences qui les caractérisent. Nous suivrons également l’évolution de ces clusters dans le temps, pour établir leur naissance, leur croissance et possiblement leur déclin. Cette analyse historique est fondamentale pour un domaine aussi dynamique que l’IA et constitue une des originalités principales du volet scientométrique de ce projet. Elle sera menée en parallèle et en collaboration avec l’enquête historique qui constitue le troisième axe de recherche de CulturIA, afin d’assurer une interprétation riche de l’évolution des réseaux de co-citations.
En second lieu, nous soumettrons les titres et les résumés les plus représentatifs de ces clusters à une analyse par des algorithmes de TAL et de fouille de textes5, utilisant ainsi des techniques d’IA qui constituent l’objet de ce projet et qui relèvent du domaine de recherche d’ALMAnaCH, afin de produire une analyse fine des discours autour de l’IA, de leur chronologie, de leur géographie et des champs d’origine de leurs auteurs. Nous procéderons notamment à l’extraction automatique de termes clés à partir des résumés au moyen de techniques simples (TF-IDF, topic modelling). Grâce à ces mots-clés, mais également au moyen de représentations vectorielles des résumés6, nous pourrons construire de nouvelles métriques de similarité entre résumés. De telles métriques permettront de construire de nouveaux clusters disciplinaires et sous-disciplinaires et de visualiser leur évolution. La comparaison de ces clusters avec les clusters créés sur la base des réseaux de coauteurs sera riche en enseignements. Cette analyse TAL des publications dédiées à l’IA sera informée et informera le travail des entretiens mené dans le WP2. Dans les deux cas il s’agira de travailler sur le langage de l’intelligence artificielle, c’est-à-dire sur les expressions et les termes clés qui définissent ce champ et ses différents sous communautés.
Cette étude nous permettra de décrire les différentes cultures scientifiques qui animent la recherche sur l’IA et de suivre leurs évolutions sur un temps long. Dans ce premier axe de recherche, notre objectif est moins d’identifier l’apparition des différentes techniques de l’IA (un exercice déjà entrepris par d’autres7), que de dégager les concepts, les imaginaires et les lignes de débat qui, à partir de la littérature scientifique, déferlent dans la société. Tous les grands débats idéologiques qui marquent l’histoire et le présent de l’IA ont émergé ou trouvé une résonance dans les discours scientifiques. L’avantage de commencer à les étudier par des techniques bibliométriques est que cela nous permettra d’en retracer l’extension temporelle et géographique avec précision et exhaustivité et de nourrir l’axe de recherche historique de CulturIA.
I. NARRATIVES AND DEBATES ON AI: A BIBLIO-SEMANTIC INVESTIGATION
CutlurIA’s investigation begins with a quantitative analysis of the vocabulary and representations of AI in collaboration with the Inria ALMAnaCH project team.
Any research on AI faces the difficulty of dealing with an ambiguous and polymorphic notion that covers in an unstable way a plurality of different techniques and computational approaches. As this project aims to show, this plurality is multiplied in the imagination and in the public debate, but it already exists in the academic and industrial communities that develop the various techniques of AI. The first part of our cultural history of AI concerns the scientific literature, i.e. the tens of thousands of articles, books and conference presentations dedicated to this technological universe. In order to broadly explore such a large field and to draw a first map of the different regions of AI and their evolution in a (relatively) long time, we will exploit advanced techniques of scientometric analysis and even reflexively use some artificial intelligence methods.
The analysis is based on an experiment developed for the 2019 Global Forum on Artificial Intelligence for Humanity.8 Its objective is to develop a cartography of AI imaginaries and concepts that will serve as a context for the other research axes of CulturIA and that will be qualitatively enriched by them.
The first step consists in the extraction of a corpus of bibliographic records (authors, affiliations, titles, abstracts, keywords) from the Scopus and ISI Web of Science databases. We will also exploit some categories of the arXiv pre-publication database and the French public site HAL. All the collected data will be encoded in TEI, to guarantee optimal exploitability and to facilitate the identification and deletion of duplicates. It will be important in this phase to compensate for the disciplinary bias of these archives. To do so, we will make sure that our corpus covers not only fundamental research in mathematics and information sciences but also research in humanities and social sciences on applications, impacts and representations of AI. A second compensation will have to address the double temporal increase in the volume of scientific publications and in the coverage of bibliometric databases. Finally, we will take into account the linguistic bias that gives more visibility to English-speaking publications than to those in other languages. The choice of search and selection criteria will obviously be of the utmost importance in this extraction stage. To define our query, we will rely on previous works9, but also on interviews with actors in the field as well as on the analysis of thematic conference websites.
We will subject the corpus thus obtained to a double analysis. First, a network analysis by “bibliometric coupling10 “, by building the network of references that appear in the bibliographic records of our corpus. This network will allow us not only to identify the key references of the field which, because of their high number of citations, seem to have played a particularly important role in structuring the debate on AI but also to detect disciplinary and sub-disciplinary clusters – groups of references drawing different regions of the AI world and corresponding to different approaches, objects or applications.11 From these clusters, we will identify the different sub-debates of the field as well as the keywords, authors, journals and conferences that characterize them. We will also follow the evolution of these clusters over time, in order to establish their birth, their growth and possibly their decline. This historical analysis is fundamental for a field as dynamic as AI and constitutes one of the main originalities of the scientometric component of this project. It will be conducted in parallel and in collaboration with the historical survey that constitutes the third research axis of CulturIA, in order to ensure a rich interpretation of the evolution of co-citation networks.
Secondly, we will submit the most representative titles and abstracts of these clusters to an analysis by NLP and text mining algorithms12, thus using AI techniques which are the object of this project and which fall within the research domain of ALMAnaCH, in order to produce a fine analysis of the discourses around AI, their chronology, their geography and the fields of origin of their authors. In particular, we will proceed to the automatic extraction of key terms from the abstracts using simple techniques (TF-IDF, topic modelling).
Thanks to these keywords, but also by means of vector representations of the abstracts13, we will be able to build new similarity metrics between abstracts. Such metrics will allow to build new disciplinary and sub-disciplinary clusters and to visualize their evolution. The comparison of these clusters with the clusters created on the basis of co-author networks will be rich in information. This TAL analysis of publications dedicated to AI will inform the work of the interviews conducted in WP2. In both cases it will be a question of working on the language of artificial intelligence, i.e. on the expressions and key terms that define this field and its different sub-communities.
This study will allow us to describe the different scientific cultures that drive AI research and to follow their evolution over time. In this first line of research, our objective is not so much to identify the appearance of the different AI techniques (an exercise already undertaken by others7), as to identify the concepts, the imaginary worlds and the lines of debate that, starting from the scientific literature, are sweeping through society. All the great ideological debates that mark the history and the present of AI have emerged or found a resonance in scientific discourses. The advantage of starting to study them using bibliometric techniques is that it will allow us to trace their temporal and geographical extension with precision and exhaustiveness and to feed the historical research axis of CulturIA.
- www.tommasoventurini.it/ai/ [↩]
- par ex. Elsevier (2018). AI: How knowledge is created, transferred, and used. https://www.elsevier.com/research-intelligence/resource-library/ai-report [↩]
- Kessler, M. M. (1963). An experimental study of bibliographic coupling between technical papers. IEEE Transactions on Information Theory, 9(1), 49-51. https://doi.org/10.1109/tit.1963.1057800 [↩]
- Gingras, Y. (2010), Mapping the structure of the intellectual field using citation and co-citation analysis of correspondences. History of European Ideas, 36(3), 330-339 [↩]
- Feldman, R., & Sanger, J. (2007). Clustering. In R. Feldman & J. Sanger, The text mining handbook: Advanced approaches in analyzing unstructured data (pp. 82-93). Cambridge University Press et Le, Q., & Mikolov, T. (2014). Distributed representations of sentences and documents. Proceedings of the 31st International Conference on Machine Learning, PMLR, 32(2), 1188-1196 [↩]
- par exemple l’approche SPECTER développée par OpenAI et dont le code est librement disponible ; Cohan, A., Feldman, S., Beltagy, I., Downey, D., & Weld, D. S. (2020). SPECTER: Document-level representation learning using citation-informed transformers. arXiv preprint. arXiv:2004.07180 [cs.CL] [↩]
- Cardon, D, Cointet, J.-P., & Mazières, A. (2018). La revanche des neurones. Réseaux, 2018-5(211), 173-220. https://doi.org/10.3917/res.211.0173 [↩] [↩]
- www.tommasoventurini.it/ai/ [↩]
- e.g. Elsevier (2018). AI: How knowledge is created, transferred, and used. https://www.elsevier.com/research-intelligence/resource-library/ai-report [↩]
- Kessler, M. M. (1963). An experimental study of bibliographic coupling between technical papers. IEEE Transactions on Information Theory, 9(1), 49-51. https://doi.org/10.1109/tit.1963.1057800 [↩]
- Gingras, Y. (2010), Mapping the structure of the intellectual field using citation and co-citation analysis of correspondences. History of European Ideas, 36(3), 330-339 [↩]
- Feldman, R., & Sanger, J. (2007). Clustering. In R. Feldman & J. Sanger, The text mining handbook: advanced approaches in analyzing unstructured data (pp. 82-93). Cambridge University Press et Le, Q., & Mikolov, T. (2014). Distributed representations of sentences and documents. Proceedings of the 31st International Conference on Machine Learning, PMLR, 32(2), 1188-1196 [↩]
- e.g. the SPECTER’s approach developped by OpenAI and whom’s code is freely accessible; Cohan, A., Feldman, S., Beltagy, I., Downey, D., & Weld, D. S. (2020). SPECTER: Document-level representation learning using citation-informed transformers. arXiv preprint. arXiv:2004.07180 [cs.CL] [↩]