Vai al contenuto principale
Oggetto:
Oggetto:

Scientometrics

Oggetto:

Scientometrics

Oggetto:

Academic year 2024/2025

Course ID
FIL0485
Teacher
Eugenio Petrovich (Lecturer)
Degree course
Language Technologies and Digital Humanities
Year
1st year, 2nd year
Teaching period
Second semester
Type
Related or integrative
Credits/Recognition
6
Course disciplinary sector (SSD)
M-FIL/02 - logic and philosophy of science
Delivery
Formal authority
Language
English
Attendance
Optional
Type of examination
Practice test
Type of learning unit
corso
Prerequisites

The course assumes no prerequisites but familiarity with basic statistics (central tendency measures and frequency distributions) is recommended.

Non sono necessarie competenze specifiche pregresse per seguire l'insegnamento, ma la conoscenza di concetti basilari di statistica (indicatori di tendenza centrale e distribuzioni di frequenza) è raccomandata.

Oggetto:

Sommario del corso

Oggetto:

Course objectives

Scientometrics is the branch of applied statistics that studies scientific production and academic impact through suitable mathematical and quantitative methods. In the last decades, it has become central both in the investigation of scientific knowledge dynamics and in the science policy context, where scientometrics is often featured in the processes of evaluation of researchers and research institutions. The course aims to introduce students to this field, presenting both its theoretical-descriptive side (the so-called quantitative science studies) and its applied side (quantitative methods for research evaluation).

La scientometria è quella branca della statistica applicata che studia la produzione scientifica e l’impatto accademico attraverso metodi matematici e, più in generale, quantitativi. Negli ultimi cinquant’anni, i metodi scientometrici sono diventati centrali sia per lo studio della dinamica della conoscenza scientifica sia negli ambiti di politiche della scienza, nei quali la valutazione della ricerca spesso si basa su analisi scientometriche. L'insegnamento ha come obiettivo di introdurre gli studenti a questo campo di studio, presentandone sia il lato teoretico-descrittivo (studi quantitativi della scienza) che quello applicativo (metodi quantitativi per la valutazione della ricerca).

Oggetto:

Results of learning outcomes

Students will learn the different tools of scientometric analysis, which include, among others, bibliometrics, citation analysis, bibliometric indicators, science mapping, and network analysis. Students who successfully complete the course will be able to a) implement basic and advanced scientometric analyses on dedicated platforms and tools; b) discuss the methodological strengths and weakness of scientometrics, especially in science policy contexts; c) present scientometric data and analyses in technical reports accessible to non-experts (e.g., policy makers, university administrators, external clients).

Le/gli studenti impareranno a padroneggiare i diversi strumenti dell’analisi scientometrica, come la bibliometria, l’analisi citazionale, gli indicatori bibliometrici, la mappatura della scienza e l’analisi di rete. Chi completerà con successo il corso sarà in grado di a) implementare analisi scientometriche di base e avanzate su piattaforme e strumenti dedicati; b) discutere i punti di forza e di debolezza metodologici della scientometria, soprattutto in contesti di politica scientifica; c) presentare dati e analisi scientometriche in relazioni tecniche accessibili ai non esperti (come, ad esempio, policy maker, amministratori universitari, clienti esterni).

Oggetto:

Program

The course is structured in four main units. The first unit will introduce students to the cycle of scientific research and the modern scientific communication system. The second will present the main indicators for assessing scientific production and impact. The third will contextualize evaluative scientometrics in the history of science policy, discuss the unintended effects of bibliometric evaluation, and present the international debate on quantitative research assessment. The fourth unit will focus on quantitative science studies (descriptive scientometrics) and in particular on science mapping techniques: after an introduction to network analysis, specific bibliometric networks will be presented and students will learn to use VOSviewer, a free software especially designed for science mapping.

The detailed content of each unit is presented in the following.

  1. Introduction [Week 1]. Overview the cycle of scientific research, its main actors and processes (authors, editors, publishers, journals, peer-review, grants and funding). Definition of scientometrics and cognate disciplines and main areas of scientometric research.
  2. Scientometric tools for research evaluation (evaluative scientometrics) [Weeks 1 and 2]. Indicators of scientific production and related concepts (publication window, weighted indicators, counting methods for co-authorship). Indicators of impact and related concepts (citation theories, citation indicators for different units of analysis, alternative approaches to the normalization of citation indicators for cross-field comparison). Indicators for journals (Journal Impact Factor, SNIP, SJR) and individual researchers (h-index, g-index) and their methodological and theoretical limitations. Self-citations. Presentation of citation databases (Web of Science, Scopus, Journal Citation Report, SciVal, Google Scholar) and their web interfaces.
  3. Scientometric evaluation in context [Week 3]. History of science policy in the 20th century, New Public Management in science, performance-based evaluation systems. The reactive nature of bibliometric evaluation (Goodhart law, intended vs unintended effects, constitutive effects): the cases of Australia and Italy, publish-or-perish culture. The international debate on quantitative research evaluation (DORA declaration, Leiden Manifesto, COARA Coalition).
  4. Quantitative science studies [Weeks 4, 5, and 6]. Bibliometric distributions and bibliometric laws, skewness of science and Matthew effect. Fundamentals of network theory for science mapping (types of networks, matrices, projections, degree distribution, centrality metrics). Bibliometric networks: citation, co-citation, bibliographic coupling, co-authorship, co-occurrence. Analysis of bibliometric networks (measures of similarity, visualization, clustering). Science mapping in action: field delineation on web platforms (simple and advanced queries), creating science maps with VOSviewer. Preparing a policy report based on scientometric data. Work on the group project.

L'insegnamento è strutturato in quattro unità principali. La prima unità introdurrà gli/le studenti al ciclo della ricerca scientifica e al moderno sistema di comunicazione scientifica. La seconda presenterà i principali indicatori per valutare la produzione e l'impatto scientifico. La terza contestualizzerà la scientometria valutativa nella storia della politica scientifica, discuterà gli effetti indesiderati della valutazione bibliometrica e presenterà il dibattito internazionale sulla valutazione quantitativa della ricerca. La quarta unità si concentrerà sugli studi scientifici quantitativi (scientometria descrittiva) e in particolare sulle tecniche di science mapping: dopo un'introduzione generale all'analisi di rete, verranno presentate specifiche reti bibliometriche e le/gli studenti impareranno a utilizzare VOSviewer, un software gratuito appositamente progettato per la mappatura scientifica.

Il contenuto dettagliato di ciascuna unità è presentato di seguito.

  1. Introduzione [Settimana 1]. Panoramica del ciclo della ricerca scientifica, dei suoi principali attori e processi (autori, curatori, editori, riviste, peer-review, finanziamento). Definizione di scientometria e discipline affini e principali aree di ricerca scientometrica.
  2. Strumenti scientometrici per la valutazione della ricerca (scientometria valutativa) [Settimane 1 e 2]. Indicatori della produzione scientifica e concetti correlati (finestra di pubblicazione, indicatori ponderati, metodi di conteggio per il co-autoraggo). Indicatori di impatto e concetti correlati (teorie citazionali, indicatori citazionali per diverse unità di analisi, approcci alternativi alla normalizzazione degli indicatori citazionali per confronti cross-field). Indicatori per riviste (Journal Impact Factor, SNIP, SJR) e singoli ricercatori (h-index, g-index) e loro limiti metodologici e teorici. Autocitazioni. Presentazione dei database di citazioni (Web of Science, Scopus, Journal Citation Report, SciVal, Google Scholar) e delle loro interfacce web.
  3. Contestualizzare la valutazione scientometrica [Settimana 3]. Storia della politica della scienza nel XX secolo, approcci di New Public Management nella scienza, sistemi centralizzati di valutazione della performance. La natura reattiva della valutazione bibliometrica (legge di Goodhart, effetti intenzionali vs non intenzionali, effetti costitutivi): i casi di Australia e Italia, "publish-or-perish". Il dibattito internazionale sulla valutazione quantitativa della ricerca (dichiarazione DORA, Manifesto di Leiden, Coalizione COARA).
  4. Analisi quantitativa della scienza [Settimane 4, 5 e 6]. Distribuzioni bibliometriche e leggi bibliometriche, asimmetria della scienza ed effetto Matteo. Fondamenti di teoria delle reti per la mappatura scientifica (tipi di reti, matrici, proiezioni, distribuzione dei gradi, metriche di centralità). Reti bibliometriche: citazione, co-citazione, accoppiamento bibliografico, co-autoraggio, co-occorrenza. Analisi di reti bibliometriche (misure di similarità, visualizzazione, clustering). Mappatura scientifica in azione: delineazione del campo su piattaforme web (query semplici e avanzate), creazione di mappe scientifiche con VOSviewer. Preparazione di un rapporto politico basato su dati scientometrici. Lavoro sul progetto di gruppo.

Oggetto:

Course delivery

The course includes 36 hours of classroom lessons. It will combine traditional lectures, in-class assignments (quizzes and short problems on Wooclap), and a laboratory where students will learn to use web platforms of citation databases and VOSviewer.

L'insegnamento prevede 36 ore di lezioni in aula. Includerà lezioni frontali tradizionali, quiz e brevi problemi su Wooclap e un laboratorio in cui gli studenti impareranno a utilizzare le piattaforme web di database di citazioni e VOSviewer.

Oggetto:

Learning assessment methods

Attending students

Attending students will be divided in small groups (min. 2, max. 4 students per group). Each group will choose a case-study from a list predisposed by the teacher and prepare a group project consisting of a) a presentation and b) a report. The report should be handed in at least two days before the presentation. The presentation should be no more than 20 minutes long and will be followed by questions to each member of the group (10/15 minutes). Along with the grade, the teacher will provide comments and global feedback on the presentation and the report. The grade will be on a 0-30 scale (18+ = pass). The following features of the presentation and report will be assessed: clarity in presentation, correct use of the technical terminology, awareness of the strengths and weaknesses of the methods, capacity of communicating technical contents to a non-expert audience, consistency with the requests of the client.

Non-attending students

The final grade is based on an oral examination (30 minutes), which will include both questions on the contents of the course and short exercises on practical tasks (e.g., querying a citation database, computing a bibliometric indicator). The grade will be on a 0-30 scale (18+ = pass). Clarity in presentation, informed use of the technical terminology, understanding of techniques and methods, and capacity of implementation will be assessed.

Studenti frequentanti. Gli/le studenti frequentanti saranno divisi in piccoli gruppi (min. 2, max. 4 persone per gruppo). Ciascun gruppo sceglierà un caso di studio da un elenco predisposto dal docente e preparerà un progetto di gruppo composto da a) una presentazione e b) un report. Il report dovrà essere consegnata almeno due giorni prima della presentazione. La presentazione avrà una durata massima di 20 minuti e sarà seguita da domande a ciascun membro del gruppo (10/15 minuti). Insieme al voto (in trentesimi, sufficienza a 18), l'insegnante fornirà commenti e un feedback globale sulla presentazione e sulla relazione. Verranno valutate le seguenti caratteristiche della presentazione e del report: chiarezza nell'esposizione, corretto utilizzo della terminologia tecnica, consapevolezza dei punti di forza e di debolezza delle metodologie, capacità di comunicare contenuti tecnici ad un pubblico non esperto, coerenza con le richieste di il cliente.

Studenti non frequentanti. Il voto finale si basa su un esame orale (30 minuti), che comprenderà sia domande sui contenuti del corso, sia brevi esercizi su compiti pratici (ad esempio, interrogazione di un database di citazioni, calcolo di un indicatore bibliometrico). Il voto sarà in trentesimi con sufficienza a 18. Verranno valutate la chiarezza espositiva, l'uso consapevole della terminologia tecnica, la comprensione delle tecniche e dei metodi e la capacità di attuazione.

Oggetto:

Support activities

For students with SLDs or disabilities, please take note of the University's support (https://www.unito.it/servizi/lo-studio/studenti-con-disabilita) and reception arrangements  (https://www.unito.it/accoglienza-studenti-con-disabilita-e-dsa) and in particular the procedures required for exam support (https://www.unito.it/servizi/lo-studio/studenti-e-studentesse-con-disabilita/supporto-studenti-e-studentesse-con).

Per gli studenti/esse con DSA o disabilità, si prega di prendere visione delle modalità di supporto (https://www.unito.it/servizi/lo-studio/studenti-con-disabilita) e di accoglienza (https://www.unito.it/accoglienza-studenti-con-disabilita-e-dsa) di Ateneo, ed in particolare delle procedure necessarie per il supporto in sede d’esame (https://www.unito.it/servizi/lo-studio/studenti-e-studentesse-con-disabilita/supporto-studenti-e-studentesse-con).

Suggested readings and bibliography

Oggetto:

Attending students

Mandatory readings:

  • Slides used in the classes.
  • Sugimoto, Cassidy R., and Vincent Larivière. 2018. Measuring Research: What Everyone Needs to Know. New York: Oxford University Press.

All the materials, including the list of the case-studies for the final group project, will be made available on the Moodle page of the course.

Non attending students

Mandatory readings:

  • Slides used in the classes.
  • Sugimoto, Cassidy R., and Vincent Larivière. 2018. Measuring Research: What Everyone Needs to Know. New York: Oxford University Press.
  • Aksnes, Dag W., Liv Langfeldt, and Paul Wouters. ‘Citations, Citation Indicators, and Research Quality: An Overview of Basic Concepts and Theories’. SAGE Open 9 (1): 215824401982957. https://doi.org/10.1177/2158244019829575.
  • Waltman, L. (2016). A review of the literature on citation impact indicators. Journal of Informetrics, 10(2), 365-391. https://doi.org/10.1016/j.joi.2016.02.007
  • Larivière, V., & Sugimoto, C. R. (2019). The Journal Impact Factor: A Brief History, Critique, and Discussion of Adverse Effects. In W. Glänzel, H. F. Moed, U. Schmoch, & M. Thelwall (Eds.), Springer Handbook of Science and Technology Indicators (pp. 3-24). Springer International Publishing. https://doi.org/10.1007/978-3-030-02511-3_1
  • Todeschini, Roberto, and Alberto Baccini. Handbook of Bibliometric Indicators: Quantitative Tools for Studying and Evaluating Research. Weinheim: Wiley-VCH Verlag GmbH & Co.KGaA. (only the entry on h-index, pp. 162-190)
  • Hicks, Diana, Paul Wouters, Ludo Waltman, Sarah de Rijcke, and Ismael Rafols. 2015. ‘Bibliometrics: The Leiden Manifesto for Research Metrics’. Nature 520 (7548): 429-;31. https://doi.org/10.1038/520429a.
  • De Bellis, Nicola. 2014. ‘History and Evolution of (Biblio)Metrics’. In Beyond Bibliometrics: Harnessing Multidimensional Indicators of Scholarly Impact, 23-;44. London: MIT Press.
  • Newman, M. E. J. (2018). Networks (Second edition). Oxford University Press, pp. 103-121, 126-137, 158-182, 313-325
  • Petrovich, E. (2020). Science mapping. ISKO Encyclopedia of Knowledge Organization. https://www.isko.org/cyclo/science_mapping

All the materials will be made available on the Moodle platform.

 

Studenti frequentanti

Materiali obbligatori:

  • Slides del docente
  • Sugimoto, Cassidy R., and Vincent Larivière. 2018. Measuring Research: What Everyone Needs to Know. New York: Oxford University Press.

Tutto il materiale, compreso l'elenco dei casi studio per il progetto finale di gruppo, sarà reso disponibile sulla pagina Moodle del corso.

Studenti non frequentanti

Materiali obbligatori:

  • Slides del docente
  • Sugimoto, Cassidy R., and Vincent Larivière. 2018. Measuring Research: What Everyone Needs to Know. New York: Oxford University Press.
  • Aksnes, Dag W., Liv Langfeldt, and Paul Wouters. ‘Citations, Citation Indicators, and Research Quality: An Overview of Basic Concepts and Theories’. SAGE Open 9 (1): 215824401982957. https://doi.org/10.1177/2158244019829575.
  • Waltman, L. (2016). A review of the literature on citation impact indicators. Journal of Informetrics, 10(2), 365-391. https://doi.org/10.1016/j.joi.2016.02.007
  • Larivière, V., & Sugimoto, C. R. (2019). The Journal Impact Factor: A Brief History, Critique, and Discussion of Adverse Effects. In W. Glänzel, H. F. Moed, U. Schmoch, & M. Thelwall (Eds.), Springer Handbook of Science and Technology Indicators (pp. 3-24). Springer International Publishing. https://doi.org/10.1007/978-3-030-02511-3_1
  • Todeschini, Roberto, and Alberto Baccini. Handbook of Bibliometric Indicators: Quantitative Tools for Studying and Evaluating Research. Weinheim: Wiley-VCH Verlag GmbH & Co.KGaA. (only the entry on h-index, pp. 162-190)
  • Hicks, Diana, Paul Wouters, Ludo Waltman, Sarah de Rijcke, and Ismael Rafols. 2015. ‘Bibliometrics: The Leiden Manifesto for Research Metrics’. Nature 520 (7548): 429-;31. https://doi.org/10.1038/520429a.
  • De Bellis, Nicola. 2014. ‘History and Evolution of (Biblio)Metrics’. In Beyond Bibliometrics: Harnessing Multidimensional Indicators of Scholarly Impact, 23-;44. London: MIT Press.
  • Newman, M. E. J. (2018). Networks (Second edition). Oxford University Press, pp. 103-121, 126-137, 158-182, 313-325
  • Petrovich, E. (2020). Science mapping. ISKO Encyclopedia of Knowledge Organization. https://www.isko.org/cyclo/science_mapping

Tutto il materiale sarà reso disponibile sulla pagina Moodle del corso.

 



Oggetto:

Notes

Students are kindly requested to register on the Moodle page of the course as soon as the link is available.

Gli/le studenti sono pregati di registrarsi sulla pagina Moodle del corso non appena il collegamento sarà disponibile.

Enroll
  • Closed
    Enrollment opening date
    01/09/2024 at 00:00
    Enrollment closing date
    30/06/2025 at 00:00
    Oggetto:
    Last update: 01/07/2024 18:21
    Location: https://www.digitalhumanities.unito.it/robots.html
    Non cliccare qui!