Vai al contenuto principale
Oggetto:
Oggetto:

Ethics in NLP

Oggetto:

Ethics in NLP

Oggetto:

Academic year 2023/2024

Course ID
STU0699
Teachers
Viviana Patti (Lecturer)
Vincenzo Crupi (Lecturer)
Malvina Nissim (Lecturer)
Degree course
Language Technologies and Digital Humanities
Year
2nd year
Teaching period
First semester
Type
Related or integrative
Credits/Recognition
6
Course disciplinary sector (SSD)
M-FIL/02 - logic and philosophy of science
Delivery
Formal authority
Language
English
Attendance
Optional
Type of examination
Oral
Prerequisites

Students should have passed/attended the core courses of the programme in terms of NLP themes, methodology, and applications.

Gli studenti devono aver superato o frequentato i corsi fondamentali del programma in termini di temi, metodologia e applicazioni legate all'NLP.

Oggetto:

Sommario del corso

Oggetto:

Course objectives

After this course, the student will be able to:
- Understand the ethical challenges involved in working with language technology; Identify the ethical and social issues posed by NLP research and how to address them.
- Be aware of the state-of-the-art debate on ethical issues in the NLP community, and report on ethical issues (e.g., data statements, bias statements and new tools to navigate research choices, communicate implications).
- Understand the importance of model interpretability, and know which techniques are available for achieving it, for detecting bias in models, and for debiasing models.

Al termine di questo corso, lo studente sarà in grado di:
- Comprendere le sfide etiche legate alla ricerca nell'ambito delle tecnologie del linguaggio;
- Identificare le questioni etiche e sociali poste dalla ricerca sulla NLP e come affrontarle.
- Acquisire consapevolezza sullo stato dell'arte del dibattito sulle questioni etiche nella comunità NLP e riferire in merito alle questioni etiche (ad esempio, data statements, dichiarazioni sui bias e nuovi strumenti per orientarsi nelle scelte di ricerca e comunicazione delle implicazioni).
- Comprendere l'importanza dell'interpretabilità dei modelli e sapere quali tecniche sono disponibili per ottenerla, per rilevare i bias nei modelli e per il loro debiasing.

Oggetto:

Results of learning outcomes

Knowledge and understanding:

At the end of the course, students shall know the basics of the ethical challenges involved in working with language technology and identify the ethical and social issues posed by NLP research and how to address them.

Applying knowledge and understanding:

- Report on ethical issues (such as data statements, bias statements, etc) 
- Be aware of the state-of-the-art discussion on ethics in the NLP community 
- Reflect on sociodemographic aspects of language and on the tradeoff between successful research and legitimate ‘behaviour’.

Evaluation autonomy:

- Reflect on what is responsible behaviour and the dangers of potential third-party misuse 

- Understand the importance of model interpretability, and know which techniques are available for achieving it, for detecting bias in models, and for debiasing models

Communication skills:

- Understand and communicate the ethical challenges involved in working with language technology 
- Identify the ethical challenges posed by NLP research and how to address them in practice and in theory (in models and in papers by writing data and ethics statements) both as developer and as user/reader. Data, privacy, bias in models of various kinds.

Learning skills:

- be able to use and further apply the learned tools of analysis for future work.

 

Conoscenza e comprensione: 

Al termine del corso, gli studenti conosceranno le basi delle sfide etiche legate al lavoro con la tecnologia linguistica e identificheranno le questioni etiche e sociali poste dalla ricerca in NLP e come affrontarle.

Capacità di applicare conoscenza e comprensione:

- Riferire su questioni etiche (come dichiarazioni sui dati, dichiarazioni sui pregiudizi, ecc.)
- Essere consapevoli dello stato dell'arte della discussione sull'etica nella comunità della PNL.
- Riflettere sugli aspetti sociodemografici del linguaggio e sul compromesso tra ricerca di successo e "comportamento" legittimo.

Autonomia di giudizio:

- Riflettere su cosa si intende per comportamento responsabile e sui pericoli di un potenziale uso improprio da parte di terzi.

- Comprendere l'importanza dell'interpretabilità dei modelli e sapere quali tecniche sono disponibili per ottenerla, per rilevare i bias nei modelli e per debiasare i modelli.

Abilità comunicative:

- Comprendere e comunicare le sfide etiche legate alla ricerca sulle tecnologie del linguaggio.
- Identificare le sfide etiche poste dalla ricerca NLP e come affrontarle nella pratica e nella teoria (nei modelli e nei documenti scrivendo dichiarazioni sui dati e sugli aspetti etici) sia come sviluppatore che come utente/lettore. Dati, privacy, pregiudizi nei modelli di vario tipo.

Capacità di apprendere:
- essere in grado di utilizzare e applicare ulteriormente gli strumenti di indagine per lavori futuri.

Oggetto:

Program

The spread and democratisation of language technology has made it possible to use NLP in a variety of applications. Language-based tools are indeed not only developed within academia, but also used by very many companies, far beyond just research purposes. Working with NLP, now more than before, involves ethical reflections in many directions concerning: (i) the choices we make when developing methods, models, and resources (e.g., datasets, annotated corpora, lexicons) for NLP; (ii) the biases that are intrinsic to human-produced data and thus to data-derived models, including explainability issues; (iii) the consequences of working in NLP, in terms of personal responsibility and third-party (mis)use. The course will have a practical counterpart on techniques for detecting bias in data and models, and for debiasing models.

La diffusione e la democratizzazione delle tecnologie linguistiche ha reso possibile l'uso dei tecniche di NLP in una varietà di applicazioni. Gli strumenti basati sull'analisi computazionale del linguaggio, infatti, non vengono sviluppati solo in ambito accademico, ma vengono utilizzati anche da moltissime aziende, presentando un impatto che va ben oltre i semplici scopi di ricerca. Lavorare nell'ambito della linguistica computazionale e del NLP, ora più che in passato, comporta riflessioni etiche su molti aspetti che riguardano: (i) le scelte che facciamo quando sviluppiamo metodi, modelli e risorse (ad esempio, dataset, corpora annotati, lessici) per il NLP; (ii) le distorsioni intrinseche ai dati linguistici espressi dall'uomo e quindi ai modelli addestrati su questi dati, compresi i problemi di 'explainability'; (iii) le conseguenze della ricerca nell'ambto del NLP, in termini di responsabilità personale e di uso (errato) da parte di terzi. Il corso avrà una controparte pratica sulle tecniche per individuare i bias nei dati e nei modelli e per il debiasing dei modelli.

Oggetto:

Course delivery

The course has a duration of 36 hours of face-to face lessons in attendance (6 CFU). Participate to the course is not mandatory but strongly advised. Lessons will employ multimedia materials in support. The Moodle platform will be used as an integrated learning environment, by uploading contributions that can be used asynchronously.

L'insegnamento prevede 36 ore complessive frontali in presenza in aula informatica (6 CFU). La presenza al corso non è obbligatoria seppur fortemente consigliata. Le lezioni utilizzeranno supporti audiovisivi multimediali. La piattaforma Moodle verrà utilizzata come ambiente integrato di apprendimento, tramite il caricamento di contributi fruibili in modalità asincrona.

Oggetto:

Learning assessment methods

Expected knowledge and skills will be tested by means of an in-presence oral interview, after the delivery of an individually developed practical project work on a topic discussed with the lecturers.

- The project work must be delivered one week before the oral interview.
- The assessment, which takes into account both the project work and the interview, will be expressed out of thirthy.
- The oral examination will last approximately 20/30 minutes.
- During the oral examination, the student will be asked to report on the salient aspects of the project presented and the topics covered during the lectures. The preparation will be considered adequate if the student will be able to adequately comment on the project, and will demonstrate a complete mastery of ethical issues addressed in the project.
SLD students are required to be in touch with the teacher to define the compensation devices and individualized settings.

Conoscenze e capacità previste saranno verificate attraverso un colloquio orale in presenza, dopo la consegna di un laboratorio pratico sviluppato individualmente o in gruppo su un tema concordato con i docenti.

- Il progetto deve essere consegnato una settimana prima dell'esame orale.
- La valutazione, che tiene conto sia del progetto presentato sia del colloquio, sarà espressa in trentesimi.
- L'orale avrà una durata di circa 20/30 minuti.
- All'orale si chiederà di relazionare sugli aspetti salienti del progetto presentato e sui temi trattati durante le lezioni. La preparazione sarà considerata adeguata se lo/la studente sarà in grado di commentare in maniera adeguata il progetto, e dimostrerà una completa padronanza degli aspetti etici trattati. Gli/Le studenti DSA sono pregati di prendere contatto con il docente nell'orario di ricevimento per definire strumenti compensativi e trattamenti individualizzati.

Oggetto:

Support activities

Additional support activities will be indicated during the single modules.

For students with SLD or disability, please take vision of the support (https://www.unito.it/servizi/lo-studio/studenti-con-disabilita) and of the reception modalities (https://www.unito.it/reception-studenti-con-disabilita-e-dsa) set by the University, and in particular of the procedures necessary for support in exam site (https://www.unito.it/servizi/lo-studio/studenti-e-studentesse-con-disabilita/supporto-studenti-e-studentesse-con).

Students with DSA are requested to inform the teacher at the beginning of the course in order to agree on a learning path staff adapted to their needs, even beyond the compensatory and dispensatory measures set for the exam.

Per gli studenti/esse con DSA o disabilità, si prega di prendere
visione delle modalità di supporto
(https://www.unito.it/servizi/lo-studio/studenti-con-disabilitaopen_in_new [1]) e
di accoglienza
(https://www.unito.it/accoglienza-studenti-con-disabilita-e-dsaopen_in_new [2]) di
Ateneo, ed in particolare delle procedure necessarie per il supporto in
sede d’esame
(https://www.unito.it/servizi/lo-studio/studenti-e-studentesse-con-disabilita/supporto-studenti-e-studentesse-conopen_in_new
[3]).

Studenti e studentesse con DSA sono pregati/e di informare il docente
all'inizio del corso, per concordare un percorso di apprendimento
personale adatto alle loro esigenze, anche al di là delle misure
compensative e dispensative previste per l'esame

Suggested readings and bibliography

Oggetto:

Literature

  • Starter of ethical debate in NLP: Hovy, Dirk, and Shannon L. Spruit. "The social impact of natural language processing." Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers). 2016.
  • Existing Tutorial materials
  • References from the ACL wiki “Ethics in NLP” (https://aclweb.org/aclwiki/Ethics_in_NLP)
  • Video of Meg Mitchell at COLING 2020, and related Q&A
  • Further papers to be added, according to field development.

Additional interesting readings:

https://ai.facebook.com/blog/what-ai-fairness-in-practice-looks-like-at-facebook/?utm_source=hootsuite&utm_medium=twitter&utm_term=2ddc7303-3a68-4542-b3d7-2e379c18e4c9&utm_content=facebookai&utm_campaign=RAI

 

https://arxiv.org/abs/2103.03417: Measuring Model Biases in the Absence of Ground Truth by Osman Aka, Ken Burke, Alex Bäuerle, Christina Greer, Margaret Mitchell

 

https://www.cnn.com/2021/03/11/tech/google-ai-ethics-future/index.html

Letteratura:

  • Starter of ethical debate in NLP: Hovy, Dirk, and Shannon L. Spruit. "The social impact of natural language processing." Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers). 2016.
  • Existing Tutorial materials
  • References from the ACL wiki “Ethics in NLP”: (https://aclweb.org/aclwiki/Ethics_in_NLP)
  • Video of Meg Mitchell at COLING 2020, and related Q&A
  • Further papers to be added, according to field development.

Altre letture interessanti:

https://ai.facebook.com/blog/what-ai-fairness-in-practice-looks-like-at-facebook/?utm_source=hootsuite&utm_medium=twitter&utm_term=2ddc7303-3a68-4542-b3d7-2e379c18e4c9&utm_content=facebookai&utm_campaign=RAI

https://arxiv.org/abs/2103.03417: Measuring Model Biases in the Absence of Ground Truth by Osman Aka, Ken Burke, Alex Bäuerle, Christina Greer, Margaret Mitchell

https://www.cnn.com/2021/03/11/tech/google-ai-ethics-future/index.html



Oggetto:

Notes

IT IS STRONGLY RECOMMENDED TO BE REGISTERED TO THIS COURSE (SEE HERE BELOW: "Registrati al corso"), SO THE TEACHER CAN DIRECTLY AND IMMEDIATELY COMMUNICATE STUDENTS ALL THE ISSUES RELATED TO THE ORGANIZATION OF THE LESSONS.

SI RACCOMANDA DI REGISTRARSI AL CORSO (al fondo di questa pagina: "Registrati al corso"), IN MODO CHE IL DOCENTE POSSA COMUNICARE DIRETTAMENTE E TEMPESTIVAMENTE AGLI STUDENTI LE QUESTIONI RELATIVE ALL'ORGANIZZAZIONE DELLE LEZIONI.

Enroll
  • Open
    Enrollment opening date
    01/09/2023 at 00:00
    Enrollment closing date
    30/06/2024 at 00:00
    Oggetto:
    Last update: 29/02/2024 13:23
    Location: https://www.digitalhumanities.unito.it/robots.html
    Non cliccare qui!