Publications

Can the very fabric of how we visually explore the world hold the key to distinguishing individuals with Autism Spectrum Disorder (ASD)? While eye tracking has long promised quantifiable insights into neurodevelopmental conditions, the causal underpinnings of gaze behaviour remain largely uncharted territory. Moving beyond traditional descriptive metrics of gaze, this study employs cutting-edge causal discovery methods to reconstruct the directed networks that govern the flow of attention across natural scenes. Given the well-documented atypical patterns of visual attention in ASD, particularly regarding socially relevant cues, our central hypothesis is that individuals with ASD exhibit distinct causal signatures in their gaze patterns, significantly different from those of typically developing controls. To our knowledge, this is the first study to explore the diagnostic potential of causal modeling of eye movements in uncovering the cognitive phenotypes of ASD and offers a novel window into the neurocognitive alterations characteristic of the disorder.

Ovarian high-grade serous carcinoma (ovarian HGSC) is a clinically challenging disease with a poor prognosis, particularly for patients receiving neoadjuvant chemotherapy (NACT) before debulking surgery. In this study, we evaluate the progression-free interval (PFI) after NACT based on hematoxylin and eosin-stained whole-slide images (WSIs) of omental tumor tissue. Digital pathology tools are emerging, aiming at assisting pathologists in diagnosis and analysis; however, distinguishing features associated with response to NACT remain elusive. Multiple instance learning (MIL) coupled with attention mechanisms has shown promise in predicting treatment response from WSIs. Additionally, segmentation tools can identify and delineate regions in WSIs. Whereas some efforts have been made to develop explainable models for clinical outcome, there remains a need for genuinely interpretable models for pathologists. This article introduces the PATHOS framework, a novel approach to explaining crucial features of treatment response based on the PFI time in NACT treated patients from WSIs. PATHOS is composed of three blocks: (1) MIL block to identify informative regions, (2) panoptic segmentation and downstream analysis block for feature computation, and (3) classification block to predict the PFI. The results demonstrate that PATHOS enhances the interpretability of response to NACT in ovarian HGSC patients by highlighting pathologically significant features relevant to PFI prediction, such as tumor cell morphology, stromal abundance, and the spatial distribution of stromal regions. Furthermore, PATHOS identifies approximately 10% of the total WSI area as an informative region for clinical outcome.

In this work, we target Handwritten Text Recognition (HTR) in low-resource scenarios, which arise from underrepresented languages, rare scripts, and degraded visual conditions typical of historical documents. We introduce SCAM (Sahidic Coptic Ancient Manuscripts), a new line-level dataset built from digitized ancient manuscripts written in the extinct Sahidic Coptic dialect. The dataset reflects a realistic and challenging setting, as it combines heterogeneous acquisition conditions across libraries with typical manuscript degradations such as ink fading, bleed-through, and material deterioration. In addition to visual complexity, SCAM poses significant linguistic challenges due to the scarcity of resources for Sahidic Coptic, its uncommon alphabet, and dialect-specific diacritics. To support research in low-resource HTR, we benchmark several state-of-the-art approaches based on different paradigms, highlighting their limitations and strengths in this setting. Our results underline the gap between current HTR performance on well-resourced modern scripts and historically grounded, low-resource scenarios, thus providing a reference point for future developments.

Le reti neurali profonde sono diventate un pilastro fondamentale dell’Intelligenza Artificiale moderna grazie alla loro straordinaria efficacia e versatilità. Tuttavia, le loro capacità di generalizzazione dipendono tipicamente dall’assunzione che i dati siano indipendenti e distribuiti in modo identico, una condizione raramente soddisfatta negli scenari reali, dinamici ed evolutivi. Quando le distribuzioni dei dati variano, i modelli tendono a sfruttare scorciatoie (inclusi bias spurî e impliciti), a soffrire di catastrophic forgetting e a mostrare capacità compositive limitate. La presente tesi esplora come i modelli neurali possano essere guidati ad adattare, preservare, trasferire e comporre le proprie capacità oltre il semplice data fitting. La prima parte si concentra sulla mitigazione del bias in assenza di attributi protetti espliciti. Si sfruttano cluster latenti per formare gruppi semantici proxy che orientano l’ottimizzazione lontano dall’apprendimento di scorciatoie, migliorando così la robustezza. L’analisi viene poi estesa al continual learning, dove le strategie basate su rehearsal possono introdurre o amplificare correlazioni spurie se i segnali di debiasing non vengono gestiti correttamente. Per affrontare tale problema, vengono proposti meccanismi di rehearsal bilanciati, capaci di mantenere l’equilibrio in termini di valori di loss e mitigare correlazioni spurie sotto cambiamenti di distribuzione. La seconda parte indaga i modelli multimodali visione–linguaggio, rivelando che architetture simili a CLIP manifestano bias impliciti analoghi a quelli umani. Si introducono tecniche leggere di prompt steering per ridurre i bias impliciti nei compiti di image retrieval e classificazione. Successivamente, viene analizzato lo spazio dei parametri per determinare quando i task vector mantengono conoscenza trasferibile tra modelli addestrati su dataset distinti, e vengono definite procedure di allineamento basate su permutazioni per consentire il trasporto di conoscenza tra modelli. Infine, si dimostra che le proprietà geometriche del loss landscape, in particolare la sua piattezza, predicono la compatibilità tra modelli fine-tuned derivati da un pretraining comune, con applicazioni pratiche nella segmentazione medica 3D. Analisi sperimentali approfondite su diversi dataset e paradigmi di apprendimento supportano questi risultati. Complessivamente, i contributi delineano un quadro a quattro assi della generalizzazione nelle reti neurali: (i) mitigazione dell’apprendimento di scorciatoie a livello di dati e feature; (ii) prevenzione delle correlazioni spurie nel continual learning; (iii) disambiguazione semantica nell’allineamento multimodale; (iv) manipolazione della geometria dello spazio dei parametri per il trasferimento di conoscenza e il model merging. Attraverso questa prospettiva, la tesi propone principi e metodologie per lo sviluppo di sistemi neurali adattivi le cui capacità possano essere mantenute, trasferite e composte in modo robusto.

Video-language models (VLMs) achieve strong multimodal understanding but remain prone to hallucinations, especially when reasoning about actions and temporal order. Existing mitigation strategies, such as textual filtering or random video perturbations, often fail to address the root cause: over-reliance on language priors rather than fine-grained visual dynamics. We propose a scalable framework for counterfactual video generation that synthesizes videos differing only in actions or temporal structure while preserving scene context. Our pipeline combines multimodal LLMs for action proposal and editing guidance with diffusion-based image and video models to generate semantic hard negatives at scale. Using this framework, we build CounterVid, a synthetic dataset of ~26k preference pairs targeting action recognition and temporal reasoning. We further introduce MixDPO, a unified Direct Preference Optimization approach that jointly leverages textual and visual preferences. Fine-tuning diverse VLMs with MixDPO yields consistent improvements, notably in temporal ordering, and transfers effectively to standard video hallucination benchmarks.

This report is the transcript of what was discussed in a convention at the Endocrinology Unit in Modena, Italy, in the form of the aporetic dialogs of ancient Greece. It is the third episode of a series of four discussions on the differences between males and females, with a multidisciplinary approach. In this work, the role of testosterone in gender differences in the aptitude for mathematics is explored. First, the definitions of mathematical abilities were provided together with any gender difference in the distribution of females and males in science, technology, engineering, and mathematics subjects. A clear predominance of males is evident at most science, technology, engineering, and mathematics education levels, especially in advanced academic careers. Then, the discussants were divided into two groups: group 1, which illustrated the thesis that testosterone promotes the development of logical‒mathematical skills, and group 2, which, in contrast, asserted the inconsistency of a direct role of testosterone in improving cognitive abilities and that socio-cultural factors should be considered on the basis of this gender gap. In the end, an expert referee (a female engineer) tried to resolve the aporia: are the two theories equivalent or is one superior?.

Histopathology is the gold standard for cancer diagnosis, and pathology reports directly inform treatment decisions. Although recent deep learning approaches aim to automate report generation from whole-slide images, most methods inherit training objectives and evaluation protocols from image captioning, adopting token-level losses and n-gram metrics that prioritize lexical similarity over diagnostic correctness. To address these limitations, we reformulate pathology report generation as a guideline-aligned multi-task classification problem. Our approach predicts clinically relevant pathological features defined by the International Collaboration on Cancer Reporting guidelines, thereby enabling structured and diagnostically meaningful automated reporting. Our contributions are threefold: i) we introduce PATHOCLASS-BRCA, the first breast cancer benchmark that reframes pathology report generation as guideline-aligned multi-task classification of clinically relevant pathological features; ii) we propose a pathological feature-level semantic evaluation protocol that maps free-text reports to guideline-defined pathological labels, enabling clinically meaningful evaluation of conventional report generation models using classification metrics; and iii) we demonstrate that classification-oriented adaptation of report generation backbones significantly improves the recognition of clinically meaningful histopathological features. The source code and dataset are publicly released at https://github.com/AImageLab-zip/PathoClassBRCA.

L’attenzione visiva umana è un processo cognitivo che consente agli individui di interpretare in modo efficiente ambienti visivi complessi. Attraverso la prioritarizzazione di regioni salienti e rilevanti per il problema, gli esseri umani estraggono informazioni critiche sopprimendo al contempo gli stimoli irrilevanti. Questo meccanismo di selezione supporta la percezione, il processo decisionale e l’interazione con un mondo dinamico. Studi nelle neuroscienze hanno stabilito principi chiave dell’attenzione spaziale, della selezione basata sugli attributi visivi e dell’interazione tra controllo top-down e bottom-up. I progressi nell’Intelligenza Artificiale e nella Computer Vision hanno ispirato lo sviluppo di sistemi autonomi in grado di emulare la prioritarizzazione umana delle informazioni visive. A differenza dei modelli di salienza tradizionali, che predicono regioni di interesse statiche, i modelli di scanpath catturano sia gli aspetti spaziali che quelli temporali dell’esplorazione visiva, inclusi la sequenza, la tempistica e la traiettoria dello sguardo. Questa tesi introduce framework probabilistici e generativi per la generazione degli scanpath, contribuendo a una comprensione più approfondita delle dinamiche temporali e della variabilità tra individui. Proponiamo TPP-Gaze, un framework ispirato alla teoria dei Neural Temporal Point Processes, che concettualizza gli scanpath come sequenze di eventi stocastici che accadono in modo irregolare nel tempo. Tale formulazione affronta un limite chiave degli approcci esistenti: mentre molti modelli rappresentano accuratamente dove guardare, spesso mancano di una rappresentazione rigorosa di quando avvengono gli spostamenti dello sguardo. Modellando esplicitamente l’evoluzione temporale, TPP-Gaze fornisce una descrizione più completa delle dinamiche dell’attenzione visiva. L’attenzione umana è intrinsecamente variabile tra individui, influenzata da bias cognitivi, preferenze e contesto. Per catturare tale variabilità, introduciamo ScanDiff, un modello stocastico basato su diffusione, capace di generare traiettorie di sguardo diverse e realistiche. A differenza dei metodi che producono un singolo scanpath medio, ScanDiff riflette la naturale eterogeneità del comportamento visivo. Oltre ai contributi metodologici, questa ricerca fornisce una panoramica completa dei modelli e dei dataset attuali, evidenziando trend, sfide e opportunità per integrare i meccanismi attentivi umani nei sistemi artificiali. La rilevanza pratica dei modelli proposti è dimostrata attraverso esperimenti di eye-tracking e raccolta dati in diversi domini. Questi includono studi sul comportamento visivo in immagini autentiche rispetto a immagini manipolate, l’integrazione di segnali percettivi per il rilevamento dei deepfake e l’analisi dell’attenzione in condizioni neuroevolutive. Inoltre, la tesi introduce un dataset egocentrico multimodale che cattura sguardo, movimento e contesto ambientale in ambiti culturalmente diversificati. Questi dati rivelano pattern attentivi distintivi, contribuendo alla progettazione di modelli centrati sull’uomo per applicazioni quali la valutazione dell’autenticità dei media, l’analisi comportamentale e la modellazione multimodale dell’attenzione. In conclusione, questa tesi avanza lo studio dell’attenzione visiva umana attraverso (i) lo sviluppo di modelli computazionali che catturano la struttura spazio-temporale degli scanpath, (ii) la definizione di evidenze empiriche sulle dinamiche dello sguardo in diverse condizioni e (iii) l’esplorazione di applicazioni reali della modellazione dell’attenzione. Collegando scienze cognitive e intelligenza artificiale, questo lavoro approfondisce la comprensione teorica e migliora la modellazione computazionale del comportamento visivo umano.