Publications

Per stare al passo con la natura in continua evoluzione dei dati, i moderni sistemi di intelligenza artificiale richiedono frequenti e costosi riaddestramenti su tutti gli esempi già visti, per evitare il fenomeno del catastrophic forgetting. Questa esigenza ha stimolato un crescente interesse verso il Continual Learning (CL), in cui i modelli apprendono in modo incrementale dai flussi di dati conservando al contempo le conoscenze acquisite. Tuttavia, nonostante i notevoli progressi, permane una fonte di incertezza spesso trascurata: la presenza di etichette rumorose o non affidabili. Le reti neurali profonde devono gran parte del loro successo a grandi dataset puliti, ma in contesti reali e dinamici tali condizioni ideali sono rare. Questo pone una domanda cruciale: come può un sistema continuare ad apprendere efficacemente quando la supervisione stessa è imperfetta? Per affrontare il problema dell’apprendimento con etichette rumorose in scenari incrementali, proponiamo Alternate Experience Replay (AER), una strategia che alterna fasi di apprendimento e “dimenticanza” del buffer, favorendo la separazione tra campioni puliti e rumorosi. In questo modo, il modello affina progressivamente le proprie rappresentazioni interne limitando la propagazione del rumore. A complemento, introduciamo Asymmetric Balanced Sampling (ABS), un meccanismo di campionamento che bilancia dinamicamente la conservazione di esempi puliti e complessi durante l’aggiornamento del buffer. La combinazione di questi approcci migliora la robustezza e la stabilità del modello, dimostrando come anche semplici meccanismi di replay possano ridurre l’impatto della supervisione imperfetta. La robustezza da sola, tuttavia, non basta. Una seconda sfida riguarda la capacità del modello di comporre e riutilizzare le conoscenze tra compiti diversi, proprietà nota come composizionalità. In questa tesi, mostriamo come rappresentazioni modulari e prospettive di ottimizzazione di secondo ordine possano favorire questa capacità. Introduciamo due paradigmi complementari: Incremental Task Arithmetic (ITA), che ottimizza ciascun modello addestrato su un singolo task individualmente, e Incremental Ensemble Learning (IEL), che ottimizza direttamente la loro composizione. Insieme, questi approcci permettono di combinare componenti apprese progressivamente in sistemi che non solo resistono alla dimenticanza, ma generalizzano per costruzione, adattandosi a nuove e inattese combinazioni di task di apprendimento. Queste due prospettive, robustezza alla supervisione rumorosa e adattamento composizionale, delineano un modello di Continual Learning resiliente e strutturato. Attraverso analisi empiriche approfondite, mostriamo come i meccanismi intrinseci delle reti neurali possano essere sfruttati per sviluppare modelli incrementali più affidabili e robusti. La tesi contribuisce alla ricerca nel campo del Continual Learning, migliorando la robustezza sia in presenza di supervisione rumorosa sia attraverso la composizione modulare della conoscenza. Forniamo una panoramica dello stato dell’arte, approfondimenti metodologici e studi sperimentali accurati su task incrementali complessi, con l’obiettivo di favorire lo sviluppo futuro di sistemi di apprendimento più adattivi e affidabili.

Il deep learning (DL) è uno strumento fondamentale nell’analisi moderna dei dati, in quanto consente l’estrazione automatica di pattern complessi da dati ad alta dimensionalità. Nell’ambito dell’imaging biomedico, i metodi di DL vengono impiegati per automatizzare e migliorare l’interpretazione dei dati, un processo che richiede un notevole impegno di tempo se svolto manualmente da un operatore. In questa tesi mi sono concentrata sulla microscopia a fluorescenza confocale, una tecnica che fornisce rappresentazioni tridimensionali ad alta risoluzione di strutture cellulari e subcellulari. L’analisi dei dati confocali però, richiede spesso un ampio pre-processing e la segmentazione di cellule e organelli subcellulari, un processo difficile da automatizzare a causa della variabilità delle condizioni di acquisizione e dei setup sperimentali. In questa tesi ho sviluppato approcci di deep learning che eliminano la necessità di segmentare i singoli canali fluorescenti. I modelli sono stati invece addestrati utilizzando etichette deboli (weak labels) corrispondenti all’esito complessivo del saggio, consentendo la classificazione senza annotazioni a livello di pixel. Questa strategia è stata applicata ad un saggio biologico che coinvolge anticorpi monoclonali: il saggio di opsonofagocitosi (OPA). Nell’OPA, l’analisi ha raggiunto una classificazione accurata e ha inoltre dimostrato che il protocollo sperimentale poteva essere ottimizzato, mostrando che un singolo canale fluorescente era sufficiente per una corretta classificazione, invece dei quattro utilizzati nel protocollo originale. Questo risultato ha portato a una riduzione dei tempi di acquisizione e dei costi sperimentali. In una seconda linea di ricerca, condotta durante un tirocinio all’estero, ho studiato l’applicazione del DL per l’analisi di immagini confocali altamente multiplexate acquisite mediante una nuova tecnologia di imaging. Utilizzando SubCell, un modello di base (foundation model) per l’analisi cellulare e subcellulare, ho analizzato le rappresentazioni apprese (embeddings) delle immagini ottenute con questo nuovo metodo di acquisizione. Tale analisi ha fornito una valutazione oggettiva e basata sui dati dei potenziali vantaggi e limiti della nuova tecnologia. Nel complesso, questa tesi dimostra come il deep learning possa migliorare l’analisi delle immagini di microscopia confocale in diversi contesti sperimentali, aumentando l’efficienza, riducendo i costi e supportando i biologi nell’interpretazione e nell’analisi dei loro dati.

Generating faithful and readable styled text images (especially for Styled Handwritten Text generation-HTG) is an open problem with several possible applications across graphic design, document understanding, and image editing. A lot of research effort in this task is dedicated to developing strategies that reproduce the stylistic characteristics of a given writer, with promising results in terms of style fidelity and generalization achieved by the recently proposed Autoregressive Transformer paradigm for HTG. However, this method requires additional inputs, lacks a proper stop mechanism, and might end up in repetition loops, generating visual artifacts. In this work, we rethink the autoregressive formulation by framing HTG as a multimodal prompt-conditioned generation task, and tackle the content controllability issues by introducing special textual input tokens for better alignment with the visual ones. Moreover, we devise a Classifier-Free-Guidance-based strategy for our autoregressive model. Through extensive experimental validation, we demonstrate that our approach, dubbed Eruku, compared to previous solutions requires fewer inputs, generalizes better to unseen styles, and follows more faithfully the textual prompt, improving content adherence.

Automated plant species identification from citizen-science imagery is an established, demanding fine-grained recognition problem: large taxonomic label spaces, visually similar species, and long-tailed observations require real model capacity, while field use constrains memory, latency, and power. Model size is only part of the deployment cost: intermediate activations held in memory during inference and platformdependent execution behavior matter too, so compact recognition must be assessed on target hardware rather than through complexity metrics alone. We present BoltNet, an ultra-lightweight fully convolutional architecture combining a Spatial Redistribution Bottleneck and Logit PreSampling to improve the tradeoff between predictive performance and model size in high-cardinality classification, and report the AccuracyCompression Tradeoff as a complementary diagnostic. On Pl@ntNet300K, BoltNet reaches 0.682 F1-score with 341K parameters (1.37 MB), the highest F1-score among evaluated models below 2 MB and close to substantially larger convolutional backbones. Model-only measurements on a Raspberry Pi 5, Jetson Orin Nano, and Hailo-8 characterize execution across CPU, GPU, and NPU platforms, where BoltNet is the most consistently efficient model, with the best FPS/W on the GPU and NPU and second-best on the CPU. Results on AIDERv2 and CLRS provide secondary evidence of transfer across environmental image-classification tasks. Code available at: https://codeberg.org/danielrossi/BoltNet.

Reliable estimates of cellular composition and anatomical distribution in the human brain are essential for biologically plausible circuit models. In the hippocampus, existing reconstructions rely on low-resolution (LR) data without explicit cell-type-resolved annotations, limiting quantitative maps of excitatory neurons, inhibitory interneurons, and glial cells. Using newly released 1 um/px BigBrain sections of the right hippocampus, we present CALHippo, Cellular Annotation Library for the Hippocampus, a multiscale resource for cell-type-resolved reconstruction of the human CA complex. CALHippo includes the first expert-validated, cell-level annotated dataset spanning all Cornu Ammonis (CA1-CA4) subfields with explicit three-class labels, together with a lower-resolution mesoscale cellular point-cloud map. High-resolution (HR) cell instances are obtained through a human-in-the-loop pipeline combining foundation-model-based segmentation, iterative expert correction, and model ensembling, and are classified as excitatory neurons, inhibitory interneurons, or glial cells. To extend sparse HR annotations to the full volume, we project them into the 20 um/px LR BigBrain space and use the resulting class-specific supervision maps to train a UNet-based density estimation model. The predicted density maps enable slice-by-slice inference across the full CA complex and are sampled to generate a class-resolved mesoscale cellular point cloud. Code (https://github.com/AImageLab-zip/CALHippo-Framework) and dataset (https://ditto.ing.unimore.it/calhippo) are publicly released to support reproducibility.

Video-language models (VLMs) achieve strong multimodal understanding but remain prone to hallucinations, especially when reasoning about actions and temporal order. Existing mitigation strategies, such as textual filtering or random video perturbations, often fail to address the root cause: over-reliance on language priors rather than fine-grained visual dynamics. We propose a scalable framework for counterfactual video generation that synthesizes videos differing only in actions or temporal structure while preserving scene context. Our pipeline combines multimodal LLMs for action proposal and editing guidance with diffusion-based image and video models to generate semantic hard negatives at scale. Using this framework, we build CounterVid, a synthetic dataset of ~26k preference pairs targeting action recognition and temporal reasoning. We further introduce MixDPO, a unified Direct Preference Optimization approach that jointly leverages textual and visual preferences. Fine-tuning diverse VLMs with MixDPO yields consistent improvements, notably in temporal ordering, and transfers effectively to standard video hallucination benchmarks.

L’attenzione visiva umana è un processo cognitivo che consente agli individui di interpretare in modo efficiente ambienti visivi complessi. Attraverso la prioritarizzazione di regioni salienti e rilevanti per il problema, gli esseri umani estraggono informazioni critiche sopprimendo al contempo gli stimoli irrilevanti. Questo meccanismo di selezione supporta la percezione, il processo decisionale e l’interazione con un mondo dinamico. Studi nelle neuroscienze hanno stabilito principi chiave dell’attenzione spaziale, della selezione basata sugli attributi visivi e dell’interazione tra controllo top-down e bottom-up. I progressi nell’Intelligenza Artificiale e nella Computer Vision hanno ispirato lo sviluppo di sistemi autonomi in grado di emulare la prioritarizzazione umana delle informazioni visive. A differenza dei modelli di salienza tradizionali, che predicono regioni di interesse statiche, i modelli di scanpath catturano sia gli aspetti spaziali che quelli temporali dell’esplorazione visiva, inclusi la sequenza, la tempistica e la traiettoria dello sguardo. Questa tesi introduce framework probabilistici e generativi per la generazione degli scanpath, contribuendo a una comprensione più approfondita delle dinamiche temporali e della variabilità tra individui. Proponiamo TPP-Gaze, un framework ispirato alla teoria dei Neural Temporal Point Processes, che concettualizza gli scanpath come sequenze di eventi stocastici che accadono in modo irregolare nel tempo. Tale formulazione affronta un limite chiave degli approcci esistenti: mentre molti modelli rappresentano accuratamente dove guardare, spesso mancano di una rappresentazione rigorosa di quando avvengono gli spostamenti dello sguardo. Modellando esplicitamente l’evoluzione temporale, TPP-Gaze fornisce una descrizione più completa delle dinamiche dell’attenzione visiva. L’attenzione umana è intrinsecamente variabile tra individui, influenzata da bias cognitivi, preferenze e contesto. Per catturare tale variabilità, introduciamo ScanDiff, un modello stocastico basato su diffusione, capace di generare traiettorie di sguardo diverse e realistiche. A differenza dei metodi che producono un singolo scanpath medio, ScanDiff riflette la naturale eterogeneità del comportamento visivo. Oltre ai contributi metodologici, questa ricerca fornisce una panoramica completa dei modelli e dei dataset attuali, evidenziando trend, sfide e opportunità per integrare i meccanismi attentivi umani nei sistemi artificiali. La rilevanza pratica dei modelli proposti è dimostrata attraverso esperimenti di eye-tracking e raccolta dati in diversi domini. Questi includono studi sul comportamento visivo in immagini autentiche rispetto a immagini manipolate, l’integrazione di segnali percettivi per il rilevamento dei deepfake e l’analisi dell’attenzione in condizioni neuroevolutive. Inoltre, la tesi introduce un dataset egocentrico multimodale che cattura sguardo, movimento e contesto ambientale in ambiti culturalmente diversificati. Questi dati rivelano pattern attentivi distintivi, contribuendo alla progettazione di modelli centrati sull’uomo per applicazioni quali la valutazione dell’autenticità dei media, l’analisi comportamentale e la modellazione multimodale dell’attenzione. In conclusione, questa tesi avanza lo studio dell’attenzione visiva umana attraverso (i) lo sviluppo di modelli computazionali che catturano la struttura spazio-temporale degli scanpath, (ii) la definizione di evidenze empiriche sulle dinamiche dello sguardo in diverse condizioni e (iii) l’esplorazione di applicazioni reali della modellazione dell’attenzione. Collegando scienze cognitive e intelligenza artificiale, questo lavoro approfondisce la comprensione teorica e migliora la modellazione computazionale del comportamento visivo umano.

Large Language Models (LLMs) have revolutionized language modeling through autoregressive generation, enabling strong performance across a wide range of tasks. Recently, Diffusion Language Models (DLMs) have emerged as an alternative paradigm that generates text through iterative denoising rather than next-token prediction, allowing parallel refinement of entire sequences. While numerous diffusion-based architectures have been proposed, differences in evaluation protocols, datasets, inference budgets, and generation hyperparameters make it difficult to compare their capabilities and understand the trade-offs they offer. In this work, we present a systematic experimental analysis of modern DLMs. Specifically, we evaluate eight state-of-the-art DLMs across eight benchmarks spanning reasoning, coding, translation, knowledge, and structured problem solving, while explicitly considering both generation quality and computational efficiency. Beyond downstream evaluation, we analyze the impact of key inference-time factors, including denoising steps, context length, block size, and parallel unmasking strategies, and complement large-scale experiments with controlled comparisons of smaller models trained under identical conditions. Our analysis highlights the strengths and limitations of diffusion-based language modeling across different tasks, architectures, and inference budgets. We show that the behavior of DLMs is strongly influenced by generation-time design choices, leading to distinct trade-offs between performance and computational efficiency. Overall, our study provides practical insights into the capabilities and deployment characteristics of contemporary DLMs.