Publications

Large-scale benchmarks such as BraTS have driven progress in brain tumor segmentation, but they provide only masks with limited access to the clinical semantics found in radiology reports. We introduce ReportX, a paired resource of 257 clinical reports aligned to BraTS-GLI-2023 subjects, structured into a rich set of qualitative and quantitative attributes. Qualitative fields are curated by clinicians, while quantitative descriptors are automatically derived via atlas-based localization and geometric computations. We compare our annotation schema to existing report-augmented datasets and show that ReportX provides substantially broader coverage of clinically relevant factors. To exploit this supervision, we encode reports using biomedical language models and incorporate their embeddings as auxiliary semantic guidance for 3D tumor segmentation during training. Experimental results demonstrate that the proposed vision-text alignment improves segmentation performance on standard BraTS metrics, with clinically curated reports providing more consistent improvements than automatically generated or less-structured counterparts. We publicly release the dataset (https://ditto.ing.unimore.it/reportx) and the source code (https://github.com/AImageLab-zip/ReportX).

Inference-time scaling has emerged as an effective way to improve generative models at test time by using a verifier to score and select candidate outputs. A common choice is to employ Multimodal Large Language Models (MLLMs) as verifiers, which can improve performance but introduce substantial inference-time cost. Indeed, diffusion pipelines operate in an autoencoder latent space to reduce computation, yet MLLM verifiers still require decoding candidates to pixel space and re-encoding them into the visual embedding space, leading to redundant and costly operations. In this work, we propose Verifier on Hidden States (VHS), a verifier that operates directly on intermediate hidden representations of Diffusion Transformer (DiT) single-step generators. VHS analyzes generator features without decoding to pixel space, thereby reducing the per-candidate verification cost while improving or matching the performance of MLLM-based competitors. We show that, under tiny inference budgets with only a small number of candidates per prompt, VHS enables more efficient inference-time scaling reducing joint generation-and-verification time by 63.3%, compute FLOPs by 51% and VRAM usage by 14.5% with respect to a standard MLLM verifier, achieving a +2.7% improvement on GenEval at the same inference-time budget.

Sentence similarity search is a fundamental task in information retrieval, enabling applications such as search engines, question answering, and textual analysis. However, retrieval systems often struggle when training data are scarce, as is the case for low-resource languages or specialized domains such as ancient texts. To address this challenge, we propose a novel paradigm for domain-specific sentence similarity search, where the embedding space is shaped by a combination of limited real data and a large amount of synthetic data generated by Large Language Models (LLMs). Specifically, we employ LLMs to generate domain-specific sentence pairs and fine-tune a sentence embedding model, effectively distilling knowledge from the LLM to the retrieval model. We validate our method through a case study on biblical intertextuality in Latin, demonstrating that synthetic data augmentation significantly improves retrieval effectiveness in a domain with scarce annotated resources. More broadly, our approach offers a scalable and adaptable framework for enhancing retrieval in domain-specific contexts. Source code and trained models are available at https://github.com/aimagelab/biblical-retrieval-synthesis.

Virtual try-on (VTON) has been widely explored for rendering garments onto person images, while its inverse task, virtual try-off (VTOFF), remains largely overlooked. VTOFF aims to recover standardized product images of garments directly from photos of clothed individuals. This capability is of great practical importance for e-commerce platforms, large-scale dataset curation, and the training of foundation models. Unlike VTON, which must handle diverse poses and styles, VTOFF naturally benefits from a consistent output format in the form of flat garment images. However, existing methods face two major limitations: (i) exclusive reliance on visual cues from a single photo often leads to ambiguity, and (ii) generated images usually suffer from loss of fine details, limiting their real-world applicability. To address these challenges, we introduce TEMU-VTOFF, a Text-Enhanced MUlti-category framework for VTOFF. Our architecture is built on a dual DiT-based backbone equipped with a multimodal attention mechanism that jointly exploits image, text, and mask information to resolve visual ambiguities and enable robust feature learning across garment categories. To explicitly mitigate detail degradation, we further design an alignment module that refines garment structures and textures, ensuring high-quality outputs. Extensive experiments on VITON-HD and Dress Code show that TEMU-VTOFF achieves new state-of-the-art performance, substantially improving both visual realism and consistency with target garments. Code and models are available at: https://temu-vtoff-page.github.io/.

Con la crescente diffusione delle tecnologie di intelligenza artificiale, i moderni sistemi di apprendimento operano in ambienti sempre più dinamici, in cui distribuzioni dei dati, task e obiettivi evolvono nel tempo. I paradigmi statici tradizionali faticano a tenere il passo con tali mutamenti, con conseguente degrado delle prestazioni, perdita di conoscenze acquisite o riaddestramenti poco efficienti. Affrontare tali sfide richiede meccanismi capaci di trasferire conoscenza attraverso dimensioni temporali e strutturali, dai dati sequenziali ai flussi di task, fino al riuso e alla combinazione di interi modelli preesistenti. Questa tesi analizza come i sistemi di apprendimento possano evolvere insieme ai propri ambienti, sfruttando informazioni strutturate e conoscenze pregresse. Il lavoro si articola in tre direttrici principali: la comprensione dei dati temporali, l'apprendimento continuo e la composizione di modelli, con l'obiettivo di comprendere come le informazioni apprese in un contesto possano essere riutilizzate o adattate in un altro. La prima parte è dedicata all'apprendimento temporale da dati visivi, considerando i flussi video come serie temporali strutturate. Viene proposta una formulazione basata sulla coerenza temporale per la localizzazione di anomalie (CSL-TAL) in assenza di annotazioni a livello di frame; seguono modelli probabilistici e rappresentazioni basate sul flusso per il tracciamento multi-oggetto (TrackFlow), e un approccio per la stima della distanza degli oggetti da visione monoculare (DistFormer), che integra un ragionamento centrato sull'oggetto nei processi temporali. Nel loro insieme, questi studi mostrano come l'informazione temporale possa essere sfruttata per ottenere rappresentazioni visive più generali e interpretabili. La seconda parte affronta l'apprendimento continuo, in cui i dati si presentano come flusso. CHARON propone un framework efficiente per il riconoscimento di azioni basato su scheletri, che combina mascheramento e compressione per ottimizzare memoria e stabilità. CGIL introduce invece un metodo di adattamento continuo per modelli visione-linguaggio di grandi dimensioni mediante generative latent replay, mantenendo le capacità zero-shot e consentendo l'apprendimento incrementale dei prompt. Questi contributi reinterpretano l'apprendimento continuo come una progressione temporale strutturata, intesa come una sequenza di task in evoluzione. La parte finale esplora il trasferimento di conoscenza tra modelli attraverso fusione e aritmetica dei modelli. Invece di adattare un singolo modello nel tempo, l'obiettivo è combinare modelli pre-addestrati per generare nuove capacità. Il framework PASTA mostra come componenti specializzati possano essere composti nello spazio dei parametri per generalizzare tra domini. Successivamente, vengono analizzate tecniche a basso rango (MoDER e Core Space) e basate sul gradiente (GradFix) per fondere modelli, consentendo la creazione di nuove reti tramite operazioni dirette sui parametri. Questi approcci permettono di sintetizzare reti specifiche per task, rappresentando una nuova forma di evoluzione nello spazio dei modelli anziché in quello dei dati. Nel complesso, la tesi offre una prospettiva unificata sul trasferimento di conoscenza nei sistemi in evoluzione. Collegando apprendimento temporale, adattamento continuo e composizione di modelli, reinterpreta l'analisi delle serie temporali come principio generale di trasferimento tra rappresentazioni che cambiano nel tempo. Il quadro che emerge evidenzia il ruolo di struttura, modularità e riuso nella costruzione di sistemi di apprendimento scalabili, adattivi e resilienti, capaci non solo di interpretare un mondo in trasformazione, ma anche di trasformarsi in risposta a esso.

With the rapid advancement of multimodal retrieval and its application in LLMs and multimodal LLMs, increasingly complex retrieval tasks have emerged. Existing methods predominantly rely on task-specific fine-tuning of vision-language models and are limited to single-modality queries or documents. In this paper, we propose ReT-2, a unified retrieval model that supports multimodal queries, composed of both images and text, and searches across multimodal document collections where text and images coexist. ReT-2 leverages multi-layer representations and a recurrent Transformer architecture with LSTM-inspired gating mechanisms to dynamically integrate information across layers and modalities, capturing fine-grained visual and textual details. We evaluate ReT-2 on the challenging M2KR, M-BEIR, and MMEB benchmarks across different retrieval configurations. Results demonstrate that ReT-2 consistently achieves state-of-the-art performance across diverse settings, while offering faster inference and reduced memory usage compared to prior approaches. When integrated into retrieval-augmented generation pipelines, ReT-2 also improves downstream performance on Encyclopedic-VQA and InfoSeek datasets. Our source code and trained models are publicly available at: https://github.com/aimagelab/ReT-2.

La tomografia computerizzata a fascio conico (Cone Beam Computed Tomography, CBCT) è centrale nella pratica odontoiatrica e maxillo-facciale contemporanea, ma i progressi nell’analisi automatizzata sono stati limitati dalla scarsità di dataset pubblici disponibili. Questa tesi affronta tale collo di bottiglia creando un ecosistema aperto ed estensibile che combina dataset, strumenti di annotazione, progressi algoritmici e dimostra come questi elementi interagiscano ciclicamente per accelerare la ricerca e la traduzione in prodotti clinici. Il dataset Maxillo è stato il primo nel suo genere, fornendo 91 volumi densamente annotati e 256 scansioni annotate in modo sparso per l’annotazione del Canale Alveolare Inferiore. La serie ToothFairy, a cui questa tesi ha contribuito, si è basata su queste fondamenta: la prima versione di ToothFairy ha aumentato le annotazioni dense a 156 volumi; ToothFairy2 si è espansa fino a 480 volumi CBCT, ciascuno con 42 classi semantiche; e ToothFairy3 ha ulteriormente ampliato il corpus a 532 volumi e 77 classi, migliorando al contempo la qualità delle annotazioni e la diversità degli scanner utilizzati. A complemento delle CBCT, il dataset Bits2Bites, anch'esso parte di questa tesi, ha fornito 200 coppie di scansioni intra-orali registrate con annotazioni multi-etichetta di occlusione. Tutte le risorse sono state rilasciate in modo aperto per consentire benchmarking riproducibili e sviluppi successivi. Per scalare le annotazioni senza sacrificare la fedeltà clinica, ho sviluppato strumenti di annotazione semi-automatizzati e una rigorosa pipeline di controllo qualità che combina modelli predittivi con la revisione da parte di esperti. Fondamentalmente, la creazione dei dataset, gli strumenti e lo sviluppo dei modelli sono progrediti in modo ciclico: dati aggiuntivi hanno permesso modelli migliori; modelli migliori hanno alimentato strumenti di annotazione più rapidi e accurati; e strumenti migliorati hanno a loro volta prodotto dataset più grandi e di qualità superiore, costituendo il contributo intellettuale centrale di questo lavoro. Su questa base di dati, ho migliorato i metodi di segmentazione volumetrica: moduli basati su architettura transformer che codificano esplicitamente le relazioni spaziali tra patch per preservare il dettaglio a livello di voxel aggregando al contempo il contesto a lungo raggio, e adattamenti dell'architettura Mamba per una segmentazione 3D efficiente e ad alta precisione. Infine, ho introdotto U-Net Transplant, un framework di fusione di modelli che propone tecniche innovative per aggiornare e specializzare modelli clinici senza un riaddestramento completo, riducendo i costi di rideploy, lo spazio di archiviazione e i rischi di esposizione dei dati. Nel complesso, questo ecosistema ha fornito il più grande benchmark CBCT aperto per la segmentazione maxillo-facciale fino ad oggi, insieme a un insieme coerente di metodi e strumenti che hanno migliorato in modo sostanziale l’accuratezza, l’efficienza e la gestione del ciclo di vita dell’IA clinica, abilitando una ricerca e un’implementazione dell’IA dentale più rapide, sicure e riproducibili.

Depth ambiguity and joint uncertainty are the two main obstacles in obtaining accurate human pose predictions by 2D-to-3D lifting methods proposed in the literature. In particular, these issues are caused by 2D joint locations that can be mapped to multiple 3D positions, inducing multiple possible final poses. Following these considerations, we propose leveraging diffusion-based models’ generation capability to predict multiple hypotheses and aggregate them in a final accurate pose. Therefore, we introduce SnapPose3D, a pose-lifting framework trained deterministically to denoise 3D poses conditioned on both visual context and 2D pose features. SnapPose3D adopts a probabilistic approach during inference, generating multiple hypotheses through random sampling from a unit Gaussian distribution. Unlike most previous methods that address pose ambiguity by processing temporal sequences, SnapPose3D uses single frames as input, avoiding tracking and limiting computational cost, data acquisition complexity, and the need for online, real-time applications. We extensively evaluate SnapPose3D on well-known benchmarks for the 3D human pose estimation task showing its ability to generate and aggregate accurate hypotheses that lead to state-of-the-art results.

The complete workflow of the RI-PIENO framework is presented, a system for refueling itinerary optimization that extends the original PIENO design. While prior work introduced the conceptual modules of RI-PIENO, their operational pipeline was not described in detail. This study makes the workflow explicit, covering the end-to-end process from CAN Bus data acquisition and stop detection to the construction of daily trip graphs, refueling optimization, and mileage prediction. By clarifying the sequence of operations, the contribution provides a reproducible and extensible foundation for future research and development.