Riassunto analitico
La calibrazione della telecamera e la court registration giocano un ruolo cruciale nell'analisi sportiva, consentendo applicazioni avanzate dal player tracking alla ricostruzione 3D. Questa tesi esplora la calibrazione automatica della telecamera in ambienti pallavolistici, concentrandosi sulla massimizzazione delle informazioni geometriche fornite dalle linee del campo invece di basarsi esclusivamente sulla keypoint detection.
Presentiamo un'analisi completa di diversi approcci di calibrazione, dimostrando che i metodi basati sulle linee offrono una robustezza superiore attraverso vincoli sia di segmentazione che geometrici. La nostra implementazione sfrutta un'architettura Res-UNet modificata con backbone ResNet50 per la segmentazione delle linee. Un contributo chiave è la proposta di utilizzare un minimal solver specializzato basato sulle linee per recuperare i parametri di distorsione, intrinseci ed estrinseci della telecamera, in una pipeline unificata. A differenza dei metodi point-based, il nostro approccio è più grounded sui pixel e quindi più robusto.
Per affrontare la mancanza di dati di addestramento adeguati, abbiamo sviluppato due dataset complementari: un dataset in ambiente controllato per la valutazione di base e un dataset complesso che cattura la complessità del mondo reale. La nostra metodologia di valutazione si concentra sul mean reprojection error in diversi scenari, fornendo approfondimenti sui punti di forza e i limiti di ciascun approccio.
L'applicabilità pratica della nostra pipeline è dimostrata attraverso due applicazioni principali: il player tracking con trasformazione automatica bird's-eye view e un sistema completo end-to-end per la ricostruzione della traiettoria 3D della palla. Per quest'ultimo, abbiamo addestrato un ball detector specializzato e creato un dataset specifico per la pallavolo, consentendo una accurata ricostruzione multi-view della traiettoria.
Attraverso sperimentazione e analisi sistematiche, questa tesi fornisce approfondimenti sull'efficacia dei metodi di calibrazione basati sulle linee e offre una pipeline funzionale che può supportare varie applicazioni di analisi della pallavolo. I risultati dimostrano la fattibilità della calibrazione automatica della telecamera in ambienti pallavolistici e stabiliscono una base per lo sviluppo futuro di sistemi di analisi sportiva.
|
Abstract
Camera calibration and court registration play a crucial role in sports analysis, enabling advanced applications from player tracking to 3D reconstruction. This thesis explores automatic camera calibration in volleyball environments, with a focus on maximizing the geometric information provided by court lines rather than relying solely on keypoint detection.
We present a comprehensive analysis of different calibration approaches, demonstrating that line-based methods offer superior robustness through both segmentation and geometric constraints. Our implementation leverages a modified Res-UNet architecture with ResNet50 backbone for line segmentation. A key contribution is the proposal of using a specialized line-based minimal solver to retrieve distortion, intrinsic and extrinsics camera parameters, in a unified pipeline. As opposed to point-based methods, our approach is more grounded on pixels, and thus more robust.
To address the lack of suitable training data, we developed two complementary datasets: a controlled environment dataset for baseline evaluation and a challenging dataset that captures real-world complexity. Our evaluation methodology focuses on mean reprojection error across different scenarios, providing insights into the strengths and limitations of each approach.
The practical applicability of our pipeline is demonstrated through two main applications: player tracking with automatic bird's-eye view transformation and a complete end-to-end system for 3D ball trajectory reconstruction. For the latter, we trained a specialized ball detector and created a volleyball-specific dataset, enabling accurate multi-view trajectory reconstruction.
Through systematic experimentation and analysis, this thesis provides insights into the effectiveness of line-based calibration methods and delivers a functional pipeline that can support various volleyball analysis applications. The results demonstrate the viability of automatic camera calibration in volleyball environments and establish a foundation for future development of sports analysis systems.
|
