1,721,049 research outputs found
Top-Down and Bottom-Up Semantic Indexing of Multimedia
No full textThe aim of this work consists in proposing a dual approach for the sake of semantic indexing of audio-visual documents. We present two dierent algorithms based respectively on a bottom-up and a top-down strategy. Considering the top-down approach, we propose an algorithm which implements a nite-state machine and uses low-level motion indices extracted from an MPEG compressed bit-stream. Simulation results show that the proposed method can eectively detect the presence of relevant events in sport programs. Using the bottom-up approach, the indexing is performed by means of Hidden Markov Models (HMM), with an innovative approach: the input signal is considered as a non-stationary stochastic process, modeled by a HMM in which each state is associated with a different property of audio-visual material. Several samples from the MPEG-7 content set have been analyzed using the proposed scheme, demonstrating the performance of the overall approach to provide insights about the content of audio-visual programmes. Moreover, what appears quite attractive instead is to use low-level descriptors in providing a feedback for non-expert users of the content of the described audio-visual programme. The experiments have demonstrated that, by adequate visualization or presentation, low-level features carry instantly semantic information about the programme content, given a certain programme category, which may thus help the viewer to use such low-level information for navigation or retrieval of relevant events
Esercizi di Teoria dei Segnali
No full textIl presente lavoro raccoglie alcuni degli spunti emersi in vari anni di esperienza didattica svolta dagli autori presso l'Università degli Studi di Brescia, prima nella Laurea quinquennale in Ingegneria Elettronica, ed attualmente nella Laurea triennale nel settore dell'Ingegneria dell'Informazione. I temi considerati sono legati agli argomenti classici della teoria dei segnali nel continuo, con alcuni esempi sui processi stocastici. Nell'impostazione si è tenuto conto delle esigenze della nuova Laurea triennale, per cui il rigore matematico è stato a volte sacrificato per semplicare la presentazione di qualche argomento specifico. Il testo è strutturato in cinque capitoli di esercizi risolti, corredati di un capitolo di appendice nel quale si richiamano alcuni dei principali argomenti della teoria dei segnali al ne di completare la trattazione. In ogni capitolo vengono presentati vari esercizi completamente risolti, nonché ulteriori esercizi suggeriti, di alcuni dei quali viene indicata la soluzione. Nel Capitolo 1 vengono presentati alcuni esempi riguardanti le operazioni elementari sui segnali e le operazioni di convoluzione e correlazione. In particolare vengono trattati sia i segnali di energia che i segnali di potenza (periodici e non periodici). Il Capitolo 2 considera la rappresentazione vettoriale dei segnali, focalizzando l'attenzione sul concetto di ortogonalità e distanza tra segnali, e sull'approssimazione ai minimi errori quadrati di un segnale rispetto ad una base ortonormale o una coppia di basi biortogonali. L'analisi di Fourier viene presentata nel Capitolo 3. L'attenzione viene posta sia sul calcolo della trasformata di Fourier e dello sviluppo in serie di Fourier di un segnale, sia sull'applicazione delle principali proprietà della trasformata. Una specifica attenzione viene destinata alle applicazioni delle identità di Parseval, molto usate nella rappresentazione vettoriale di un segnale. Nel Capitolo 4 vengono considerati alcuni semplici esempi sulla caratterizzazione di un processo stocastico, focalizzando principalmente l'attenzione sui segnali periodici a fase casuale, sui processi gaissimi e sui processi di tipo PAM (Pulse Amplitude Modulation). I sistemi di elaborazione vengono analizzati nel capitolo 5. Viene trattato sia il problema della classicazione generale di un sistema (in termini di linearità, invarianza alla traslazione, memoria, causalità, stabilità), sia il calcolo del segnale di uscita a fronte di uno specico segnale applicato in ingresso. Particolare attenzione viene posta sull'analisi dei sistemi lineari tempo-invarianti (LTI), effettuata sia nei tempi che nelle frequenze. Nel caso particolare dei sistemi LTI si considera anche il filtraggio di un processo stocastico stazionario. Un breve cenno viene destinato anche al problema del campionamento ed interpolazione di un segnale. La nutrita appendice, presentata nel Capitolo 6, è suddivisa in varie parti che trattano, rispettivamente, un'introduzione alla rappresentazione vettoriale dei segnali, alcuni richiami sulle principali proprietà della trasformata di Fourier e della delta di Dirac, alcuni richiami sulle variabili casuali e sui processi stocastici, ed una breve descrizione delle principali caratteristiche dei sistemi a tempo continuo, ed infine la definizione di alcuni segnali elementari usati nel testo. Alcuni testi classici sono infine elencati, come riferimenti per la parte di teoria, nella sezione dedicata alla bibliografia. In particolare, sono stati citati alcuni testi che trattano più o meno tutti gli argomenti presentati in questo lavoro (e.g., [1], [2], [3], [4], [5], [8], [12], [13], [14], [15], [21], [22]), altri che descrivono in maggior dettaglio la rappresentazione vettoriale dei segnali [7], [8], la trasformata di Fourier [18], [24], le variabili casuali ed i processi stocastici [19], [16], [20], [6], [9], [11], [23], [10], i sistemi [17]. In letteratura sono presenti molti altri testi validi che non sono stati citati per non appesantire troppo la trattazione. Ulteriore materiale di supporto (e.g., errata corrige, lucidi di alcune lezioni di teoria, soluzioni di alcuni degli esercizi proposti, nuovi esercizi suggeriti, ...) può essere reso disponibile contattando gli autori. Gli autori sono grati sin d'ora nei confronti di coloro che avessero suggerimenti e consigli per migliorare sia i contenuti che la presentazione, o a tutti coloro che volessero segnalare eventuali errori ed imprecisioni. Tali suggerimenti possono essere diretti agli autori tramite posta elettronica agli indirizzi: [email protected], [email protected]
Esercizi di Teoria dei Segnali
No full textIl presente lavoro, attualmente alla sua terza edizione, raccoglie numerosi spunti emersi in tanti anni di esperienza didattica svolta dagli autori presso l'Università degli Studi di Brescia, prima nella Laurea quinquennale in Ingegneria Elettronica, quindi nelle Lauree triennali nel settore dell'Ingegneria dell'Informazione dei nuovi ordinamenti. I temi considerati sono legati agli argomenti classici della teoria dei segnali nel continuo, alle variabili casuali e ai processi stocastici, al campionamento ed alla quantizzazione. Nell'impostazione si è tenuto conto delle esigenze della nuova Laurea triennale, per cui il rigore matematico è stato a volte sacrificato per semplificare la presentazione di qualche argomento specifico. Il testo è strutturato in otto capitoli di esercizi completamente risolti, corredati di un ricco capitolo di complementi nel quale si richiamano alcuni dei principali argomenti della teoria dei segnali al ne di completare la trattazione. In ogni capitolo vengono presentati vari esercizi completamente risolti (circa 70), nonché ulteriori esercizi suggeriti (circa 140), di numerosi dei quali (circa 70) viene indicata la soluzione. Nel Capitolo 1 vengono presentati gli esempi riguardanti le operazioni elementari sui segnali, la convoluzione e la correlazione, sia per segnali di energia che per segnali di potenza (periodici e non periodici). Il Capitolo 2 considera la rappresentazione vettoriale dei segnali, focalizzando l'attenzione sul concetto di ortogonalità e distanza tra segnali, e sull'approssimazione ai minimi errori quadrati di un segnale rispetto ad una base. L'analisi di Fourier viene presentata nel Capitolo 3. L'attenzione viene posta sia sul calcolo della trasformata di Fourier e dello sviluppo in serie di Fourier di un segnale, che sull'applicazione delle principali proprietà della trasformata. I sistemi vengono introdotti nel Capitolo 4, focalizzando l'attenzione sui segnali deterministici. Viene trattato sia il problema della classificazione generale di un sistema (in termini di linearità, invarianza alla traslazione, memoria, causalità, stabilità), che il calcolo del segnale di uscita a fronte di uno specifico segnale applicato in ingresso. Particolare attenzione viene posta sull'analisi dei sistemi lineari tempo-invarianti (LTI), effettuata sia nei tempi che nelle frequenze. Nel Capitolo 5 vengono presentati numerosi esempi sulla caratterizzazione di una variabile casuale, discreta o continua, sull'indipendenza ed incorrelazione di più variabili casuali, sulle funzioni di variabili casuali e sui valori attesi condizionati. Nel Capitolo 6 viene trattata la caratterizzazione di un processo stocastico, focalizzando principalmente l'attenzione sui segnali periodici con fase casuale, sui processi gaussiani e sui processi di tipo PAM (Pulse Amplitude Modulation). Il filtraggio di un processo stocastico viene analizzato nel Capitolo 7. Nel Capitolo 8 viene trattato il problema del campionamento e della quantizzazione di un segnale, sia deterministico che stocastico. La nutrita sezione dedicata ai complementi è suddivisa in varie parti che trattano, rispettivamente, la rappresentazione vettoriale dei segnali, le principali proprietà della trasformata di Fourier e della delta di Dirac, una descrizione delle principali caratteristiche dei sistemi a tempo continuo, le variabili casuali e i processi stocastici, ed infine le operazioni di campionamento e quantizzazione di un segnale. Alcuni testi classici sono inne elencati, come riferimenti per la parte di teoria, nella sezione dedicata alla bibliografia. In particolare, sono stati citati alcuni testi che trattano più o meno tutti gli argomenti presentati in questo lavoro (e.g., [1], [2], [3], [4], [5], [8], [12], [13], [14], [15], [21], [22]), altri che descrivono in maggior dettaglio la rappresentazione vettoriale dei segnali [7], [8], la trasformata di Fourier [18], [24], le variabili casuali ed i processi stocastici [19], [16], [20], [6], [9], [11], [23], [10], i sistemi [17]. In letteratura sono presenti molti altri testi validi che non sono stati citati per non appesantire troppo la trattazione. Ulteriore materiale di supporto (e.g., errata corrige, lucidi di alcune lezioni di teoria, soluzioni di alcuni degli esercizi proposti, nuovi esercizi suggeriti, ...) può essere reso disponibile contattando gli autori, oppure sul sito web: http://www.ing.unibs.it/spier/libro.html. Gli autori sono grati sin d'ora nei confronti di coloro che avessero suggerimenti e consigli per migliorare sia i contenuti che la presentazione, o a tutti coloro che volessero segnalare eventuali errori ed imprecisioni. Tali suggerimenti possono essere diretti agli autori tramite posta elettronica agli indirizzi: [email protected], [email protected]
Semantic Indexing of Multimedia Documents
No full textWe propose two approaches for semantic indexing of audio–visual documents, based on bottom-up and top-down strategies. We base the first approach on a finite state machine using low-level motion indices extracted from an MPEG compressed bitstream. The second approach innovatively performs semantic indexing through Hidden Markov Models
A Robust Region Merging Technique for Video Sequence Spatio-Temporal Segmentation
No full textThe segmentation of video sequences into regions underlying a coherent motion is one of the most important processing in video analysis and coding. In this paper, we propose a reliability measure that indicates to what extent an affine motion model represents the motion of an image region. This reliability measure is then proposed as a criterion to coherently merge moving image regions in a Minimum Description Length (MDL) framework. To overcome the region-based motion estimation and segmentation chicken and egg problem, the motion field estimation and the segmentation task are treated separately. After a global motion compensation, a local motion field estimation is carried out starting from a translational motion model. Concurrently, a Markov Random Field model based algorithm provides for an initial static image partition. The motion estimation and segmentation problem is then formulated in the view of the MDL principle. A merging stage based on a directed weighted graph gives the final spatio-temporal segmentation. The simulation results show the effectiveness of the proposed algorithm
An Intuitive Graphic Environment for navigation and Classification of Multimedia Documents
No full textIn this work we propose an intuitive graphic framework for the effective visualization of MPEG-7 low-level features, in the context of classification and annotation of audio-visual documents. This graphic tool is proposed to facilitate the access to the content, and to improve a quick understanding of the semantics associated to the considered document. The main visualization paradigm employed consists in representing a 2D feature space in which the shots of the audiovisual document are located. In another window, the same shots are drawn in a temporal bar that gives the users also the information related to the time domain. In the main window, shots with similar content fall near each other, and the proposed tool offers various functionalities for automatically and semi-automatically finding and annotating shot clusters in the feature space. The use of the proposed system to analyze the content of few video sequences has shown very interesting capabilities
Future-Viewer: An Efficient Framework for Navigating and Classifying Audio-Visual Documents
No full textIn this paper we present an intuitive framework named Future-Viewer, introduced for the effective visualization of spatiotemporal low-level features, in the context of browsing and retrieval of a multimedia document. This tool is used to facilitate the access to the content and to improve the understanding of the semantics associated to the considered multimedia document. The main visualization paradigm employed
consists in representing a 2D feature space in which the video document shots are located. The features that characterize the 2D space's axes can be selected by the user. Shots with similar content fall near each other, and the tool offers various functionalities for automatically nding and annotating shot clusters in the feature space. These annotations can also be stored in MPEG7 format. The use of this application to browse the content of few audio-video sequences demonstrate very interesting capabilities
A cooperative Top-Down/Bottom-Up Technique for Motion Field Segmentation
No full textThe segmentation of video sequences into regions underlying a coherent motion is one of the most useful processing for video analysis and coding. In this paper, we propose an algorithm that exploits the advantages of both top-down and bottom-up techniques for motion eld segmentation. To remove camera motion, a global motion estimation and compensation is rst performed. Local motion estimation is then carried out relying on a traslational motion model. Starting from this motion eld, a two-stage analysis based on ane models takes place. In the rst stage, using a top-down segmentation technique, macro-regions with coherent ane motion are extracted. In the second stage, the segmentation of each macro-region is rened using a bottom-up approach based on a motion vector clustering. In order to further improve the accuracy of the spatio-temporal segmentation, a Markov Random Field (MRF)-inspired motion-and-intensity based renement step is performed to adjust objects boundaries
MDL-Based Coherent Motion Segmentation for Semantic Object Identification
No full textThe extraction of semantically meaningful objects that can describe a video sequence provides great expectations for video compression and retrieval. In this paper we propose an effective region merging technique that coherently merge
moving image regions in a Minimum Description Length framework. This technique uses a reliability measure that indicates to what extent an affine parameter set represent the motion of an image region. To overcome the region-based motion estimation and segmentation chicken and egg problem, the motion field estimation and the segmentation task are treated separately. A preliminary motion field estimation is carried out starting from a traslational motion model. Concurrently, a Markov Random Field model based algorithm provides for an initial static image partition. For each image region of this spatial segmentation, affine motion parameters are then extracted from the motion field by means of a robust linear regression algorithm. A merging stage based on the proposed technique gives the final spatio-temporal segmentation
Hierarchical Structuring of Video Previews by Leading-Cluster-Analysis
No full textClustering of shots is frequently used for accessing video data and enabling quick grasping of the associated content. In this work we first group video shots by a classic hierarchical algorithm, where shot content is described by a codebook of visual words and different codebooks are compared by a suitable measure of distortion. To deal with the high number of levels in a hierarchical tree, a novel procedure of Leading-Cluster-Analysis is then proposed to extract a reduced set of hierarchically arranged previews. The depth of the obtained structure is driven both from the nature of the visual content information, and by the user needs, who can navigate the obtained video previews at various levels of representation. The effectiveness of the proposed method is demonstrated by extensive tests and comparisons carried out on a large collection of video data. of digital videos has not been accompanied by a parallel increase in its accessibility. In this context, video abstraction techniques may represent a key components of a practical video management system: indeed a condensed video may be effective for a quick browsing or retrieval tasks. A commonly accepted type of abstract for generic videos does not exist yet, and the solutions investigated so far depend usually on the nature and the genre of video data
- …
