Multimedιa reprepsentation using graph-based models and applications=Αναπαράσταση πολυμέσων με μοντέλα γραφημάτων και εφαρμογές

Περίληψη

In this work, we compare different methods for keyword extraction and text clustering using the Bag of Words (BoW) and the Graph of Words (GoW) models, along with their extension in image representation. For that purpose we provide the necessary background from the graph theory and community detection approaches . Firstly, we introduce the basic concepts from graph theory, such as centrality measures and community detection approaches, which are used to represent a multimedia item (text or image) into a vector or a graph representation. Moreover, we discuss the GoW model and how text is represented as a graph. Furthermore, we introduce the construction of a visual vocabulary using a graph of visual words, in analogy to the graph of words in text modeling. We apply these models in text/image collections, in order to examine which method is more effective in real data. We evaluate the BoW and the GoW models in keyword extraction from text. Then, we compare popular clustering methods in public datasets with news articles. Moreover, we compare the proposed Graph of Visual Words (GoVW) model with the Bag of Visual Words (BoVW) model in image collections, where we observe that NMI score increases by 6.68% and 16.11% in both of datasets, using GoVW model. Finally, we demonstrate a qualitative comparison in results of images clustering in order to visualize the results.

KEY WORDS Graph theory, Text, Image, keyword extraction, community detection, density-based clustering, Image clustering, Image retrieval, Bag of Words, Graph of Words, Bag of Visual Words, Graph of Visual Words

Στα πλαίσια της παρούσης εργασίας, συγκρίνουμε διάφορες μεθόδους συσταδοποίησης και εξόρυξης λέξεων-κλειδιών από κείμενα χρησιμοποιώντας τα μοντέλα Bag of Words (BoW) και Graph of Words (GoW), αλλά και τις γενικεύσεις τους στην αναπαράσταση εικόνων. Για το
σκοπό αυτό παρέχουμε το απαραίτητο υλικό από τη θεωρία γράφων. Αφού εισάγουμε τις βασικές έννοιες από τη θεωρία γραφημάτων, τα μέτρα κεντρικότητας και τις μεθόδους ανίχνευσης κοινοτήτων σε δίκτυο που θα χρησιμοποιήσουμε έτσι ώστε να εξετάσουμε την αποτελεσματικότητα τους, εξηγούμε πως ένα κείμενο μετατρέπεται σε διάνυσμα μέσω του μοντέλου BoW και πώς αυτό αξιοποιείται. Έπειτα αναλύουμε το μοντέλο GoW και εξηγούμε μέσω ποιας διαδικασίας ένα κείμενο μπορεί να μετατραπεί και να γίνει αναπαράσταση αυτού σε γράφημα. Επίσης, κατασκευάζουμε τα αντίστοιχα μοντέλα αναπαράστασης εικόνων με στατιστικές μεθόδους (BoVW) αλλά και με τη θεωρία γραφημάτων (GoVW), και τα αξιολογούμε μέσω πειραμάτων σε πραγματικά δεδομένα. Εφαρμόζουμε όλα αυτά τα μοντέλα και τα μέτρα σε πραγματικές συλλογές κειμένων και εικόνων ώστε να εξετάσουμε ποια μέθοδος είναι περισσότερο αποτελεσματική σε πραγματικά δεδομένα. Πρώτον, αξιολογούμε τις μεθόδους BoW και GoW στην εξόρυξη λέξεων κλειδιών από ένα κείμενο. Δεύτερον, συγκρίνουμε γνωστές μεθόδους συσταδοποίησης κειμένου σε δημόσια διαθέσιμες συλλογές άρθρων ειδήσεων. Τρίτον, συγκρίνουμε τα μοντέλα Graph-of-Visual-Words (GoVW) και Bag-of-Visual-Words (BoVW) σε συλλογές εικόνων που είναι δημόσια διαθέσιμες και παρατηρούμε ότι ο δείκτης NMI αυξάνεται κατά 6.68% και 16.11% στις δυο συλλογές αντίστοιχα χρησιμοποιώντας τη μέθοδο GoVW που προτείνουμε έναντι της BoVW. Ολοκληρώνουμε την σύγκριση με μία ποιοτική σύγκριση των αποτελεσμάτων συσταδοποίησης εικόνων για οπτικοποίηση των αποτελεσμάτων.

ΛΕΞΕΙΣ ΚΛΕΙΔΙΑ Αναπαράσταση κειμένου και εικόνας σε γράφημα, Ανίχνευση κοινοτήτων, Μέτρα κεντρικότητας δικτύου, Εξόρυξη λέξεων κλειδιών, Συσταδοποίηση κειμένων και εικόνων, μοντέλα GoVW, BoVW, BoW και GoW.