ΘΕΜΑ: Paroysiash/Eksetash Metaptyxiakhs
Ergasias Fotiadou Konstantina_6/10/2014_ 12:00_K206 _ tmhma episthmhs
ypologistwn_Panepisthmio Kritis
ΑΠΟΣΤΟΛΕΑΣ: Gramateia Metaptyxiakou CSD [mailto:pgram@xxxxxxxxxx]
ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΡΗΤΗΣ
ΤΜΗΜΑ ΕΠΙΣΤΗΜΗΣ ΥΠΟΛΟΓΙΣΤΩΝ
ΠΑΡΟΥΣΙΑΣΗ / ΕΞΕΤΑΣΗ ΜΕΤΑΠΤΥΧΙΑΚΗΣ ΕΡΓΑΣΙΑΣ
Φωτιάδου Κωνσταντίνα
Mεταπτυχιακή Φοιτήτρια
Τμήμα Επιστήμης Υπολογιστών, Πανεπιστήμιο Κρήτης
Eπόπτης Μεταπτ. Εργασίας: Καθηγητής, Π. Τσακαλίδης
Δευτέρα, 6 Οκτωβρίου 2014, 12:00
Αίθουσα
Τηλεδιάσκεψης Κ206, τμήμα Επιστήμης Υπολογιστών, Πανεπιστήμιο Κρήτης
" Υπερ-ανάλυση και βελτίωση εικόνων χαμηλής φωτεινότητας
χρησιμοποιώντας τεχνικές αραιών αναπαραστάσεων "
ΠΕΡΙΛΗΨΗ
Τις
τελευταίες δεκαετίες η ανάγκη για την βελτίωση εικόνων χαμηλής ποιότητας,
μεγαλώνει με καταιγιστικούς ρυθμούς. Ο στόχος των τεχνικών βελτίωσης ποιότητας
εικόνων, είναι να εξάγουν πολύτιμες λεπτομέρειες, οι οποίες μπορούν να
χρησιμοποιηθούν για αυτοματοποιημένες εφαρμογές, όπως η τμηματοποίηση και η
ανίχνευση. Σε πολλές κατηγορίες εικόνων, όπως για παράδειγμα, σε αστρονομικές
εικόνες, σε εικόνες από κάμερες παρακολούθησης, ή σε εικόνες οι οποίες έχουν
ληφθεί μέσω της φωτογραφικής μηχανής ενός έξυπνου κινητού τηλεφώνου, η ύπαρξη
θορύβου είναι ιδιαίτερα εμφανής, κάτι που καθιστά την βελτίωση εικόνων χαμηλής
ποιότητας ιδιαίτερα σημαντική, τόσο από αισθητικής πλευράς, όσο και για την
δυνατότητα εξαγωγής χρήσιμης ποιοτικής πληροφορίας.
Η
παρούσα εργασία επικεντρώνεται σε δύο συγκεκριμένες εφαρμογές βελτίωσης της
ποιότητας των εικόνων. Αρχικά, περιγράφουμε το πρόβλημα της «Υπέρ-ανάλυσης» και
της «Αποσυνέλιξης», ενώ στη συνέχεια επικεντρωνόμαστε στο πρόβλημα της
ενίσχυσης εικόνων που έχουν ληφθεί υπό χαμηλές συνθήκες φωτεινότητας. Το
σύστημά μας, στηρίζεται στις βασικές αρχές της θεωρίας των αραιών αναπαραστάσεων, όπου η βασική
υπόθεση είναι πως οι περιοχές εικόνων χαμηλής ποιότητας, μπορούν να γραφούν ως
ένας αραιός γραμμικός συνδυασμός στοιχείων ενός εκπαιδευμένου και υπερπλήρη
πίνακα, γνωστός στη βιβλιογραφία ως λεξικό. Οι βέλτιστοι εκτιμώμενοι
συντελεστές, επονομαζόμενοι αραιοί κώδικες, προκύπτουν ως λύση ενός προβλήματος
βελτιστοποίησης, και χρησιμοποιούνται για την σύνθεση υψηλής ποιότητας εικόνων.
Πιο
συγκεκριμένα, στο πρώτο μέρος της εργασίας, όπου μελετάται το πρόβλημα της
«Υπέρ-ανάλυσης» και «Αποσυνέλιξης», εξετάζουμε τη χρήση δύο λεξικών, όπου το
πρώτο περιγράφει περιοχές εικόνων υψηλής ανάλυσης (λεξικό υψηλής ανάλυσης), ενώ
το δεύτερο περιγράφει θολές και χαμηλής ανάλυσης περιοχές εικόνων (λεξικό
χαμηλής ανάλυσης). Το λεξικό υψηλής ανάλυσης, εκπαιδεύεται μέσω μιας συλλογής
χαρακτηριστικών περιοχών που έχουν ληφθεί από εικόνες υψηλής ανάλυσης, ενώ το
λεξικό χαμηλής ανάλυσης, στηρίζεται σε πρότυπα κανονικών κατανομών με
διαφορετικές τιμές διασποράς. Από τον συνδυασμό αυτών των δύο λεξικών προκύπτει
ένα κοινό λεξικό, το οποίο χρησιμοποιείται ακολούθως για την αντιμετώπιση του
προβλήματος της «Υπέρ-ανάλυσης» και της «Αποσυνέλιξης». Για να εκτιμήσουμε την
απόδοση του προτεινόμενου συστήματος, πραγματοποιήθηκαν τόσο ποσοτικές όσο και
ποιοτικές συγκρίσεις. Η ποσοτική σύγκριση επιτυγχάνεται μέσω της μετρικής
συσχέτισης ενέργειας σήματος ως προς θόρυβο.
Όσο
αφορά την αντιμετώπιση του προβλήματος ενίσχυσης εικόνων χαμηλής φωτεινότητας,
εξετάζουμε την τεχνική των αραιών αναπαραστάσεων περιοχών της εικόνας που έχουν
χαμηλή φωτεινότητα, σε ένα κατάλληλο λεξικό, με σκοπό να υπολογίσουμε τις
αντίστοιχες περιοχές εικόνων σε υψηλές συνθήκες φωτεινότητας. Για να εκτιμήσουμε τα
ζευγάρια εικόνων υψηλής φωτεινότητας και χαμηλής φωτεινότητας, δημιουργούμε δύο
λεξικά. Το πρώτο, αντιστοιχεί σε παραδείγματα που κωδικοποιούν κομμάτια εικόνων
υψηλής φωτεινότητας (λεξικό της ημέρας), ενώ το δεύτερο αντιστοιχεί σε
παραδείγματα από χαρακτηριστικές περιοχές που έχουν εξαχθεί από εικόνες χαμηλής
φωτεινότητας (λεξικό της νύχτας). Για να επιτύχουμε αυτόν τον στόχο, εισάγουμε
ένα καινοτόμο σχήμα για την από κοινού δημιουργία των λεξικών, χρησιμοποιώντας
το πιθανοτικό μοντέλο των περιορισμένων μηχανών Μπόλτζμαν.
Πειραματικά αποτελέσματα δείχνουν ότι
το προτεινόμενο σχήμα είναι ικανό να εκτιμήσει μια εικόνα υψηλής φωτεινότητας,
δεδομένης μιας εικόνας χαμηλής φωτεινότητας. Η αποτελεσματικότητα του συστήματός
μας αξιολογείται ποσοτικά με συγκρίσεις απέναντι στις πραγματικές εικόνες
υψηλής φωτεινότητας, χρησιμοποιώντας ως μετρική τον δομικό δείκτη ομοιότητας,
ενώ, η ποιοτική αξιολόγηση επιτυγχάνεται με συγκρίσεις απέναντι σε άλλες
μεθόδους ενίσχυσης εικόνων χαμηλής φωτεινότητας.
Fotiadou
Konstantina
M.Sc. Thesis
Computer
Science Department
University of Crete
Master's Thesis Supervisor: Professor Panagiotis Tsakalidis Monday, 6/10/2014, 12:00 Room K206, Computer Science dept.,University of Crete
" Image Super-Resolution and Low Light
Image Enhancement via Sparse Representations "
ABSTRACT
Recently,
the demand for the enhancement of low-quality images has grown tremendously.
The aim of image enhancement techniques is to improve the visual appearance and
simultaneously extract valuable information details that can be used for
automated image processing applications, such as segmentation and detection.
Many types of images, such as astronomical, surveillance, medical, or even real
life images that were captured through a camera, or a cell-phone, suffer from
low-resolution, degradation effects, poor illuminated regions, and from the existence
of severe noise. As a result, enhancing the quality of low-light, low-quality
images, is a critical processing step due to its value from both an aesthetics
and an information extraction perspective.
In
this thesis, we focus on two specific applications of image enhancement
techniques, namely, the Super-Resolution and Deconvolution problem (SR-DC), and
the Low Light Image Enhancement problem. In both approaches, we utilize the
novel framework of the sparse representations and learned appropriate dictionaries,
as a prior knowledge that can efficiently represent the enhanced version of a
given degraded scene. In our model, the sparse representation of the
low-quality image patches, in an appropriate dictionary is used for the
approximation of the high-quality images.
Considering
the Super-Resolution and Deconvolution problem, we generate two dictionaries,
one for the high resolution image parts (high resolution dictionary), and one
for the blurry and low-resolution image parts (blurry kernel dictionary). The
high resolution dictionary, is trained through a collection of high resolution
patches, using a machine learning approach. In addition, the blurry kernel
dictionary is created by Gaussian point spread functions (psf's) with different
variances. The combination of the two dictionaries creates a single joint
dictionary that can efficiently address the super-resolution and semi-blind
deconvolution problem. In order to evaluate the performance of the proposed
deconvolution and super-resolution method, we performed a comparison in the
terms of Peak Signal to Noise Ratio (PSNR), against the standard Bicubic
interpolation approach.
We
also considered an extended model for the enhancement of low-illumination
scenes. We utilize the sparse representation of low light image patches in an
appropriate dictionary to approximate the corresponding day-time images. We
consider two dictionaries; a night
dictionary for low light conditions and a day dictionary for well illuminated conditions. To
approximate the generation of low and high illumination image pairs, we
generated the day dictionary from patches taken from well exposed images, while
the night dictionary is created by extracting appropriate features from under
exposed image patches. Lastly, we introduced, a novel scheme in the joint
dictionary training phase, using the probabilistic framework of the Restricted
Boltzman Machines networks.
Experimental results suggest that the proposed scheme is able
to accurately estimate a well illuminated image given a low-illumination
version. The effectiveness of our system is evaluated by comparisons against
ground truth images, in terms of the Structural Similarity Index (SSIM). When
compared to other methods for image night context enhancement, our system
achieves better results both quantitatively as well as qualitatively.
apo th grammateia
-- Postgraduate Secretariat Computer Science Department Voutes University Campus Heraklion, Crete GR-70013, Greece tel: + 30 2810 393592, 393504 fax:+ 30 2810 393804 e-mail: pgram@xxxxxxxxxx Url: http://www.csd.uoc.gr
|