從Flickr中利用影像分群與美學分析尋找代表性景點圖片

September, 2011

Student : Shih-Wei Lin

【研究簡介】

中文摘要：

　　因為智慧型手機與行動網路的普及，越來越多人將出遊的影像上傳至網路社群平台分享。社群網站上的大量旅遊景點影像包含各種主觀的拍攝意向與環境雜訊，本論文提出從網路社群平台上的景點影像尋找出具有代表性的影像，並且利用美學分析排序搜尋結果。此研究可提供旅遊網站自動擷取景點圖片以及旅遊者從代表性景點圖片瞭解旅遊地點等應用。研究方法包括使用人臉偵測過濾含有人臉之景點影像，擷取景點影像特徵，再利用特徵分類將影像中含有自然背景的特徵過濾掉，然後計算影像間相似度，並利用Affinity Propagation分群演算法將影像分群並且找出代表性影像，分群結果依照美學分析重新排序。分析實驗結果，在定點性景點能找出較具代表性與美感的景點影像。

Abstract :

　　Because of the popularity of smart phones and mobile network, people are getting used to share their travel photos on social platforms. The large amounts of attractions images on photo-sharing websites contain variety of subjective photographic intents and environmental noise. In this thesis we propose to find canonical images of travel attractions from online social platforms, and apply aesthetic analysis to sort results. This study can provide automatic image selection for travel websites and help travellers to browse travel spots. The methods include face detection to filter attractions images containing people, feature extraction, and feature classification to filter out natural background features. Then we calculate similarity between images, and apply affinity propagation algorithm for clustering and find canonical images. Finally, the clustering results are sorted according to aesthetic scores. Experimental results show that we can find representative and aesthetic images for attractions that include artificial landmarks.

【系統流程】

【結論】

本論文從 Flickr 取得景點影像，但是景點影像中有些包含了人物的出現，這些影像就不適合當作代表性景點影像，所以使用人臉偵測過濾掉，並且查準率準確率有77.94％、查全率準確率有61％。然後使用 SIFT 特徵做影像擷取，但是因為影像中包含了自然影像特徵可能影響到影像的相似度，所以利用支持向量機分類自然影像特徵點和建築物影像特徵點並且將自然影像特徵點過濾掉，過濾了約有六成的自然影像特徵。將分群結果依照各群組的平均相似度大小排序比依照群的大小找出之代表性景點影像排序更佳。在定點性景點能找出來代表性景點影像，而在區域性景點找出之代表性景點影像較不佳。

在美學方面我們使用論文 [12] 提出線性回歸的方法計算美學分數，由於我們影像張數比論文實驗多，因此誤差值相對就比論文低。我們雖然有達到論文的誤差值，但是由美學分析實驗的發現預測之美學分數與原先美學分數有差異，所以如何計算美學分數仍須進一步研究。