|
應用多種物件偵測方法於拍賣網頁分類目錄下的影像搜尋系統 Applying Multiple Methods of
Object Detection to Category-Based Image Retrieval System for Online Auction |
September, 2012 Student : Cheng-Yu Wu |
||
|
|
|||
|
【研究簡介】 中文摘要： 近年來，透過網路來購物已成為一種新的消費模式，使用者可以從各式各樣的拍賣網站上搜尋想要購買的商品。但是現今的拍賣網站大多是以文字來做搜尋，如果使用者想找的商品無法以文字確切描述時，找出的結果常不如預期。 因此，本論文使用了較佳的以圖找圖影像搜尋系統，並以改進過的 Objectness 物件偵測來處理影像，偵測出物件所在的區域，再擷取影像特徵，可避免背景雜訊的干擾。影像特徵方面，使用了 HSV 顏色特徵與 SIFT (Sale-Invariant Features
Transform) 紋理特徵兩種特徵來建立系統，並且定義了一個 SIFT 密度，經由實驗得到的門檻值，可讓系統可以自動判斷使用顏色或紋理特徵。除此之外，我們還使用了字彙樹 (Vocabulary Tree) 來量化 SIFT 紋理特徵，加快系統搜尋速度。 本論文最後實作出的拍賣網站搜尋系統，不僅可以讓使用者透過一般電腦來上傳影像做查詢之外，也可以透過行動裝置拍照上傳，即時傳回搜尋結果，找到相關的商品資訊。透過我們的系統，對 Yahoo 奇摩拍賣網站的手提包類別來進行搜尋，回傳相似度為第一名的影像，其準確率可達到七成。 Abstract : In recent years, shopping on the Internet becomes a popular choice for consumers, who can search and buy desired products from various online auction and shopping websites. However, most search engines of these websites are based on text only. If a user is unable to describe the desired products in precise keywords, the returned results will most likely not satisfy the user. Therefore,
this thesis studies a better method called CBIR (Content-based image
retrieval). To avoid the influence of noises from the background of the
image, we use “Objcetness” to detect the area where
the object is in the image, and then the image features are extracted from
the object region. Two features are applied to build our system, HSV color
feature and SIFT (Sale-Invariant Features Transform) texture feature. A
threshold on the SIFT density is experimentally determined to choose which
feature should be applied on the input query. Moreover, we use the vocabulary
tree to quantize SIFT texture feature, which can significantly speed up our
system. Finally, in this thesis we implement an image retrieval system for online auction, which allows users to upload image not only from computers, but also from mobile devices by taking pictures. The system can return search results immediately, and then users can find the relevant product’s information. By using our system to search purses from yahoo’s auction website in purses category, the precision of the most similar result can achieve 70%. |
|||
|
|
|||
|
【系統流程】
|
|||
|
|
|||
|
【結論與未來工作】 本論文在小規模的影像資料庫實驗下，回傳最相似的影像即可達到七成準確率，並且藉由 Objectness 物件偵測，無論是網頁上的商品影像或是使用者上傳的影像，都可以很準確的找出物件。另外透過字彙樹的技術，準確但資訊量多的 SIFT 紋理特徵使用在即時的影像搜尋也不再是天方夜譚。 此外，本系統也實作在行動裝置上，當使用者看到中意的包包時，可立即透過行動裝置拍照上傳，找到喜愛的商品資訊。 目前由於實驗的資料庫影像仍不夠多，部分較少見的查詢影像會找不出相似影像，例如：在名牌精品包類別中，黑色、金色、紅色的包包佔多數，其他顏色的就十分的少，這時便不容易要找出其他顏色的包包；紋理方面同理，某些知名品牌的包包常擁有特別的款式或是品牌商標的花紋，其紋理特徵就會十分的特別，並且由於是知名品牌，在拍賣網站上會有很多的賣家，此時如果要找其他種類的包包效果就不如預期了。因此，要提升準確率的最好方法即是增加資料庫的影像數量，除了定期更新 Yahoo 奇摩拍賣網頁的影像外，也可增加其他拍賣網站的影像。若是要縮短搜尋時間，可試著將特徵資料朝 SQL 資料庫管理的方式發展，或是應用雲端運算，加快搜尋速度。 整體看來，目前的系統已經有相當不錯的成果，未來若要做得更好，可以試著對商品的形狀來做偵測，例如在手提包之中會有方形的「方包」、圓形的「小圓包」、倒梯形的「水餃包」等各式的形狀，如果能再針對使用者所想要的商品形狀來做判斷，肯定會有更好的搜尋結果。
|
|||
|
|
|||
|
【論文全文】 |
|||
|
|
|||
|
【口試投影片】 |
|||
|
|
|||
|
【主要相關論文】 |
|||
|
|
|
||
|
Advisor : jcliu@ncnu.edu.tw
Jen-Chang Liu VIP Lab. @ CSIE NCNU |
|||
