September, 2010

Student : Chien-Chun Wang

【研究簡介】

中文摘要：

　　書店經營期間的書本流動率高，為了掌握庫存狀況必須進行大規模的盤點工作。傳統的盤點工作需要花費大量的時間與人力成本，因此盤點週期較長，這使得店家無法確實掌握庫存狀況。

　　本論文提出一個應用字彙樹技術的圖書影像盤點系統來幫助進行盤點工作，系統流程分成上架跟盤點兩個階段。上架階段的工作包含攝影機參數的設定與資料庫的初始化，在書本尚未上架前必須先操作佈建在書架周圍的網路攝影機拍攝書籍影像以取得系統所需的參數，參數初始化完成後即可將書本上架。完成書本上架後再利用網路攝影機拍攝上架後的書籍影像，接著利用影像處理技術將書籍影像校正並切割即可得到全部的書背影像。所有的參數與書背影像都會儲存於系統資料庫中以提供盤點時使用。盤點階段時也必須進行影像拍攝、校正與切割等工作以取得盤點時的書背影像，接著再將這些書背影像與預存在資料庫中的書背影像利用影像搜尋技術進行比對以得到目前仍在架上的圖書資訊，系統最後會根據盤點結果更新資料庫。

 　　實驗分為兩階段，首先利用小規模的書籍數量來測試用低解析度的網路攝影機進行盤點的可行性。在第二階段中增加大量的書籍來測試系統是否能實際運用在大規模書籍的盤點，為了改善影像搜尋的速度，我們使用字彙樹技術來進行搜尋。實驗後發現準確率略微下降，但卻大幅的提升搜尋速度。

Abstract :

  Because of frequent check-outs and returning of books during the operating hours in a library, it is necessary to constantly check inventory to get hold of the stock conditions. The traditional checking approaches take lots of time and need many people, which result in a time-consuming process.

  This paper proposes an image-based bookstore inventory checking system that uses vocabulary tree to help check inventory, which is divided into two parts. In the beginning, we have to manipulate web cameras distributed around the bookshelves to capture images of the empty bookshelves and acquire all the parameters needed. After putting the books on the bookshelves, the system will capture the images again and acquire all the single book spin images by a series of digital image processing techniques. All parameters will be stored in our system database, which will be used in checking periods. When checking inventory, it will go through the same process, including capturing, calibrating and segmentation to get the latest book spine images. For each book spine image, we will use image search techniques to search for the same book spine images in the database, and update the latest information regarding the stock.

  There are two phases to our experiment. In the first phase, we use a small amount of books to test and verify that using web cameras to check inventory is a viable method. In the second phase, we want to experiment the performance in a large-scale image database. We apply a technique called vocabulary tree to improve the speed of image search. Although the results show a slight drop in performance, the search speed improves significantly.

【系統流程】

　　本論文提出了一套應用字彙樹技術之圖書影像盤點系統，此系統利用佈建在書店的網路攝影機來幫助進行盤點工作並且搭配數位影像處理技術自動地對影像進行切割與辨識。網路攝影機所拍攝的影像會因為拍攝位置與角度的關係造成書本在影像中的成像有點歪斜，因此在進行後續實驗前我們必須對影像先做幾何校正。

　　影像處理主要實作在書背切割與影像搜尋。小規模實驗的自動書背切割效能可達到九成以上，證明了論文的書背邊緣辨識方法可將大部分的書背切割出來，雖然仍有部分的書背未被正確的切出，例如相鄰的書背被判斷成一本書背切出，但這個錯誤並不會對影像比對的結果造成影響，因為 SIFT 特徵比對是著重在影像的局部特徵，而不是整張影像，所以書背影像中只要含有相同的特徵就可能被比對出來。若要對此類不完整切割的影像進行書背切割則可以參考一些實際書本的資訊，例如書本的厚度，再將實際的書本厚度轉成影像中對應的寬度依書本排列的順序將書背影像一一切出。此外，複雜的背景也會造成影像切割的困難，如大規模實驗中的書籍影像，對此類影像做邊緣偵測後在背景中會產生許多的線條，這些線條會影響書背位置的判斷導致書背切割錯誤。

　　書背搜尋的部分，在小規模實驗中我們使用窮舉法來進行實驗，相似度的計算方式是以兩張影像 SIFT 特徵比對到的數量來決定。實驗結果顯示不管是高解析度或低解析度的影像，都可以達到九成以上的正確率，大部份的錯誤都是因為同系列但不同集的書背影像，這些書籍的書背影像差異往往只有差在集數的部分，如圖1，集數上很難擷取出 SIFT 特徵，有的話數量也不多，因此容易造成誤判。大規模實驗中是以字彙樹結構來進行，影像相似度的計算方式是計算兩影像向量的距離。由實驗結果可以得知，使用 Binary match 來做距離計算的效能最佳，十組資料的平均效能只略遜於窮舉法，但在執行時間上可大幅改善窮舉法極度耗時的缺點，因此證明本論文所提出的方法是可行的。

圖 1 同冊不同集發生比對錯誤情況的範例，在集數部分很難偵測出影像特徵

(a)查詢影像-基督山恩仇記下冊 (b) 與上冊特徵比對到27個 (c) 與下冊特徵比對到19個

【論文全文】

An Image-based Bookstore Inventory Check System Using Vocabulary Tree【PDF】

An Image-based Bookstore Inventory Check System Using Vocabulary Tree【word】

【口試投影片】

An Image-based Bookstore Inventory Check System Using Vocabulary Tree【pptx】

●　J. C. Liu, B. Y. Chou, C. C. Wang, “An Image-Based Bookstore Inventory Check System,” National Chi Nan University, 2009.

Author : kevin75116@gmail.com Chien-Chun Wang

Advisor : jcliu@ncnu.edu.tw Jen-Chang Liu

VIP Lab. @ CSIE NCNU