以字庫法為基礎之圖書影像盤點系統

September, 2010

Student : Bin-Yi Chou

【研究簡介】

中文摘要：

在圖書庫存管理中，盤點作業相當耗費時間及人力，無論是圖書館或一般書店都必須完成此項沉重的業務來掌握書目及藏書檔的正確性與完整性，然而此項作業需在事前作好妥善的規劃以確保盤點品質及速度，所以作業週期較為長，也因此管理者常常無法及時地控管書目資料的品質。

本論文提出以影像作為書籍資訊的圖書管理方法，上架完成時利用架設於書櫃附近的 PTZ 網路攝影機來取得書架上的書籍影像，而這些書籍影像經過一個以有限狀態機為基礎的方法進而將書籍的書背影像切割出來，然後對其作 SIFT 特徵的擷取，並與書籍相關資訊 (如：書籍寬度、書籍版本、國際標準書號、書籍位置、書籍狀態…等) 儲存於資料庫中。盤點時利用相同方法取得書籍影像、切割出書背影像、擷取特徵，與上架完成時儲存的圖書影像資訊利用影像搜尋技術進行比對。然而龐大的圖書影像資料仍需耗時比對，所以使用字庫法 (Bag-of-Words) 來加快比對的速度，盤點完成後，取得架上的書籍資訊。最後，根據盤點結果更新資料庫所有的書籍相關資訊，及時地掌握目前藏書檔的正確性。實驗後使用窮舉法搜尋書背可以達到九成左右的辨識率，使用字庫法改進後每本書的搜尋時間可以降低到 0.05 秒左右。

Abstract :

Book inventory check in libraries or bookstores is a time-consuming and labor-intensive work because of the enormous number of books, but it is necessary for the managers to keep track of the latest information about the books in stock. In addition, careful planning in advance is key to the quality and speed of the inventory check. Thus, the inventory check period is usually very long such that the managers cannot obtain correct information of book inventory timely.

In this thesis, an image-based approach is proposed for automatic book inventory management. Bookshelf images are captured by using a number of PTZ web cameras distributed around the bookshelves. Then, a model-based approach is applied to segment bookshelf images into individual book-spine images in which the SIFT features are extracted. The SIFT features along with other information such as the width, the version, ISBN, and the position of the book are stored in the database. To run the inventory check, the same procedure is applied to extract SIFT features of the query book-spine image, then the most similar book-spine image in the database is found via exhaustive feature matching. However, this exhaustive search method is time-consuming because of the enormous number of database images. The concept of Bag-of-Words (BOF) is used to improve the efficiency of search. Experimental results show that the recognition performance using exhaustive search is about 90% and search time using BOF is about 0.05s for each book.

【系統流程】

【結論】

本論文提出了一套以影像為基礎的書店自動化盤點系統，此系統利用佈建在書店的攝影機，來拍攝架上圖書進行自動辨識與盤點。目前實作的系統可以參考展示影片 [24]。主要的影像處理包括書背切割與書背辨識。在書背切割部分改善了論文 [6] 所提出的方法，加入了色相值的參考與後處理，使得書背切割相較於原始方法能更精確的切割書背影像，可以達到九成以上的正確率。雖然書背切割還未達到百分之百的準確率，有少部分多本書背影像可能被切在一起，但是這部分的錯誤後續可以在書背比對時解決，因為 SIFT 特徵並非是比對影像的整體，而是注重影像中每個局部關鍵點的特徵，所以書背影像中只要含有相同的特徵就可能被比對出來。例如：使用兩個未被分割的書背影像當作查詢影像，在使用 SIFT 特徵比對時，還是可以個別比對出來資料庫的這兩本書籍的書背影像。然而這會造成一張盤點時的查詢影像對應到多張資料庫的書背影像，此部分就必須利用書籍的一些資訊，例如書本頁數或厚度來判斷，再由使用者回饋資訊給系統。

在書背比對的部分，我們使用 SIFT 特徵比對作為影像搜尋的排序，不管是高解析度或低解析度的影像，都可以達到九成以上的正確率。我們發現比對部分發生的錯誤，通常是因為同系列但不同集的書背影像，這些書籍的書背影像差異往往只有差在集數的部分，如圖 6.1。

而在這些集數上可能沒有特徵，或是即使有特徵也無法配對，或甚至有些集數的特徵在影像中是很不清晰的，如圖 6.2，所以導致比對時的錯誤，而未來我們將對這些影像作後續的處理，如可以針對集數的區域作其他特徵的比對，或是相同地可以透過使用者回饋資訊等方法來改善。

在大規模實驗中，我們使用字庫法改善了影像的搜尋速度，也就是盤點的效率快了約 5681 倍，但是搜尋的效能仍然是未來改善的重點，因為這是影響盤點正確性的核心；另外，因為特徵量龐大，所以初步將數據以長寬比分為十組，但是這種方法在日後書籍量持續增多後仍然會遇到單機記憶體不足的困難，所以我們希望以雲端計算來解決，能在不分組的情況下進行特徵分群。