|
|
以影像為基礎的食材辨識與智慧型冰箱管理系統 Image-based Food Recognition and Management System of Intelligent Refrigerator |
|
||||||||||||||
|
研究生：陳君睿 指導老師：劉震昌 教授 |
||||||||||||||||
|
1.
簡介 在現今社會，由於科技的進步與環保觀念的推廣，兼具功能性與環保的智慧型家電逐漸受到重視。但目前市面上的智慧型冰箱管理系統主要使用條碼與RFID技術進行食材辨識，其適用範圍受限於特定通路購買產品，RFID標籤的成本問題亦是極大的負擔，故本論文提出了一套以影像為基礎的食材辨識與智慧型冰箱管理系統，我們擷取食材的影像特徵向量，搭配支持向量機，完成一套針對新鮮食材的影像辨識系統，達到了平均96.9031% 的辨識率。倉儲管理系統則透過食材辨識對冰箱食材進行記錄，供使用者查詢份量與保存期限訊息。食譜搜尋系統提供了約10,000道中文食譜供使用者搜尋。圖1 為影像資料庫的部分食材影像與冰箱端系統環境實體圖。
圖 1. 影像資料庫與冰箱端系統實體圖 2.
系統流程 食材辨識系統流程可以分為食材影像資料庫搜集、擷取影像特徵、訓練分類器與食材分類四個步驟，如圖 2 所示。擷取影像特徵前，我們採用高斯分布作為影像背景的模型將前景切出，可以有效減少影像背景雜訊，對於之後擷取影像特徵有極大的幫助，如圖 3 所示。
圖 2. 食材辨識流程圖
圖 3. 前景切割結果 3.
食材辨識
我們針對行政院衛生署公布的六大類食材，總共取得61種食材，1,001張影像。我們對影像分別計算其64 維與256維HSV色彩直方圖，紋理特徵包含區域熵 (Local Entropies) 、區域標準差 (Local Standard Deviation) 與區域值域 (Local Range) 三個特徵向量。形狀特徵則是計算食材物件求其長與寬的比值，依照上述步驟我們對每一張影像皆可得到一組特徵描述向量。完成影像特徵擷取後，便可利用這些特徵向量來訓練支持向量機分類器，再利用分類器來分類食材。
圖 4. 食材HSV 影像與長寬比分布圖 4.
實驗結果 我們利用LibSVM與Shogun針對不同的特徵組合訓練分類器，並分別進行2倍、5倍與8倍的交叉測試
(Cross Validation)，在SVM訓練參數的選擇，我們利用LibSVM所提供的grid工具為輔助選擇cost參數與γ參數進行實驗，經由觀察實驗結果，我們發現無論是何種組合，在色彩特徵為256維時有較佳的準確度，其中又以色彩直方圖、長寬比與區域熵的組合有最佳準確度。其實驗結果如表1。在MKL分類實驗，我們採用色彩直方圖、長寬比與區域熵的特徵組合進行實驗，在參數選擇方面，我們採取「嘗試」的方式選擇，我們重複進行分類實驗，每次皆嘗試不同的cost參數設定進行，嘗試的參數值包含1.2、32、128、512 四個cost
值。最後我們發現以256維色彩直方圖、長寬比與區域熵，cost
參數設為 128
有最佳的準確度，達到平均 95.5666% 的成果。我們其結果置於圖5中與SVM 結果比較，可以發現 SVM
有較佳的分類結果。
表 1. 交叉測試結果
圖 5. 各特徵組合與方法測試結果 5.
結論 本論文提出了一套以影像為基礎的食材辨識與智慧型冰箱管理系統。利用網路攝影機對食材進行攝影，擷取影像特徵向量並利用支持向量機訓練食材分類器，使系統達到自動化辨識食材的功能。倉儲管理系統記錄食材的重量與保存期限，建立完善的食材管理清單與相關資訊，讓使用者不再需要開關冰箱門尋找食材或確認食材份量，預計可以有效減少使用者開關冰箱門的次數與時間，防止冰箱進入加冷狀態，達到節能的目的。 6.
參考文獻 [1] A. M. McIvor, “Background
Subtraction Techniques”, Proc. of Image and Vision Computing, 2000. [2] A. Leykin, M. Tuceryan, “Automatic Determination
of Text Readability over Textured Backgrounds for Augmented Reality Systems”,
Third IEEE and ACM International Symposium on Mixed and Augmented Reality,
pp.224-230, 2004. [7] P.-Y. Chi, J.-H. Chen, H.-H.
Chu and J.-L. Lo, “Enabling Calorie-Aware Cooking in a Smart Kitchen”,
Proceedings of the Third international Conference on Persuasive Technology,
2008. [10] W.-Y. Ma, H. J. Zhang, “Benchmarking of Image
Features for Content-based Retrieval”, Conference Record of the Thirty-Second
Asilomar Conference on Signals, Systems & Computers, pp.253-257, 1998. [11] Android SDK, http://developer.android.com/sdk/index.html [12] http://yes.nctu.edu.tw/Lecture/NewTech/C05/RFID/RFID.htm [13]
Intelligent
Living Space, http://www.living3.org.tw/ils-museum/ [14] LibSVM, http://www.csie.ntu.edu.tw/~cjlin/libsvm/ [15] Shogun, http://www.shogun-toolbox.org/ [16] Samsung 智慧型冰箱
SRT746AWTNC, http://www.samsung.com/sec/consumer/kitchen-appliances/refrigerators/zipel/SRT746AWTNC/index.idx?pagetype=prd_detail [17] Samsung Prepping RFID-enabled Refrigerator, http://www.engadget.com/2007/01/04/samsung-prepping-rfid-enabled-refrigerator/ [18] ITRI, Smart Kitchen Making Everyone' s a Chef, http://www.itri.org.tw/chi/publication/207-Innovation_IK.asp |
||||||||||||||||
|
|
||||||||||||||||
