|
台灣夜市美食辨識之卡路里監控系統 |
September, 2012 Student : Ju-Hshan Chi |
|
|
|
|
【研究簡介】 中文摘要： 在現今社會下，越來越多文明疾病侵蝕著我們的健康，健康飲食受到許多人的關注。一般人在做自我健康管理飲食記錄時，往往是透過紙本記錄，或是由網際網路上提供的卡路里計算機，點選下拉式表單，選擇自己吃了哪些食物，來做飲食熱量計算，對於使用者來說相當麻煩且操作複雜。近年來隨著智慧型手機迅速發展，出現只需要掃瞄食物包裝條碼就能記錄卡路里的應用軟體。但是在沒有食物包裝條碼的環境下，就無法使用。因為夜市食物通常是沒有卡路里資訊和食物包裝條碼，所以我們選擇夜市食物作為食物辨識目標。食物影像辨識系統對於飲食攝取量的測量和體重控管是相當關鍵的技術。目前台灣沒有一套公開的食物影像資料庫可提供研究人員可以做食物影像辨識研究。 本論文提出一套行動裝置上的台灣夜市美食辨識之卡路里監控系統，收集了台灣十大夜市的食物影像，作為食物影像資料庫，其中包含了2,012張靜態影像，202段360度視頻，並提供全台灣第一套公開的夜市美食影像資料庫。在食物辨識方面，我們擷取了
RGB 色彩直方圖特徵、HSV 色彩直方圖特徵、Bag
of SIFT 特徵與紋理特徵，使用支持向量機來做訓練分類。卡路里與六大類基本食物成分份量分析是依據影像中參考標籤與食物所占整張影像比例來估算出食物的份量多寡。飲食記錄則是會記錄使用者每日的飲食習慣供使用者作為健康管理和飲食控制的參考。 為了測試低解析度的照相手機實作在系統上的可行性，我們實驗用的取像裝置分別使用照相手機與數位相機，資料的拍攝環境分別有夜市現場與實驗室兩種狀況。在將夜市美食分為七大類的情況下，最高的食物辨識率達97.3580%，照相手機與數位相機的影像辨識率相差不到
6%，所以照相手機實作在系統上是可行的。 Abstract : In recent years, a growing number of civilization
diseases threats people's health and health issues on food are drawing
people’s attention. Most people write dietary records on papers as a kind of
health management, or apply web-based calorie calculator by clicking the
drop-down lists to choose the kind of food they eat and calculating the
corresponding calories. Users often feel troublesome and stop to use it after
a while. With the fast development of mobile devices, there appear
user-friendly APPs that scan the barcode on food package and retrieve the
calorie information. However, not all food packages are labeled with
barcodes. The night market food is a typical example. Therefore, the night
market food is taken as the subject for food recognition. Automatic food
recognition is a key technology for measuring dietary and supplement intake
in obesity study and treatment. Currently, there is no open food image
dataset available to researchers in food recognition in Taiwan. In this thesis, we propose a Taiwan Night Market
Food Recognition and Calorie Monitoring System on mobile devices. 2,012
sample food images and 202 In order to test the feasibility of food
recognition on a low-resolution camera phone, food images are collected by
using both a camera phone and a digital camera. Moreover, food images are
acquired in both the practical night market and the ideal laboratory
environment. We categorized the night market food into seven major
categories, and
the highest food recognition rate of
97.3580%. The difference of the recognition rates using the camera phone and
the digital camera is less than 6%, which demonstrates the feasibility of
implementation on camera phones. |
|
|
|
|
|
【系統架構】 |
|
|
本篇論文所提出的台灣夜市美食辨識之卡路里監控系統主要功能有食物辨識、食物卡路里與六大類基本食物份量分析、飲食記錄，使用者只需要使用手機照相裝置拍攝食物影像，系統自動會辨識出食物類別並且分析出食物卡路里與六大類基本食物份量相關資訊回饋給使用者，讓使用者可以了解到自己吃進了多少卡路里與六大類基本食物份量，做好個人的健康飲食管理和體重控制，遠離肥胖所帶來的疾病困擾，系統架構圖如下圖1。
圖1 系統架構圖
|
|
|
|
|
|
【結論】 本篇論文提出一套台灣夜市美食辨識之卡路里監控系統，此系統可以幫助使用者方便且迅速的記錄著每天自己的生活飲食習慣，隨時做好健康管理與體重控制，預防肥胖、糖尿病等慢性疾病找上門來，在不同的實驗環境下，嘗試數個不同的影像特徵進行擷取去做食物辨識如下圖
2，以在實驗室環境裡數位相機拍攝下，256維 HSV 色彩直方圖特徵的辨識率高達97.3580%。本論文亦提供全台灣第一套公開的夜市美食影像資料庫，如下圖
3，方便未來做食物影像辨識相關研究的人員可以使用，並且可以和我們的實驗結果來做比較。 未來我們將持續收集和擴增食物影像資料庫的內容，以原來的分類基礎下嘗試更多食物分類並且維持一定的辨識率水準。
圖 2 全部環境下，各特徵組合與方法測試結果
圖 3 台灣夜市美食影像資料庫網站畫面 |
|
|
|
|
|
【論文全文】 |
|
|
Taiwan Night Market Food Recognition for Calorie Monitoring System.pdf |
|
|
【口試投影片】 |
|
|
Taiwan Night Market Food Recognition for Calorie Monitoring System.pptx |
|
|
|
|
|
【主要相關論文】 |
|
|
|
|
|
【台灣夜市美食影像資料庫網站】 |
|
|
Advisor : jcliu@ncnu.edu.tw Jen-Chang Liu VIP Lab. @ CSIE
NCNU |
|
