JPHACKS2023 Best Learners Team Award：冷蔵庫の中身をスキャンして今夜の献立を考えてくれる『今夜の献立AI』

北海道科学大学工学部電気電子工学科３年生の見砂七海くん、金子尚平くんの２名がJPHACKS2023に参加し、Best Learners Team Awardを受賞しました！

下記はJPHACKS2023の概要、２名が作成した製品についてと感想です。

JPHACKS2023の概要

JPHACKS2023は、学生を対象にした日本最大規模のハックイベントで、2014年より全国の複数都市で開催されています。今年で開催10周年を迎え、3年ぶりにオフラインでのハッカソンを完全復活されました。オンライン会場も併設され、より多くの参加者が参加しやすくなっています。

作成した製品概要

冷蔵庫の中身を撮影し、物体検知で在庫をリストアップ。在庫から今夜の料理を提案するシステムです。

背景

一人暮らしの日常における献立の面倒さから、いつでも冷蔵庫の中身を確認できるシステムの必要性を感じました。買い物時の不便さと食品ロスの問題を解決するために開発しました。

製品説明

LINE ボットを通じて冷蔵庫の中の写真撮影を命令。写真からYoloV8を用いて食品を物体検知し、食品リストを作成。「おすすめ料理ボタン」で食品リストから最適な料理を提案します。

特長

1. いつでも冷蔵庫を確認：LINE ボットでいつでもどこでも冷蔵庫の中身をチェック。

2. AIが献立提案：冷蔵庫内の食材を活用した料理提案。

解決できること

家計と食品ロスの改善：常に在庫を把握し、無駄な買い物や食品ロスを防ぎます。

今後の展望

会話形式のチャット機能の開発、食事ごとのレシピ提案、在庫リストへの手動入力機能の追加を予定しています。

注力したこと

物体検知の精度を高めるために自作したデータセット。データの前処理にも工夫を凝らしました。

開発技術

使用技術にはPython3, Flask, LINE bot Messaging API, YoloV8, Raspberry Pi, スマートフォン等が含まれます。特に自作した物体検知のデータセットには力を入れました。

学生の感想

ハッカソンの厳しい時間制約の中でプロジェクトに取り組みました。事前開発が可能であったものの、ハッカソンのルール上、評価対象はハッカソン中の開発部分のみだったため、機能面での制限がありました。しかし、この経験は非常に価値のあるものとなりました。プログラミングにこれまでにないほど没頭したことは、大きな学びと成長の機会を提供しました。最終的に受賞できたことは喜びであり、プロジェクトを完全に完成させることができなかった点は今後の学びと改善のための動機づけとなっています。