大豆圃場の空撮画像における畝や植物の形状特徴による微小アサガオデータセット生成の自動化と検出 

大豆圃場において,アサガオは大豆の生育に悪影響を与えます.近年,田畑の空撮画像を用いて機械学習を使い,雑草を認識する研究が進められていますが,機械学習を行うためには大量なデータを収集する必要がある上,微小な雑草データ・ラベルを収集することは困難で.また,アノテーション作業は大量の画像データを選別し,1枚ずつ色塗りする必要があり,労力がかかります.本研究では,ドローンで撮影した空撮画像から,畝の形状特徴を利用した画像処理により微小なアサガオの画像データを収集,植物の形状・色彩特徴を用いてアノテーションまでを自動化します

Fig. 1:教師画像

実験では,手塗りでラベル付けしたデータセット提案手法で収集したデータセットをセマンティックセグメンテーション学習モデルで比較ました. 

Fig. 2:各データセットの学習における推定結果の比較(正解画像:左,手塗データセット:中,提案手法で収集したデータセット:右)

提案手法で収集したデータセットで行った学習では手塗でラベル付けしたデータセットよりも評価が上回り,少しでも認識できたアサガオの割合は約91%となりました.

今後は,自動で行うアノテーションの精度を上げることと,新しい学習モデルを使用して学習することを目的としています.   

棚間荷物移動動作中の視線解析に向けたVR環境における胴体姿勢と足裏CoPの解析 

近年,少子高齢化や人口減少に伴う労働力不足が社会問題となっており,解決策として代替労働力や生活支援を目的としたヒューマノイドロボットの開発が進められています.ヒューマノイドロボットが自然で効率的な家事動作を実現するためには,視覚情報と動作の関係を正確に把握し,適切な行動設計をする必要がありますそこで本研究では,家事動作である棚だし動作について,箱の中のおもりの重さを変化させた際の腰を使用する速さとCoPが移動する速さの関係性について解析することを目的とします 

Fig. 1:計測環境

実験では,横に並ぶ2つの棚について左の棚から右の棚に箱を持ち上げて移動する際を持つ動作と箱を置く動作に着目して解析を行いました仮想環境ライブラリにUnity3Dを使用しHMDにHTCVive Pro2 Eyeを使用しています動作計測のためにフォースプレート,光学式モーションキャプチャシステム,Vive Trackerを使用して計測を行いました 

Fig. 2:解析結果

箱を持ち上げる動作をするとき,箱の中のおもりがないときと比較して,おもり10kg のときは腰を前屈させてからCoPが最も前方に移動するまでの時間を要しました.したがっ て,重い荷物を持ち上げる際,腰を最も前屈させる準備姿勢になってから力を発揮するまでの準備時間が必要だと考えられます. 

今後は,おもりの重さによって有意差が出た家事動作の視覚情報と動作の関係性を解析することを目標とします.  

動画認識によるマウスのくしゃみ・鼻擦りの自動検出システムの開発

アレルギー性鼻炎は現代社会において多くの人が経験する疾患であり,その研究においてモデル動物としてマウスが広く使用されています.本研究が対象とするアレルギー性鼻炎の実験では,マウスの鼻腔にブタクサ花粉を注入してアレルギー反応を誘発し,その直後に起こるくしゃみや鼻擦り行動を人手で観測・記録しています.しかし,この手法では実験者の拘束時間が長く,休憩を挟まずに観察する必要があるため,実験者への負担が大きいという課題があります.本研究では,アレルギー性鼻炎モデルにおけるマウスのくしゃみや鼻擦り行動を自動的に検出するシステムの開発を,人や動物を対象とした体の部位をトラッキングする動画解析ライブラリであるDeepLabCutの出力結果に基づく行動認識と,3DCNNを用いた動画分類の2つの手法から目指しています.

Fig. 1:DeepLabCutを用いたくしゃみの検出結果
Fig. 2:DeepLabCutを用いた鼻擦りの検出結果
Fig. 3:3DCNNを用いたくしゃみ・鼻擦りの分類結果

DeepLabCutの出力結果による行動認識では,くしゃみの検出精度が20回中6回 (Fig. 1),鼻擦りが7回中6回 (Fig. 2)という結果になりました.3DCNNを用いた動画分類では,くしゃみや鼻擦りを正確に検出するには至らず,依然として改善が必要な状況です (Fig. 3).

Fig. 4:マウス行動検出支援アプリ

また,実験者の負担軽減のためにマウス行動検出支援アプリの開発も行いました (Fig. 4).

今後は,より高精度なデータセット収集やモデルの精度向上を図ります.