ドローン画像を用いた点群処理と骨格化による枝半径計測と木グラフ解析

ウメの収量予測は重要な課題ですが,従来農業従事者の経験に基づいて行われてきたため,収量予測の精度に限界が生じています.また,農業従事者がそれぞれの樹を確認することは負担になります.そこで本研究では,ウメの樹のドローン画像を用いての点群処理と樹の骨格化を通して得た,樹情報とウメ収量との相関を評価し,収量予測の可能性を調査します. 

Fig. 1:木グラフ(スケルトングラフ:左、トポロジーグラフ:右) 

実験では,ドローン画像をもとに作成した点群データからウメの樹のスケルトングラフとトポロジーグラフを作成し,これらの木グラフからウメの樹の樹情報を取得し,ウメ収量との相関を評価しました. 

Fig. 2:木情報と収量との相関結果

結果として,合計長さと収量との相関が最もよく,点群処理と骨格化を用いた計算による枝の合計長さを基にウメ収量を予測できる可能性が確認できました. 

今後は,ドローンの撮影を画像ではなく動画で行うことで入力枚数を増やし,点群作成の精度を向上させます.

大豆圃場におけるアサガオ密集領域の検出率向上のための擬似画像を用いたデータ拡張

近年,農業従事者の減少や高齢化により,広い圃場の雑草管理が困難になっています.特に大豆圃場では,帰化アサガオ(マルバルコウやマメアサガオ)の侵入が確認されており,放置すると大豆収量が大幅に減少します.そこで,ドローンとAIを活用した雑草検出の研究が期待されています本研究では,大豆圃場をドローンで撮影し,畝間のアサガオを検出することを目的とします.特に雑草が密集している領域の検出率の低さに着目し,擬似密集画像を生成し,アサガオの密集や混在領域を含むデータセットを生成します.さらに,クラス不均衡問題を緩和するためにFocal Loss損失関数を適用し,検出精度の向上を図ります. 

Fig. 1:教師画像

実験では,擬似密集画像ありとなしのデータセットの比較と損失関数をCross Entropy(CE)で学習した時とFocal Loss(FL)で学習した時で比較しました. 

Fig. 2:各条件における推定結果の比較(擬似密集画像なし:左,擬似密集画像あり(CE):中,擬似密集画像あり(FL):右)

擬似画像を追加することで推定できている領域が増加しました.また,損失関数をFocal Lossへ変更して,背景の損失の影響を抑えることでさらに推定できている領域が増加しました. 

今後は,新しいモデルで学習を行うことと,雑草クラスの損失の影響を大きくして学習を行っていきたいです. 

ウメ樹の三次元点群データを用いたMRによるウメ栽培技術の教示

ウメの剪定や摘花などの技術には暗黙知が多く,その継承には多大な時間が必要です.そのため,それらの技術の継承方法が模索されています.そこで本研究では,MRを用いて栽培技術の継承ができないかを研究しています. 

Fig. 1:計測の様子

実験では,教材としてMRに用いるための三次元点群データを評価するため,GoProを用いて撮影した動画から三次元点群データを作成し,樹の枝径と角度を実測値と比較しました.

Fig. 2:計測結果

結果として,枝径と枝角度はともに十分な精度があることを確認できました. 

今後は,より精度を高めるとともに,作成した三次元点群データをARゴーグルに表示させ,教材としての機能の追加を目指しています. 

大豆圃場の空撮画像における畝や植物の形状特徴による微小アサガオデータセット生成の自動化と検出 

大豆圃場において,アサガオは大豆の生育に悪影響を与えます.近年,田畑の空撮画像を用いて機械学習を使い,雑草を認識する研究が進められていますが,機械学習を行うためには大量なデータを収集する必要がある上,微小な雑草データ・ラベルを収集することは困難で.また,アノテーション作業は大量の画像データを選別し,1枚ずつ色塗りする必要があり,労力がかかります.本研究では,ドローンで撮影した空撮画像から,畝の形状特徴を利用した画像処理により微小なアサガオの画像データを収集,植物の形状・色彩特徴を用いてアノテーションまでを自動化します

Fig. 1:教師画像

実験では,手塗りでラベル付けしたデータセット提案手法で収集したデータセットをセマンティックセグメンテーション学習モデルで比較ました. 

Fig. 2:各データセットの学習における推定結果の比較(正解画像:左,手塗データセット:中,提案手法で収集したデータセット:右)

提案手法で収集したデータセットで行った学習では手塗でラベル付けしたデータセットよりも評価が上回り,少しでも認識できたアサガオの割合は約91%となりました.

今後は,自動で行うアノテーションの精度を上げることと,新しい学習モデルを使用して学習することを目的としています.