ウメの剪定や摘花などの技術には暗黙知が多く，その継承には多大な時間が必要です．そのため，それらの技術の継承方法が模索されています．そこで本研究では，MRを用いて栽培技術の継承ができないかを研究しています．
実験では，教材としてMRに用いるための三次元点群データを評価するため，GoProを用いて撮影した動画から三次元点群データを作成し，樹の枝径と角度を実測値と比較しました．
結果として，枝径と枝角度はともに十分な精度があることを確認できました．
今後は，より精度を高めるとともに，作成した三次元点群データをARゴーグルに表示させ，教材としての機能の追加を目指しています．
ロボットの遠隔操作は限られたフィードバックによる操作難易度の高さが課題としてあります．この課題の解決のため力覚情報や触覚情報をフィードバックするシステムや操作をアシストするシステムなどが提案されています．本研究では，単一の視点をディスプレイに表示するロボットアームの遠隔操作における把持タスクをより簡単にするために操作補正と目標位置までの到達に必要な情報を表示するアシスト制御を提案しました．
提案手法では物体の種類に制限を設けない，操作インターフェイスに高価な計測機器を使用しないことを制約としました．また，提案手法ではベジェ曲線に基づく操作補正を行うことでより物体に接近しやすく，矢印を用いて目標位置までの距離と方向を表示することで視覚的にも操作をアシストします．（Fig. 1）．
実験では操作補正の有無と表示機能の有無の4パターンの操作手法を用いて3種類の物体を把持するタスクを行いました．結果として，アンケート調査により提案手法の有効性が示唆されました（Fig. 2）．
今後は，設置タスクへの対応や隠れた物体に対応するなどより様々な操作に対応したアシスト制御の開発を目指します．
発達障害児の中には自力で文章を作成することが困難な児童がいます．現在，療育現場において，このような児童たちは療育スタッフの質問に答える形で文章を作成しています．しかし，療育スタッフ不足の問題などから，子どもたち自身で継続的に練習できるシステムが必要とされています．そこで本研究では，発達障害児の文章作成能力の向上を目的とし，条件を変えた4種類の文章作成支援システムを開発しました．
開発したシステムについて，入力方法は「タイピング入力」「音声認識による入力」の2種類，出力方法は「コンパニオロボット（Stack-chan）あり」「コンパニオロボットなし」の2種類です．児童の入力内容に対する返答を作成する部分に生成AIの1つであるChatGPTを用い，自然な返答を実現します．（Fig.1）
開発したシステムを用いて，どのようなシステムが文章を作成するインタラクションにおいて有効的かを明らかにし，入力方法の違いやロボットの有無が，児童から出力される文章内容に与える影響を調査します．実験では4種類のシステムを使用し，各システムにおける生成単語数の分析，脳波の測定，アンケートを実施しました．（Fig.2）
実験より，児童によって有効的なシステムは異なり，生成単語数の結果とアンケート結果の両方を考慮してシステムを選択する必要があると考えられます．今後は知能検査結果との関連性を調査し，また，長期使用による文章作成スキルに与える影響も評価したいと考えています．
大豆圃場において，アサガオは大豆の生育に悪影響を与えます．近年，田畑の空撮画像を用いて機械学習を使い，雑草を認識する研究が進められていますが，機械学習を行うためには大量なデータを収集する必要がある上，微小な雑草データ・ラベルを収集することは困難です．また，アノテーション作業は大量の画像データを選別し，1枚ずつ色塗りする必要があり，労力がかかります．本研究では，ドローンで撮影した空撮画像から，畝の形状特徴を利用した画像処理により微小なアサガオの画像データを収集，植物の形状・色彩特徴を用いてアノテーションまでを自動化します．
実験では，手塗りでラベル付けしたデータセットと提案手法で収集したデータセットをセマンティックセグメンテーション学習モデルで比較しました．
提案手法で収集したデータセットで行った学習では手塗でラベル付けしたデータセットよりも評価が上回り，少しでも認識できたアサガオの割合は約91％となりました．
今後は，自動で行うアノテーションの精度を上げることと，新しい学習モデルを使用して学習することを目的としています．
近年，少子高齢化や人口減少に伴う労働力不足が社会問題となっており，解決策として代替労働力や生活支援を目的としたヒューマノイドロボットの開発が進められています．ヒューマノイドロボットが自然で効率的な家事動作を実現するためには，視覚情報と動作の関係を正確に把握し，適切な行動設計をする必要があります．そこで本研究では，家事動作である棚だし動作について，箱の中のおもりの重さを変化させた際の腰を使用する速さとCoPが移動する速さの関係性について解析することを目的とします．
実験では，横に並ぶ２つの棚について，左の棚から右の棚に箱を持ち上げて移動する際の箱を持つ動作と箱を置く動作に着目して解析を行いました．仮想環境ライブラリにUnity3Dを使用し，HMDにHTC Vive Pro2 Eyeを使用しています．動作計測のためにフォースプレート,光学式モーションキャプチャシステム,Vive Trackerを使用して計測を行いました．
箱を持ち上げる動作をするとき，箱の中のおもりがないときと比較して，おもり10kg のときは腰を前屈させてからCoPが最も前方に移動するまでの時間を要しました．したがっ て，重い荷物を持ち上げる際，腰を最も前屈させる準備姿勢になってから力を発揮するまでの準備時間が必要だと考えられます．
今後は，おもりの重さによって有意差が出た家事動作の視覚情報と動作の関係性を解析することを目標とします．
アレルギー性鼻炎は現代社会において多くの人が経験する疾患であり，その研究においてモデル動物としてマウスが広く使用されています．本研究が対象とするアレルギー性鼻炎の実験では，マウスの鼻腔にブタクサ花粉を注入してアレルギー反応を誘発し，その直後に起こるくしゃみや鼻擦り行動を人手で観測・記録しています．しかし，この手法では実験者の拘束時間が長く，休憩を挟まずに観察する必要があるため，実験者への負担が大きいという課題があります．本研究では，アレルギー性鼻炎モデルにおけるマウスのくしゃみや鼻擦り行動を自動的に検出するシステムの開発を，人や動物を対象とした体の部位をトラッキングする動画解析ライブラリであるDeepLabCutの出力結果に基づく行動認識と，3DCNNを用いた動画分類の2つの手法から目指しています．
DeepLabCutの出力結果による行動認識では，くしゃみの検出精度が20回中6回 (Fig. 1)，鼻擦りが７回中６回 (Fig. 2)という結果になりました．3DCNNを用いた動画分類では，くしゃみや鼻擦りを正確に検出するには至らず，依然として改善が必要な状況です (Fig. 3)．
また，実験者の負担軽減のためにマウス行動検出支援アプリの開発も行いました (Fig. 4)．
今後は，より高精度なデータセット収集やモデルの精度向上を図ります．
ヒューマノイドロボットは人間と類似した構造を持っており，冗長性があります．人間は冗長性を活用することで，衝突回避や操作性の向上などを実現しているため，動作の特徴をヒューマノイドに応用することが期待されていますが，人間の動作の特徴はあまり解明されていません．そこで本研究では，狭い空間への収納動作に着目し，人間の冗長性を活用した動作の解析を行っています．
実験では，使用可能な空間を制限した箱にグラスを収納する動作を対象としました．全身動作の計測には光学式モーションキャプチャを使用し，物体操作のタイミング取得に6軸力覚センサ，バランスの取得にはフォースプレートを用いました（Fig. 1）．
モーションキャプチャデータから胴体の傾きや捻り，肘や肩の関節角度，肘の高さを解析した結果，狭い空間にものを収納する際は肘を高く持ち上げて収納し，その際に胴体の側屈が利用されていることが示唆されました（Fig. 2）．
今後は，階層的クラスタリングを用いて個人差を考慮した解析を行っていきます．
現状の風力発電では高空の強い風を得るために巨大な鉄塔とブレードを持つ風車を使用している．自然破壊や騒音公害をもたらすそれら施設に対し，飛翔物を上空で飛行させることで強い風を得るシステムを構築する．
上空でエネルギーを取得するためにスレッドカイトと呼ばれる柔翼とテールを持つ凧と風向による取得できるエネルギーの変化が小さい垂直軸風車を利用する．
定格6Wの小型発電機と直径30cmの垂直軸風車を用いた実験において最大約600mW,1時間の連続発電に成功した．
Publication
ブルドーザーなどの建設機械に使用される「高圧配管用継手」(Figure 1)には制作時に高確率で切削バリ（削り残し）が発生します．このバリを残したままにしてしまうと建設機械の誤動作の原因となってしまいます．
現在は，Figure 2のように，熟練工が全ての継手のバリ検査を行なっており，作業者に大きな負担がかかっています．このことから，バリ検査の自動化が必要となっています．
バリ検査の自動化のためには，継手内の撮影も自動化する必要があり，その際に，継手への照明の光の入れ方が重要となります．例として，上のFigure 3-1は光の入れ方が適切な時，Figure 3-2は光の入れ方が不適切な時の継手内画像になります．見て分かる通り，右の画像ではバリが認識しにくくなっています．
このことから，継手に対する適切な照明の位置姿勢を，熟練工のバリ検出動作をロボットアームで模倣することで探索する研究を行なっています．
熟練工のバリ検出動作をFigure 4のようにモーションキャプチャシステムを使用して行い，熟練工がバリを見ているときの照明の位置姿勢として，照明の位置姿勢が停止している点を抽出しました．
Figure 5のように実際に照明を装着したロボットアームを，抽出した位置姿勢へ移動させて継手内の撮影を行いました．
Figure 6-1のような撮影された画像をバリ検出をした結果，Figure 6-2で分かるようにバリの形を認識しています．この研究の結果，先行研究と比べて，バリを見逃してしまう確率を減らすことができました．
現在は，より検出精度の高い照明の位置姿勢を機械学習によって探索するシステムを作成しています．
Publication
近年，少子高齢化により要介護高齢者に対する介護士の人手不足が深刻化しています．そこで，介護士に代わりロボットが介護業務の一部を担うシステムの開発が広く行われています．本研究室では，認知症高齢者とロボットのコミュニケーションを主軸としたインタラクションシステムの開発を行っています．
人型ロボットNAOを用いて飲水を促すインタラクションシステム，最近の出来事や昔の思い出について話しかける自律型コミュニケーションシステム，積木を使ったレクリエーションシステムの開発を行っています．
ロボットがコミュニケーションを自律的に行うためには，対話者である人間の言葉や表情，動作を正しく認識し，意図を読み取る必要があります．本研究では言葉の認識に音声認識を用いており，表情と動作を認識するためにフェイススケール計測システムと姿勢認識システムをそれぞれ開発しています．
対話者の意図とそれまでの対話の時系列を考慮し，ロボットが次の発話や動作を自律的に選択するシステムを開発しました．人との対話を通して，ロボットは適切な発話や動作を学習し，少しずつ対話をマスターしていきます．
また，発達障害の疑いがある子供を対象に，自律型コミュニケーションシステムを用いてインタラクション実験を行い，彼らのソーシャルスキルに与える影響を調査しています．
Publication