発達性ディスレクシアの児童のためのタイピングアプリの評価と更なる支援方法の検討

発達障害の一つである発達性ディスレクシア(DD)は,知的な遅れや視聴覚障がいがないにも関わらず読字・書字能力を獲得することに困難さがある.このような児童が定型発達児と同様に教科学習を行うための研究の一環として,当研究室ではDDの特性のためにタイピング練習に困難さを覚える児童のために,キーボードのキートップのアルファベットを色に置き換え,ローマ字を意識せずにタイピングの練習をできるタッチタイピング練習支援アプリを開発した. 

本研究では,上述のタイピングアプリを用いたタイピング練習を行った児童に対してWAVES検査を行い,視知覚速度指数(VPSI)の値とタイピング時の視線計測データとの関連性を調査した.また,本タイピングアプリを用いて練習を行なった場合でもタッチタイピングの習得が困難な児童の特性として,お題を見る割合が低かったことから,アプリのお題の表示を大きく変更したものを使用し視線計測実験を行い,有効性を調査した. 

Fig. 1:WAVES検査の例
Fig. 2:タイピングアプリの変更

VPSIの値とクリア時間・お題を見ていた割合との相関関係より,どちらの数値においても値が高い児童の方がタイピングの流暢性が高く,タイピング時にお題を見る傾向にあることがわかった.お題表示を大きく変更したタイピングアプリを使用した場合でも,VPSIの値が低い児童のお題を見る割合の向上には繋がらなかった  

今後の展望として,タッチタイピングの習得が難しい児童がタッチタイピングの練習を行えるようにお題を見る割合を上げる方法を模索することが挙げられる. 

「まるット」の視線操作インターフェース開発と感情表現の評価

近年,コミュニケーションロボットは家庭,教育,介護など多岐にわたる分野で活用が進んでおり,ロボットとのインタラクションによる人間への影響についての研究が行われています.本研究では,身体的制約がある人でもコミュニケーションが取れる支援システムの開発を目指し,視線操作を活用した操作インターフェースの提案,遠隔操作ロボット「まるット」のインタラクション評価を行います. 

Fig. 1:PC画面
Fig. 2:視線操作の様子

視線操作でロボットを移動させたり感情を表現させたりできる支援システムを開発しました.

インタラクション実験では,感情表現がどのように認識されるかを評価し,さらに感情表現の有無によるロボットの印象の違いについて調査を行いました.その結果,動作よりも表情による感情表現の方がポジティブな評価を得ており,「まるット」の感情表現においては,表情がより重要な役割を果たしていることが示唆されました.

 今後の展望として,発話を加えた感情表現を実現し,視線操作による「まるット」のコミュニケーションが可能かどうかを検証する実証実験を行いたいと考えています. 

コンパニオンロボットと生成AIを用いた発達障害児のための文章作成支援システムの開発と評価

発達障害児の中には自力で文章を作成することが困難な児童がいます.現在,療育現場において,このような児童たちは療育スタッフの質問に答える形で文章を作成しています.しかし,療育スタッフ不足の問題などから子どもたち自身で継続的に練習できるシステムが必要とされています.そこで本研究では,発達障害児の文章作成能力の向上を目的とし,条件を変えた4種類の文章作成支援システムを開発しました 

Fig. 1:文章作成支援システムの概要

開発したシステムについて,入力方法は「タイピング入力」「音声認識による入力」の2種類,出力方法は「コンパニオロボット(Stack-chan)あり」「コンパニオロボットなし」の2種類です.児童の入力内容に対する返答を作成する部分に生成AIの1つであるChatGPTを用い,自然な返答を実現します.(Fig.1

Fig. 2:発達障害児を対象とした実験の様子

開発したシステムを用いて,どのようなシステムが文章を作成するインタラクションにおいて有効的かを明らかにし,入力方法の違いやロボットの有無が,児童から出力される文章内容に与える影響を調査します.実験では4種類のシステムを使用し,各システムにおける生成単語数の分析,脳波の測定,アンケートを実施しました.(Fig.2 

実験より,児童によって有効的なシステムは異なり,生成単語数の結果とアンケート結果の両方を考慮してシステムを選択する必要があると考えられます.今後知能検査結果との関連性を調査し,また,長期使用による文章作成スキルに与える影響も評価したいと考えています. 

 

認知症高齢者・発達障害児ケアのための人型ロボットを用いたコミュニケーションシステムの開発

近年,少子高齢化により要介護高齢者に対する介護士の人手不足が深刻化しています.そこで,介護士に代わりロボットが介護業務の一部を担うシステムの開発が広く行われています.本研究室では,認知症高齢者とロボットのコミュニケーションを主軸としたインタラクションシステムの開発を行っています.

人型ロボットNAOを用いて飲水を促すインタラクションシステム,最近の出来事や昔の思い出について話しかける自律型コミュニケーションシステム,積木を使ったレクリエーションシステムの開発を行っています.

フェイススケール計測システムと姿勢認識システム

ロボットがコミュニケーションを自律的に行うためには,対話者である人間の言葉や表情,動作を正しく認識し,意図を読み取る必要があります.本研究では言葉の認識に音声認識を用いており,表情と動作を認識するためにフェイススケール計測システムと姿勢認識システムをそれぞれ開発しています.

対話者の意図とそれまでの対話の時系列を考慮し,ロボットが次の発話や動作を自律的に選択するシステムを開発しました.人との対話を通して,ロボットは適切な発話や動作を学習し,少しずつ対話をマスターしていきます.

また,発達障害の疑いがある子供を対象に,自律型コミュニケーションシステムを用いてインタラクション実験を行い,彼らのソーシャルスキルに与える影響を調査しています.

 

Publication

  1. 人型ロボットを用いた認知症高齢者とのコミュニケーションシステムの開発,吉田拓海,高橋泰岳,高久範江,日本知能情報ファジィ学会合同シンポジウム2019第28回北信越シンポジウム&第27回人間共生システム研究会講演論文集,pp.3-4,2019.
  2. 認知症高齢者ケアのための人型ロボットを用いたコミュニケーションシステムの開発,吉田 拓海,高橋 泰岳,高久 範江,P-24,HAIシンポジウム2020.
  3. 会話中の空白におけるロボットの応答が人に与える影響, 吉田 拓海,高橋 泰岳,築地原 里樹,第36回 ファジィ システム シンポジウム (FSS2020),MA1-3,pp.13-16,2020.

人型ロボットを用いたカードゲームシステム

近年では,介護現場での人手不足の対策,療育現場での療育士の負担の軽減を目的としてケアロボットやコミュニケーションロボットの導入が進んでいます.介護や療育現場でのレクリエーションの一例としてカードゲームをロボットに行わせることを目的とし,一部自律化したカードゲームシステムを開発しました.

ゲームでは,4種類のマークが描かれたカードを使用し,参加者と神経衰弱を行います (Figure 1).参加者にも同じ組み合わせのカードが配られ,参加者とロボットがカードを選択し,マークを合わせることを目的としたゲームです.

Figure 1:使用したロボットとカード

ゲームの進行は,あらかじめ決められたスクリプトに従い,ロボットが行います.ロボットは4種類のカードからランダムに1枚選択し,持ち上げる動作を行うようにプログラムしています (Figure 2).

Figure 2:カードの持ち上げ動作

ロボット介入の影響を調べるために,場面緘黙症の生徒を対象にインタラクション実験を行いました.
参加者にはロボットに手助けをするなどの協調性のある行動が見られました (Figure 3).また,参加者の視線方向の計測を行い,ロボットとのレクリエーションをより積極的に行なっている可能性が示唆されました.

Figure 3:インタラクション実験の様子

今後の展望として認知症高齢者のQOL向上へ評価,療育現場でのソーシャルスキルトレーニングとしての利用を検証し,有効性を示すことなどが挙げられます.また,本システムの完全自律化を目指しています.

Publication

1.栃尾祐輝,高橋泰岳,築地原里樹,
“レクリエーションのための人型ロボットを用いたカードゲームシステムの開発”,日本知能情報ファジィ学会 合同シンポジウム2020 第29回北信越支部シンポジウム&第28回人間共生システム研究会,pp.5-6,2020.

タッチインタラクションにおける人型ロボットの反応が人間に及ぼす影響

近年,人との交流を目的としたコミュニケーションロボットが開発されています.人間のコミュニケーションのひとつに,握手やハグなどの体を使うインタラクションがありますが,現在のコミュニケーションロボットには触覚センサがあまり搭載されていないため,ロボットとのタッチインタラクションは難しく,それが人間にどのような効果をもたらすか不明な点が多いです.

そこで,本研究では人型コミュニケーションロボットNAOに触覚センサを搭載し,人からのタッチに反応するロボットの振る舞いが人間に及ぼす影響について調べています.

左上腕に触覚センサを搭載したNAO
左上腕に触覚センサを搭載したNAO

 

NAOの反応行動(左から怒り、質問、感謝)
NAOの反応行動(左から怒り,質問,感謝)

 

人とNAOとのタッチインタラクションの実験結果から,NAOが反応すると人はNAOに対して「可愛い」「また会いたい」などのポジティブな印象を抱き,反対にNAOが反応しなかった場合は「冷淡だ」「思いやりがない」などネガティブな印象を抱くことが分かっています.

今後はより人からのタッチのパターンを増やし,様々な反応行動を見せるロボットとのインタラクションがどのような影響をもたらすかを調べます.

Publication

  1. 奥田真理子,高橋泰岳,”人との接触状態判定システムを用いた人型ロボットの反応生成とそれに対する人への影響評価”,日本知能情報ファジィ学会合同シンポジウム2019 第28回北信越シンポジウム&第27回人間共生システム研究会,pp5-6,2019.
  2. Mariko Okuda,Yasutake Takahashi,Satoki Tsuichihara,”Effect of Humanoid Robot’s Reaction on HumanTouch to Robot”,Proceedings of Joint 11th International Conference on Soft Computing and Intelligent Systems and 21st International Symposium on Advanced Intelligent Systems (SCIS-ISIS),pp1-6,2020.