ロボットが人間に代わり多様な環境下で物体操作を行うためには，画像を入力とした制御が不可欠です．近年，スケッチインターフェースやビジュアルサーボへの深層学習の活用が進んでいます．しかし，モデルベース制御では想定モデルと実際のモデルで不整合が生じやすく，カメラのキャリブレーション誤差が十分考慮されていないという課題があります．
本研究では，インスタンスセグメンテーション画像を用いることで環境変化への頑健性を高めつつ，エンドエフェクタのセグメンテーション画像から関節角度を推定する機械学習モデルに基づく制御系を提案します．制御系は，機械学習による目標入力画像からこれを実現する関節角度推定を行う，視覚的な逆運動学モデルを基本としつつ，純粋なフィードフォワード制御で生じた誤差を抑制するため，この逆運動学モデルに基づく目標誤差に対する目標関節角度修正方向の推定に基づくフィードバック制御から成ります．
さらに，インスタンスセグメンテーション画像の幾何学変換によりエンドエフェクタが仮想的に移動した目標画像を生成し，直感的かつ軽量な画像表現を用いた制御手法を提案しました．(Fig. 1：システム全体の概要)
実験では，仮想目標を連続で指定した軌跡の追従，単一の目標への到達，キャリブレーション誤差の補正を行い，提案手法の有効性を確認しました．今後の展望として，制御が一部で不安定化するのを防ぐため，モデルやデータ形式の改良が挙げられます．
