活動
研究開発項目3：人間の知識・概念獲得の研究開発
最新活動報告
研究開発課題1：概念理解とマルチモーダル認識の研究開発（原田達也）
人との共存環境下において、サイバネティックアバター (CA) を自在に操るには、人の日常生活環境の把握や物体認識、常識の理解能力をCAが備えていることが重要となる。そこで、本研究開発課題では、CAの実世界認識機能の実現と、それらに必要となる知識や概念の獲得手法についての研究開発に取り組む。この認識機能の実現のために、視覚や聴覚などを通じて実環境から得られる情報と、自然言語で記述されているセマンティクス情報を融合する技術を開発する。また、様々なモダリティの融合と、インターネットなどに存在する膨大テキスト情報の活用、人とCA間のコミュニケーション技術の実現によって、知識や概念を獲得する手法の実現を行う。さらに得られた知識や概念を用いた、認識能力の高度化を目指す。
研究室HP：https://www.mi.t.u-tokyo.ac.jp/研究開発課題2：意味理解コーパスの研究開発（黒瀬優介）
サイバネティックアバター（CA）はさまざまな応用先が期待されているが、本研究開発課題においてはCAの医療応用をターゲットとして研究を進める。医師はカウンセリングや問診の際に得られる会話を通して、診断を行っている。しかし、カウンセリングや問診は時間を要するものであり、これをCAを通して行うことが可能となれば医師の負担を大きく減らせると考えられる。そこで、本研究開発課題ではCAを介した知識や概念が実用レベルで利用でき、医師を支援できるようなシステムの開発を目指し、患者の表情や行動などの視覚的情報、問診の際の患者の音声情報、会話の内容などの自然言語的情報といった複数のモダリティ情報を利用した意味理解コーパスの開発及び診断支援システムの開発に取り組む。また、現在の深層学習においては、大量のデータが必要となるが、医療においてはそのようなデータを利用することはしばしば困難であり、そこにラベルを付与するのにはさらに困難を伴う。そこで、本研究課題においてはそのような大量にデータを得ることができない状況においても、効率的に学習する手法の開発にも取り組む。
研究室HP：https://www.mi.t.u-tokyo.ac.jp研究開発課題3：継続学習と記憶の研究開発 (Lin Gu（谷林）)
環境は絶えず変化し続けるものであり、サイバネティックアバター (CA) と利用者の関係も変化する。それゆえ環境内の知識や概念も変化するが、CAが操作者の意図を理解するために必要な知識や概念を常に更新するには、継続的な学習機能が不可欠である。この継続学習の実現のために、短期および長期記憶のメカニズムに基づく基盤や、自然言語処理技術や医学に関連した研究領域への直接的なサポートとなる研究を行う。また、人間の知覚の恒常性を持つニューラルネットワークによる表現法の設計と、ナレッジグラフに基づく長期記憶の表現法の設計を行う。刻々と変化する環境から得られるデータを用いてCAが逐次的に学習することによる、継続的な性能向上の実現を目指す。
研究開発課題4：因果推論と予測機能の研究開発（椋田悠介）
環境とCAの関係を明らかにしながら、環境の中での出来事を理解し、環境に関する知識と概念を獲得するには、因果推論の機能は必要不可欠である。本研究開発課題では、CAが同じ環境で活動する人間と知識や概念を共有するための、環境内での観測に基づく物体やイベント間の因果関係の推論の機能を実現する。そのために環境内の観測情報の雑多な系列から効果的に情報を抽出するための時系列解析に対する数理的手法を提案する。CAが環境内で効率よく探索を行い環境に関する情報を得るための行動計画手法を提案する。さらに、推測した関係を元に実際の将来を予測する機能を実現し、予測した将来を踏まえてCAが効率的に活動できるようにする。現在までに対称性やベイズ推定、生成モデルの手法を活用することにより、少ないサンプルサイズからでも効率よく時系列予測を行うためのモデルの提案を行ってきた。今後はさら高性能な予測モデルを構築するとともに、実世界から効率よく因果情報を集めるための探索手法も構築していく。
研究開発課題5：自然言語処理の研究開発（鈴木潤）
CAを自在に操るため、また、CAがユーザと言葉を介して自律的に意思疎通をするためには、CAが高度な言語理解能力と実世界理解能力の双方を備えており、それらを有機的に結びつけて活用できる能力が必要となる。そこで本研究開発課題では、自律的なCA利用を実現するために必要となる意図や意味の理解を含む自然言語理解能力の高度化に取り組む。同時に、視覚情報による実世界理解技術と融合し、自律的なCAによる総合的な実世界理解技術の実現に取り組む。そのために表層的な言葉には現れない深い意味の理解の能力を向上させ、また、現実世界の物体や概念と言葉の意味を結びつける能力の獲得および向上を目指す。また多言語化にも取り組み言語の壁を超えたCA利用場面の拡張も目指す。
研究室HP：http://www.fai.cds.tohoku.ac.jp