| 要旨トップ | 本企画の概要 | 日本生態学会第71回全国大会 (2024年3月、横浜) 講演要旨
ESJ71 Abstract


シンポジウム S07-4  (Presentation in Symposium)

集団行動のセマンティクス理解のための逆強化学習~自律分散システム設計への活用~【O】
Inverse reinforcement learning for understanding the semantics of collective action ~Toward the design of autonomous decentralized systems~【O】

*荒井幸代(千葉大・工)
*Sachiyo ARAI(Chiba Univ.)

人工知能や,ロボティクス研究において,集団行動の研究は主として“マルチエージェントシステム”と呼ばれるカテゴリに入る。
理論的にはゲーム理論やマルコフゲームをベースとして,主として集団に生じる現象を説明するモデルやオークションや自動交渉などの技術によって,エージェント全体の効用を最大化するためのインセンティブ設計などが議論され,ソフトエージェントと呼ばれる実機を伴わない意思決定主体が対象となる。

本発表では,ロボティクスなど,身体を伴う意思決定主体間の協調問題に焦点をあてる。この問題は,自律分散システムの設計問題として,システム・制御研究者の中でも扱われてきたが,協調メカニズムについても,予め通信プロトコルを定められた各主体は均質(homogenous)なものとして設計されるのが一般的である。一方,
近年ドローンによる配送業務をはじめとして,複数の主体の連携によって広範囲かつ様々な新たなサービスが,人や生き物に観察される「役割分担」による作業効率の向上をメタファーとした,非均質(heterogenous)な主体の集合体として期待されている。
その一つの方法として強化学習を取り上げ,役割分担をはじめとする,興味深い,合理的な創発行動を紹介する。

さらに,非合理的ともいえる不思議な行動にも着目する。強化学習では,学習の手がかりとなる報酬に遅れがあっても,合理的な方策(挙動を決定する制御則)を学習できるはずであるが,マルチエージェントシステムの場合には,他主体の動きによって,期待した報酬に至らないことや,あるいは,期待していなかった報酬などによって,挙動の変化や,振動などが観察される。実際に何が原因でこの現象が起こったのかがわからない。

これに対して,逆強化学習を適用し,マルチエージェント系において,各エージェントへの報酬はどのように受け取られているのかについていくつかの実験結果を通じて紹介する。


日本生態学会