植物の栽培において，各個体の日々の生育過程をモニタリングし，将来の生育傾向を予測することは，非常に有益でありかつ重要であるにも関わらず非常に困難である．例えば，適切な剪定のためには，将来の生育を予測し，さらに各葉への光の当たり方等を考慮し適切な剪定を行うことが重要である．しかし，生育状況を適切に取得・管理することは非常に難しく，栽培従事者の経験知によるところが大きいため，新規参入者の大きな障壁となっている．植物の生育状態・生理状態・環境応答はその形状や構造に顕著に現れる一方，葉一枚・枝一本のレベルで植物形状・構造を簡易に測定することはこれまで困難であった．コンピュータが植物の生育状態等を適切に把握するためには，植物の構造情報（どこに枝があり，どこに何枚葉がついているかなど）を取得することが必須である．

講演者は，植物を複数地点から撮影した写真群（多視点画像）を入力とし，植物の三次元構造を復元する手法の確立を目的として研究を実施してきた．これまで，多視点画像を入力とした三次元形状の復元に関する研究は，多視点ステレオ（フォトグラメトリ）を代表例とし，広く研究されてきた．しかし，植物のように，遮蔽や類似した見た目の部位を多く持つ物体については，正確な復元が困難であった．本講演では，深層学習および三次元復元技術を応用し，植物を複数方向から撮影した画像から，葉などに隠れた部分も含む植物の三次元構造を，それぞれ一本の枝，一枚の葉に至るまで復元する技術の確立に向けた取り組みを紹介する．本技術は，三次元空間中のどの部分で枝が分かれ，どこにどのような形の葉があるかを緻密に再現することを目的としている．これにより，枝ごとに作物の成長を把握・管理することや，ロボットによる作物の剪定・収穫など，未来の栽培技術への応用が期待される．