行動推定装置、プログラム
【課題】行動推定装置において、推定行動の検出精度を向上させること。
【解決手段】確定行動の特定中に検出した特徴点データ（即ち、行動時特徴点）を用いて、確定行動推定モデルを新たに生成すると共に、非確定行動推定モデルを形成する特徴点の位置及び軌跡と確定行動実施時の特徴点の位置または軌跡との予め規定された対応関係に基づいて、行動時特徴点を用いて、非確定行動推定モデルを新たに生成する（Ｓ１４０）。そして、特徴点データを、記憶装置に格納されている行動推定モデルそれぞれに照合し、その照合結果に基づいて、推定行動を検出する（Ｓ１５０）。さらに、新モデルが、旧モデルよりも運転者に適合していれば、記憶装置に格納する行動推定モデルを、旧モデルから新モデルへと更新する（Ｓ１６０）。これにより、運転者に特化した行動推定モデルに特徴点データを照合することで、推定行動が検出される。
【解決手段】確定行動の特定中に検出した特徴点データ（即ち、行動時特徴点）を用いて、確定行動推定モデルを新たに生成すると共に、非確定行動推定モデルを形成する特徴点の位置及び軌跡と確定行動実施時の特徴点の位置または軌跡との予め規定された対応関係に基づいて、行動時特徴点を用いて、非確定行動推定モデルを新たに生成する（Ｓ１４０）。そして、特徴点データを、記憶装置に格納されている行動推定モデルそれぞれに照合し、その照合結果に基づいて、推定行動を検出する（Ｓ１５０）。さらに、新モデルが、旧モデルよりも運転者に適合していれば、記憶装置に格納する行動推定モデルを、旧モデルから新モデルへと更新する（Ｓ１６０）。これにより、運転者に特化した行動推定モデルに特徴点データを照合することで、推定行動が検出される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体の乗員が実施している行動を推定する行動推定装置、及びその行動推定装置を構成する各手段としてコンピュータを機能させるためのプログラムに関する。
【背景技術】
【０００２】
従来より、車両に搭載され、車両の乗員が実施している行動を推定する行動推定装置が知られている（特許文献１参照）。
【０００３】
この特許文献１に記載の行動推定装置は、運転者を含む画像を撮影する撮影装置と、撮影装置からの撮影画像に基づき、運転中の運転者が実施すると危険な行動（以下、危険行動とする）の一つである携帯電話の使用の有無（以下、この携帯電話を使用する行動を電話使用行動とする）を判定する画像処理装置とを備えている。そして、この画像処理装置では、電話使用行動中の運転者の手が存在する可能性の高い領域である規定領域を撮影画像中の顔面の周辺に予め設定し、その規定領域に、撮影画像中の手が設定時間以上位置し続ける場合に、運転者が電話使用行動を実施しているものと判定している。
【０００４】
ところで、危険行動としては、電話使用行動の他に、ステアリングから手を離してエアコンディショナーやナビゲーション装置を操作する行動、または、ステアリングから手を離して肩や腕を回す行動などが考えられる。
【０００５】
しかしながら、特許文献１に記載の行動推定装置では、撮影画像中の手の位置に従って電話使用行動が実施されているか否かを判定しているに過ぎないため、電話使用行動以外の危険行動を運転者が実施していたとしても、その危険行動が実施されていることを検出できなかった。
【０００６】
これに対し、本願発明者は、運転者が車室内で実施する可能性のある行動（以下、特定行動とする）全てについて、その特定行動の実施時に得られる特徴点（例えば、人物の手首や、肘）の位置または軌跡をモデル化した行動推定モデルを予め用意し、これらの行動推定モデルそれぞれと、撮影画像から検出した特徴点の位置または軌跡とを照合し、その適合度合いに応じて、乗員が実施している可能性が最も高い行動（以下、推定行動）を検出する画像処理装置を備えた行動推定装置を提案している（特願２００７−２０３１１１号）。
【特許文献１】特開２００５−２０５９４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところで、行動推定モデルは、通常、大多数の人物に合致するように作成されるものの、特定行動の実施の仕方や、手の長さなど身体の特徴には個人差がある。このため、中には、行動推定モデルが合致しない人物がおり、このような人物が特定行動を実施しても、その実施されている特定行動を正しく検出できない。例えば、実施している行動を他の特定行動として認識したり、特定行動を実施していないにもかかわらず、実施しているものとして認識する等の誤検出の可能性があるという問題があった。
【０００８】
つまり、先に、本願発明者が提案した行動推定装置では、乗員の個人差により、推定行動の検出精度が低下するという問題があった。
【０００９】
そこで、本発明は、行動推定装置において、推定行動の検出精度を向上させることを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するためになされた本発明は、画像取得手段が、移動体の乗員が撮影された撮影画像を繰り返し取得する毎に、特徴点検出手段が、その撮影画像に写り込んだ乗員の特徴点の位置を表す特徴点データを検出すると共に、行動推定手段が、その検出した特徴点データを、モデル格納手段に格納されており、各特定行動を実施している時の特徴点の位置または軌跡を各特定行動毎に表した行動推定モデルそれぞれと照合し、一致度合いが最も大きな行動推定モデルに対応付けられた特定行動を推定行動として検出する行動推定装置に関するものである。なお、特徴点とは、人物の身体上に予め設定された少なくとも１つのポイントであり、特定行動とは、乗員が実施する可能性のある行動である。
【００１１】
この本発明の行動推定装置では、確定行動検出手段が、特徴点データと行動推定モデルとの照合とは異なる手法を用いて、乗員により確定行動が実施されていることを検出する。ただし、確定行動とは、特定行動の中で予め規定された少なくとも一つの行動である。
【００１２】
そして、確定行動が実施されていることを検出している期間に特徴点検出手段にて検出された特徴点データを行動時特徴点とし、確定行動モデル生成手段が、確定行動推定モデルを形成する特徴点の位置または軌跡を、行動時特徴点に従って変更することにより、新たな確定行動推定モデルを生成すると共に、非確定行動モデル生成手段が、非確定行動推定モデルを形成する特徴点の位置または軌跡と確定行動を実施している時の特徴点の位置または軌跡との予め規定された対応関係に基づいて、行動時特徴点を用いて、新たな非確定行動推定モデルを生成する。なお、ここで言う確定行動推定モデルとは、確定行動に対応する行動推定モデルであり、非確定行動推定モデルとは、特定行動の中で確定行動以外の特定行動である非確定行動に対応する行動推定モデルである。
【００１３】
さらに、モデル更新手段が、モデル格納手段に格納されている確定行動推定モデル及び非確定行動推定モデル（即ち、予め生成された旧モデル）を、確定行動モデル生成手段にて生成された確定行動推定モデル、及び非確定行動モデル生成手段にて生成された非確定行動推定モデル（即ち、新たに生成された新モデル）へと更新するモデル更新を実行する。
【００１４】
このような本発明の行動推定装置によれば、乗員を撮影した撮影画像から得た特徴点データに基づいて、予め生成された行動推定モデルを更新しているため、乗員一人一人に適合した行動推定モデルが生成されることになる。
【００１５】
したがって、本発明の行動推定装置によれば、新たに生成した行動推定モデルに特徴点データを照合することで推定行動を検出することになり、乗員間の個人差に起因する誤検出を低減することができる。この結果、本発明の行動推定装置によれば、推定行動の検出精度を向上させることができる。
【００１６】
また、本発明の行動推定装置におけるモデル更新手段は、請求項２に記載のように、確定行動が実施されていることが次に検出されると、旧モデル照合手段が、その確定行動についての行動時特徴点である次行動時特徴点を、その確定行動についての旧モデルに照合して、一致度合いを表す旧モデル一致度を導出し、新モデル照合手段が、その確定行動についての新モデルに、次行動時特徴点を照合して、一致度合いを表す新モデル一致度を導出するように構成されていても良い。この場合、モデル更新手段は、さらに、新モデル一致度が旧モデル一致度よりも高い場合、モデル更新を実行するように構成されている必要がある。
【００１７】
このように構成された行動推定装置では、新たに生成した行動推定モデル（即ち、新モデル）が、予め生成された行動推定モデル（即ち、旧モデル）よりも乗員に適合している場合、行動推定モデルを更新することになる。
【００１８】
このように構成された行動推定装置によれば、特定の乗員に特化した行動推定モデルを格納することになり、その乗員に対する行動の誤検出をより低減することができる。
【００１９】
ところで、移動体内に搭載された操作機器を操作する行動を確定行動とした場合、本発明の行動推定装置における確定行動検出手段は、請求項３に記載のように、操作機器が操作されたことを表す操作信号を取得する操作信号取得手段を備え、その取得した操作信号から確定行動が実施されていることを検出するように構成されていることが望ましい。
【００２０】
そして、移動体として自動車を想定した場合、ステアリングや、シフトレバー、グローブボックス、コンソールボックス、ナビゲーション装置、空調装置などが操作機器として考えられる。
【００２１】
なお、特定行動のうち、乗員が実施すると移動体の操縦に悪影響を及ぼす可能性のある行動を危険行動とした場合、本発明の行動推定装置は、請求項４に記載のように、安全制御手段が、推定行動検出手段で検出された推定行動が危険行動であれば、移動体を安全に操縦させるための安全制御を実行するように構成されていても良い。
【００２２】
このように構成された本発明の行動推定装置によれば、乗員が危険行動を実施すると、安全制御を実行するため、移動体を安全に操縦させることができる。
【００２３】
なお、本発明は、請求項５に記載のように、コンピュータを請求項１ないし請求項４のいずれかに記載された行動推定装置を構成する各手段として機能させるためのプログラムとしてなされたものであっても良い。
【００２４】
このようなプログラムであれば、例えば、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ハードディスク等のコンピュータ読み取り可能な記録媒体に記録し、必要に応じてコンピュータにロードさせて起動することにより用いることができる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の実施形態を図面と共に説明する。
【００２６】
図１は、本発明が適用され、自動車に搭載された行動推定システムの概略構成を示したブロック図である。なお、以下では、行動推定システム１が搭載された車両を自車両と称す。
〈全体構成〉
図１に示すように、行動推定システム１は、少なくとも運転者を被写体とした画像を撮影する撮影装置１５と、撮影装置１５からの画像を画像処理することで、運転者が実施している行動を推定する画像処理プロセッサ１０とを備えている。さらに、行動推定システム１では、画像処理プロセッサ１０に、自車両に搭載された複数の装置からなる制御対象装置群２０が接続されている。
【００２７】
この制御対象装置群２０は、周知の経路案内等を行うナビゲーション装置２１と、車室内の空気調和を実行する空気調和装置（いわゆるエアコンディショナー）を制御する空調制御装置２２とを有している。
【００２８】
そして、ナビゲーション装置２１は、使用者からの指示を入力するための指示入力部（例えば、メカニカルなボタンやタッチパネル、以下、ナビ指示入力部とする）と、スピーカと、モニタと、ナビ指示入力部を介して入力された指示に従って、目的地までの経路案内を実行する制御装置とを少なくとも備えた周知のものである。ただし、ナビゲーション装置２１は、画像処理プロセッサ１０からの制御指令に従って、スピーカ、及びモニタを制御するように構成されている。
【００２９】
また、空調制御装置２２は、使用者の指示を入力するための指示入力部（例えば、メカニカルなボタンやタッチパネル、以下、ＡＣ指示入力部とする）と、そのＡＣ指示入力部を介して入力された指示に従って、空気調和装置を制御する制御装置とを少なくとも備えている。これと共に、空調制御装置２２は、画像処理プロセッサ１０からの制御指令に従って、空気調和装置から運転者に冷風を吹き付ける冷風送気制御を実行するように構成されている。
【００３０】
次に、撮影装置１５は、予め規定された時間間隔で撮影した画像（以下、撮影画像とも称す）を画像処理プロセッサ１０に繰り返し出力するように構成された周知のデジタルカメラである。その撮影装置１５は、少なくとも運転席に着座した運転者、及び車室内に備えられた複数の機器からなる操作機器群を画像に収めるように、車室内へとレンズを向けて配置されている。
【００３１】
なお、本実施形態では、操作機器群を形成する操作機器として、ルームミラーや、助手席のシート、空気調和装置の吹き出し口（いわゆる左右のブロワ）、ナビ指示入力部、ＡＣ指示入力部、ステアリング、シフトレバーが設定されている。この他の操作機器としては、物品を収納するためのグローブボックス（以下、ＧＢとする）、コンソールボックス（以下、ＣＢとする）が少なくとも設定されている。
【００３２】
〈画像処理プロセッサについて〉
次に、画像処理プロセッサについて説明する。
【００３３】
画像処理プロセッサ１０は、電源が切断されても記憶内容を保持すると共に、記憶内容を書き換え可能な記憶装置（例えば、フラッシュメモリ等）１０ａと、処理途中で一時的に生じたデータを格納するメモリ１０ｂと、記憶装置１０ａやメモリ１０ｂに記憶された処理プログラムを実行する演算装置１０ｃとを備えた周知のマイクロコンピュータを中心に構成されたものである。
【００３４】
このうち、記憶装置１０ａには、撮影装置１５からの画像を順次画像処理することにより、運転者が実施している行動を推定し、その推定結果に従って制御対象装置群２０を制御する行動推定処理を演算装置１０ｃに実行させるための処理プログラムが格納されている。
【００３５】
さらに、記憶装置１０ａには、演算装置１０ｃが行動推定処理を実行する際に参照する特徴点リストと、複数の行動推定モデルとが格納されている。
【００３６】
このうち、特徴点リストは、予め人物の身体上に設定されたポイント（以下、特徴点とする）を、撮影画像に写り込んだ運転者から検出するためのものである。その特徴点リストは、人体の腕部に設定された特徴点を検出するための腕部リストと、人体の頭部（より正確には顔面）に設定された特徴点を検出するための頭部リストとを少なくとも備えている。
【００３７】
そして、腕部リストには、少なくとも、人体の右肩，左肩，右ひじ，左ひじ，右手首，左手首が、特徴点として設定されている。さらに、頭部リストには、少なくとも、鼻，右目頭，左目頭，右目尻，左目尻，右口角，左口角，右耳珠点，左耳珠点が、特徴点として設定されている。
〈行動推定モデルについて〉
次に、行動推定モデルについて説明する。
【００３８】
まず、行動推定モデルは、運転者が実施する可能性のある行動として予め規定された行動（以下、特定行動と称す）それぞれについて、各特定行動を実施している時の特徴点の位置及び軌跡を予めモデル化したものである。
【００３９】
なお、各行動推定モデルは、特定行動の内容に応じて、車載機器操作行動モデル、持込品操作行動推定モデルと、タッチ行動推定モデルと、繰返行動推定モデルとに分類される。
【００４０】
このうち、車載機器操作行動モデルは、操作機器群を利用した行動を特定行動としてモデル化したものであり、特定行動の内容に応じて、操作継続行動推定モデルと、遷移行動推定モデルとに分類される。
【００４１】
ここで、図７，８は、行動推定モデルの概略構成を示した説明図である。具体的に、図７（Ａ）は、操作継続行動推定モデルの概略構成を示した説明図であり、図７（Ｂ）は、遷移行動推定モデルの概略構成を示した説明図である。さらに、図８（Ａ）は、持込品操作行動推定モデルの概略構成を示した説明図であり、図８（Ｂ）は、繰返行動推定モデルの概略構成を示した説明図である。
【００４２】
その操作継続行動推定モデルは、運転者が操作機器群のうちの１つを予め規定された期間の長さ以上継続して操作している操作継続行動を、特定行動としてモデル化したものである。この操作継続行動モデルは、図７（Ａ）に示すように、各操作機器毎に、その操作機器を操作中に存在する各特徴点の位置（即ち、軌跡、以下、目標地点とも称す）と、その目標地点に特徴点が存在しているものとみなせる領域（以下、帰着領域と称す）とが規定されている。なお、以下では、各操作機器に対する操作継続行動及び操作継続行動推定モデルについての名称を、操作機器名＋操作継続行動（もしくは操作継続行動推定モデル）とする。例えば、操作機器がステアリングであれば、ステアリング操作継続行動、及びステアリング操作継続行動推定モデルとする。
【００４３】
一方、遷移行動推定モデルは、１つの操作機器から他の操作機器へと運転者が手等を移動させる遷移行動を、特定行動としてモデル化したものである。この遷移行動推定モデルは、図７（Ｂ）に示すように、移動を開始した時の各特徴点の位置（以下、開始位置とする）と、移動を終了した時の各特徴点の位置（以下、終了位置とする）と、開始位置から終了位置へと移動する際の各特徴点の位置（以下、中間点とする）と、開始位置，終了位置，特定点それぞれに特徴点が存在するものとみなせる領域（以下、許容領域）とが規定されている。なお、以下では、各遷移行動及び遷移行動推定モデルについての名称を、移動元の操作機器名から移動先の操作機器名＋遷移行動（もしくは遷移行動推定モデル）とする。例えば、移動元の操作機器がステアリングであり、移動先の操作機器がシフトレバーであれば、ステアリングからシフトレバーへの（図９中、ステから（図中は矢印にて記述）シフト）遷移行動、及びステアリングからシフトレバーへの遷移行動推定モデルとする。
【００４４】
さらに、持込品操作行動推定モデルは、車室内に持ち込まれる持込品を運転者が操作する持込品操作行動（例えば、電話使用行動や、飲食や喫煙などの飲食行動）を、特定行動としてモデル化したものである。この持込品操作行動推定モデルは、図８（Ａ）に示すように、持込品操作行動を実行した運転者の各特徴点が帰着する位置（以下、帰着点とする）と、運転者の各特徴点が帰着点に存在しているものとみなせる領域（以下、帰着領域とする）と、その持込品操作行動を実行しようとする運転者の各特徴点が通過する領域（以下、第一，第二通過領域とする）と、その持込品操作行動を実行しようとする運転者の各特徴点が通過領域内を通過する時の移動方向の範囲（以下、検出許容範囲とする）とが規定されている。なお、以下では、各持込品操作行動推定モデルについての名称を、持込品操作行動名＋推定モデルとする。例えば、持込品操作行動が電話使用行動であれば、電話使用行動推定モデルとする。
【００４５】
さらに、タッチ行動推定モデルは、運転者が自身の手で自身の身体に触れるタッチ行動（例えば、肩や腕のマッサージなど）を、特定行動としてモデル化したものである。このタッチ行動推定モデルは、持込品操作行動推定モデルとが、それぞれに対応する特定行動が異なるものの、行動推定モデルの構造は、持込品操作行動推定モデルと同様である。すなわち、タッチ行動推定モデルは、目標地点と、帰着領域と、通過領域と、検出許容範囲とが規定されている。なお、タッチ行動推定モデルを用いた推定行動の検出は、持込品操作行動推定モデルを用いた推定行動の検出と同様に行われる。このため、以下では、タッチ行動の検出については、持込品操作行動の検出に含めることとし、説明を省略する。
【００４６】
また、繰返行動推定モデルは、運転者が操作機器や持込品などの物品を使用することなく繰り返し動作する繰返行動（例えば、肩回し行動や腕回し行動などの行動）を、特定行動としてモデル化したものである。この繰返行動推定モデルは、図８（Ｂ）に示すように、繰返行動を実行中である運転者の連続的に変化する各特徴点が位置する可能性のある複数の領域（以下、許容領域とする）と、許容領域それぞれの中心点（以下、特定点とする）とが規定されている。なお、以下では、各繰返行動推定モデルについての名称を、繰返行動の行動名＋推定モデルとする。例えば、繰返行動が肩回し行動であれば、肩回し行動推定モデルとする。
【００４７】
以上説明したように、画像処理プロセッサ１０は、撮影装置１５からの画像を画像処理することで検出した特徴点の位置及び軌跡を、行動推定モデルそれぞれと照合し、規定条件を満たす行動推定モデルに対応する特定行動を、運転者が実施している行動（以下、推定行動）として検出するように構成されている。
〈検知センサ群について〉
ところで、図１に示すように、画像処理プロセッサ１０には、操作機器群の中で予め規定された機器（以下、規定操作機器と称す）それぞれが操作されていることを検出するための検知センサ群３０が接続されている。
【００４８】
なお、本実施形態における規定操作機器として、少なくとも、ステアリングと、シフトレバーと、ＧＢと、ＣＢとが規定されている。このため、検知センサ群３０は、ステアリングに対する操作を検知するステアリング操作検知センサ３１と、シフトレバーに対する操作を検知するシフトレバー操作検知センサ３２と、ＧＢに対する操作を検知するＧＢ開閉検知センサ３３と、ＣＢに対する操作を検知するＣＢ開閉検知センサ３４とから構成されている。
【００４９】
このうち、ステアリング操作検知センサ３１は、ステアリングにおいて左右の手それぞれで把持される部位それぞれに埋め込まれた電極を検出電極として、ステアリングが把持されている時に操作信号（以下、ステアリング操作信号とする）を画像処理プロセッサ１０に出力するように構成されている。また、シフトレバー操作検知センサ３２は、シフトレバーにおいて把持される部位に埋め込まれた電極を検出電極として、シフトレバーが把持されている時に操作信号（以下、レバー操作信号とする）を画像処理プロセッサ１０に出力するように構成されている。
【００５０】
さらに、ＧＢ開閉検知センサ３３、及びＣＢ開閉検知センサ３４は、ＧＢ，ＣＢ内それぞれに取り付けられた電灯を点灯するために、ＧＢまたはＣＢが開かれると通電するスイッチからなる。つまり、ＧＢ開閉検知センサ３３、及びＣＢ開閉検知センサ３４は、ＧＢまたはＣＢが開かれると操作信号（以下、それぞれＧＢ操作信号、ＣＢ操作信号と称す）を画像処理プロセッサ１０に出力するように構成されている。
【００５１】
また、本実施形態においては、ステアリング、シフトレバー、ＧＢ、ＣＢ以外の規定操作機器として、ナビ指示入力部と、ＡＣ指示入力部とが規定されている。
【００５２】
このため、画像処理プロセッサ１０は、ナビ指示入力部、及びＡＣ指示入力部を介した指示を操作信号（以下、それぞれナビ操作信号、ＡＣ操作信号とする）として受け付けるように構成されている。
【００５３】
つまり、画像処理プロセッサ１０は、検知センサ群３０または規定操作機器からの操作信号に従って、操作継続行動のうち、規定操作機器に対する操作継続行動を運転者が実施しているか否かを判定する。このために、記憶装置１０ａには、検知センサ群３０または規定操作機器からの操作信号に従って検出した操作継続行動を、運転者が実施した行動（以下、確定行動と称す）として特定する確定行動情報生成処理を演算装置１０ｃに実行させるための処理プログラムが格納されている。
〈確定行動情報生成処理について〉
次に、画像処理プロセッサ１０（より正確には、演算装置１０ｃ）が実行する確定情報生成処理について説明する。
【００５４】
ここで、図２は、確定情報生成処理の処理手順を示すフローチャートである。
【００５５】
この確定情報生成処理は、運転者が自車両に乗り込む前の予め規定された起動タイミング（本実施形態では、例えば、自車両のドアが解錠されたタイミングを起動タイミングとする）となると起動されるものである。
【００５６】
そして、この確定行動情報生成処理は、図２に示すように、起動されると、まずＳ６１０では、検知センサ群３０または規定操作機器からの操作信号が入力されているか否かを判定する。そして、判定の結果、操作信号が入力されていなければ、操作信号が入力されるまで待機し、操作信号が入力されると、Ｓ６２０へと進む。
【００５７】
そのＳ６２０では、入力されている操作信号に基づいて、規定操作機器に対する操作継続行動の中で、運転者が実行中である操作継続行動を確定行動として特定する。
【００５８】
すなわち、本実施形態では、ステアリング操作信号が入力されている間は、運転者がステアリングを操作中であること（即ち、ステアリング操作継続行動）を確定行動として特定し、レバー操作信号が入力されている間は、運転者がシフトレバーを操作中であること（即ち、シフトレバー操作継続行動）を確定行動として特定する。さらに、ＩＧ操作信号が入力されている間は、運転者がＩＧ機構を操作中であること（即ち、ＩＧ機構操作継続行動）を確定行動として特定する。
【００５９】
これと共に、ＧＢ開閉検知センサからの操作信号が入力されている間は、運転者がＧＢを操作中であること（即ち、ＧＢ操作継続行動）を確定行動として特定し、ＣＢ開閉検知センサ３４からの操作信号が入力されている間は、運転者がＣＢを操作中であること（即ち、ＣＢ操作継続行動）を確定行動として特定する。また、ナビ操作信号が入力されている間は、運転者がナビゲーション装置２１を操作中であること（即ち、ナビ操作継続行動）を確定行動として特定し、ＡＣ操作信号が入力されている間は、運転者が空気調和装置を操作中であること（即ち、ＡＣ操作継続行動）を確定行動として特定する。
【００６０】
続いて、Ｓ６２０にて特定した確定行動を、その確定行動について特定を開始した時刻（以下、特定開始時刻と称す）及びその確定行動について特定を終了した時刻（以下、特定終了時刻と称す）と対応付けた確定行動情報を、メモリ１０ｂの予め設定された設定領域に格納する（Ｓ６３０）。
【００６１】
すなわち、本実施形態では、図９に示すように、規定操作機器に対する操作継続行動それぞれについて示したテーブル（以下、確定行動情報テーブルと称す）を、メモリ１０ｂに予め用意する。そして、操作信号の入力が開始されると、確定行動情報テーブルにおいて、その操作信号に対応する特定行動（即ち、操作継続行動）についての記憶領域に、その操作信号の入力が開始された時刻を記憶する。さらに、操作信号の入力が終了されると、確定行動情報テーブルにおいて、その操作信号に対応する特定行動（即ち、操作継続行動）についての記憶領域に、その操作信号の入力が終了された時刻を記憶する。これにより、確定行動情報を生成し、メモリ１０ｂに格納することになる。
【００６２】
そして、その後、Ｓ６１０へと戻り、Ｓ６１０からＳ６３０を繰り返す。
【００６３】
つまり、確定行動情報生成処理では、規定操作機器からの操作信号に従って検出した操作継続行動を確定行動として特定すると共に、その確定行動についての特定開始時刻及び特定終了時刻を確定行動と対応付けた確定行動情報を生成、記憶する。したがって、本実施形態における確定行動情報は、特定された確定行動の行動内容毎に、特定開始時刻と、特定終了時刻と、及びその確定行動を特定していた期間の長さ（以下、特定期間と称す）とが対応付けられたものとなる。
〈行動推定処理〉
次に、画像処理プロセッサ１０（より正確には、演算装置１０ｃ）が実行する行動推定処理について説明する。
【００６４】
ここで、図３は、行動推定処理の処理手順を示したフローチャートである。
【００６５】
この行動推定処理は、運転者が自車両に乗り込む前の予め規定された起動タイミング（本実施形態では、例えば、自車両のドアが解錠されたタイミングを起動タイミングとする）となると起動されるものである。
【００６６】
そして、この行動推定処理は、図３に示すように、起動されると、まずＳ１１０では、撮影装置１５からの画像を取得する。続いて、Ｓ１１０で取得した画像に特徴点リストを照合することで、撮影画像に写り込んだ運転者の各特徴点の座標（以下、特徴点データとする）を検出する（Ｓ１２０）。
【００６７】
なお、この特徴点を検出する処理は、腕部リストに設定された特徴点の位置を検出するのであれば、例えば、特開２００３−１０９０１５号に、頭部リストに設定された特徴点の位置を検出するのであれば、例えば、特開平０９−２７００１０号に記載のように周知の技術であるため、ここでの詳しい説明は省略する。
【００６８】
さらに、それらの検出した全特徴点データを、それらの特徴点データを検出した時刻（ここでは、画像を撮影した時刻とする）と対応付けてメモリ１０ｂの所定領域に格納する（Ｓ１３０）。ただし、所定領域は、Ｓ１２０で検出した全特徴点データを、最新のものから少なくとも所定数Ｎ（Ｎは自然数、例えば、撮影装置１５にて１分間に撮影される画像の枚数としてもよく、ここでは、３００とする）格納可能なように設定されている。
【００６９】
続く、Ｓ１４０では、確定行動を検出している期間に検出した特徴点データに基づいて、新たな行動推定モデルを生成するモデル生成処理を実行する。
【００７０】
そして、Ｓ１５０では、Ｓ１３０にて所定領域に記憶した特徴点データのうち、最新のものから所定数（例えば、本行動推定処理での５サイクル）分の特徴点データを、記憶装置１０ａに格納されている行動推定モデルそれぞれに照合し、その照合結果に基づいて、推定行動を検出する推定行動検出処理を実行する。
【００７１】
さらに、Ｓ１６０では、Ｓ１４０にて新たに生成された行動推定モデル（以下、新モデルと称す）が、記憶装置１０ａに記憶されている行動推定モデル（以下、旧モデルと称す）よりも、運転者に適合していれば、記憶装置１０ａに格納する行動推定モデルを、旧モデルから新モデルへと更新するモデル更新処理を実行する。
【００７２】
続いて、Ｓ１５０の推定行動検出処理で検出した推定行動に応じて、自車両を安全に走行させるための安全制御処理を実行する（Ｓ１７０）。
【００７３】
具体的に、本実施形態の安全制御処理では、Ｓ１５０の推定行動検出処理で検出した推定行動が、予め規定された特定行動である危険行動であれば、現在実行している行動（即ち、危険行動）を中止すべき旨を、ナビゲーション装置２１のスピーカーから音声にて出力し、ナビゲーション装置２１のモニタに表示させる。
【００７４】
なお、本実施形態における危険行動とは、自車両の運転に危険を及ぼす可能性のある特定行動であり、具体的には、電話使用行動や、飲食行動、助手席シート操作行動（ここでは、操作継続行動及び遷移行動の両方を操作行動とする）、ルームミラー操作行動、ＧＢ操作行動、ＣＢ操作行動などが規定されている。
【００７５】
そして、その後、Ｓ１１０へと戻り、Ｓ１１０からＳ１７０を繰り返し実行する。
〈モデル生成処理〉
次に、行動推定処理のＳ１４０にて実行されるモデル生成処理について説明する。
【００７６】
ここで、図４は、モデル生成処理の処理手順を示すフローチャートである。
【００７７】
このモデル生成処理は、起動されると、図４に示すように、予め設定された設定条件を満たすか否を判定する（Ｓ３１０）。なお、本実施形態においては、確定情報生成処理にて、確定行動情報が、予め規定された規定数以上生成されたこと、即ち、確定行動情報テーブルに規定数の確定行動情報が新たに格納されたこと（ここでは、確定行動情報テーブルに記憶されている規定数の確定行動情報が更新されたことも含む）を、設定条件としている。以下、新たに生成された確定行動情報それぞれを新確定情報と称す。
【００７８】
そして、Ｓ３１０での判定の結果、設定条件を満たしていれば、Ｓ３２０へと進む。
【００７９】
そのＳ３２０では、新確定情報それぞれに含まれている特定開始時刻から特定終了時刻までの間の期間内の時刻と対応付けられた特徴点データ（以下、行動時特徴点と称す）を、メモリ１０ｂの設定領域に記憶されている特徴点データの中から抽出する。つまり、Ｓ３２０では、新確定情報それぞれについて、その新確定情報に対応する確定行動を特定していた期間内に、先のＳ１２０にて検出した特徴点データそれぞれを行動時特徴点として抽出する。
【００８０】
続くＳ３３０では、新確定情報に対応する確定行動それぞれについての行動時特徴点に従って、その確定行動に対応する行動推定モデル（以下、確定行動推定モデルと称す）を、新たに生成する（以下、新たに生成した確定行動推定モデルそれぞれを新確定行動モデルとする）。例えば、記憶装置１０ａに記憶されている確定行動推定モデルを読み出し、その読み出した確定行動推定モデルを形成する目標地点を、それぞれの確定行動についての行動時特徴点の平均座標へと変更することで、新確定行動モデルを生成する。
【００８１】
さらに、Ｓ３４０では、行動時特徴点に従って、確定行動以外の特定行動についての行動推定モデル（以下、非確定行動推定モデルと称す）を、新たに生成する（以下、新たに生成した非確定行動推定モデルそれぞれを新非確定行動モデルとする）。なお、ここでいう非確定行動推定モデルとは、確定行動に対応していない操作継続行動推定モデル（たとえば、ルームミラー操作行動推定モデルなど）や、遷移行動推定モデルや、持込品操作行動推定モデル、繰返行動推定モデルなどである。
【００８２】
本実施形態では、具体的に、非確定行動推定モデルを形成する特徴点の位置及び軌跡と確定行動を実施している時の特徴点の位置または軌跡との予め規定された対応関係に基づいて、先のＳ３２０にて抽出した行動時特徴点を用いて、新非確定行動モデルを生成する。すなわち、このＳ３４０にて生成された新非確定行動推定モデルは、記憶装置１０ａに記憶されている旧非確定行動推定モデルから、目標地点や、開始位置，終了位置，中間点，帰着点，特定点が変更されたものとなる。
【００８３】
なお、ここでいう予め規定された対応関係とは、予め実験などにより導出された関係であり、重回帰式やマップにより表されたものである。
【００８４】
続いて、Ｓ３５０では、Ｓ３３０で生成された新確定行動モデル、及びＳ３４０で生成された新非確定行動モデルを、メモリ１０ｂの規定の領域に格納する。
【００８５】
そして、その後、本モデル生成処理を終了して、行動推定処理のＳ１５０へと戻る。
【００８６】
また、Ｓ３１０での判定の結果、設定条件を満たしていなければ、即ち、確定行動情報テーブルに規定数の確定行動情報が新たに格納されていなければ、新モデルの生成を実行することなく、行動推定処理へと戻り、Ｓ１５０へと進む。
【００８７】
つまり、モデル生成処理では、行動時特徴点を用いて、確定行動推定モデルを新たに生成する。これと共に、非確定行動推定モデルについても、非確定行動推定モデルを形成する特徴点の位置及び軌跡と確定行動の実施時の特徴点の位置または軌跡との予め規定された対応関係に基づいて、行動時特徴点を用いて、新たに生成する。
〈推定行動検出処理〉
次に、行動推定処理のＳ１５０にて実行される推定行動検出処理について説明する。
【００８８】
ここで、図５は、推定行動検出処理の処理手順を示したフローチャートである。
【００８９】
この推定行動検出処理は、図５に示すように、起動されると、まず、Ｓ４１０にて、車載機器操作行動推定モデル群、持込品操作行動推定モデル群、繰返行動推定モデル群の中から、特徴点データと照合する行動モデル群（以下、照合対象とする）を一つ選択する。
【００９０】
本実施形態では、推定行動検出処理が起動された直後であれば、車載機器操作行動推定モデル群を選択し、次に、Ｓ４１０へと進んだ場合、持込品操作行動推定モデル群を選択し、その後、Ｓ４１０へと進んだ場合、繰返行動推定モデル群を選択するようになされている。
【００９１】
続くＳ４２０では、Ｓ４１０にて選択された照合対象が、車載機器操作行動推定モデル群、持込品操作行動推定モデル群、繰返行動推定モデル群のいずれであるかを判定する。
【００９２】
そして、Ｓ４２０での判定の結果、照合対象が車載機器操作行動推定モデル群であれば、Ｓ４３０へと進む。
【００９３】
そのＳ４３０では、車載機器操作行動推定モデル群に含まれている行動推定モデルそれぞれに、特徴点データを照合して、予め規定された第一規定条件を満たす行動推定モデルに対応する特定行動を推定行動候補として検出する車載機器操作行動モデル照合処理を実行する。
【００９４】
具体的に、本実施形態の車載機器操作行動モデル照合処理では、時間の進行に沿って連続して検出された特徴点データ（即ち、軌跡）と、各行動推定モデル中の軌跡とのなす角度（以下、判定角度とする）が、予め規定された規定角度以下であり、かつ最小角度である行動推定モデルを、第一規定条件を満たす（即ち、一致度合いが最も高い）ものとしている。
【００９５】
Ｓ４２０での判定の結果、Ｓ４１０にて選択された照合対象が、持込品操作行動推定モデル群であれば、Ｓ４４０へと進む。
【００９６】
そのＳ４４０では、持込品操作行動モデル群に含まれている行動推定モデルそれぞれに、特徴点データを照合して、予め規定された第二規定条件を満たす行動推定モデルに対応する持込品操作行動を推定行動候補として検出する持込品操作行動モデル照合処理を実行する。
【００９７】
具体的に、本実施形態の持込品操作行動モデル照合処理では、時間の進行に沿って連続して検出された特徴点データが移動する移動方向と、特徴点データから帰着点へと向かう行動方向とのなす角度（行動角度θ）が、検出許容範囲内である全行動推定モデルを抽出する。そして、それらの抽出した行動推定モデルの中で、帰着点を原点とした相対座標に変換した特徴点データ（以下、相対特徴点とする）が、帰着領域もしくは通過領域内であり、かつ帰着点に最も近い行動推定モデルを、第二規定条件を満たす（即ち、一致度合いが最も高い）ものとしている。ただし、本実施形態の持込品操作行動モデル照合処理では、行動角度θが検出許容範囲外である行動推定モデルや、相対特徴点が帰着領域外もしくは通過領域外である行動推定モデルに対応する持込品操作行動を推定行動候補から除外している。
【００９８】
Ｓ４２０での判定の結果、Ｓ４１０にて選択された照合対象が、繰返行動推定モデル群であれば、Ｓ４５０へと進む。
【００９９】
そのＳ４５０では、繰返行動推定モデル群に含まれている行動推定モデルそれぞれに、特徴点データを照合して、予め規定された第三規定条件を満たす行動推定モデルに対応する繰返行動を推定行動候補として検出する繰返行動モデル照合処理を実行する。
【０１００】
具体的に、本実施形態の繰返行動モデル照合処理では、各行動推定モデルに対応する相対座標に変換した特徴点データ（以下、変換特徴点とする）が、各行動推定モデル中の許容領域内であり、かつ変換特徴点から各行動推定モデル中の特定点までの全距離のうち、最短のものが最も短い行動推定モデルを、第三規定条件を満たす（即ち、一致度合いが最も高い）ものとしている。ただし、本実施形態の繰返行動モデル照合処理では、変換特徴点が行動推定モデル中の許容領域外に位置していれば、その行動推定モデルに対応する繰返行動を推定行動候補から除外している。
【０１０１】
続く、Ｓ４６０では、Ｓ４１０にて、車載機器操作行動推定モデル群、持込品操作行動推定モデル群、繰返行動推定モデル群の全てを選択したか否かを判定し、判定の結果、全てを選択済でなければ、Ｓ４１０へと戻る。一方、判定の結果、全てを選択済であれば、Ｓ４７０へと進む。
【０１０２】
そのＳ４７０では、車載機器操作行動モデル照合処理、持込品操作行動モデル照合処理、繰返行動モデル照合処理で検出された推定行動候補の中から、推定行動を検出する推定行動確定処理を実行する。
【０１０３】
具体的に、本実施形態の推定行動確定処理では、予め規定された数サイクル連続して、同一である特定行動を推定行動候補として検出した場合に、その推定行動候補を推定行動として検出する。
【０１０４】
そして、その後、行動推定処理のＳ１６０へと戻る。
【０１０５】
つまり、本実施形態の推定行動検出処理では、撮影画像から検出した特徴点データを、行動推定モデルそれぞれと照合し、一致度合いが最も高い行動推定モデルに対応する特定行動を推定行動として検出している。
〈モデル更新処理について〉
次に、行動推定処理のＳ１６０にて実行されるモデル更新処理について説明する。
【０１０６】
ここで、図６は、モデル更新処理の処理手順を示したフローチャートである。
【０１０７】
このモデル更新処理は、図６に示すように、起動されると、まず、Ｓ５１０では、先のモデル生成処理を終了してから、確定行動情報生成処理にて新たな確定行動を特定したか否かを判定し、判定の結果、新たな確定行動を特定していれば、Ｓ５２０へと進む。つまり、先のモデル生成処理を終了してから、新たな確定行動情報が生成されていれば、Ｓ５２０へと進む。
【０１０８】
そのＳ５２０では、その新たに特定された確定行動についての行動時特徴点を、メモリ１０ｂの設定領域に記憶されている特徴点データの中から抽出する。
【０１０９】
そして、Ｓ５２０にて抽出した行動時特徴点を、その確定行動に対応する旧モデルに照合し、旧モデルと行動時特徴点との一致合いを表す旧モデル一致度を導出する（Ｓ５３０）。具体的に、本実施形態では、時間の進行に沿って連続して検出された行動時特徴点（即ち、軌跡）と、旧モデル中の軌跡とのなす角度に基づく値を、旧モデル一致度として導出する。ただし、ここでの旧モデル一致度は、行動時特徴点の軌跡と旧モデル中の軌跡とのなす角度が小さいほど大きな値となるものである。
【０１１０】
続いて、Ｓ５２０にて抽出した行動時特徴点を、その確定行動に対応する新モデルに照合し、新モデルと行動時特徴点との一致合いを表す新モデル一致度を導出する（Ｓ５４０）。具体的に、本実施形態では、時間の進行に沿って連続して検出された行動時特徴点（即ち、軌跡）と、新モデル中の軌跡とのなす角度に基づく値を、新モデル一致度として導出する。ただし、ここでの新モデル一致度は、行動時特徴点の軌跡と新モデル中の軌跡とのなす角度が小さいほど大きな値となるものである。
【０１１１】
さらに、Ｓ５４０で導出した新モデル一致度が、Ｓ５３０で導出した旧モデル一致度よりも大きいか否かを判定しＳ５５０）、その判定の結果、新モデル一致度が旧モデル一致度よりも大きければ、Ｓ５６０へと進む。すなわち、運転者に対して新確定行動モデルの方が旧確定行動モデルよりも適合していればＳ５６０へと進む。
【０１１２】
そのＳ５６０では、記憶装置１０ａに記憶されている旧モデルを、先のモデル生成処理にて生成された新確定行動モデル、及び新非確定モデルへと更新する。
【０１１３】
そして、その後、本モデル更新処理を終了して、行動推定処理のＳ１７０へと戻る。
【０１１４】
なお、Ｓ５１０での判定の結果、先のモデル生成処理を終了してから、新たな確定行動を特定していない場合には、記憶装置１０ａに記憶されている旧モデルを、新確定行動モデル及び新非確定モデルへと更新すること無く、本モデル更新処理を終了して、行動推定処理のＳ１７０へと戻る。
【０１１５】
また、Ｓ５４０での判定の結果、新モデル一致度が旧モデル一致度以下であれば、運転者に対して旧確定行動モデルの方が新確定行動モデルよりも適合しているものと判断する。そして、記憶装置１０ａに記憶されている旧モデルを、新確定行動モデル及び新非確定モデルへと更新すること無く、本モデル更新処理を終了して、行動推定処理のＳ１７０へと戻る。
【０１１６】
つまり、モデル更新処理では、運転者に対して新確定行動モデルの方が旧確定行動モデルよりも適合していれば、記憶装置１０ａに記憶されている行動推定モデルを、旧モデルから新モデルへと更新する。さらに、モデル更新処理では、運転者に対して旧確定行動モデルの方が新確定行動モデルよりも適合していれば、更新を実行することなく記憶装置１０ａに記憶されている行動推定モデルを維持する。
［実施形態の効果］
以上説明したように、行動推定システム１では、撮影画像から検出した特徴点データに基づいて、予め生成された行動推定モデルを形成している帰着点，開始位置，終了位置，中間点，特定点を変更しているため、乗員一人一人に適合した新たな行動推定モデル（即ち、新確定行動モデル、及び新非確定行動モデル）が生成されることになる。
【０１１７】
そして、本実施形態の行動推定システム１では、運転者に対して新確定行動モデルの方が旧確定行動モデルよりも適合していれば、記憶装置１０ａに記憶されている行動推定モデルを、旧モデルから新モデルへと更新する。このため、記憶装置１０ａには、運転者に特化した行動推定モデルが格納されることになる。
【０１１８】
したがって、行動推定システム１によれば、記憶装置１０ａに記憶されている行動推定モデルそれぞれに特徴点データを照合することで推定行動を検出するため、乗員間の個人差に起因する誤検出を低減することができる。この結果、行動推定システム１によれば、推定行動の検出精度を向上させることができる。
【０１１９】
なお、行動推定システム１によれば、運転者が危険行動を実施すると、安全制御を実行するため、運転者に自動車を安全に操縦させることができる。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限るものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
【０１２０】
例えば、上記実施形態のモデル生成処理におけるＳ３１０では、新モデルを生成するための設定条件を、確定行動情報が規定数以上生成されたこととしていたが、設定条件はこれに限るものでは無い。例えば、一つの確定行動情報が新たに生成されたことを設定条件としても良いし、規定期間以上継続して確定行動が実施されていることを特定したことを設定条件としても良い。
【０１２１】
ところで、上記実施形態における確定行動情報生成処理では、確定行動として規定操作機器に対する操作継続行動のみを特定していたが、確定行動として特定する特定行動は、これに限るものではない。例えば、規定操作機器間での遷移行動を確定行動として特定しても良い。
【０１２２】
この場合、一つの操作信号が入力された後、規定時間（例えば、３秒）以内に、他の操作信号が入力されると、操作機器間の遷移行動を確定行動として検出するようにすれば良い。例えば、ステアリング操作信号が画像処理プロセッサ１０に入力された後、規定時間以内にレバー操作信号が画像処理プロセッサ１０に入力された場合、ステアリングからシフトレバーへの遷移行動を確定行動として特定し、ステアリング操作信号が画像処理プロセッサ１０に入力された後、規定時間以内にナビ操作信号が画像処理プロセッサ１０に入力された場合、ステアリングからナビゲーション装置２１への遷移行動を確定行動として特定すれば良い。
【０１２３】
さらに、上記実施形態のモデル更新処理では、新モデル一致度が旧モデル一致度よりも大きい場合に、記憶装置１０ａに記憶されている旧モデルを、新確定行動モデル及び新非確定モデルへと更新していたが、モデル更新の実施タイミングは、このような場合に限るものではない。例えば、新確定行動モデル及び新非確定行動モデルが生成されると、直ちに、モデル更新を実施しても良い。
【０１２４】
また、上記実施形態の行動推定処理におけるＳ１７０では、安全制御処理として、危険行動を中止すべき旨を、ナビゲーション装置２１のスピーカー及びモニタから乗員に報知していたが、安全制御処理は、これに限るものではない。例えば、危険行動が推定行動として検出されると、自車両に備えられたシートベルトによる拘束力を増加させても良いし、空調制御装置２２に対して制御指令を出力して乗員に冷風を吹きかけても良い。さらには、ブレーキアクチュエータや、スロットルアクチュエータ、トランスミッションを制御して自車両の走行を停止させても良い。
【０１２５】
なお、上記実施形態における行動推定システム１は、自動車に搭載されていたが、行動推定システム１は、自動車に搭載されていなくとも良く、例えば、飛行機や、電車、二輪車などの移動体に搭載されていても良い。
［本発明と実施形態との対応関係］
上記実施形態の行動推定処理におけるＳ１１０を実行することで得られる機能が、本発明の画像取得手段に相当し、行動推定処理におけるＳ１２０を実行することで得られる機能が、本発明の特徴点検出手段に相当する。また、上記実施形態の記憶装置１０ａが、本発明のモデル格納手段に相当し、行動推定処理におけるＳ１５０（即ち、推定行動検出処理）を実行することで得られる機能が、本発明の行動推定手段に相当する。
【０１２６】
さらに、上記実施形態の確定行動情報生成処理を実行することで得られる機能が、本発明の確定行動検出手段に相当し、行動推定処理におけるＳ１４０（即ち、モデル生成処理）を実行することで得られる機能が、本発明の確定行動モデル生成手段及び非確定行動モデル生成手段に相当する。そして、行動推定処理におけるＳ１６０（即ち、モデル更新処理）を実行することで得られる機能が、本発明のモデル更新手段に相当し、行動推定処理におけるＳ１７０を実行することで得られる機能が、本発明の安全制御手段に相当する。
【０１２７】
なお、上記実施形態のモデル更新処理におけるＳ５３０を実行することで得られる機能が、本発明の旧モデル照合手段に相当し、Ｓ５４０を実行することで得られる機能が、本発明の新モデル照合手段に相当する。
【図面の簡単な説明】
【０１２８】
【図１】行動推定システムの概略構成を示すブロック図である。
【図２】確定行動情報生成処理の処理手順を示したフローチャートである。
【図３】行動推定処理の処理手順を示したフローチャートである。
【図４】モデル生成処理の処理手順を示したフローチャートである。
【図５】推定行動検出処理の処理手順を示したフローチャートである。
【図６】モデル更新処理の処理手順を示したフローチャートである。
【図７】操作継続行動推定モデル、及び遷移行動推定モデルの概略構成を示した説明図である。
【図８】持込品操作行動推定モデル、及び繰返行動推定モデルの概略構成を示した説明図である。
【図９】確定行動情報の概要を示した説明図である。
【符号の説明】
【０１２９】
１…行動推定システム １０…画像処理プロセッサ １０ａ…記憶装置 １０ｂ…メモリ １０ｃ…演算装置 １５…撮影装置 ２０…制御対象装置群 ２１…ナビゲーション装置 ２２…空調制御装置 ３０…検知センサ群 ３１…ステアリング操作検知センサ ３２…シフトレバー操作検知センサ ３３…ＧＢ開閉検知センサ ３４…ＣＢ開閉検知センサ
【技術分野】
【０００１】
本発明は、移動体の乗員が実施している行動を推定する行動推定装置、及びその行動推定装置を構成する各手段としてコンピュータを機能させるためのプログラムに関する。
【背景技術】
【０００２】
従来より、車両に搭載され、車両の乗員が実施している行動を推定する行動推定装置が知られている（特許文献１参照）。
【０００３】
この特許文献１に記載の行動推定装置は、運転者を含む画像を撮影する撮影装置と、撮影装置からの撮影画像に基づき、運転中の運転者が実施すると危険な行動（以下、危険行動とする）の一つである携帯電話の使用の有無（以下、この携帯電話を使用する行動を電話使用行動とする）を判定する画像処理装置とを備えている。そして、この画像処理装置では、電話使用行動中の運転者の手が存在する可能性の高い領域である規定領域を撮影画像中の顔面の周辺に予め設定し、その規定領域に、撮影画像中の手が設定時間以上位置し続ける場合に、運転者が電話使用行動を実施しているものと判定している。
【０００４】
ところで、危険行動としては、電話使用行動の他に、ステアリングから手を離してエアコンディショナーやナビゲーション装置を操作する行動、または、ステアリングから手を離して肩や腕を回す行動などが考えられる。
【０００５】
しかしながら、特許文献１に記載の行動推定装置では、撮影画像中の手の位置に従って電話使用行動が実施されているか否かを判定しているに過ぎないため、電話使用行動以外の危険行動を運転者が実施していたとしても、その危険行動が実施されていることを検出できなかった。
【０００６】
これに対し、本願発明者は、運転者が車室内で実施する可能性のある行動（以下、特定行動とする）全てについて、その特定行動の実施時に得られる特徴点（例えば、人物の手首や、肘）の位置または軌跡をモデル化した行動推定モデルを予め用意し、これらの行動推定モデルそれぞれと、撮影画像から検出した特徴点の位置または軌跡とを照合し、その適合度合いに応じて、乗員が実施している可能性が最も高い行動（以下、推定行動）を検出する画像処理装置を備えた行動推定装置を提案している（特願２００７−２０３１１１号）。
【特許文献１】特開２００５−２０５９４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところで、行動推定モデルは、通常、大多数の人物に合致するように作成されるものの、特定行動の実施の仕方や、手の長さなど身体の特徴には個人差がある。このため、中には、行動推定モデルが合致しない人物がおり、このような人物が特定行動を実施しても、その実施されている特定行動を正しく検出できない。例えば、実施している行動を他の特定行動として認識したり、特定行動を実施していないにもかかわらず、実施しているものとして認識する等の誤検出の可能性があるという問題があった。
【０００８】
つまり、先に、本願発明者が提案した行動推定装置では、乗員の個人差により、推定行動の検出精度が低下するという問題があった。
【０００９】
そこで、本発明は、行動推定装置において、推定行動の検出精度を向上させることを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するためになされた本発明は、画像取得手段が、移動体の乗員が撮影された撮影画像を繰り返し取得する毎に、特徴点検出手段が、その撮影画像に写り込んだ乗員の特徴点の位置を表す特徴点データを検出すると共に、行動推定手段が、その検出した特徴点データを、モデル格納手段に格納されており、各特定行動を実施している時の特徴点の位置または軌跡を各特定行動毎に表した行動推定モデルそれぞれと照合し、一致度合いが最も大きな行動推定モデルに対応付けられた特定行動を推定行動として検出する行動推定装置に関するものである。なお、特徴点とは、人物の身体上に予め設定された少なくとも１つのポイントであり、特定行動とは、乗員が実施する可能性のある行動である。
【００１１】
この本発明の行動推定装置では、確定行動検出手段が、特徴点データと行動推定モデルとの照合とは異なる手法を用いて、乗員により確定行動が実施されていることを検出する。ただし、確定行動とは、特定行動の中で予め規定された少なくとも一つの行動である。
【００１２】
そして、確定行動が実施されていることを検出している期間に特徴点検出手段にて検出された特徴点データを行動時特徴点とし、確定行動モデル生成手段が、確定行動推定モデルを形成する特徴点の位置または軌跡を、行動時特徴点に従って変更することにより、新たな確定行動推定モデルを生成すると共に、非確定行動モデル生成手段が、非確定行動推定モデルを形成する特徴点の位置または軌跡と確定行動を実施している時の特徴点の位置または軌跡との予め規定された対応関係に基づいて、行動時特徴点を用いて、新たな非確定行動推定モデルを生成する。なお、ここで言う確定行動推定モデルとは、確定行動に対応する行動推定モデルであり、非確定行動推定モデルとは、特定行動の中で確定行動以外の特定行動である非確定行動に対応する行動推定モデルである。
【００１３】
さらに、モデル更新手段が、モデル格納手段に格納されている確定行動推定モデル及び非確定行動推定モデル（即ち、予め生成された旧モデル）を、確定行動モデル生成手段にて生成された確定行動推定モデル、及び非確定行動モデル生成手段にて生成された非確定行動推定モデル（即ち、新たに生成された新モデル）へと更新するモデル更新を実行する。
【００１４】
このような本発明の行動推定装置によれば、乗員を撮影した撮影画像から得た特徴点データに基づいて、予め生成された行動推定モデルを更新しているため、乗員一人一人に適合した行動推定モデルが生成されることになる。
【００１５】
したがって、本発明の行動推定装置によれば、新たに生成した行動推定モデルに特徴点データを照合することで推定行動を検出することになり、乗員間の個人差に起因する誤検出を低減することができる。この結果、本発明の行動推定装置によれば、推定行動の検出精度を向上させることができる。
【００１６】
また、本発明の行動推定装置におけるモデル更新手段は、請求項２に記載のように、確定行動が実施されていることが次に検出されると、旧モデル照合手段が、その確定行動についての行動時特徴点である次行動時特徴点を、その確定行動についての旧モデルに照合して、一致度合いを表す旧モデル一致度を導出し、新モデル照合手段が、その確定行動についての新モデルに、次行動時特徴点を照合して、一致度合いを表す新モデル一致度を導出するように構成されていても良い。この場合、モデル更新手段は、さらに、新モデル一致度が旧モデル一致度よりも高い場合、モデル更新を実行するように構成されている必要がある。
【００１７】
このように構成された行動推定装置では、新たに生成した行動推定モデル（即ち、新モデル）が、予め生成された行動推定モデル（即ち、旧モデル）よりも乗員に適合している場合、行動推定モデルを更新することになる。
【００１８】
このように構成された行動推定装置によれば、特定の乗員に特化した行動推定モデルを格納することになり、その乗員に対する行動の誤検出をより低減することができる。
【００１９】
ところで、移動体内に搭載された操作機器を操作する行動を確定行動とした場合、本発明の行動推定装置における確定行動検出手段は、請求項３に記載のように、操作機器が操作されたことを表す操作信号を取得する操作信号取得手段を備え、その取得した操作信号から確定行動が実施されていることを検出するように構成されていることが望ましい。
【００２０】
そして、移動体として自動車を想定した場合、ステアリングや、シフトレバー、グローブボックス、コンソールボックス、ナビゲーション装置、空調装置などが操作機器として考えられる。
【００２１】
なお、特定行動のうち、乗員が実施すると移動体の操縦に悪影響を及ぼす可能性のある行動を危険行動とした場合、本発明の行動推定装置は、請求項４に記載のように、安全制御手段が、推定行動検出手段で検出された推定行動が危険行動であれば、移動体を安全に操縦させるための安全制御を実行するように構成されていても良い。
【００２２】
このように構成された本発明の行動推定装置によれば、乗員が危険行動を実施すると、安全制御を実行するため、移動体を安全に操縦させることができる。
【００２３】
なお、本発明は、請求項５に記載のように、コンピュータを請求項１ないし請求項４のいずれかに記載された行動推定装置を構成する各手段として機能させるためのプログラムとしてなされたものであっても良い。
【００２４】
このようなプログラムであれば、例えば、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ハードディスク等のコンピュータ読み取り可能な記録媒体に記録し、必要に応じてコンピュータにロードさせて起動することにより用いることができる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の実施形態を図面と共に説明する。
【００２６】
図１は、本発明が適用され、自動車に搭載された行動推定システムの概略構成を示したブロック図である。なお、以下では、行動推定システム１が搭載された車両を自車両と称す。
〈全体構成〉
図１に示すように、行動推定システム１は、少なくとも運転者を被写体とした画像を撮影する撮影装置１５と、撮影装置１５からの画像を画像処理することで、運転者が実施している行動を推定する画像処理プロセッサ１０とを備えている。さらに、行動推定システム１では、画像処理プロセッサ１０に、自車両に搭載された複数の装置からなる制御対象装置群２０が接続されている。
【００２７】
この制御対象装置群２０は、周知の経路案内等を行うナビゲーション装置２１と、車室内の空気調和を実行する空気調和装置（いわゆるエアコンディショナー）を制御する空調制御装置２２とを有している。
【００２８】
そして、ナビゲーション装置２１は、使用者からの指示を入力するための指示入力部（例えば、メカニカルなボタンやタッチパネル、以下、ナビ指示入力部とする）と、スピーカと、モニタと、ナビ指示入力部を介して入力された指示に従って、目的地までの経路案内を実行する制御装置とを少なくとも備えた周知のものである。ただし、ナビゲーション装置２１は、画像処理プロセッサ１０からの制御指令に従って、スピーカ、及びモニタを制御するように構成されている。
【００２９】
また、空調制御装置２２は、使用者の指示を入力するための指示入力部（例えば、メカニカルなボタンやタッチパネル、以下、ＡＣ指示入力部とする）と、そのＡＣ指示入力部を介して入力された指示に従って、空気調和装置を制御する制御装置とを少なくとも備えている。これと共に、空調制御装置２２は、画像処理プロセッサ１０からの制御指令に従って、空気調和装置から運転者に冷風を吹き付ける冷風送気制御を実行するように構成されている。
【００３０】
次に、撮影装置１５は、予め規定された時間間隔で撮影した画像（以下、撮影画像とも称す）を画像処理プロセッサ１０に繰り返し出力するように構成された周知のデジタルカメラである。その撮影装置１５は、少なくとも運転席に着座した運転者、及び車室内に備えられた複数の機器からなる操作機器群を画像に収めるように、車室内へとレンズを向けて配置されている。
【００３１】
なお、本実施形態では、操作機器群を形成する操作機器として、ルームミラーや、助手席のシート、空気調和装置の吹き出し口（いわゆる左右のブロワ）、ナビ指示入力部、ＡＣ指示入力部、ステアリング、シフトレバーが設定されている。この他の操作機器としては、物品を収納するためのグローブボックス（以下、ＧＢとする）、コンソールボックス（以下、ＣＢとする）が少なくとも設定されている。
【００３２】
〈画像処理プロセッサについて〉
次に、画像処理プロセッサについて説明する。
【００３３】
画像処理プロセッサ１０は、電源が切断されても記憶内容を保持すると共に、記憶内容を書き換え可能な記憶装置（例えば、フラッシュメモリ等）１０ａと、処理途中で一時的に生じたデータを格納するメモリ１０ｂと、記憶装置１０ａやメモリ１０ｂに記憶された処理プログラムを実行する演算装置１０ｃとを備えた周知のマイクロコンピュータを中心に構成されたものである。
【００３４】
このうち、記憶装置１０ａには、撮影装置１５からの画像を順次画像処理することにより、運転者が実施している行動を推定し、その推定結果に従って制御対象装置群２０を制御する行動推定処理を演算装置１０ｃに実行させるための処理プログラムが格納されている。
【００３５】
さらに、記憶装置１０ａには、演算装置１０ｃが行動推定処理を実行する際に参照する特徴点リストと、複数の行動推定モデルとが格納されている。
【００３６】
このうち、特徴点リストは、予め人物の身体上に設定されたポイント（以下、特徴点とする）を、撮影画像に写り込んだ運転者から検出するためのものである。その特徴点リストは、人体の腕部に設定された特徴点を検出するための腕部リストと、人体の頭部（より正確には顔面）に設定された特徴点を検出するための頭部リストとを少なくとも備えている。
【００３７】
そして、腕部リストには、少なくとも、人体の右肩，左肩，右ひじ，左ひじ，右手首，左手首が、特徴点として設定されている。さらに、頭部リストには、少なくとも、鼻，右目頭，左目頭，右目尻，左目尻，右口角，左口角，右耳珠点，左耳珠点が、特徴点として設定されている。
〈行動推定モデルについて〉
次に、行動推定モデルについて説明する。
【００３８】
まず、行動推定モデルは、運転者が実施する可能性のある行動として予め規定された行動（以下、特定行動と称す）それぞれについて、各特定行動を実施している時の特徴点の位置及び軌跡を予めモデル化したものである。
【００３９】
なお、各行動推定モデルは、特定行動の内容に応じて、車載機器操作行動モデル、持込品操作行動推定モデルと、タッチ行動推定モデルと、繰返行動推定モデルとに分類される。
【００４０】
このうち、車載機器操作行動モデルは、操作機器群を利用した行動を特定行動としてモデル化したものであり、特定行動の内容に応じて、操作継続行動推定モデルと、遷移行動推定モデルとに分類される。
【００４１】
ここで、図７，８は、行動推定モデルの概略構成を示した説明図である。具体的に、図７（Ａ）は、操作継続行動推定モデルの概略構成を示した説明図であり、図７（Ｂ）は、遷移行動推定モデルの概略構成を示した説明図である。さらに、図８（Ａ）は、持込品操作行動推定モデルの概略構成を示した説明図であり、図８（Ｂ）は、繰返行動推定モデルの概略構成を示した説明図である。
【００４２】
その操作継続行動推定モデルは、運転者が操作機器群のうちの１つを予め規定された期間の長さ以上継続して操作している操作継続行動を、特定行動としてモデル化したものである。この操作継続行動モデルは、図７（Ａ）に示すように、各操作機器毎に、その操作機器を操作中に存在する各特徴点の位置（即ち、軌跡、以下、目標地点とも称す）と、その目標地点に特徴点が存在しているものとみなせる領域（以下、帰着領域と称す）とが規定されている。なお、以下では、各操作機器に対する操作継続行動及び操作継続行動推定モデルについての名称を、操作機器名＋操作継続行動（もしくは操作継続行動推定モデル）とする。例えば、操作機器がステアリングであれば、ステアリング操作継続行動、及びステアリング操作継続行動推定モデルとする。
【００４３】
一方、遷移行動推定モデルは、１つの操作機器から他の操作機器へと運転者が手等を移動させる遷移行動を、特定行動としてモデル化したものである。この遷移行動推定モデルは、図７（Ｂ）に示すように、移動を開始した時の各特徴点の位置（以下、開始位置とする）と、移動を終了した時の各特徴点の位置（以下、終了位置とする）と、開始位置から終了位置へと移動する際の各特徴点の位置（以下、中間点とする）と、開始位置，終了位置，特定点それぞれに特徴点が存在するものとみなせる領域（以下、許容領域）とが規定されている。なお、以下では、各遷移行動及び遷移行動推定モデルについての名称を、移動元の操作機器名から移動先の操作機器名＋遷移行動（もしくは遷移行動推定モデル）とする。例えば、移動元の操作機器がステアリングであり、移動先の操作機器がシフトレバーであれば、ステアリングからシフトレバーへの（図９中、ステから（図中は矢印にて記述）シフト）遷移行動、及びステアリングからシフトレバーへの遷移行動推定モデルとする。
【００４４】
さらに、持込品操作行動推定モデルは、車室内に持ち込まれる持込品を運転者が操作する持込品操作行動（例えば、電話使用行動や、飲食や喫煙などの飲食行動）を、特定行動としてモデル化したものである。この持込品操作行動推定モデルは、図８（Ａ）に示すように、持込品操作行動を実行した運転者の各特徴点が帰着する位置（以下、帰着点とする）と、運転者の各特徴点が帰着点に存在しているものとみなせる領域（以下、帰着領域とする）と、その持込品操作行動を実行しようとする運転者の各特徴点が通過する領域（以下、第一，第二通過領域とする）と、その持込品操作行動を実行しようとする運転者の各特徴点が通過領域内を通過する時の移動方向の範囲（以下、検出許容範囲とする）とが規定されている。なお、以下では、各持込品操作行動推定モデルについての名称を、持込品操作行動名＋推定モデルとする。例えば、持込品操作行動が電話使用行動であれば、電話使用行動推定モデルとする。
【００４５】
さらに、タッチ行動推定モデルは、運転者が自身の手で自身の身体に触れるタッチ行動（例えば、肩や腕のマッサージなど）を、特定行動としてモデル化したものである。このタッチ行動推定モデルは、持込品操作行動推定モデルとが、それぞれに対応する特定行動が異なるものの、行動推定モデルの構造は、持込品操作行動推定モデルと同様である。すなわち、タッチ行動推定モデルは、目標地点と、帰着領域と、通過領域と、検出許容範囲とが規定されている。なお、タッチ行動推定モデルを用いた推定行動の検出は、持込品操作行動推定モデルを用いた推定行動の検出と同様に行われる。このため、以下では、タッチ行動の検出については、持込品操作行動の検出に含めることとし、説明を省略する。
【００４６】
また、繰返行動推定モデルは、運転者が操作機器や持込品などの物品を使用することなく繰り返し動作する繰返行動（例えば、肩回し行動や腕回し行動などの行動）を、特定行動としてモデル化したものである。この繰返行動推定モデルは、図８（Ｂ）に示すように、繰返行動を実行中である運転者の連続的に変化する各特徴点が位置する可能性のある複数の領域（以下、許容領域とする）と、許容領域それぞれの中心点（以下、特定点とする）とが規定されている。なお、以下では、各繰返行動推定モデルについての名称を、繰返行動の行動名＋推定モデルとする。例えば、繰返行動が肩回し行動であれば、肩回し行動推定モデルとする。
【００４７】
以上説明したように、画像処理プロセッサ１０は、撮影装置１５からの画像を画像処理することで検出した特徴点の位置及び軌跡を、行動推定モデルそれぞれと照合し、規定条件を満たす行動推定モデルに対応する特定行動を、運転者が実施している行動（以下、推定行動）として検出するように構成されている。
〈検知センサ群について〉
ところで、図１に示すように、画像処理プロセッサ１０には、操作機器群の中で予め規定された機器（以下、規定操作機器と称す）それぞれが操作されていることを検出するための検知センサ群３０が接続されている。
【００４８】
なお、本実施形態における規定操作機器として、少なくとも、ステアリングと、シフトレバーと、ＧＢと、ＣＢとが規定されている。このため、検知センサ群３０は、ステアリングに対する操作を検知するステアリング操作検知センサ３１と、シフトレバーに対する操作を検知するシフトレバー操作検知センサ３２と、ＧＢに対する操作を検知するＧＢ開閉検知センサ３３と、ＣＢに対する操作を検知するＣＢ開閉検知センサ３４とから構成されている。
【００４９】
このうち、ステアリング操作検知センサ３１は、ステアリングにおいて左右の手それぞれで把持される部位それぞれに埋め込まれた電極を検出電極として、ステアリングが把持されている時に操作信号（以下、ステアリング操作信号とする）を画像処理プロセッサ１０に出力するように構成されている。また、シフトレバー操作検知センサ３２は、シフトレバーにおいて把持される部位に埋め込まれた電極を検出電極として、シフトレバーが把持されている時に操作信号（以下、レバー操作信号とする）を画像処理プロセッサ１０に出力するように構成されている。
【００５０】
さらに、ＧＢ開閉検知センサ３３、及びＣＢ開閉検知センサ３４は、ＧＢ，ＣＢ内それぞれに取り付けられた電灯を点灯するために、ＧＢまたはＣＢが開かれると通電するスイッチからなる。つまり、ＧＢ開閉検知センサ３３、及びＣＢ開閉検知センサ３４は、ＧＢまたはＣＢが開かれると操作信号（以下、それぞれＧＢ操作信号、ＣＢ操作信号と称す）を画像処理プロセッサ１０に出力するように構成されている。
【００５１】
また、本実施形態においては、ステアリング、シフトレバー、ＧＢ、ＣＢ以外の規定操作機器として、ナビ指示入力部と、ＡＣ指示入力部とが規定されている。
【００５２】
このため、画像処理プロセッサ１０は、ナビ指示入力部、及びＡＣ指示入力部を介した指示を操作信号（以下、それぞれナビ操作信号、ＡＣ操作信号とする）として受け付けるように構成されている。
【００５３】
つまり、画像処理プロセッサ１０は、検知センサ群３０または規定操作機器からの操作信号に従って、操作継続行動のうち、規定操作機器に対する操作継続行動を運転者が実施しているか否かを判定する。このために、記憶装置１０ａには、検知センサ群３０または規定操作機器からの操作信号に従って検出した操作継続行動を、運転者が実施した行動（以下、確定行動と称す）として特定する確定行動情報生成処理を演算装置１０ｃに実行させるための処理プログラムが格納されている。
〈確定行動情報生成処理について〉
次に、画像処理プロセッサ１０（より正確には、演算装置１０ｃ）が実行する確定情報生成処理について説明する。
【００５４】
ここで、図２は、確定情報生成処理の処理手順を示すフローチャートである。
【００５５】
この確定情報生成処理は、運転者が自車両に乗り込む前の予め規定された起動タイミング（本実施形態では、例えば、自車両のドアが解錠されたタイミングを起動タイミングとする）となると起動されるものである。
【００５６】
そして、この確定行動情報生成処理は、図２に示すように、起動されると、まずＳ６１０では、検知センサ群３０または規定操作機器からの操作信号が入力されているか否かを判定する。そして、判定の結果、操作信号が入力されていなければ、操作信号が入力されるまで待機し、操作信号が入力されると、Ｓ６２０へと進む。
【００５７】
そのＳ６２０では、入力されている操作信号に基づいて、規定操作機器に対する操作継続行動の中で、運転者が実行中である操作継続行動を確定行動として特定する。
【００５８】
すなわち、本実施形態では、ステアリング操作信号が入力されている間は、運転者がステアリングを操作中であること（即ち、ステアリング操作継続行動）を確定行動として特定し、レバー操作信号が入力されている間は、運転者がシフトレバーを操作中であること（即ち、シフトレバー操作継続行動）を確定行動として特定する。さらに、ＩＧ操作信号が入力されている間は、運転者がＩＧ機構を操作中であること（即ち、ＩＧ機構操作継続行動）を確定行動として特定する。
【００５９】
これと共に、ＧＢ開閉検知センサからの操作信号が入力されている間は、運転者がＧＢを操作中であること（即ち、ＧＢ操作継続行動）を確定行動として特定し、ＣＢ開閉検知センサ３４からの操作信号が入力されている間は、運転者がＣＢを操作中であること（即ち、ＣＢ操作継続行動）を確定行動として特定する。また、ナビ操作信号が入力されている間は、運転者がナビゲーション装置２１を操作中であること（即ち、ナビ操作継続行動）を確定行動として特定し、ＡＣ操作信号が入力されている間は、運転者が空気調和装置を操作中であること（即ち、ＡＣ操作継続行動）を確定行動として特定する。
【００６０】
続いて、Ｓ６２０にて特定した確定行動を、その確定行動について特定を開始した時刻（以下、特定開始時刻と称す）及びその確定行動について特定を終了した時刻（以下、特定終了時刻と称す）と対応付けた確定行動情報を、メモリ１０ｂの予め設定された設定領域に格納する（Ｓ６３０）。
【００６１】
すなわち、本実施形態では、図９に示すように、規定操作機器に対する操作継続行動それぞれについて示したテーブル（以下、確定行動情報テーブルと称す）を、メモリ１０ｂに予め用意する。そして、操作信号の入力が開始されると、確定行動情報テーブルにおいて、その操作信号に対応する特定行動（即ち、操作継続行動）についての記憶領域に、その操作信号の入力が開始された時刻を記憶する。さらに、操作信号の入力が終了されると、確定行動情報テーブルにおいて、その操作信号に対応する特定行動（即ち、操作継続行動）についての記憶領域に、その操作信号の入力が終了された時刻を記憶する。これにより、確定行動情報を生成し、メモリ１０ｂに格納することになる。
【００６２】
そして、その後、Ｓ６１０へと戻り、Ｓ６１０からＳ６３０を繰り返す。
【００６３】
つまり、確定行動情報生成処理では、規定操作機器からの操作信号に従って検出した操作継続行動を確定行動として特定すると共に、その確定行動についての特定開始時刻及び特定終了時刻を確定行動と対応付けた確定行動情報を生成、記憶する。したがって、本実施形態における確定行動情報は、特定された確定行動の行動内容毎に、特定開始時刻と、特定終了時刻と、及びその確定行動を特定していた期間の長さ（以下、特定期間と称す）とが対応付けられたものとなる。
〈行動推定処理〉
次に、画像処理プロセッサ１０（より正確には、演算装置１０ｃ）が実行する行動推定処理について説明する。
【００６４】
ここで、図３は、行動推定処理の処理手順を示したフローチャートである。
【００６５】
この行動推定処理は、運転者が自車両に乗り込む前の予め規定された起動タイミング（本実施形態では、例えば、自車両のドアが解錠されたタイミングを起動タイミングとする）となると起動されるものである。
【００６６】
そして、この行動推定処理は、図３に示すように、起動されると、まずＳ１１０では、撮影装置１５からの画像を取得する。続いて、Ｓ１１０で取得した画像に特徴点リストを照合することで、撮影画像に写り込んだ運転者の各特徴点の座標（以下、特徴点データとする）を検出する（Ｓ１２０）。
【００６７】
なお、この特徴点を検出する処理は、腕部リストに設定された特徴点の位置を検出するのであれば、例えば、特開２００３−１０９０１５号に、頭部リストに設定された特徴点の位置を検出するのであれば、例えば、特開平０９−２７００１０号に記載のように周知の技術であるため、ここでの詳しい説明は省略する。
【００６８】
さらに、それらの検出した全特徴点データを、それらの特徴点データを検出した時刻（ここでは、画像を撮影した時刻とする）と対応付けてメモリ１０ｂの所定領域に格納する（Ｓ１３０）。ただし、所定領域は、Ｓ１２０で検出した全特徴点データを、最新のものから少なくとも所定数Ｎ（Ｎは自然数、例えば、撮影装置１５にて１分間に撮影される画像の枚数としてもよく、ここでは、３００とする）格納可能なように設定されている。
【００６９】
続く、Ｓ１４０では、確定行動を検出している期間に検出した特徴点データに基づいて、新たな行動推定モデルを生成するモデル生成処理を実行する。
【００７０】
そして、Ｓ１５０では、Ｓ１３０にて所定領域に記憶した特徴点データのうち、最新のものから所定数（例えば、本行動推定処理での５サイクル）分の特徴点データを、記憶装置１０ａに格納されている行動推定モデルそれぞれに照合し、その照合結果に基づいて、推定行動を検出する推定行動検出処理を実行する。
【００７１】
さらに、Ｓ１６０では、Ｓ１４０にて新たに生成された行動推定モデル（以下、新モデルと称す）が、記憶装置１０ａに記憶されている行動推定モデル（以下、旧モデルと称す）よりも、運転者に適合していれば、記憶装置１０ａに格納する行動推定モデルを、旧モデルから新モデルへと更新するモデル更新処理を実行する。
【００７２】
続いて、Ｓ１５０の推定行動検出処理で検出した推定行動に応じて、自車両を安全に走行させるための安全制御処理を実行する（Ｓ１７０）。
【００７３】
具体的に、本実施形態の安全制御処理では、Ｓ１５０の推定行動検出処理で検出した推定行動が、予め規定された特定行動である危険行動であれば、現在実行している行動（即ち、危険行動）を中止すべき旨を、ナビゲーション装置２１のスピーカーから音声にて出力し、ナビゲーション装置２１のモニタに表示させる。
【００７４】
なお、本実施形態における危険行動とは、自車両の運転に危険を及ぼす可能性のある特定行動であり、具体的には、電話使用行動や、飲食行動、助手席シート操作行動（ここでは、操作継続行動及び遷移行動の両方を操作行動とする）、ルームミラー操作行動、ＧＢ操作行動、ＣＢ操作行動などが規定されている。
【００７５】
そして、その後、Ｓ１１０へと戻り、Ｓ１１０からＳ１７０を繰り返し実行する。
〈モデル生成処理〉
次に、行動推定処理のＳ１４０にて実行されるモデル生成処理について説明する。
【００７６】
ここで、図４は、モデル生成処理の処理手順を示すフローチャートである。
【００７７】
このモデル生成処理は、起動されると、図４に示すように、予め設定された設定条件を満たすか否を判定する（Ｓ３１０）。なお、本実施形態においては、確定情報生成処理にて、確定行動情報が、予め規定された規定数以上生成されたこと、即ち、確定行動情報テーブルに規定数の確定行動情報が新たに格納されたこと（ここでは、確定行動情報テーブルに記憶されている規定数の確定行動情報が更新されたことも含む）を、設定条件としている。以下、新たに生成された確定行動情報それぞれを新確定情報と称す。
【００７８】
そして、Ｓ３１０での判定の結果、設定条件を満たしていれば、Ｓ３２０へと進む。
【００７９】
そのＳ３２０では、新確定情報それぞれに含まれている特定開始時刻から特定終了時刻までの間の期間内の時刻と対応付けられた特徴点データ（以下、行動時特徴点と称す）を、メモリ１０ｂの設定領域に記憶されている特徴点データの中から抽出する。つまり、Ｓ３２０では、新確定情報それぞれについて、その新確定情報に対応する確定行動を特定していた期間内に、先のＳ１２０にて検出した特徴点データそれぞれを行動時特徴点として抽出する。
【００８０】
続くＳ３３０では、新確定情報に対応する確定行動それぞれについての行動時特徴点に従って、その確定行動に対応する行動推定モデル（以下、確定行動推定モデルと称す）を、新たに生成する（以下、新たに生成した確定行動推定モデルそれぞれを新確定行動モデルとする）。例えば、記憶装置１０ａに記憶されている確定行動推定モデルを読み出し、その読み出した確定行動推定モデルを形成する目標地点を、それぞれの確定行動についての行動時特徴点の平均座標へと変更することで、新確定行動モデルを生成する。
【００８１】
さらに、Ｓ３４０では、行動時特徴点に従って、確定行動以外の特定行動についての行動推定モデル（以下、非確定行動推定モデルと称す）を、新たに生成する（以下、新たに生成した非確定行動推定モデルそれぞれを新非確定行動モデルとする）。なお、ここでいう非確定行動推定モデルとは、確定行動に対応していない操作継続行動推定モデル（たとえば、ルームミラー操作行動推定モデルなど）や、遷移行動推定モデルや、持込品操作行動推定モデル、繰返行動推定モデルなどである。
【００８２】
本実施形態では、具体的に、非確定行動推定モデルを形成する特徴点の位置及び軌跡と確定行動を実施している時の特徴点の位置または軌跡との予め規定された対応関係に基づいて、先のＳ３２０にて抽出した行動時特徴点を用いて、新非確定行動モデルを生成する。すなわち、このＳ３４０にて生成された新非確定行動推定モデルは、記憶装置１０ａに記憶されている旧非確定行動推定モデルから、目標地点や、開始位置，終了位置，中間点，帰着点，特定点が変更されたものとなる。
【００８３】
なお、ここでいう予め規定された対応関係とは、予め実験などにより導出された関係であり、重回帰式やマップにより表されたものである。
【００８４】
続いて、Ｓ３５０では、Ｓ３３０で生成された新確定行動モデル、及びＳ３４０で生成された新非確定行動モデルを、メモリ１０ｂの規定の領域に格納する。
【００８５】
そして、その後、本モデル生成処理を終了して、行動推定処理のＳ１５０へと戻る。
【００８６】
また、Ｓ３１０での判定の結果、設定条件を満たしていなければ、即ち、確定行動情報テーブルに規定数の確定行動情報が新たに格納されていなければ、新モデルの生成を実行することなく、行動推定処理へと戻り、Ｓ１５０へと進む。
【００８７】
つまり、モデル生成処理では、行動時特徴点を用いて、確定行動推定モデルを新たに生成する。これと共に、非確定行動推定モデルについても、非確定行動推定モデルを形成する特徴点の位置及び軌跡と確定行動の実施時の特徴点の位置または軌跡との予め規定された対応関係に基づいて、行動時特徴点を用いて、新たに生成する。
〈推定行動検出処理〉
次に、行動推定処理のＳ１５０にて実行される推定行動検出処理について説明する。
【００８８】
ここで、図５は、推定行動検出処理の処理手順を示したフローチャートである。
【００８９】
この推定行動検出処理は、図５に示すように、起動されると、まず、Ｓ４１０にて、車載機器操作行動推定モデル群、持込品操作行動推定モデル群、繰返行動推定モデル群の中から、特徴点データと照合する行動モデル群（以下、照合対象とする）を一つ選択する。
【００９０】
本実施形態では、推定行動検出処理が起動された直後であれば、車載機器操作行動推定モデル群を選択し、次に、Ｓ４１０へと進んだ場合、持込品操作行動推定モデル群を選択し、その後、Ｓ４１０へと進んだ場合、繰返行動推定モデル群を選択するようになされている。
【００９１】
続くＳ４２０では、Ｓ４１０にて選択された照合対象が、車載機器操作行動推定モデル群、持込品操作行動推定モデル群、繰返行動推定モデル群のいずれであるかを判定する。
【００９２】
そして、Ｓ４２０での判定の結果、照合対象が車載機器操作行動推定モデル群であれば、Ｓ４３０へと進む。
【００９３】
そのＳ４３０では、車載機器操作行動推定モデル群に含まれている行動推定モデルそれぞれに、特徴点データを照合して、予め規定された第一規定条件を満たす行動推定モデルに対応する特定行動を推定行動候補として検出する車載機器操作行動モデル照合処理を実行する。
【００９４】
具体的に、本実施形態の車載機器操作行動モデル照合処理では、時間の進行に沿って連続して検出された特徴点データ（即ち、軌跡）と、各行動推定モデル中の軌跡とのなす角度（以下、判定角度とする）が、予め規定された規定角度以下であり、かつ最小角度である行動推定モデルを、第一規定条件を満たす（即ち、一致度合いが最も高い）ものとしている。
【００９５】
Ｓ４２０での判定の結果、Ｓ４１０にて選択された照合対象が、持込品操作行動推定モデル群であれば、Ｓ４４０へと進む。
【００９６】
そのＳ４４０では、持込品操作行動モデル群に含まれている行動推定モデルそれぞれに、特徴点データを照合して、予め規定された第二規定条件を満たす行動推定モデルに対応する持込品操作行動を推定行動候補として検出する持込品操作行動モデル照合処理を実行する。
【００９７】
具体的に、本実施形態の持込品操作行動モデル照合処理では、時間の進行に沿って連続して検出された特徴点データが移動する移動方向と、特徴点データから帰着点へと向かう行動方向とのなす角度（行動角度θ）が、検出許容範囲内である全行動推定モデルを抽出する。そして、それらの抽出した行動推定モデルの中で、帰着点を原点とした相対座標に変換した特徴点データ（以下、相対特徴点とする）が、帰着領域もしくは通過領域内であり、かつ帰着点に最も近い行動推定モデルを、第二規定条件を満たす（即ち、一致度合いが最も高い）ものとしている。ただし、本実施形態の持込品操作行動モデル照合処理では、行動角度θが検出許容範囲外である行動推定モデルや、相対特徴点が帰着領域外もしくは通過領域外である行動推定モデルに対応する持込品操作行動を推定行動候補から除外している。
【００９８】
Ｓ４２０での判定の結果、Ｓ４１０にて選択された照合対象が、繰返行動推定モデル群であれば、Ｓ４５０へと進む。
【００９９】
そのＳ４５０では、繰返行動推定モデル群に含まれている行動推定モデルそれぞれに、特徴点データを照合して、予め規定された第三規定条件を満たす行動推定モデルに対応する繰返行動を推定行動候補として検出する繰返行動モデル照合処理を実行する。
【０１００】
具体的に、本実施形態の繰返行動モデル照合処理では、各行動推定モデルに対応する相対座標に変換した特徴点データ（以下、変換特徴点とする）が、各行動推定モデル中の許容領域内であり、かつ変換特徴点から各行動推定モデル中の特定点までの全距離のうち、最短のものが最も短い行動推定モデルを、第三規定条件を満たす（即ち、一致度合いが最も高い）ものとしている。ただし、本実施形態の繰返行動モデル照合処理では、変換特徴点が行動推定モデル中の許容領域外に位置していれば、その行動推定モデルに対応する繰返行動を推定行動候補から除外している。
【０１０１】
続く、Ｓ４６０では、Ｓ４１０にて、車載機器操作行動推定モデル群、持込品操作行動推定モデル群、繰返行動推定モデル群の全てを選択したか否かを判定し、判定の結果、全てを選択済でなければ、Ｓ４１０へと戻る。一方、判定の結果、全てを選択済であれば、Ｓ４７０へと進む。
【０１０２】
そのＳ４７０では、車載機器操作行動モデル照合処理、持込品操作行動モデル照合処理、繰返行動モデル照合処理で検出された推定行動候補の中から、推定行動を検出する推定行動確定処理を実行する。
【０１０３】
具体的に、本実施形態の推定行動確定処理では、予め規定された数サイクル連続して、同一である特定行動を推定行動候補として検出した場合に、その推定行動候補を推定行動として検出する。
【０１０４】
そして、その後、行動推定処理のＳ１６０へと戻る。
【０１０５】
つまり、本実施形態の推定行動検出処理では、撮影画像から検出した特徴点データを、行動推定モデルそれぞれと照合し、一致度合いが最も高い行動推定モデルに対応する特定行動を推定行動として検出している。
〈モデル更新処理について〉
次に、行動推定処理のＳ１６０にて実行されるモデル更新処理について説明する。
【０１０６】
ここで、図６は、モデル更新処理の処理手順を示したフローチャートである。
【０１０７】
このモデル更新処理は、図６に示すように、起動されると、まず、Ｓ５１０では、先のモデル生成処理を終了してから、確定行動情報生成処理にて新たな確定行動を特定したか否かを判定し、判定の結果、新たな確定行動を特定していれば、Ｓ５２０へと進む。つまり、先のモデル生成処理を終了してから、新たな確定行動情報が生成されていれば、Ｓ５２０へと進む。
【０１０８】
そのＳ５２０では、その新たに特定された確定行動についての行動時特徴点を、メモリ１０ｂの設定領域に記憶されている特徴点データの中から抽出する。
【０１０９】
そして、Ｓ５２０にて抽出した行動時特徴点を、その確定行動に対応する旧モデルに照合し、旧モデルと行動時特徴点との一致合いを表す旧モデル一致度を導出する（Ｓ５３０）。具体的に、本実施形態では、時間の進行に沿って連続して検出された行動時特徴点（即ち、軌跡）と、旧モデル中の軌跡とのなす角度に基づく値を、旧モデル一致度として導出する。ただし、ここでの旧モデル一致度は、行動時特徴点の軌跡と旧モデル中の軌跡とのなす角度が小さいほど大きな値となるものである。
【０１１０】
続いて、Ｓ５２０にて抽出した行動時特徴点を、その確定行動に対応する新モデルに照合し、新モデルと行動時特徴点との一致合いを表す新モデル一致度を導出する（Ｓ５４０）。具体的に、本実施形態では、時間の進行に沿って連続して検出された行動時特徴点（即ち、軌跡）と、新モデル中の軌跡とのなす角度に基づく値を、新モデル一致度として導出する。ただし、ここでの新モデル一致度は、行動時特徴点の軌跡と新モデル中の軌跡とのなす角度が小さいほど大きな値となるものである。
【０１１１】
さらに、Ｓ５４０で導出した新モデル一致度が、Ｓ５３０で導出した旧モデル一致度よりも大きいか否かを判定しＳ５５０）、その判定の結果、新モデル一致度が旧モデル一致度よりも大きければ、Ｓ５６０へと進む。すなわち、運転者に対して新確定行動モデルの方が旧確定行動モデルよりも適合していればＳ５６０へと進む。
【０１１２】
そのＳ５６０では、記憶装置１０ａに記憶されている旧モデルを、先のモデル生成処理にて生成された新確定行動モデル、及び新非確定モデルへと更新する。
【０１１３】
そして、その後、本モデル更新処理を終了して、行動推定処理のＳ１７０へと戻る。
【０１１４】
なお、Ｓ５１０での判定の結果、先のモデル生成処理を終了してから、新たな確定行動を特定していない場合には、記憶装置１０ａに記憶されている旧モデルを、新確定行動モデル及び新非確定モデルへと更新すること無く、本モデル更新処理を終了して、行動推定処理のＳ１７０へと戻る。
【０１１５】
また、Ｓ５４０での判定の結果、新モデル一致度が旧モデル一致度以下であれば、運転者に対して旧確定行動モデルの方が新確定行動モデルよりも適合しているものと判断する。そして、記憶装置１０ａに記憶されている旧モデルを、新確定行動モデル及び新非確定モデルへと更新すること無く、本モデル更新処理を終了して、行動推定処理のＳ１７０へと戻る。
【０１１６】
つまり、モデル更新処理では、運転者に対して新確定行動モデルの方が旧確定行動モデルよりも適合していれば、記憶装置１０ａに記憶されている行動推定モデルを、旧モデルから新モデルへと更新する。さらに、モデル更新処理では、運転者に対して旧確定行動モデルの方が新確定行動モデルよりも適合していれば、更新を実行することなく記憶装置１０ａに記憶されている行動推定モデルを維持する。
［実施形態の効果］
以上説明したように、行動推定システム１では、撮影画像から検出した特徴点データに基づいて、予め生成された行動推定モデルを形成している帰着点，開始位置，終了位置，中間点，特定点を変更しているため、乗員一人一人に適合した新たな行動推定モデル（即ち、新確定行動モデル、及び新非確定行動モデル）が生成されることになる。
【０１１７】
そして、本実施形態の行動推定システム１では、運転者に対して新確定行動モデルの方が旧確定行動モデルよりも適合していれば、記憶装置１０ａに記憶されている行動推定モデルを、旧モデルから新モデルへと更新する。このため、記憶装置１０ａには、運転者に特化した行動推定モデルが格納されることになる。
【０１１８】
したがって、行動推定システム１によれば、記憶装置１０ａに記憶されている行動推定モデルそれぞれに特徴点データを照合することで推定行動を検出するため、乗員間の個人差に起因する誤検出を低減することができる。この結果、行動推定システム１によれば、推定行動の検出精度を向上させることができる。
【０１１９】
なお、行動推定システム１によれば、運転者が危険行動を実施すると、安全制御を実行するため、運転者に自動車を安全に操縦させることができる。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限るものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
【０１２０】
例えば、上記実施形態のモデル生成処理におけるＳ３１０では、新モデルを生成するための設定条件を、確定行動情報が規定数以上生成されたこととしていたが、設定条件はこれに限るものでは無い。例えば、一つの確定行動情報が新たに生成されたことを設定条件としても良いし、規定期間以上継続して確定行動が実施されていることを特定したことを設定条件としても良い。
【０１２１】
ところで、上記実施形態における確定行動情報生成処理では、確定行動として規定操作機器に対する操作継続行動のみを特定していたが、確定行動として特定する特定行動は、これに限るものではない。例えば、規定操作機器間での遷移行動を確定行動として特定しても良い。
【０１２２】
この場合、一つの操作信号が入力された後、規定時間（例えば、３秒）以内に、他の操作信号が入力されると、操作機器間の遷移行動を確定行動として検出するようにすれば良い。例えば、ステアリング操作信号が画像処理プロセッサ１０に入力された後、規定時間以内にレバー操作信号が画像処理プロセッサ１０に入力された場合、ステアリングからシフトレバーへの遷移行動を確定行動として特定し、ステアリング操作信号が画像処理プロセッサ１０に入力された後、規定時間以内にナビ操作信号が画像処理プロセッサ１０に入力された場合、ステアリングからナビゲーション装置２１への遷移行動を確定行動として特定すれば良い。
【０１２３】
さらに、上記実施形態のモデル更新処理では、新モデル一致度が旧モデル一致度よりも大きい場合に、記憶装置１０ａに記憶されている旧モデルを、新確定行動モデル及び新非確定モデルへと更新していたが、モデル更新の実施タイミングは、このような場合に限るものではない。例えば、新確定行動モデル及び新非確定行動モデルが生成されると、直ちに、モデル更新を実施しても良い。
【０１２４】
また、上記実施形態の行動推定処理におけるＳ１７０では、安全制御処理として、危険行動を中止すべき旨を、ナビゲーション装置２１のスピーカー及びモニタから乗員に報知していたが、安全制御処理は、これに限るものではない。例えば、危険行動が推定行動として検出されると、自車両に備えられたシートベルトによる拘束力を増加させても良いし、空調制御装置２２に対して制御指令を出力して乗員に冷風を吹きかけても良い。さらには、ブレーキアクチュエータや、スロットルアクチュエータ、トランスミッションを制御して自車両の走行を停止させても良い。
【０１２５】
なお、上記実施形態における行動推定システム１は、自動車に搭載されていたが、行動推定システム１は、自動車に搭載されていなくとも良く、例えば、飛行機や、電車、二輪車などの移動体に搭載されていても良い。
［本発明と実施形態との対応関係］
上記実施形態の行動推定処理におけるＳ１１０を実行することで得られる機能が、本発明の画像取得手段に相当し、行動推定処理におけるＳ１２０を実行することで得られる機能が、本発明の特徴点検出手段に相当する。また、上記実施形態の記憶装置１０ａが、本発明のモデル格納手段に相当し、行動推定処理におけるＳ１５０（即ち、推定行動検出処理）を実行することで得られる機能が、本発明の行動推定手段に相当する。
【０１２６】
さらに、上記実施形態の確定行動情報生成処理を実行することで得られる機能が、本発明の確定行動検出手段に相当し、行動推定処理におけるＳ１４０（即ち、モデル生成処理）を実行することで得られる機能が、本発明の確定行動モデル生成手段及び非確定行動モデル生成手段に相当する。そして、行動推定処理におけるＳ１６０（即ち、モデル更新処理）を実行することで得られる機能が、本発明のモデル更新手段に相当し、行動推定処理におけるＳ１７０を実行することで得られる機能が、本発明の安全制御手段に相当する。
【０１２７】
なお、上記実施形態のモデル更新処理におけるＳ５３０を実行することで得られる機能が、本発明の旧モデル照合手段に相当し、Ｓ５４０を実行することで得られる機能が、本発明の新モデル照合手段に相当する。
【図面の簡単な説明】
【０１２８】
【図１】行動推定システムの概略構成を示すブロック図である。
【図２】確定行動情報生成処理の処理手順を示したフローチャートである。
【図３】行動推定処理の処理手順を示したフローチャートである。
【図４】モデル生成処理の処理手順を示したフローチャートである。
【図５】推定行動検出処理の処理手順を示したフローチャートである。
【図６】モデル更新処理の処理手順を示したフローチャートである。
【図７】操作継続行動推定モデル、及び遷移行動推定モデルの概略構成を示した説明図である。
【図８】持込品操作行動推定モデル、及び繰返行動推定モデルの概略構成を示した説明図である。
【図９】確定行動情報の概要を示した説明図である。
【符号の説明】
【０１２９】
１…行動推定システム １０…画像処理プロセッサ １０ａ…記憶装置 １０ｂ…メモリ １０ｃ…演算装置 １５…撮影装置 ２０…制御対象装置群 ２１…ナビゲーション装置 ２２…空調制御装置 ３０…検知センサ群 ３１…ステアリング操作検知センサ ３２…シフトレバー操作検知センサ ３３…ＧＢ開閉検知センサ ３４…ＣＢ開閉検知センサ
【特許請求の範囲】
【請求項１】
移動体の乗員が撮影された撮影画像を繰り返し取得する画像取得手段と、
人物の身体上に予め設定された少なくとも１つのポイントを特徴点とし、前記画像取得手段が撮影画像を取得する毎に、その撮影画像に写り込んだ乗員の特徴点の位置を表す特徴点データを検出する特徴点検出手段と、
前記乗員が実施する可能性のある行動を特定行動とし、前記特定行動を実施している時の特徴点の位置または軌跡を各特定行動毎に表した行動推定モデルを格納しているモデル格納手段と、
前記特徴点検出手段で検出された特徴点データを、前記モデル格納手段に格納されている行動推定モデルそれぞれと照合し、一致度合いが最も大きな前記行動推定モデルに対応付けられた特定行動を推定行動として検出する行動推定手段と
を備えた行動推定装置であって、
前記特定行動の中で予め規定された少なくとも一つを確定行動とし、前記特徴点データと前記行動推定モデルとの照合とは異なる手法を用いて、前記乗員により確定行動が実施されていることを検出する確定行動検出手段と、
前記確定行動検出手段にて確定行動が実施されていることを検出している期間に前記特徴点検出手段にて検出された特徴点データを行動時特徴点とし、前記確定行動に対応する行動推定モデルを確定行動推定モデルとし、前記確定行動推定モデルを形成する前記特徴点の位置または軌跡を、前記行動時特徴点に従って変更することにより、新たな確定行動推定モデルを生成する確定行動モデル生成手段と、
前記特定行動の中で前記確定行動以外の特定行動を非確定行動とし、前記非確定行動に対応する行動推定モデルを非確定行動推定モデルとし、前記非確定行動推定モデルを形成する前記特徴点の位置または軌跡と前記確定行動を実施している時の特徴点の位置または軌跡との予め規定された対応関係に基づいて、前記行動時特徴点を用いて、新たな非確定行動推定モデルを生成する非確定行動モデル生成手段と、
前記モデル格納手段に格納されている確定行動推定モデル及び非確定行動推定モデルを、前記確定行動モデル生成手段にて生成された確定行動推定モデル、及び前記非確定行動モデル生成手段にて生成された非確定行動推定モデルへと更新するモデル更新を実行するモデル更新手段と
を備えることを特徴とする行動推定装置。
【請求項２】
前記モデル更新手段は、
前記モデル格納手段に格納されている確定行動推定モデルを旧確定行動モデルとし、前記確定行動検出手段にて確定行動が実施されていることが次に検出されると、その確定行動についての前記行動時特徴点である次行動時特徴点を、その確定行動についての前記旧確定行動モデルに照合し、一致度合いを旧モデル一致度として導出する旧モデル照合手段と、
前記確定行動モデル生成手段で生成された新たな確定行動推定モデルに、前記次行動時特徴点を照合し、一致度合いを新モデル一致度として導出する新モデル照合手段と、
を備え、
前記新モデル照合手段で導出された新モデル一致度が前記旧モデル照合手段で導出された旧モデル一致度よりも高い場合、前記モデル更新を実行することを特徴とする請求項１に記載の行動推定装置。
【請求項３】
前記確定行動には、前記移動体内に搭載され予め規定された操作機器を操作する行動が含まれ、
前記確定行動検出手段は、
前記操作機器が操作されたことを表す操作信号を取得する操作信号取得手段を備え、
前記操作信号取得手段で取得された操作信号から前記確定行動が実施されていることを検出することを特徴とする請求項１または請求項２に記載の行動推定装置。
【請求項４】
前記特定行動のうち、乗員が実施すると前記移動体の操縦に悪影響を及ぼす可能性のある行動を危険行動とし、
前記推定行動検出手段で検出された推定行動が前記危険行動であれば、前記移動体を安全に操縦させるための安全制御を実行する安全制御手段
を備えることを特徴とする請求項１ないし請求項３のいずれかに記載の行動推定装置。
【請求項５】
コンピュータを、請求項１ないし請求項４のいずれかに記載の行動推定装置を構成する各手段として機能させることを特徴とするプログラム。
【請求項１】
移動体の乗員が撮影された撮影画像を繰り返し取得する画像取得手段と、
人物の身体上に予め設定された少なくとも１つのポイントを特徴点とし、前記画像取得手段が撮影画像を取得する毎に、その撮影画像に写り込んだ乗員の特徴点の位置を表す特徴点データを検出する特徴点検出手段と、
前記乗員が実施する可能性のある行動を特定行動とし、前記特定行動を実施している時の特徴点の位置または軌跡を各特定行動毎に表した行動推定モデルを格納しているモデル格納手段と、
前記特徴点検出手段で検出された特徴点データを、前記モデル格納手段に格納されている行動推定モデルそれぞれと照合し、一致度合いが最も大きな前記行動推定モデルに対応付けられた特定行動を推定行動として検出する行動推定手段と
を備えた行動推定装置であって、
前記特定行動の中で予め規定された少なくとも一つを確定行動とし、前記特徴点データと前記行動推定モデルとの照合とは異なる手法を用いて、前記乗員により確定行動が実施されていることを検出する確定行動検出手段と、
前記確定行動検出手段にて確定行動が実施されていることを検出している期間に前記特徴点検出手段にて検出された特徴点データを行動時特徴点とし、前記確定行動に対応する行動推定モデルを確定行動推定モデルとし、前記確定行動推定モデルを形成する前記特徴点の位置または軌跡を、前記行動時特徴点に従って変更することにより、新たな確定行動推定モデルを生成する確定行動モデル生成手段と、
前記特定行動の中で前記確定行動以外の特定行動を非確定行動とし、前記非確定行動に対応する行動推定モデルを非確定行動推定モデルとし、前記非確定行動推定モデルを形成する前記特徴点の位置または軌跡と前記確定行動を実施している時の特徴点の位置または軌跡との予め規定された対応関係に基づいて、前記行動時特徴点を用いて、新たな非確定行動推定モデルを生成する非確定行動モデル生成手段と、
前記モデル格納手段に格納されている確定行動推定モデル及び非確定行動推定モデルを、前記確定行動モデル生成手段にて生成された確定行動推定モデル、及び前記非確定行動モデル生成手段にて生成された非確定行動推定モデルへと更新するモデル更新を実行するモデル更新手段と
を備えることを特徴とする行動推定装置。
【請求項２】
前記モデル更新手段は、
前記モデル格納手段に格納されている確定行動推定モデルを旧確定行動モデルとし、前記確定行動検出手段にて確定行動が実施されていることが次に検出されると、その確定行動についての前記行動時特徴点である次行動時特徴点を、その確定行動についての前記旧確定行動モデルに照合し、一致度合いを旧モデル一致度として導出する旧モデル照合手段と、
前記確定行動モデル生成手段で生成された新たな確定行動推定モデルに、前記次行動時特徴点を照合し、一致度合いを新モデル一致度として導出する新モデル照合手段と、
を備え、
前記新モデル照合手段で導出された新モデル一致度が前記旧モデル照合手段で導出された旧モデル一致度よりも高い場合、前記モデル更新を実行することを特徴とする請求項１に記載の行動推定装置。
【請求項３】
前記確定行動には、前記移動体内に搭載され予め規定された操作機器を操作する行動が含まれ、
前記確定行動検出手段は、
前記操作機器が操作されたことを表す操作信号を取得する操作信号取得手段を備え、
前記操作信号取得手段で取得された操作信号から前記確定行動が実施されていることを検出することを特徴とする請求項１または請求項２に記載の行動推定装置。
【請求項４】
前記特定行動のうち、乗員が実施すると前記移動体の操縦に悪影響を及ぼす可能性のある行動を危険行動とし、
前記推定行動検出手段で検出された推定行動が前記危険行動であれば、前記移動体を安全に操縦させるための安全制御を実行する安全制御手段
を備えることを特徴とする請求項１ないし請求項３のいずれかに記載の行動推定装置。
【請求項５】
コンピュータを、請求項１ないし請求項４のいずれかに記載の行動推定装置を構成する各手段として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図９】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図９】
【図７】
【図８】
【公開番号】特開２０１０−１５２４８７（Ｐ２０１０−１５２４８７Ａ）
【公開日】平成２２年７月８日（２０１０．７．８）
【国際特許分類】
【出願番号】特願２００８−３２７６０７（Ｐ２００８−３２７６０７）
【出願日】平成２０年１２月２４日（２００８．１２．２４）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２２年７月８日（２０１０．７．８）
【国際特許分類】
【出願日】平成２０年１２月２４日（２００８．１２．２４）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]