人検出装置および人検出方法
【課題】人の部位の状態を画像から推定することができる人検出装置を提供すること。
【解決手段】人検出装置１００は、評価画像から人の所定の外形を取得する評価部４３０と、人の所定の外形と人の所定の部位の状態との関係を示す推定モデルに基づいて、評価画像から取得された所定の外形から、評価画像に含まれる人の所定の部位の状態を推定する肩位置計算部４４０および向き推定部５００とを有する。所定の外形は、例えば、人の頭部および肩部の外形の全部または一部の形状および位置であり、所定の部位の状態は、例えば、肩部の位置および向きである、
【解決手段】人検出装置１００は、評価画像から人の所定の外形を取得する評価部４３０と、人の所定の外形と人の所定の部位の状態との関係を示す推定モデルに基づいて、評価画像から取得された所定の外形から、評価画像に含まれる人の所定の部位の状態を推定する肩位置計算部４４０および向き推定部５００とを有する。所定の外形は、例えば、人の頭部および肩部の外形の全部または一部の形状および位置であり、所定の部位の状態は、例えば、肩部の位置および向きである、
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から人を検出する人検出装置および人検出方法に関する。
【背景技術】
【０００２】
近年、カメラの撮影画像を利用した人の検出に関する研究が行われている。特に、人の頭部と肩部の外形が人に特徴的な形状であることから、この外形のエッジベースの特徴量を用いて人検出を行うことが注目されている。人の頭部と肩部の外形は、ギリシャ文字のオメガ（Ω）記号に似ていることから、オメガ図形あるいはオメガ形状等と呼ばれる。
【０００３】
非特許文献記載の技術（以下「従来技術」という）は、オメガ形状に着目して画像からの人検出を行う。従来技術は、Ｒｅａｌ ＡｄａＢｏｏｓｔ等のＢｏｏｓｔｉｎｇ手法を用いて、数千枚から数万枚のサンプル画像からオメガ形状を含む画像の特徴量の傾向を学習する。そして、従来技術は、この学習により、オメガ形状を含む画像と含まない画像とを分類する検出器を生成する。特徴量としては、例えば、ＨｏＧ（histogram of gradient）特徴量、Ｓｐａｒｓｅ特徴量、およびＨａａｒ特徴量が用いられる。学習方法としては、例えば、Ｂｏｏｓｔｉｎｇ手法、ＳＶＭ（サポートベクタマシン）、およびニューラルネットワーク等が用いられる。このような従来技術によれば、低次元の情報に基づき、少ない処理負荷で、画像のどこに人の頭部および肩部の画像が位置するかを判定することができる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】三井相和、山内悠嗣、藤吉弘宣著、「Ｊｏｉｎｔ Ｈｏｇ特徴を用いた２段階Ａｄａｂｏｏｓｔによる人検出」、第１４回画像センシングシンポジウム、２００８年、ＳＳＩＩ０８、ＩＮ１−０６
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、監視カメラの画像から不審者を検出したり、工場の撮影画像から作業者の動作を解析しようとする場合、人の姿勢や動作等を画像から自動で検出可能であることが望ましい。このような自動検出を行うためには、肩部の位置および向きや、肩部に対する頭部の傾き等、人の身体の部位の状態を画像から推定する必要がある。
【０００６】
しかしながら、従来技術では、人の頭部および肩部の位置は推測することができても、上述の部位の状態を推定することはできない。
【０００７】
本発明の目的は、人の部位の状態を画像から推定することができる人検出装置および人検出方法を提供することである。
【課題を解決するための手段】
【０００８】
本発明の人検出装置は、評価画像から人の所定の外形を取得する評価部と、人の前記所定の外形と前記人の所定の部位の状態との関係を示す推定モデルに基づいて、前記評価画像から取得された前記所定の外形から、前記評価画像に含まれる人の前記所定の部位の状態を推定する推定部とを有する。
【０００９】
本発明の人検出方法は、評価画像から人の所定の外形を取得するステップと、人の前記所定の外形と前記人の所定の部位の状態との関係を示す推定モデルに基づいて、前記評価画像から取得された前記所定の外形から、前記評価画像に含まれる人の前記所定の部位の状態を推定するステップとを有する。
【発明の効果】
【００１０】
本発明によれば、人の部位の状態を画像から推定することができる。
【図面の簡単な説明】
【００１１】
【図１】本実施の形態に係る人検出装置の構成を示すブロック図
【図２】本実施の形態に係る人検出装置の動作の一例を示すフローチャート
【図３】本実施の形態における操作画面の一例を示す図
【図４】本実施の形態における全オメガ特徴量生成処理の一例を示すフローチャート
【図５】本実施の形態におけるオメガ形状のイメージの一例を示す図
【図６】本実施の形態におけるオメガ候補点に設定される識別番号の一例を示す図
【図７】本実施の形態におけるオメガ形状のイメージの他の例を示す図
【図８】本実施の形態における処理内容表示領域の状態の変化の一例を示す図
【図９】本実施の形態におけるオメガ候補点および画像座標系の一例を示す図
【図１０】本実施の形態におけるオメガ候補点情報の構成の一例を示す図
【図１１】本実施の形態におけるオメガ特徴量の構成の一例を示す図
【図１２】本実施の形態における肩候補点情報の構成の一例を示す図
【図１３】本実施の形態における肩位置特徴量の構成の一例を示す図
【図１４】本実施の形態における全オメガ特徴量の構成の一例を示す図
【図１５】本実施の形態における主成分一覧表の構成の一例を示す図
【図１６】本実施の形態における主成分スコア一覧表の構成の一例を示す図
【図１７】本実施の形態における主成分スコア指定範囲一覧表の構成の一例を示す図
【図１８】画像マッチング処理の一例を示すフローチャート
【図１９】本実施の形態におけるサンプルオメガ画像の生成の様子の一例を示す図
【図２０】本実施の形態におけるサンプルオメガ画像一覧表の構成の一例を示す図
【図２１】本実施の形態における検出窓の走査の様子の一例を示す図
【図２２】本実施の形態におけるマッチング結果一覧表の構成の一例を示す図
【図２３】本実施の形態における影響度一覧表の構成の一例を示す図
【発明を実施するための形態】
【００１２】
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。本実施の形態は、本発明を、画像から、オメガ形状を用いて人の肩部の位置および向きを推定する装置に適用した例である。
【００１３】
図１は、本実施の形態に係る人検出装置の構成を示すブロック図である。
【００１４】
図１において、人検出装置１００は、操作制御部２００、肩位置推定モデル生成部３００、肩位置推定部４００、および向き推定部５００を有する。
【００１５】
操作制御部２００は、人検出装置１００をユーザが操作するための操作画面を提供し、ユーザの操作内容を他の各部へ通知すると共に、向き推定部５００から入力される後述の評価結果画像を表示して、推定結果をユーザに提示する。
【００１６】
肩位置推定モデル生成部３００は、サンプル画像におけるオメガ形状（人の所定の外形）および肩部の位置（人の所定の部位の状態）を取得し、オメガ形状と肩部の位置との関係を示す肩位置推定モデルを生成する。肩位置推定モデル生成部３００は、サンプル画像格納部３１０、オメガ特徴生成部３２０、オメガ特徴格納部３３０、および肩位置推定モデル格納部３４０を有する。
【００１７】
サンプル画像格納部３１０は、肩位置推定モデルを生成するための、オメガ形状を含むサンプル画像（Ｎ枚）を格納する。
【００１８】
オメガ特徴生成部３２０は、サンプル画像格納部３１０に格納されたサンプル画像から全オメガ特徴量を抽出し、抽出した全オメガ特徴量を肩位置推定モデル格納部３４０へ出力する。全オメガ特徴量とは、サンプル画像毎にオメガ特徴量と肩位置特徴量とを対応付けた情報である。オメガ特徴量とは、オメガ形状の特徴を表す情報である。肩位置特徴量とは、オメガ形状の位置に対する肩部の相対的な位置（以下「肩位置」という）を表す情報である。
【００１９】
オメガ特徴格納部３３０は、入力された全オメガ特徴量に対して主成分分析を行い、主成分一覧表および主成分スコア一覧表を生成して保持する。主成分一覧表とは、全オメガ特徴量の主成分を記述する情報である。主成分スコア一覧表とは、サンプル画像毎に、各主成分のスコアを記述する情報である。また、オメガ特徴格納部３３０は、主成分スコア指定一覧表を生成して保持する。主成分スコア指定一覧表とは、主成分毎に、指定されたスコアの範囲を記述する情報である。また、オメガ特徴格納部３３０は、入力された全オメガ特徴量を、肩位置推定モデル格納部３４０へ出力する。また、主成分一覧表、主成分スコア一覧表、および主成分スコア指定一覧表は、以下、「オメガ生成情報」と総称する。
【００２０】
肩位置推定モデル格納部３４０は、入力された全オメガ特徴量から、オメガ形状と肩部の位置との関係を示す肩位置推定モデルを生成して保持する。具体的には、肩位置推定モデル格納部３４０は、肩位置特徴量（Ｎ行）を目的変数に、オメガ特徴量（Ｎ行）を説明変数にした重回帰分析を行って得られる回帰係数行列を、肩位置推定モデルとして保持する。
【００２１】
肩位置推定部４００は、評価画像からオメガ形状（人の外形）を取得し、取得したオメガ形状から、肩位置推定モデルに基づいて、評価画像に含まれる人の肩部の位置（人の部位の状態）を推定する。肩位置推定部４００は、評価画像格納部４１０、オメガ生成部４２０、評価部４３０、および肩位置計算部４４０を有する。
【００２２】
評価画像格納部４１０は、人を検出する対象となる評価画像を格納する。本実施の形態では、評価画像は、カメラ等により撮影された画像のエッジ部分を抽出した、エッジ画像であるものとする。
【００２３】
オメガ生成部４２０は、オメガ特徴格納部３３０が保持するオメガ生成情報から、オメガ画像を生成し、生成したオメガ画像を評価部４３０へ出力する。オメガ画像とは、オメガ形状を画像として復元した画像である。本実施の形態では、オメガ生成部４２０は、オメガ生成情報のうち採用する値の組み合わせを変えることにより、複数の異なるタイプのオメガ形状を復元するものとする。以下、オメガ生成情報から復元されたオメガ形状は「サンプルオメガ形状」といい、サンプルオメガ形状を含む画像は「サンプルオメガ画像」といい、サンプルオメガ形状の特徴を示すオメガ特徴量は「サンプルオメガ特徴量」という。
【００２４】
評価部４３０は、入力されるサンプルオメガ画像と評価画像とのエッジマッチングにより、評価画像と各サンプルオメガ画像との類似度を評価する。そして、評価部４３０は、評価画像に類似するサンプルオメガ画像のサンプルオメガ特徴量を、評価画像に含まれるオメガ形状のオメガ特徴量として取得し、取得したオメガ特徴量を肩位置計算部４４０へ出力する。以下、評価画像から得られたオメガ形状は「評価オメガ形状」といい、評価画像から得られたオメガ特徴量は「評価オメガ特徴量」という。
【００２５】
肩位置計算部４４０は、肩位置推定モデル格納部３４０が保持する肩位置推定モデルを用いて、入力された評価オメガ特徴量から肩位置特徴量を推定し、推定した肩位置特徴量を、向き推定部５００へ出力する。以下、評価オメガ特徴量から推定される肩位置特徴量は、「評価肩位置特徴量」という。評価肩位置特徴量は、評価画像に含まれる人の肩位置を示す情報となる。
【００２６】
向き推定部５００は、入力された評価肩位置特徴量から、評価画像に含まれる人の肩部の向き（以下「肩向き」という）を推定する。そして、向き推定部５００は、評価画像格納部４１０から評価画像を取得し、肩位置および肩向き（人の部位の状態）を示す画像を評価画像に重畳した評価結果画像を生成し、操作制御部２００へ出力する。
【００２７】
なお、人検出装置１００は、例えば、通信機能を有するコンピュータシステム（パーソナルコンピュータやワークステーション等）により構成されている。このコンピュータシステムは、図示しないが、大別して、入力装置、コンピュータ本体、出力装置、および通信装置を有する。入力装置は、例えば、キーボードやマウス等である。出力装置は、例えば、ディスプレイやプリンタ等である。通信装置は、例えば、ＩＰネットワークと接続可能な通信インタフェース等である。コンピュータ本体は、例えば、主に、ＣＰＵ（central processing unit）と記憶装置で構成されている。ＣＰＵは、制御機能と演算機能を有する。記憶装置は、例えば、プログラムやデータを記憶するＲＯＭ（read only memory）と、データを一時的に記憶するＲＡＭ（random access memory）とを有する。ＲＯＭは、電気的に内容の書き直しが可能なフラッシュメモリであってもよい。
【００２８】
このような人検出装置１００は、オメガ形状と肩位置との関係を示す肩位置推定モデルを用いるので、評価画像に含まれる人の肩位置および肩向きを、評価画像から推定することができる。
【００２９】
次に、人検出装置１００の動作について説明する。
【００３０】
図２は、人検出装置１００の動作の一例を示すフローチャートである。
【００３１】
ステップＳ１０００において、操作制御部２００は、操作画面を生成し、液晶ディスプレイ等の出力装置に表示する。
【００３２】
図３は、操作画面の一例を示す図である。
【００３３】
図３に示すように、操作画面６１０は、「モデル生成準備」ボタン６１１、「モデル生成」ボタン６１２、「評価」ボタン６１３、「終了」ボタン６１４、モデル生成準備ボタン配置領域６１５、および、処理内容表示領域６１６を有する。また、モデル生成準備ボタン配置領域６１５は、「サンプル画像選択」ボタン６１７、「オメガ形状生成」ボタン６１８、「基準点設定」ボタン６１９、「右肩位置設定」ボタン６２０、「左肩位置設定」ボタン６２１、「オメガ形状生成完了」ボタン６２２を有する。
【００３４】
「モデル生成準備」ボタン６１１、「モデル生成」ボタン６１２、「評価」ボタン６１３、および「終了」ボタン６１４は、常に押下が可能となっている。但し、「モデル生成準備」ボタン６１１は、サンプル画像が用意されていない場合には押下できないようになっていても良い。また、「モデル生成」ボタン６１２は、オメガ生成情報が用意されていない場合には押下できないようになっていても良い。また、「評価」ボタン６１３は、肩位置推定モデルおよび評価画像が用意されていない場合には押下できないようになっていても良い。
【００３５】
また、モデル生成準備ボタン配置領域６１５に配置されたボタン６１７〜６２２は、「モデル生成準備」ボタン６１１が押下されてから、ボタン６１２〜６１４のいずれかが押下されるまでの間のみ、押下可能となっている。
【００３６】
「モデル生成準備」ボタン６１１は、ユーザがオメガ生成情報の生成を指示するためのボタンである。操作制御部２００は、「モデル生成準備」ボタン６１１が押下される毎に、肩位置推定モデル生成部３００に対して、「モデル生成準備依頼」を通知する。
【００３７】
「モデル生成」ボタン６１２は、ユーザが肩位置推定モデルの生成を指示するためのボタンである。操作制御部２００は、「モデル生成」ボタン６１２が押下される毎に、肩位置推定モデル生成部３００に対して、「モデル生成依頼」を通知する。
【００３８】
「評価」ボタン６１３は、ユーザが評価画像に対する評価とその評価結果（肩位置および肩向き）の出力とを指示するためのボタンである。操作制御部２００は、「評価」ボタン６１３が押下される毎に、肩位置推定部４００に対して、「評価依頼」を通知する。
【００３９】
「終了」ボタン６１４は、ユーザが一連の処理の終了を指示するためのボタンである。操作制御部２００は、「終了」ボタン６１４が押下されると、肩位置推定モデル生成部３００および肩位置推定部４００に対して、「終了」を通知する。
【００４０】
処理内容表示領域６１６は、処理の進捗あるいは処理結果を示す文字列や図形、肩位置推定モデル生成部３００および向き推定部５００から入力される画像等を、処理内容表示領域６１６に表示する。そして、操作制御部２００は、処理内容表示領域６１６の各位置に対するポインティング操作を、ポインタ操作等により受け付ける。また、操作制御部２００は、モデル生成準備ボタン配置領域６１５の各ボタン６１７〜６２２が押下される毎に、どのボタンが押下されたかを示す情報を、肩位置推定モデル生成部３００および肩位置推定部４００へ通知する。この際、操作制御部２００は、必要な場合には、どの位置にポインティングがされているかを示す情報についても、肩位置推定モデル生成部３００および肩位置推定部４００へ通知する。
【００４１】
そして、図２のステップＳ２０００において、オメガ特徴生成部３２０は、「モデル生成準備」ボタン６１１が押下されたか否か、つまり、「モデル生成準備依頼」が通知されたか否かを判断する。オメガ特徴生成部３２０は、「モデル生成準備」ボタン６１１が押下された場合には（Ｓ２０００：ＹＥＳ）、ステップＳ３０００へ進む。また、オメガ特徴生成部３２０は、「モデル生成準備」ボタン６１１が押下されていない場合には（Ｓ２０００：ＮＯ）、ステップＳ４０００へ進む。
【００４２】
ステップＳ３０００において、人検出装置１００は、全オメガ特徴量生成処理を行う。
【００４３】
図４は、全オメガ特徴量生成処理の一例を示すフローチャートである。
【００４４】
まず、ステップＳ３０１０において、オメガ特徴生成部３２０は、「サンプル画像選択」ボタン６１７の押下が操作制御部２００から通知されるのを待機する。オメガ特徴生成部３２０は、「サンプル画像選択」ボタン６１７の押下が通知されると（Ｓ３０１０：ＹＥＳ）、ステップＳ３０２０へ進む。
【００４５】
ステップＳ３０２０において、オメガ特徴生成部３２０は、サンプル画像選択画面のデータを操作制御部２００へ出力し、サンプル画像選択画面を処理内容表示領域６１６に表示させる。サンプル画像選択画面は、サンプル画像格納部３１０に格納されたサンプル画像の中から、オメガ生成情報の生成に用いるサンプル画像の選択をユーザから受け付ける画面である。サンプル画像選択画面は、例えば、各サンプル画像のサムネイルやファイル名等の属性を選択肢として表示する。
【００４６】
そして、ステップＳ３０３０において、オメガ特徴生成部３２０は、「オメガ形状生成」ボタン６１８の押下および選択されたサンプル画像を示す情報が操作制御部２００から通知されるのを待機する。オメガ特徴生成部３２０は、「オメガ形状生成」ボタン６１８の押下および選択されたサンプル画像を示す情報が通知されると（Ｓ３０３０：ＹＥＳ）、ステップＳ３０４０へ進む。
【００４７】
ステップＳ３０４０において、オメガ特徴生成部３２０は、選択されたサンプル画像を含むオメガ形状生成画面のデータを操作制御部２００へ出力し、オメガ形状生成画面を処理内容表示領域６１６に表示させる。オメガ形状生成画面は、サンプル画像に対するオメガ形状の設定をユーザから受け付ける画面である。本実施の形態では、オメガ形状の設定は、オメガ形状を構成するオメガ候補点の位置を設定することにより行われるものとする。
【００４８】
図５は、オメガ形状のイメージの一例を示す図である。
【００４９】
図５に示すように、人検出装置１００は、人の頭部および肩部の外形を示すオメガ形状６３０を、複数の点６３１の位置として取り扱うものとする。隣り合う点６３１の間を直線６３２により接続したとき、全体の直線６３２は、人の頭部および肩部の外形に近似する。
【００５０】
オメガ形状６３０は、主に頭部の外形を表現する部分（以下「球部」という）６３３と、主に肩部の外形を表現する部分（以下「翼部」という）６３４から構成される。また、多くの場合、球部６３３と翼部６３４の境界にはくびれ部６３５が存在することが多い。すなわち、オメガ形状６３０は、特徴的な形状をしている。
【００５１】
オメガ特徴生成部３２０は、オメガ形状６３０を構成する点６３１に、隣り合う順序に対応した識別番号を設定する。以下、サンプル画像に対してユーザから設定を受け付けるオメガ形状６３０を構成する点は、「オメガ候補点」という。すなわち、オメガ候補点とは、ユーザによって設定される、人の頭部から肩部にかけてのエッジライン上に点在する点のことである。
【００５２】
図６は、オメガ候補点に設定される識別番号の一例を示す図である。図６では、人が手前側を向いており、人の右肩が紙面の左側に位置している場合の例を示す。
【００５３】
図６に示すように、オメガ特徴生成部３２０は、人の右肩側の端部に位置するオメガ候補点から順に、１から昇順の整数を、識別番号として設定する。オメガ候補点の個数はｍ個（固定）とする。本実施の形態では、説明の便宜上、ｍ＝２０とする。
【００５４】
なお、オメガ形状６３０は、頭部および肩部の外形の一部でも良く、例えば、図７に示すように、図５で説明した翼部６３４とくびれ部６３５に対応する部分のみをオメガ形状６３０として取り扱っても良い。
【００５５】
オメガ形状生成画面は、選択されたサンプル画像に移動および変形可能な標準の形状を有するオメガ図形を表示し、ユーザから、ユーザが目視で標準のオメガ図形をサンプル画像に含まれる実際のオメガ形状に合わせる操作を受け付ける。
【００５６】
図８は、処理内容表示領域６１６の状態の変化の一例を示す図である。
【００５７】
まず、オメガ形状生成画面６４０は、図８（Ａ）に示すように、オメガ形状（人の頭部および肩部の外形のエッジライン）６４１が含まれるエッジ画像であるサンプル画像を表示する。そして、オメガ形状生成画面６４０は、図８（Ｂ）に示すように、オメガ図形６４２をサンプル画像に重畳させて表示する。ユーザは、ポインタ操作等により、オメガ図形６４２を構成する丸点を、サンプル画像のオメガ形状６４１上に移動させて、図８（Ｃ）に示すように、オメガ図形６４２の形状をオメガ形状に合わせる。
【００５８】
本実施の形態では、肩部の外形のエッジライン上にａ個のオメガ候補点が設定され、頭部の外形のエッジライン上にｂ個のオメガ候補点が設定される場合、オメガ候補点の総数ｍは、以下の式（１）で表される。
【数１】
【００５９】
例えば、オメガ図形６４２の設定ルールとして、ａ＝５、ｂ＝１０が規定される。この設定ルールは、最も左の点（識別番号１の点）を右肩の端部に、左から５番目の点（識別番号５の点）を首の右側に、最も右の点（識別番号２０の点）を左肩の端部に、右から５番目の点（識別番号１６の点）を首の左側に合わせる内容である。また、オメガ図形６４２の設定ルールとして、更に、これらの４つの点の間の点は、オメガ形状６４１上に等間隔で配置することが、予め定められているものとする。
【００６０】
そして、図４のステップＳ３０５０において、オメガ特徴生成部３２０は、「基準点設定」ボタン６１９の押下を示す情報が操作制御部２００から通知されるのを待機する。基準点とは、オメガ形状の各点の位置や肩位置の基準となる点である。オメガ特徴生成部３２０は、「基準点設定」ボタン６１９の押下を示す情報が通知されると（Ｓ３０５０：ＹＥＳ）、ステップＳ３０６０へ進む。
【００６１】
本実施の形態では、基準点の設定ルールとして、基準点が頭部の重心であることが予め定められているものとする。したがって、ユーザは、サンプル画像から人の頭部の重心を推定し、図８（Ｄ）に示すように、推定した位置に基準点６４３を設定する。基準点６４３は、例えば、ポインタを任意の位置に移動させて右クリック操作を行うことにより設定される。後述の肩位置の設定等も同様である。
【００６２】
ステップＳ３０６０において、オメガ特徴生成部３２０は、設定されたオメガ候補点および基準点の位置から、ユーザが設定したオメガ候補点の位置を示すオメガ候補点情報Ｃを生成する。そして、オメガ特徴生成部３２０は、基準点に対する各オメガ候補点の位置によりオメガ形状の特徴を表すオメガ特徴量Ｋを生成する。
【００６３】
図９は、オメガ候補点および基準点の位置を定義するために用いられる画像座標系の一例を示す図である。
【００６４】
図９に示すように、人検出装置１００は、例えば、サンプル画像６４６の画像上の左上を原点、横方向をｘ軸、縦方向をｙ軸とする座標系を用いて、オメガ候補点および基準点の位置を定義する。また、人検出装置１００は、点の方向を、ｙ軸に対する時計周りの角度θ（−π≦θ≦π）により定義する。
【００６５】
図１０は、オメガ候補点情報Ｃの構成の一例を示す図である。
【００６６】
図１０に示すように、オメガ候補点情報６５０（Ｃ）は、基準点およびオメガ候補点毎に、その点の識別情報６５１に対応付けて、位置６５２を記述する。
【００６７】
図１１は、オメガ特徴量Ｋの構成の一例を示す図である。
【００６８】
図１１に示すように、オメガ特徴量６６０（Ｋ）は、オメガ候補点毎に、その点の識別情報６６１に対応付けて、基準点からの距離（基準点を中心とする半径）６６２と、基準点からみた方向（基準点とオメガ候補点とを結ぶ線のｙ軸に対する角度）６６３とを記述する。これらの値は、オメガ候補点情報Ｃから算出することができる。
【００６９】
すなわち、オメガ特徴量Ｋは、オメガ候補点を２次元データｋ＝（Ｒ，θ）で表現したものの集合であり、２ｍ次元のデータＫ＝（ｋ１,ｋ２,・・・,ｋｍ）である。なお、オメガ特徴量Ｋの内容はこれに限定されるものではなく、例えば、基準点からのｘ軸方向の距離およびｙ軸方向の距離の集合であっても良い。
【００７０】
ここまでの処理により、サンプル画像１枚に対して、１つのオメガ特徴量Ｋが得られる。
【００７１】
そして、図４のステップＳ３０７０において、オメガ特徴生成部３２０は、「右肩位置設定」ボタン６２０の押下を示す情報が操作制御部２００から通知されるのを待機する。オメガ特徴生成部３２０は、「右肩位置設定」ボタン６２０の押下を示す情報が通知されると（Ｓ３０７０：ＹＥＳ）、ステップＳ３０８０へ進む。
【００７２】
ステップＳ３０８０において、オメガ特徴生成部３２０は、肩位置指定画面のデータを操作制御部２００へ出力し、肩位置指定画面を処理内容表示領域６１６に表示させる。肩位置指定画面は、サンプル画像に対する肩位置の設定をユーザから受け付ける画面である。
【００７３】
本実施の形態では、肩位置の設定ルールとして、肩位置を肩の関節の中心位置とすることが予め定められているものとする。したがって、ユーザは、サンプル画像から右肩の関節の中心位置を推定し、図８（Ｅ）に示すように、推定した位置に右肩位置６４４を設定する。
【００７４】
そして、図４のステップＳ３０９０において、オメガ特徴生成部３２０は、「左肩位置設定」ボタン６２１の押下を示す情報が操作制御部２００から通知されるのを待機する。オメガ特徴生成部３２０は、「左肩位置設定」ボタン６２１の押下を示す情報が通知されると（Ｓ３０９０：ＹＥＳ）、ステップＳ３１００へ進む。ユーザは、サンプル画像から左肩の関節の位置を推定し、図８（Ｆ）に示すように、推定した位置に左肩位置６４５を設定する。
【００７５】
そして、ステップＳ３１００において、オメガ特徴生成部３２０は、設定された右肩位置および左肩位置から、ユーザが設定した肩位置を示す肩候補点情報Ｒを生成する。そして、オメガ特徴生成部３２０は、基準点に対する各肩位置により肩位置の特徴を表す肩位置特徴量Ｑを生成する。
【００７６】
図１２は、肩候補点情報Ｒの構成の一例を示す図である。
【００７７】
図１２に示すように、肩候補点情報６７０（Ｒ）は、基準点および肩位置毎に、その点の識別情報６７１に対応付けて、位置６７２を記述する。
【００７８】
図１３は、肩位置特徴量Ｑの構成の一例を示す図である。
【００７９】
図１３に示すように、肩位置特徴量６８０（Ｑ）は、肩位置毎に、その点の識別情報６８１に対応付けて、基準点からの距離（基準点を中心とする半径）６８２と、基準点からみた方向（基準点と肩位置とを結ぶ線のｙ軸に対する角度）６８３とを記述する。これらの値は、肩候補点情報Ｒから算出することができる。
【００８０】
すなわち、肩位置特徴量Ｑは、肩位置を２次元データｑ＝（Ｒ，θ）で表現したものの集合であり、４次元のデータＱ＝（ｑ１,ｑ２）である。なお、肩位置特徴量Ｑの内容はこれに限定されるものではなく、例えば、基準点からのｘ軸方向の距離およびｙ軸方向の距離の集合であっても良い。
【００８１】
そして、図４のステップＳ３１１０において、オメガ特徴生成部３２０は、「オメガ形状生成完了」ボタン６２２の押下を示す情報が操作制御部２００から通知されるのを待機する。オメガ特徴生成部３２０は、「オメガ形状生成完了」ボタン６２２の押下を示す情報が通知されると（Ｓ３１１０：ＹＥＳ）、ステップＳ３１２０へ進む。
【００８２】
ステップＳ３１２０において、オメガ特徴生成部３２０は、オメガ特徴量Ｋと肩位置特徴量Ｑとを統合して、全オメガ特徴量を生成する。但し、オメガ特徴生成部３２０は、既に全オメガ特徴量が生成されている場合には、新たに生成したオメガ特徴量Ｋおよび肩位置特徴量Ｑを追記する形で、全オメガ特徴量を更新する。
【００８３】
そして、ステップＳ３１３０において、オメガ特徴生成部３２０は、Ｎ個のオメガ特徴量Ｋおよび肩位置特徴量Ｑの生成を完了し、全オメガ特徴量に記述したか否かを判断する。
【００８４】
オメガ特徴生成部３２０は、Ｎ個のオメガ特徴量Ｋおよび肩位置特徴量Ｑの生成をまだ完了していない場合には（Ｓ３１３０：ＮＯ）、ステップＳ３０１０へ戻り、未処理のサンプル画像に対する処理を行う。すなわち、ユーザは、サンプル画像格納部３１０に格納されたサンプル画像に対して、「サンプル画像選択」ボタン６１７の押下から、「オメガ形状生成完了」ボタン６２２の押下までの動作を、Ｎ回繰り返すことになる。
【００８５】
また、オメガ特徴生成部３２０は、Ｎ個のオメガ特徴量Ｋおよび肩位置特徴量Ｑの生成を完了した場合には（Ｓ３１３０：ＹＥＳ）、全オメガ特徴量をオメガ特徴格納部３３０へ出力して、図２の処理へ戻る。全オメガ特徴量は、オメガ特徴格納部３３０に保持される。
【００８６】
図１４は、オメガ特徴格納部３３０が保持する全オメガ特徴量の構成の一例を示す図である。
【００８７】
図１４に示すように、全オメガ特徴量６９０は、サンプル画像毎に、サンプル画像の識別情報６９１と、そのサンプル画像から生成されたオメガ特徴量６９２および肩位置特徴量６９３とを対応付けて記述する。また、オメガ特徴格納部３３０が保持する全オメガ特徴量６９０の行数は、Ｎとなる。
【００８８】
図２のステップＳ４０００において、オメガ特徴格納部３３０は、「モデル生成」ボタン６１２が押下されたか否か、つまり、「モデル生成依頼」が通知されたか否かを判断する。また、オメガ特徴格納部３３０は、保持する全オメガ特徴量があるか否かを判断する。全オメガ特徴量があるか否かは、例えば、過去に「モデル生成準備依頼」が通知されたか否かに基づいて判断することができる。
【００８９】
オメガ特徴格納部３３０は、「モデル生成」ボタン６１２が押下され、かつ、全オメガ特徴量がある場合には（Ｓ４０００：ＹＥＳ）、ステップＳ５０００へ進む。また、オメガ特徴格納部３３０は、「モデル生成」ボタン６１２が押下されていない、または、全オメガ特徴量がない場合には（Ｓ４０００：ＮＯ）、ステップＳ６０００へ進む。
【００９０】
ステップＳ５０００において、オメガ特徴格納部３３０は、オメガ生成情報を生成して保持しつつ、「肩位置推定モデル生成依頼」と全オメガ特徴量とを肩位置推定モデル格納部３４０へ出力する。肩位置推定モデル格納部３４０は、これを受けて、入力された全オメガ特徴量から肩位置推定モデルを生成して保持する。
【００９１】
具体的には、オメガ特徴格納部３３０は、全オメガ特徴量に対して主成分分析を適用し、第ｍ'主成分までの主成分ベクトルＰ＝（ｐ１，ｐ２，・・・,ｐｍ'）を算出する。また、オメガ特徴格納部３３０は、主成分ベクトルＰに対応した、第ｍ'主成分までの主成分スコアＳ＝（ｓ１，ｓ２，・・・,ｓｍ'）を算出する。ｍ'の値は、累積寄与率がａ％以上となる数に設定する。ａの値は、実験等により、処理負荷と推定精度とを考慮して定められる。
【００９２】
そして、オメガ特徴格納部３３０は、主成分Ｐを記述した主成分一覧表と、主成分スコアＳを記述した主成分スコア一覧表とを生成する。
【００９３】
図１５は、主成分一覧表の構成の一例を示す図である。
【００９４】
図１５に示すように、主成分一覧表７１０は、主成分７１１毎に、主成分値７１２（ｐ１，ｐ２，・・・,ｐｍ'）を記述する。
【００９５】
図１６は、主成分スコア一覧表の構成の一例を示す図である。
【００９６】
図１６に示すように、主成分スコア一覧表７２０は、画像ファイル７２１毎に、第１主成分のスコア７２２１〜第ｍ'主成分のスコア７２２ｍ'を記述する。
【００９７】
そして、オメガ特徴格納部３３０は、更に、主成分スコア一覧表７２０の列に相当する、第ｉ主成分（１≦ｉ≦ｍ'）に対する主成分スコアのうち、最大値と最小値を抽出する。そして、オメガ特徴格納部３３０は、各主成分のスコアの最大値および最小値、つまりスコアの範囲を記述した、主成分スコア指定範囲一覧表を生成して保持する。
【００９８】
図１７は、主成分スコア指定範囲一覧表の構成の一例を示す図である。
【００９９】
図１７に示すように、主成分スコア指定範囲一覧表７３０は、主成分７３１毎に、その主成分スコアの最大値７３２と最小値７３３とを記述する。
【０１００】
なお、オメガ特徴格納部３３０は、実際の最小値から最大値までの範囲ではなく、これよりも狭い範囲をスコアの範囲として、主成分スコア指定範囲一覧表７３０を作成しても良い。
【０１０１】
肩位置推定モデル格納部３４０は、全オメガ特徴量に含まれる肩位置特徴量Ｑ（Ｎ行）を目的変数とし、Ｎ行のオメガ特徴量Ｋ（Ｎ行）を説明変数として重回帰分析を行う。そして、肩位置推定モデル格納部３４０は、以下の式（２）を満たす回帰係数行列Ａを算出し、保持する。
【数２】
【０１０２】
そして、肩位置推定モデル格納部３４０は、算出した回帰係数行列Ａを、肩位置推定モデルとして保持する。なお、この際、肩位置推定モデル格納部３４０は、「モデル生成完了通知」を操作制御部２００へ出力して、処理内容表示領域６１６に「肩位置推定モデル生成完了」等の文字列を出力させるようにしても良い。
【０１０３】
そして、図２のステップＳ６０００において、評価部４３０は、「評価」ボタン６１３が押下されたか否か、つまり、「評価依頼」が通知されたか否かを判断する。また、評価部４３０は、肩位置推定モデル生成部３００に、保持されたオメガ生成情報および肩位置推定モデルがあるか否かを判断する。オメガ生成情報および肩位置推定モデルがあるか否かは、例えば、過去に「モデル生成依頼」が通知されたか否かに基づいて判断することができる。
【０１０４】
評価部４３０は、「評価」ボタン６１３が押下され、かつ、オメガ生成情報および肩位置推定モデルがある場合には（Ｓ６０００：ＹＥＳ）、ステップＳ７０００へ進む。また、評価部４３０は、「評価」ボタン６１３が押下されていない、または、オメガ生成情報および肩位置推定モデルがない場合には（Ｓ６０００：ＮＯ）、ステップＳ９０００へ進む。
【０１０５】
ステップＳ７０００において、人検出装置１００は、画像マッチング処理を行う。
【０１０６】
図１８は、画像マッチング処理の一例を示すフローチャートである。
【０１０７】
まず、ステップＳ７０１０において、評価部４３０は、評価画像格納部４１０から評価画像を取得し、オメガ生成部４２０へ「オメガ生成依頼」を通知する。オメガ生成部４２０は、これを受けて、オメガ特徴格納部３３０が保持するオメガ生成情報に基づいて、サンプルオメガ画像を生成し、保持する。
【０１０８】
但し、オメガ生成部４２０は、オメガ生成情報のうち、各主成分の主成分スコアとして採用する値の組み合わせを変えることにより、Ｈ個の異なるタイプのオメガ形状を復元する。Ｈの値は、実験等により、処理負荷と推定精度とを考慮して定められる。
【０１０９】
具体的には、オメガ生成部４２０は、主成分毎に主成分スコア指定範囲一覧表７３０（図１７参照）に記述された範囲内の値から成る主成分スコアＳｊ（ｊ＝１〜Ｈ）を生成する。なお、主成分スコアＳｊは、必ずしも、基のいずれかのサンプル画像の主成分スコアＳに一致するとは限らない。そして、オメガ生成部４２０は、選択した主成分スコアＳｊ毎に、例えば、以下の式（３）により、サンプルオメガ特徴量Ｖｊ（ｊ＝１〜Ｈ）を復元する。ここで、Ｖバーは、オメガ特徴量Ｋの平均（Ｎ次元）である。
【数３】
【０１１０】
なお、第ｆ主成分の主成分スコアＳｆの個数をＵｆと置くと、オメガ生成情報から復元し得るサンプルオメガ形状の総数Ｎｕｍは、以下の式（４）で表される。
【数４】
【０１１１】
そして、オメガ生成部４２０は、サンプルオメガ特徴量Ｖｊが示すサンプルオメガ形状を生成し、サンプルオメガ形状を含むサンプルオメガ画像を生成する。サンプルオメガ画像のサイズは、例えば基のサンプル画像と同一のサイズであり、ここでは、横ｗ画素×縦ｈ画素であるものとする。また、サンプルオメガ画像は、画像の左上端を原点とし、基準点を画像の中心（ｗ／２、ｈ／２）に置いて、サンプルオメガ特徴量Ｖｊが示す形状を描画した画像である。
【０１１２】
図１９は、サンプルオメガ画像の生成の様子の一例を示す図である。
【０１１３】
主成分スコアＳｊの値の組み合わせが変わると、図１９の矢印７４１に示すように、サンプルオメガ特徴量Ｖｊが示すサンプルオメガ形状７４２の形状が変わる。したがって、Ｈ個の異の異なる主成分スコアＳｊからは、図１９に示すように、Ｈ個のサンプルオメガ形状７４２１〜７４２Ｈが生成される。これらのサンプルオメガ形状７４２１〜７４２Ｈは、後述の処理により、１つずつ、評価画像７４３に含まれる評価オメガ形状７４４と比較されることになる。
【０１１４】
また、オメガ生成部４２０は、生成したサンプルオメガ画像と基のサンプルオメガ特徴量Ｖｊとを対応付けて記述するサンプルオメガ画像一覧表を生成し、保持する。
【０１１５】
図２０は、サンプルオメガ画像一覧表の構成の一例を示す図である。
【０１１６】
図２０に示すように、サンプルオメガ画像一覧表７５０は、サンプルオメガ画像の識別情報７５１に対応付けて、サンプルオメガ特徴量７５２を記述する。
【０１１７】
そして、オメガ生成部４２０は、サンプルオメガ画像一覧表７５０の作成を完了すると、「オメガ生成完了」を評価部４３０へ通知する。
【０１１８】
この通知を受けて、図１８のステップＳ７０２０において、評価部４３０は、オメガ生成部４２０が保持するサンプルオメガ画像のうち未選択のものを１つ選択する。
【０１１９】
そして、ステップＳ７０３０において、評価部４３０は、評価画像で検出窓を走査し、ある位置の検出窓によって切り出される切出し画像とサンプルオメガ画像とのエッジマッチングを評価する。
【０１２０】
図２１は、検出窓の走査の様子の一例を示す図である。
【０１２１】
図２１に示すように、評価部４３０は、サンプルオメガ画像と同じサイズ（横ｗ画素×縦ｈ画素）の検出窓７６１を、例えば、評価画像７４３の左上から右下にかけて走査する。そして、各位置において、検出窓７６１に囲まれた部分を切り出して得られる画像を、切出し画像７６２として取得する。ここでは、評価部４３０は、Ｌ個の切出し画像７６２を取得するものとする。
【０１２２】
そして、評価部４３０は、切出し画像７６２に含まれる評価オメガ形状に選択中のサンプルオメガ画像を重ねたときに、切出し画像７６２において、サンプルオメガ形状に対応する画素に、エッジを示す特徴が見られるか否かを判断する。すなわち、評価部４３０は、切出し画像７６２に、そのサンプルオメガ形状に近似する形状が同一の位置で含まれているか否かを判断する。
【０１２３】
具体的には、評価部４３０は、例えば、サンプルオメガ形状に対応する各画素について、切出し画像７６２の対応する部分におけるエッジの有無を判断する。そして、評価部４３０は、エッジ有りと判断された画素数をサンプルオメガ形状の総画素数で除した値を、マッチングスコアとして算出する。以下、このマッチングスコアを算出する処理は、エッジマッチング処理という。
【０１２４】
なお、例えば、人の肩関節の位置との相関は、肩の端部と頭頂部とでは異なる。そこで、肩位置計算部４４０は、最尤オメガ特徴量Ｋ'が示すオメガ形状の位置毎に、その位置が肩位置の推定に与える影響が異なるようにしても良い。この場合、肩位置計算部４４０は、例えば、最尤オメガ特徴量Ｋ'を定義する各点（以下「オメガ点という」）毎に、その点の肩位置推定への影響度を重みγとして記述した影響度一覧表を予め作成しておく。
【０１２５】
具体的には、以下の通りである。説明の便宜のため、まず、回帰係数行列Ａの１行目に｛α１、α２、α３、α４｝、２行目に｛β１、β２、β３、β４｝が格納されている場合を想定する。
【０１２６】
このとき、α１は、識別番号１のオメガ点の半径が右肩の半径の推定に与える影響度を意味している。α２は、識別番号１のオメガ点の半径が右肩の角度の推定に与える影響度を意味している。α３は、識別番号１のオメガ点の半径が左肩の半径の推定に与える影響度を意味している。そして、α４は、識別番号１のオメガ点の半径が左肩の角度の推定に与える影響度を意味している。
【０１２７】
同様に、β１は、識別番号１のオメガ点の角度が右肩の半径の推定に与える影響度を意味している。β２は、識別番号１のオメガ点の角度が右肩の角度の推定に与える影響度を意味している。β３は、識別番号１のオメガ点の角度が左肩の半径の推定に与える影響度を意味している。そして、β４は、識別番号１のオメガ点の角度が左肩の角度の推定に与える影響度を意味している。
【０１２８】
識別番号１のオメガ点の位置は、評価基準点に対する半径と角度との組によって表現される。したがって、肩位置推定モデル格納部３４０は、識別番号１のオメガ点が、右肩の半径の推定に与える影響度Ｅ１→ＲＲ、右肩の角度の推定に与える影響度Ｅ１→Ｒθ、左肩の半径の推定に与える影響度Ｅ１→ＬＲ、および左肩の角度の推定に与える影響度Ｅ１→Ｌθを、例えば、以下の式（５）〜（８）を用いて数値化する。
【数５】
【数６】
【数７】
【数８】
【０１２９】
肩位置推定モデル格納部３４０は、全てのオメガ点について、上述のように影響度を数値化し、影響度一覧表７８０を生成する。これにより、影響度の大きい点の選別が可能となる。
【０１３０】
肩位置推定モデル格納部３４０は、影響度一覧表に、各オメガ点の各影響度を格納する。そして、肩位置推定モデル格納部３４０は、右肩の半径の推定に与える影響度Ｅ１→ＲＲ〜Ｅ２０→ＲＲが中から、値が大きい上位Ｆ個のオメガ点を選択し、影響度一覧表において、そのオメガ点の重みスコアを１増やす。同様に、肩位置推定モデル格納部３４０は、右肩の角度、左肩の半径、および左肩の角度についても、影響度が大きいオメガ点の重みスコアを増加させる。そして、肩位置推定モデル格納部３４０は、各オメガ点の最終的な重みスコアの値を、両肩の推定に与える影響度（以下「重みγ」という）として決定する。なお、Ｆの値は、実験等により、処理負荷と推定精度とを考慮して定められる。
【０１３１】
図２３は、影響度一覧表の構成の一例を示す図である。
【０１３２】
図２３に示すように、影響度一覧表７８０は、オメガ点識別情報７８１に対応付けて、右肩半径への影響度７８２、右肩角度への影響度７８３、左肩半径への影響度７８４、左肩角度への影響度７８５、および重み７８６を記述する。
【０１３３】
そして、評価部４３０は、エッジマッチングを評価する際に、影響度一覧表７８０の重みγを、重み付け計算のパラメータとして活用する。具体的には、評価部４３０は、オメガ点毎に、そのオメガ点の近傍のエッジの有無を数値化した値に対してそのオメガ点の重みγを乗じて、マッチングスコアの計算を行う。
【０１３４】
このような重み付けを行うことにより、特に肩推定に相関の高い部分を重視したマッチングを行うことが可能となり、推定精度を向上させることができる。
【０１３５】
図１８のステップＳ７０４０において、評価部４３０は、Ｌ個の切出し画像に対するエッジマッチング処理が完了したか否かを判断する。評価部４３０は、Ｌ個の切出し画像に対するエッジマッチング処理がまだ完了していない場合には（Ｓ７０４０：ＮＯ）、ステップＳ７０３０へ戻り、次の検出窓７６１の位置における切出し画像に対するエッジマッチング処理を行う。
【０１３６】
また、Ｌ個の切出し画像に対するエッジマッチング処理が完了した場合には（Ｓ７０４０：ＹＥＳ）、得られたＬ個のマッチングスコアの最大値ＭＳｊを取得する。そして、評価部４３０は、サンプルオメガ画像毎に、マッチングスコアの最大値ＭＳｊと、その最大値ＭＳｊが得られた切出し画像の切出し位置Ｃｊとを記述した、マッチング結果一覧表を作成する。但し、評価部４３０は、既にマッチング結果一覧表が生成されている場合には、新たに得られたマッチングスコアの最大値ＭＳｊを追記する形で、マッチング結果一覧表を更新する。
【０１３７】
図２２は、マッチング結果一覧表の構成の一例を示す図である。
【０１３８】
図２２に示すように、マッチング結果一覧表７７０は、サンプルオメガ画像毎に、サンプルオメガ画像の識別情報７７１に対応付けて、マッチングスコアが最大値となった切出し画像の切出し位置７７２およびそのマッチングスコア７７３を記述する。切出し位置７７２は、例えば、検出窓の左上端部の評価画像における位置を示す情報である。
【０１３９】
そして、図１８のステップＳ７０５０において、評価部４３０は、Ｈ個のサンプルオメガ画像に対して処理を完了したか否かを判断する。すなわち、評価部４３０は、Ｈ個のサンプルオメガ画像について、マッチングスコアが最大値となった切出し位置７７２とそのマッチングスコア７７３とを、マッチング結果一覧表７７０に記述したか否か（図２２参照）を判断する。
【０１４０】
評価部４３０は、Ｈ個のサンプルオメガ画像に対して処理をまだ完了していない場合には（Ｓ７０５０：ＮＯ）、ステップＳ７０２０へ戻り、次のサンプルオメガ画像を選択して処理を行う。
【０１４１】
また、評価部４３０は、Ｈ個のサンプルオメガ画像に対して処理を完了した場合には（Ｓ７０５０：ＹＥＳ）、マッチング結果一覧表７７０からマッチングスコアが最大値となったサンプルオメガ画像を特定する。そして、評価部４３０は、マッチングスコアが最大値となったサンプルオメガ画像のサンプルオメガ特徴量（以下「最尤オメガ特徴量」という）を肩位置計算部４４０へ出力し、「肩位置計算依頼」を肩位置計算部４４０へ通知して、図２の処理へ戻る。
【０１４２】
この通知を受けた肩位置計算部４４０は、図２のステップＳ８０００において、入力された最尤オメガ特徴量から、肩位置推定モデル格納部３４０が保持する肩位置推定モデルを用いて、評価画像に含まれる人の肩位置を推定する。そして、肩位置計算部４４０は、推定結果を、向き推定部５００へ出力する。向き推定部５００は、これを受けて、肩位置から評価画像に含まれる人の肩向きを推定する。
【０１４３】
具体的には、肩位置計算部４４０は、評価画像における最尤オメガ特徴量の基準点（以下「評価基準点」という）の位置を特定する。ここでは、上述の通り、サンプルオメガ形状は切出し位置の中心を基準点として描画されたので、評価基準点の位置は、切出し位置Ｃが（Ｘｃ，Ｙｃ）であるとき、（Ｘｃ＋ｗ／２、Ｙｃ＋ｈ／２）となる。
【０１４４】
また、肩位置計算部４４０は、肩位置推定モデルである回帰係数行列Ａを肩位置推定モデル格納部３４０から取得する。そして、肩位置計算部４４０は、例えば以下の式（９）のように、最尤オメガ特徴量Ｋ'を説明変数として回帰係数行列Ａを適用することにより、評価画像の評価肩位置特徴量Ｑ'を算出する。
【０１４５】
【数９】
【０１４６】
但し、「［ｕ］［ｖ］」がｕ行×ｖ列の２次元配列を意味するものとし、上述の通りオメガ形状がｍ＝２０個の点により定義されるものとすると、各値の構成は、Ｑ'：［１］［４］、Ｋ'：［１］［４０］、Ａ：［４０］［４］となる。また、算出された評価肩位置特徴量Ｑ'と評価基準点との組は、評価画像に含まれる人の右肩位置および左肩位置を示す情報となる。
【０１４７】
このようにして、右肩位置および左肩位置を算出すると、肩位置計算部４４０は、右肩位置（Ｓｈｘ１、Ｓｈｙ１）および左肩位置（Ｓｈｘ２、Ｓｈｙ２）を向き推定部５００へ出力して、「向き推定依頼」を向き推定部５００へ通知する。
【０１４８】
この通知を受けて、向き推定部５００は、右肩位置から左肩位置へと向かうベクトルに直交する水平なベクトルのうち、上方から見て時計回りに９０度回転の方向に相当するベクトルを、評価画像に含まれる人の肩向きＶｄとして算出する。更に、向き推定部５００は、右肩位置と左肩位置とを結ぶ線分の中点（（Ｓｈｘ１＋Ｓｈｘ２）／２、（Ｓｈｙ１＋Ｓｈｙ２）／２）を、肩中心位置Ｄとして算出する。
【０１４９】
向き推定部５００は、評価画像を評価画像格納部４１０から取得し、算出した右肩位置、左肩位置、肩中心位置、および向きベクトルを示す記号等を、評価画像に重畳して描画した評価結果画像の画像データを生成する。そして、向き推定部５００は、操作制御部２００に「向き推定完了通知」を通知すると共に、生成した評価結果画像の画像データを操作制御部２００へ出力して、評価結果画像を処理内容表示領域６１６に表示させる。
【０１５０】
そして、ステップＳ９０００において、操作制御部２００は、「終了」ボタン６１４が押下されたか否かを判断する。操作制御部２００は、「終了」ボタン６１４が押下されていない場合には、ステップＳ２０００へ戻る。また、操作制御部２００は、「終了」ボタン６１４が押下された場合には、操作画面６１０を消去すると共に、「終了」を肩位置推定モデル生成部３００および肩位置推定部４００へ通知する。この通知を受けて、肩位置推定モデル生成部３００および肩位置推定部４００は、動作を停止する。
【０１５１】
このような動作により、人検出装置１００は、肩位置推定モデルおよびオメガ生成情報を生成し、これらに基づいて、評価画像に含まれる人の肩位置および肩向きを、評価画像から推定することができる。
【０１５２】
以上説明したように、本実施の形態に係る人検出装置１００は、オメガ形状と肩位置との関係を示す肩位置推定モデルを用いるので、評価画像に含まれる人の肩位置および肩向きを、評価画像から推定することができる。また、人検出装置１００は、肩位置を推定することができるので、右肩下がりや左肩下がり等の姿勢の判定も可能となり、人の姿勢状態を推定する技術の発展に寄与することができる。
【０１５３】
すなわち、人検出装置１００は、従来技術のような局所特徴の共起性によってのみでは抽出することができないオメガ形状の全体特徴の抽出を可能とすることができる。したがって、人検出装置１００は、全体特徴が表現されなければ実現が難しい、オメガ形状と肩位置との相関性の活用を可能にすることができる。
【０１５４】
このような人検出装置１００は、例えば、動画像を記録し、記録した動画像から人の身体が向いている方向を解析するシステムに適用することができる。したがって、人検出装置１００は、街頭での異常行動検知や、店舗での購買行動分析、ドライバのわき見運転検知等に応用することができる。
【０１５５】
なお、以上説明した実施の形態では、人検出装置１００は、肩位置推定モデルの生成を、肩位置推定モデル格納部３４０において行ったが、オメガ特徴格納部３３０において行っても良い。
【０１５６】
また、人検出装置１００は、肩位置推定モデルを、重回帰分析ではなく全オメガ特徴量に対する主成分分析により生成しても良い。
【０１５７】
また、オメガ特徴格納部３３０は、オメガ特徴量Ｋ（４０次元×Ｎサンプル画像数）ではなく、全オメガ特徴量に含まれるオメガ特徴量Ｋと肩位置特徴量Ｑとをまとめたデータ（４４次元×Ｎサンプル画像数）に対して主成分分析を適用して、オメガ生成情報を生成しても良い。この場合には、オメガ生成情報から、オメガ形状に加えて両肩位置も復元可能となり、オメガ生成部４２０は、オメガ形状と両肩位置とを含んだサンプルオメガ画像を生成することができる。なお、評価部４３０は、マッチング評価時には、両肩位置を無視すれば良い。また、この場合、評価部４３０は、肩位置計算部４４０の機能を備えることができる。すなわち、評価部４３０は、マッチング評価が高いと判断したサンプルオメガ画像における両肩位置を、求めるべき両肩位置と推定することができる。
【０１５８】
また、人検出装置１００は、人の外形として、オメガ形状の全部または一部ではなく、手や足等、他の身体部位の外形を推定しても良い。また、人検出装置１００は、人の部位の状態として、肩位置および肩向きではなく、これらの一方のみや、手首の位置や前腕の伸びている方向等、他の状態を推定しても良い。すなわち、本発明は、人の外形と高い相関を有する各種の部位状態を推定する装置に適用することができる。
【産業上の利用可能性】
【０１５９】
本発明に係る人検出装置および人検出方法は、人の部位の状態を画像から推定することができる人検出装置および人検出方法として有用である。
【符号の説明】
【０１６０】
１００ 人検出装置
２００ 操作制御部
３００ 肩位置推定モデル生成部
３１０ サンプル画像格納部
３２０ オメガ特徴生成部
３３０ オメガ特徴格納部
３４０ 肩位置推定モデル格納部
４００ 肩位置推定部
４１０ 評価画像格納部
４２０ オメガ生成部
４３０ 評価部
４４０ 肩位置計算部
５００ 向き推定部
【技術分野】
【０００１】
本発明は、画像から人を検出する人検出装置および人検出方法に関する。
【背景技術】
【０００２】
近年、カメラの撮影画像を利用した人の検出に関する研究が行われている。特に、人の頭部と肩部の外形が人に特徴的な形状であることから、この外形のエッジベースの特徴量を用いて人検出を行うことが注目されている。人の頭部と肩部の外形は、ギリシャ文字のオメガ（Ω）記号に似ていることから、オメガ図形あるいはオメガ形状等と呼ばれる。
【０００３】
非特許文献記載の技術（以下「従来技術」という）は、オメガ形状に着目して画像からの人検出を行う。従来技術は、Ｒｅａｌ ＡｄａＢｏｏｓｔ等のＢｏｏｓｔｉｎｇ手法を用いて、数千枚から数万枚のサンプル画像からオメガ形状を含む画像の特徴量の傾向を学習する。そして、従来技術は、この学習により、オメガ形状を含む画像と含まない画像とを分類する検出器を生成する。特徴量としては、例えば、ＨｏＧ（histogram of gradient）特徴量、Ｓｐａｒｓｅ特徴量、およびＨａａｒ特徴量が用いられる。学習方法としては、例えば、Ｂｏｏｓｔｉｎｇ手法、ＳＶＭ（サポートベクタマシン）、およびニューラルネットワーク等が用いられる。このような従来技術によれば、低次元の情報に基づき、少ない処理負荷で、画像のどこに人の頭部および肩部の画像が位置するかを判定することができる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】三井相和、山内悠嗣、藤吉弘宣著、「Ｊｏｉｎｔ Ｈｏｇ特徴を用いた２段階Ａｄａｂｏｏｓｔによる人検出」、第１４回画像センシングシンポジウム、２００８年、ＳＳＩＩ０８、ＩＮ１−０６
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、監視カメラの画像から不審者を検出したり、工場の撮影画像から作業者の動作を解析しようとする場合、人の姿勢や動作等を画像から自動で検出可能であることが望ましい。このような自動検出を行うためには、肩部の位置および向きや、肩部に対する頭部の傾き等、人の身体の部位の状態を画像から推定する必要がある。
【０００６】
しかしながら、従来技術では、人の頭部および肩部の位置は推測することができても、上述の部位の状態を推定することはできない。
【０００７】
本発明の目的は、人の部位の状態を画像から推定することができる人検出装置および人検出方法を提供することである。
【課題を解決するための手段】
【０００８】
本発明の人検出装置は、評価画像から人の所定の外形を取得する評価部と、人の前記所定の外形と前記人の所定の部位の状態との関係を示す推定モデルに基づいて、前記評価画像から取得された前記所定の外形から、前記評価画像に含まれる人の前記所定の部位の状態を推定する推定部とを有する。
【０００９】
本発明の人検出方法は、評価画像から人の所定の外形を取得するステップと、人の前記所定の外形と前記人の所定の部位の状態との関係を示す推定モデルに基づいて、前記評価画像から取得された前記所定の外形から、前記評価画像に含まれる人の前記所定の部位の状態を推定するステップとを有する。
【発明の効果】
【００１０】
本発明によれば、人の部位の状態を画像から推定することができる。
【図面の簡単な説明】
【００１１】
【図１】本実施の形態に係る人検出装置の構成を示すブロック図
【図２】本実施の形態に係る人検出装置の動作の一例を示すフローチャート
【図３】本実施の形態における操作画面の一例を示す図
【図４】本実施の形態における全オメガ特徴量生成処理の一例を示すフローチャート
【図５】本実施の形態におけるオメガ形状のイメージの一例を示す図
【図６】本実施の形態におけるオメガ候補点に設定される識別番号の一例を示す図
【図７】本実施の形態におけるオメガ形状のイメージの他の例を示す図
【図８】本実施の形態における処理内容表示領域の状態の変化の一例を示す図
【図９】本実施の形態におけるオメガ候補点および画像座標系の一例を示す図
【図１０】本実施の形態におけるオメガ候補点情報の構成の一例を示す図
【図１１】本実施の形態におけるオメガ特徴量の構成の一例を示す図
【図１２】本実施の形態における肩候補点情報の構成の一例を示す図
【図１３】本実施の形態における肩位置特徴量の構成の一例を示す図
【図１４】本実施の形態における全オメガ特徴量の構成の一例を示す図
【図１５】本実施の形態における主成分一覧表の構成の一例を示す図
【図１６】本実施の形態における主成分スコア一覧表の構成の一例を示す図
【図１７】本実施の形態における主成分スコア指定範囲一覧表の構成の一例を示す図
【図１８】画像マッチング処理の一例を示すフローチャート
【図１９】本実施の形態におけるサンプルオメガ画像の生成の様子の一例を示す図
【図２０】本実施の形態におけるサンプルオメガ画像一覧表の構成の一例を示す図
【図２１】本実施の形態における検出窓の走査の様子の一例を示す図
【図２２】本実施の形態におけるマッチング結果一覧表の構成の一例を示す図
【図２３】本実施の形態における影響度一覧表の構成の一例を示す図
【発明を実施するための形態】
【００１２】
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。本実施の形態は、本発明を、画像から、オメガ形状を用いて人の肩部の位置および向きを推定する装置に適用した例である。
【００１３】
図１は、本実施の形態に係る人検出装置の構成を示すブロック図である。
【００１４】
図１において、人検出装置１００は、操作制御部２００、肩位置推定モデル生成部３００、肩位置推定部４００、および向き推定部５００を有する。
【００１５】
操作制御部２００は、人検出装置１００をユーザが操作するための操作画面を提供し、ユーザの操作内容を他の各部へ通知すると共に、向き推定部５００から入力される後述の評価結果画像を表示して、推定結果をユーザに提示する。
【００１６】
肩位置推定モデル生成部３００は、サンプル画像におけるオメガ形状（人の所定の外形）および肩部の位置（人の所定の部位の状態）を取得し、オメガ形状と肩部の位置との関係を示す肩位置推定モデルを生成する。肩位置推定モデル生成部３００は、サンプル画像格納部３１０、オメガ特徴生成部３２０、オメガ特徴格納部３３０、および肩位置推定モデル格納部３４０を有する。
【００１７】
サンプル画像格納部３１０は、肩位置推定モデルを生成するための、オメガ形状を含むサンプル画像（Ｎ枚）を格納する。
【００１８】
オメガ特徴生成部３２０は、サンプル画像格納部３１０に格納されたサンプル画像から全オメガ特徴量を抽出し、抽出した全オメガ特徴量を肩位置推定モデル格納部３４０へ出力する。全オメガ特徴量とは、サンプル画像毎にオメガ特徴量と肩位置特徴量とを対応付けた情報である。オメガ特徴量とは、オメガ形状の特徴を表す情報である。肩位置特徴量とは、オメガ形状の位置に対する肩部の相対的な位置（以下「肩位置」という）を表す情報である。
【００１９】
オメガ特徴格納部３３０は、入力された全オメガ特徴量に対して主成分分析を行い、主成分一覧表および主成分スコア一覧表を生成して保持する。主成分一覧表とは、全オメガ特徴量の主成分を記述する情報である。主成分スコア一覧表とは、サンプル画像毎に、各主成分のスコアを記述する情報である。また、オメガ特徴格納部３３０は、主成分スコア指定一覧表を生成して保持する。主成分スコア指定一覧表とは、主成分毎に、指定されたスコアの範囲を記述する情報である。また、オメガ特徴格納部３３０は、入力された全オメガ特徴量を、肩位置推定モデル格納部３４０へ出力する。また、主成分一覧表、主成分スコア一覧表、および主成分スコア指定一覧表は、以下、「オメガ生成情報」と総称する。
【００２０】
肩位置推定モデル格納部３４０は、入力された全オメガ特徴量から、オメガ形状と肩部の位置との関係を示す肩位置推定モデルを生成して保持する。具体的には、肩位置推定モデル格納部３４０は、肩位置特徴量（Ｎ行）を目的変数に、オメガ特徴量（Ｎ行）を説明変数にした重回帰分析を行って得られる回帰係数行列を、肩位置推定モデルとして保持する。
【００２１】
肩位置推定部４００は、評価画像からオメガ形状（人の外形）を取得し、取得したオメガ形状から、肩位置推定モデルに基づいて、評価画像に含まれる人の肩部の位置（人の部位の状態）を推定する。肩位置推定部４００は、評価画像格納部４１０、オメガ生成部４２０、評価部４３０、および肩位置計算部４４０を有する。
【００２２】
評価画像格納部４１０は、人を検出する対象となる評価画像を格納する。本実施の形態では、評価画像は、カメラ等により撮影された画像のエッジ部分を抽出した、エッジ画像であるものとする。
【００２３】
オメガ生成部４２０は、オメガ特徴格納部３３０が保持するオメガ生成情報から、オメガ画像を生成し、生成したオメガ画像を評価部４３０へ出力する。オメガ画像とは、オメガ形状を画像として復元した画像である。本実施の形態では、オメガ生成部４２０は、オメガ生成情報のうち採用する値の組み合わせを変えることにより、複数の異なるタイプのオメガ形状を復元するものとする。以下、オメガ生成情報から復元されたオメガ形状は「サンプルオメガ形状」といい、サンプルオメガ形状を含む画像は「サンプルオメガ画像」といい、サンプルオメガ形状の特徴を示すオメガ特徴量は「サンプルオメガ特徴量」という。
【００２４】
評価部４３０は、入力されるサンプルオメガ画像と評価画像とのエッジマッチングにより、評価画像と各サンプルオメガ画像との類似度を評価する。そして、評価部４３０は、評価画像に類似するサンプルオメガ画像のサンプルオメガ特徴量を、評価画像に含まれるオメガ形状のオメガ特徴量として取得し、取得したオメガ特徴量を肩位置計算部４４０へ出力する。以下、評価画像から得られたオメガ形状は「評価オメガ形状」といい、評価画像から得られたオメガ特徴量は「評価オメガ特徴量」という。
【００２５】
肩位置計算部４４０は、肩位置推定モデル格納部３４０が保持する肩位置推定モデルを用いて、入力された評価オメガ特徴量から肩位置特徴量を推定し、推定した肩位置特徴量を、向き推定部５００へ出力する。以下、評価オメガ特徴量から推定される肩位置特徴量は、「評価肩位置特徴量」という。評価肩位置特徴量は、評価画像に含まれる人の肩位置を示す情報となる。
【００２６】
向き推定部５００は、入力された評価肩位置特徴量から、評価画像に含まれる人の肩部の向き（以下「肩向き」という）を推定する。そして、向き推定部５００は、評価画像格納部４１０から評価画像を取得し、肩位置および肩向き（人の部位の状態）を示す画像を評価画像に重畳した評価結果画像を生成し、操作制御部２００へ出力する。
【００２７】
なお、人検出装置１００は、例えば、通信機能を有するコンピュータシステム（パーソナルコンピュータやワークステーション等）により構成されている。このコンピュータシステムは、図示しないが、大別して、入力装置、コンピュータ本体、出力装置、および通信装置を有する。入力装置は、例えば、キーボードやマウス等である。出力装置は、例えば、ディスプレイやプリンタ等である。通信装置は、例えば、ＩＰネットワークと接続可能な通信インタフェース等である。コンピュータ本体は、例えば、主に、ＣＰＵ（central processing unit）と記憶装置で構成されている。ＣＰＵは、制御機能と演算機能を有する。記憶装置は、例えば、プログラムやデータを記憶するＲＯＭ（read only memory）と、データを一時的に記憶するＲＡＭ（random access memory）とを有する。ＲＯＭは、電気的に内容の書き直しが可能なフラッシュメモリであってもよい。
【００２８】
このような人検出装置１００は、オメガ形状と肩位置との関係を示す肩位置推定モデルを用いるので、評価画像に含まれる人の肩位置および肩向きを、評価画像から推定することができる。
【００２９】
次に、人検出装置１００の動作について説明する。
【００３０】
図２は、人検出装置１００の動作の一例を示すフローチャートである。
【００３１】
ステップＳ１０００において、操作制御部２００は、操作画面を生成し、液晶ディスプレイ等の出力装置に表示する。
【００３２】
図３は、操作画面の一例を示す図である。
【００３３】
図３に示すように、操作画面６１０は、「モデル生成準備」ボタン６１１、「モデル生成」ボタン６１２、「評価」ボタン６１３、「終了」ボタン６１４、モデル生成準備ボタン配置領域６１５、および、処理内容表示領域６１６を有する。また、モデル生成準備ボタン配置領域６１５は、「サンプル画像選択」ボタン６１７、「オメガ形状生成」ボタン６１８、「基準点設定」ボタン６１９、「右肩位置設定」ボタン６２０、「左肩位置設定」ボタン６２１、「オメガ形状生成完了」ボタン６２２を有する。
【００３４】
「モデル生成準備」ボタン６１１、「モデル生成」ボタン６１２、「評価」ボタン６１３、および「終了」ボタン６１４は、常に押下が可能となっている。但し、「モデル生成準備」ボタン６１１は、サンプル画像が用意されていない場合には押下できないようになっていても良い。また、「モデル生成」ボタン６１２は、オメガ生成情報が用意されていない場合には押下できないようになっていても良い。また、「評価」ボタン６１３は、肩位置推定モデルおよび評価画像が用意されていない場合には押下できないようになっていても良い。
【００３５】
また、モデル生成準備ボタン配置領域６１５に配置されたボタン６１７〜６２２は、「モデル生成準備」ボタン６１１が押下されてから、ボタン６１２〜６１４のいずれかが押下されるまでの間のみ、押下可能となっている。
【００３６】
「モデル生成準備」ボタン６１１は、ユーザがオメガ生成情報の生成を指示するためのボタンである。操作制御部２００は、「モデル生成準備」ボタン６１１が押下される毎に、肩位置推定モデル生成部３００に対して、「モデル生成準備依頼」を通知する。
【００３７】
「モデル生成」ボタン６１２は、ユーザが肩位置推定モデルの生成を指示するためのボタンである。操作制御部２００は、「モデル生成」ボタン６１２が押下される毎に、肩位置推定モデル生成部３００に対して、「モデル生成依頼」を通知する。
【００３８】
「評価」ボタン６１３は、ユーザが評価画像に対する評価とその評価結果（肩位置および肩向き）の出力とを指示するためのボタンである。操作制御部２００は、「評価」ボタン６１３が押下される毎に、肩位置推定部４００に対して、「評価依頼」を通知する。
【００３９】
「終了」ボタン６１４は、ユーザが一連の処理の終了を指示するためのボタンである。操作制御部２００は、「終了」ボタン６１４が押下されると、肩位置推定モデル生成部３００および肩位置推定部４００に対して、「終了」を通知する。
【００４０】
処理内容表示領域６１６は、処理の進捗あるいは処理結果を示す文字列や図形、肩位置推定モデル生成部３００および向き推定部５００から入力される画像等を、処理内容表示領域６１６に表示する。そして、操作制御部２００は、処理内容表示領域６１６の各位置に対するポインティング操作を、ポインタ操作等により受け付ける。また、操作制御部２００は、モデル生成準備ボタン配置領域６１５の各ボタン６１７〜６２２が押下される毎に、どのボタンが押下されたかを示す情報を、肩位置推定モデル生成部３００および肩位置推定部４００へ通知する。この際、操作制御部２００は、必要な場合には、どの位置にポインティングがされているかを示す情報についても、肩位置推定モデル生成部３００および肩位置推定部４００へ通知する。
【００４１】
そして、図２のステップＳ２０００において、オメガ特徴生成部３２０は、「モデル生成準備」ボタン６１１が押下されたか否か、つまり、「モデル生成準備依頼」が通知されたか否かを判断する。オメガ特徴生成部３２０は、「モデル生成準備」ボタン６１１が押下された場合には（Ｓ２０００：ＹＥＳ）、ステップＳ３０００へ進む。また、オメガ特徴生成部３２０は、「モデル生成準備」ボタン６１１が押下されていない場合には（Ｓ２０００：ＮＯ）、ステップＳ４０００へ進む。
【００４２】
ステップＳ３０００において、人検出装置１００は、全オメガ特徴量生成処理を行う。
【００４３】
図４は、全オメガ特徴量生成処理の一例を示すフローチャートである。
【００４４】
まず、ステップＳ３０１０において、オメガ特徴生成部３２０は、「サンプル画像選択」ボタン６１７の押下が操作制御部２００から通知されるのを待機する。オメガ特徴生成部３２０は、「サンプル画像選択」ボタン６１７の押下が通知されると（Ｓ３０１０：ＹＥＳ）、ステップＳ３０２０へ進む。
【００４５】
ステップＳ３０２０において、オメガ特徴生成部３２０は、サンプル画像選択画面のデータを操作制御部２００へ出力し、サンプル画像選択画面を処理内容表示領域６１６に表示させる。サンプル画像選択画面は、サンプル画像格納部３１０に格納されたサンプル画像の中から、オメガ生成情報の生成に用いるサンプル画像の選択をユーザから受け付ける画面である。サンプル画像選択画面は、例えば、各サンプル画像のサムネイルやファイル名等の属性を選択肢として表示する。
【００４６】
そして、ステップＳ３０３０において、オメガ特徴生成部３２０は、「オメガ形状生成」ボタン６１８の押下および選択されたサンプル画像を示す情報が操作制御部２００から通知されるのを待機する。オメガ特徴生成部３２０は、「オメガ形状生成」ボタン６１８の押下および選択されたサンプル画像を示す情報が通知されると（Ｓ３０３０：ＹＥＳ）、ステップＳ３０４０へ進む。
【００４７】
ステップＳ３０４０において、オメガ特徴生成部３２０は、選択されたサンプル画像を含むオメガ形状生成画面のデータを操作制御部２００へ出力し、オメガ形状生成画面を処理内容表示領域６１６に表示させる。オメガ形状生成画面は、サンプル画像に対するオメガ形状の設定をユーザから受け付ける画面である。本実施の形態では、オメガ形状の設定は、オメガ形状を構成するオメガ候補点の位置を設定することにより行われるものとする。
【００４８】
図５は、オメガ形状のイメージの一例を示す図である。
【００４９】
図５に示すように、人検出装置１００は、人の頭部および肩部の外形を示すオメガ形状６３０を、複数の点６３１の位置として取り扱うものとする。隣り合う点６３１の間を直線６３２により接続したとき、全体の直線６３２は、人の頭部および肩部の外形に近似する。
【００５０】
オメガ形状６３０は、主に頭部の外形を表現する部分（以下「球部」という）６３３と、主に肩部の外形を表現する部分（以下「翼部」という）６３４から構成される。また、多くの場合、球部６３３と翼部６３４の境界にはくびれ部６３５が存在することが多い。すなわち、オメガ形状６３０は、特徴的な形状をしている。
【００５１】
オメガ特徴生成部３２０は、オメガ形状６３０を構成する点６３１に、隣り合う順序に対応した識別番号を設定する。以下、サンプル画像に対してユーザから設定を受け付けるオメガ形状６３０を構成する点は、「オメガ候補点」という。すなわち、オメガ候補点とは、ユーザによって設定される、人の頭部から肩部にかけてのエッジライン上に点在する点のことである。
【００５２】
図６は、オメガ候補点に設定される識別番号の一例を示す図である。図６では、人が手前側を向いており、人の右肩が紙面の左側に位置している場合の例を示す。
【００５３】
図６に示すように、オメガ特徴生成部３２０は、人の右肩側の端部に位置するオメガ候補点から順に、１から昇順の整数を、識別番号として設定する。オメガ候補点の個数はｍ個（固定）とする。本実施の形態では、説明の便宜上、ｍ＝２０とする。
【００５４】
なお、オメガ形状６３０は、頭部および肩部の外形の一部でも良く、例えば、図７に示すように、図５で説明した翼部６３４とくびれ部６３５に対応する部分のみをオメガ形状６３０として取り扱っても良い。
【００５５】
オメガ形状生成画面は、選択されたサンプル画像に移動および変形可能な標準の形状を有するオメガ図形を表示し、ユーザから、ユーザが目視で標準のオメガ図形をサンプル画像に含まれる実際のオメガ形状に合わせる操作を受け付ける。
【００５６】
図８は、処理内容表示領域６１６の状態の変化の一例を示す図である。
【００５７】
まず、オメガ形状生成画面６４０は、図８（Ａ）に示すように、オメガ形状（人の頭部および肩部の外形のエッジライン）６４１が含まれるエッジ画像であるサンプル画像を表示する。そして、オメガ形状生成画面６４０は、図８（Ｂ）に示すように、オメガ図形６４２をサンプル画像に重畳させて表示する。ユーザは、ポインタ操作等により、オメガ図形６４２を構成する丸点を、サンプル画像のオメガ形状６４１上に移動させて、図８（Ｃ）に示すように、オメガ図形６４２の形状をオメガ形状に合わせる。
【００５８】
本実施の形態では、肩部の外形のエッジライン上にａ個のオメガ候補点が設定され、頭部の外形のエッジライン上にｂ個のオメガ候補点が設定される場合、オメガ候補点の総数ｍは、以下の式（１）で表される。
【数１】
【００５９】
例えば、オメガ図形６４２の設定ルールとして、ａ＝５、ｂ＝１０が規定される。この設定ルールは、最も左の点（識別番号１の点）を右肩の端部に、左から５番目の点（識別番号５の点）を首の右側に、最も右の点（識別番号２０の点）を左肩の端部に、右から５番目の点（識別番号１６の点）を首の左側に合わせる内容である。また、オメガ図形６４２の設定ルールとして、更に、これらの４つの点の間の点は、オメガ形状６４１上に等間隔で配置することが、予め定められているものとする。
【００６０】
そして、図４のステップＳ３０５０において、オメガ特徴生成部３２０は、「基準点設定」ボタン６１９の押下を示す情報が操作制御部２００から通知されるのを待機する。基準点とは、オメガ形状の各点の位置や肩位置の基準となる点である。オメガ特徴生成部３２０は、「基準点設定」ボタン６１９の押下を示す情報が通知されると（Ｓ３０５０：ＹＥＳ）、ステップＳ３０６０へ進む。
【００６１】
本実施の形態では、基準点の設定ルールとして、基準点が頭部の重心であることが予め定められているものとする。したがって、ユーザは、サンプル画像から人の頭部の重心を推定し、図８（Ｄ）に示すように、推定した位置に基準点６４３を設定する。基準点６４３は、例えば、ポインタを任意の位置に移動させて右クリック操作を行うことにより設定される。後述の肩位置の設定等も同様である。
【００６２】
ステップＳ３０６０において、オメガ特徴生成部３２０は、設定されたオメガ候補点および基準点の位置から、ユーザが設定したオメガ候補点の位置を示すオメガ候補点情報Ｃを生成する。そして、オメガ特徴生成部３２０は、基準点に対する各オメガ候補点の位置によりオメガ形状の特徴を表すオメガ特徴量Ｋを生成する。
【００６３】
図９は、オメガ候補点および基準点の位置を定義するために用いられる画像座標系の一例を示す図である。
【００６４】
図９に示すように、人検出装置１００は、例えば、サンプル画像６４６の画像上の左上を原点、横方向をｘ軸、縦方向をｙ軸とする座標系を用いて、オメガ候補点および基準点の位置を定義する。また、人検出装置１００は、点の方向を、ｙ軸に対する時計周りの角度θ（−π≦θ≦π）により定義する。
【００６５】
図１０は、オメガ候補点情報Ｃの構成の一例を示す図である。
【００６６】
図１０に示すように、オメガ候補点情報６５０（Ｃ）は、基準点およびオメガ候補点毎に、その点の識別情報６５１に対応付けて、位置６５２を記述する。
【００６７】
図１１は、オメガ特徴量Ｋの構成の一例を示す図である。
【００６８】
図１１に示すように、オメガ特徴量６６０（Ｋ）は、オメガ候補点毎に、その点の識別情報６６１に対応付けて、基準点からの距離（基準点を中心とする半径）６６２と、基準点からみた方向（基準点とオメガ候補点とを結ぶ線のｙ軸に対する角度）６６３とを記述する。これらの値は、オメガ候補点情報Ｃから算出することができる。
【００６９】
すなわち、オメガ特徴量Ｋは、オメガ候補点を２次元データｋ＝（Ｒ，θ）で表現したものの集合であり、２ｍ次元のデータＫ＝（ｋ１,ｋ２,・・・,ｋｍ）である。なお、オメガ特徴量Ｋの内容はこれに限定されるものではなく、例えば、基準点からのｘ軸方向の距離およびｙ軸方向の距離の集合であっても良い。
【００７０】
ここまでの処理により、サンプル画像１枚に対して、１つのオメガ特徴量Ｋが得られる。
【００７１】
そして、図４のステップＳ３０７０において、オメガ特徴生成部３２０は、「右肩位置設定」ボタン６２０の押下を示す情報が操作制御部２００から通知されるのを待機する。オメガ特徴生成部３２０は、「右肩位置設定」ボタン６２０の押下を示す情報が通知されると（Ｓ３０７０：ＹＥＳ）、ステップＳ３０８０へ進む。
【００７２】
ステップＳ３０８０において、オメガ特徴生成部３２０は、肩位置指定画面のデータを操作制御部２００へ出力し、肩位置指定画面を処理内容表示領域６１６に表示させる。肩位置指定画面は、サンプル画像に対する肩位置の設定をユーザから受け付ける画面である。
【００７３】
本実施の形態では、肩位置の設定ルールとして、肩位置を肩の関節の中心位置とすることが予め定められているものとする。したがって、ユーザは、サンプル画像から右肩の関節の中心位置を推定し、図８（Ｅ）に示すように、推定した位置に右肩位置６４４を設定する。
【００７４】
そして、図４のステップＳ３０９０において、オメガ特徴生成部３２０は、「左肩位置設定」ボタン６２１の押下を示す情報が操作制御部２００から通知されるのを待機する。オメガ特徴生成部３２０は、「左肩位置設定」ボタン６２１の押下を示す情報が通知されると（Ｓ３０９０：ＹＥＳ）、ステップＳ３１００へ進む。ユーザは、サンプル画像から左肩の関節の位置を推定し、図８（Ｆ）に示すように、推定した位置に左肩位置６４５を設定する。
【００７５】
そして、ステップＳ３１００において、オメガ特徴生成部３２０は、設定された右肩位置および左肩位置から、ユーザが設定した肩位置を示す肩候補点情報Ｒを生成する。そして、オメガ特徴生成部３２０は、基準点に対する各肩位置により肩位置の特徴を表す肩位置特徴量Ｑを生成する。
【００７６】
図１２は、肩候補点情報Ｒの構成の一例を示す図である。
【００７７】
図１２に示すように、肩候補点情報６７０（Ｒ）は、基準点および肩位置毎に、その点の識別情報６７１に対応付けて、位置６７２を記述する。
【００７８】
図１３は、肩位置特徴量Ｑの構成の一例を示す図である。
【００７９】
図１３に示すように、肩位置特徴量６８０（Ｑ）は、肩位置毎に、その点の識別情報６８１に対応付けて、基準点からの距離（基準点を中心とする半径）６８２と、基準点からみた方向（基準点と肩位置とを結ぶ線のｙ軸に対する角度）６８３とを記述する。これらの値は、肩候補点情報Ｒから算出することができる。
【００８０】
すなわち、肩位置特徴量Ｑは、肩位置を２次元データｑ＝（Ｒ，θ）で表現したものの集合であり、４次元のデータＱ＝（ｑ１,ｑ２）である。なお、肩位置特徴量Ｑの内容はこれに限定されるものではなく、例えば、基準点からのｘ軸方向の距離およびｙ軸方向の距離の集合であっても良い。
【００８１】
そして、図４のステップＳ３１１０において、オメガ特徴生成部３２０は、「オメガ形状生成完了」ボタン６２２の押下を示す情報が操作制御部２００から通知されるのを待機する。オメガ特徴生成部３２０は、「オメガ形状生成完了」ボタン６２２の押下を示す情報が通知されると（Ｓ３１１０：ＹＥＳ）、ステップＳ３１２０へ進む。
【００８２】
ステップＳ３１２０において、オメガ特徴生成部３２０は、オメガ特徴量Ｋと肩位置特徴量Ｑとを統合して、全オメガ特徴量を生成する。但し、オメガ特徴生成部３２０は、既に全オメガ特徴量が生成されている場合には、新たに生成したオメガ特徴量Ｋおよび肩位置特徴量Ｑを追記する形で、全オメガ特徴量を更新する。
【００８３】
そして、ステップＳ３１３０において、オメガ特徴生成部３２０は、Ｎ個のオメガ特徴量Ｋおよび肩位置特徴量Ｑの生成を完了し、全オメガ特徴量に記述したか否かを判断する。
【００８４】
オメガ特徴生成部３２０は、Ｎ個のオメガ特徴量Ｋおよび肩位置特徴量Ｑの生成をまだ完了していない場合には（Ｓ３１３０：ＮＯ）、ステップＳ３０１０へ戻り、未処理のサンプル画像に対する処理を行う。すなわち、ユーザは、サンプル画像格納部３１０に格納されたサンプル画像に対して、「サンプル画像選択」ボタン６１７の押下から、「オメガ形状生成完了」ボタン６２２の押下までの動作を、Ｎ回繰り返すことになる。
【００８５】
また、オメガ特徴生成部３２０は、Ｎ個のオメガ特徴量Ｋおよび肩位置特徴量Ｑの生成を完了した場合には（Ｓ３１３０：ＹＥＳ）、全オメガ特徴量をオメガ特徴格納部３３０へ出力して、図２の処理へ戻る。全オメガ特徴量は、オメガ特徴格納部３３０に保持される。
【００８６】
図１４は、オメガ特徴格納部３３０が保持する全オメガ特徴量の構成の一例を示す図である。
【００８７】
図１４に示すように、全オメガ特徴量６９０は、サンプル画像毎に、サンプル画像の識別情報６９１と、そのサンプル画像から生成されたオメガ特徴量６９２および肩位置特徴量６９３とを対応付けて記述する。また、オメガ特徴格納部３３０が保持する全オメガ特徴量６９０の行数は、Ｎとなる。
【００８８】
図２のステップＳ４０００において、オメガ特徴格納部３３０は、「モデル生成」ボタン６１２が押下されたか否か、つまり、「モデル生成依頼」が通知されたか否かを判断する。また、オメガ特徴格納部３３０は、保持する全オメガ特徴量があるか否かを判断する。全オメガ特徴量があるか否かは、例えば、過去に「モデル生成準備依頼」が通知されたか否かに基づいて判断することができる。
【００８９】
オメガ特徴格納部３３０は、「モデル生成」ボタン６１２が押下され、かつ、全オメガ特徴量がある場合には（Ｓ４０００：ＹＥＳ）、ステップＳ５０００へ進む。また、オメガ特徴格納部３３０は、「モデル生成」ボタン６１２が押下されていない、または、全オメガ特徴量がない場合には（Ｓ４０００：ＮＯ）、ステップＳ６０００へ進む。
【００９０】
ステップＳ５０００において、オメガ特徴格納部３３０は、オメガ生成情報を生成して保持しつつ、「肩位置推定モデル生成依頼」と全オメガ特徴量とを肩位置推定モデル格納部３４０へ出力する。肩位置推定モデル格納部３４０は、これを受けて、入力された全オメガ特徴量から肩位置推定モデルを生成して保持する。
【００９１】
具体的には、オメガ特徴格納部３３０は、全オメガ特徴量に対して主成分分析を適用し、第ｍ'主成分までの主成分ベクトルＰ＝（ｐ１，ｐ２，・・・,ｐｍ'）を算出する。また、オメガ特徴格納部３３０は、主成分ベクトルＰに対応した、第ｍ'主成分までの主成分スコアＳ＝（ｓ１，ｓ２，・・・,ｓｍ'）を算出する。ｍ'の値は、累積寄与率がａ％以上となる数に設定する。ａの値は、実験等により、処理負荷と推定精度とを考慮して定められる。
【００９２】
そして、オメガ特徴格納部３３０は、主成分Ｐを記述した主成分一覧表と、主成分スコアＳを記述した主成分スコア一覧表とを生成する。
【００９３】
図１５は、主成分一覧表の構成の一例を示す図である。
【００９４】
図１５に示すように、主成分一覧表７１０は、主成分７１１毎に、主成分値７１２（ｐ１，ｐ２，・・・,ｐｍ'）を記述する。
【００９５】
図１６は、主成分スコア一覧表の構成の一例を示す図である。
【００９６】
図１６に示すように、主成分スコア一覧表７２０は、画像ファイル７２１毎に、第１主成分のスコア７２２１〜第ｍ'主成分のスコア７２２ｍ'を記述する。
【００９７】
そして、オメガ特徴格納部３３０は、更に、主成分スコア一覧表７２０の列に相当する、第ｉ主成分（１≦ｉ≦ｍ'）に対する主成分スコアのうち、最大値と最小値を抽出する。そして、オメガ特徴格納部３３０は、各主成分のスコアの最大値および最小値、つまりスコアの範囲を記述した、主成分スコア指定範囲一覧表を生成して保持する。
【００９８】
図１７は、主成分スコア指定範囲一覧表の構成の一例を示す図である。
【００９９】
図１７に示すように、主成分スコア指定範囲一覧表７３０は、主成分７３１毎に、その主成分スコアの最大値７３２と最小値７３３とを記述する。
【０１００】
なお、オメガ特徴格納部３３０は、実際の最小値から最大値までの範囲ではなく、これよりも狭い範囲をスコアの範囲として、主成分スコア指定範囲一覧表７３０を作成しても良い。
【０１０１】
肩位置推定モデル格納部３４０は、全オメガ特徴量に含まれる肩位置特徴量Ｑ（Ｎ行）を目的変数とし、Ｎ行のオメガ特徴量Ｋ（Ｎ行）を説明変数として重回帰分析を行う。そして、肩位置推定モデル格納部３４０は、以下の式（２）を満たす回帰係数行列Ａを算出し、保持する。
【数２】
【０１０２】
そして、肩位置推定モデル格納部３４０は、算出した回帰係数行列Ａを、肩位置推定モデルとして保持する。なお、この際、肩位置推定モデル格納部３４０は、「モデル生成完了通知」を操作制御部２００へ出力して、処理内容表示領域６１６に「肩位置推定モデル生成完了」等の文字列を出力させるようにしても良い。
【０１０３】
そして、図２のステップＳ６０００において、評価部４３０は、「評価」ボタン６１３が押下されたか否か、つまり、「評価依頼」が通知されたか否かを判断する。また、評価部４３０は、肩位置推定モデル生成部３００に、保持されたオメガ生成情報および肩位置推定モデルがあるか否かを判断する。オメガ生成情報および肩位置推定モデルがあるか否かは、例えば、過去に「モデル生成依頼」が通知されたか否かに基づいて判断することができる。
【０１０４】
評価部４３０は、「評価」ボタン６１３が押下され、かつ、オメガ生成情報および肩位置推定モデルがある場合には（Ｓ６０００：ＹＥＳ）、ステップＳ７０００へ進む。また、評価部４３０は、「評価」ボタン６１３が押下されていない、または、オメガ生成情報および肩位置推定モデルがない場合には（Ｓ６０００：ＮＯ）、ステップＳ９０００へ進む。
【０１０５】
ステップＳ７０００において、人検出装置１００は、画像マッチング処理を行う。
【０１０６】
図１８は、画像マッチング処理の一例を示すフローチャートである。
【０１０７】
まず、ステップＳ７０１０において、評価部４３０は、評価画像格納部４１０から評価画像を取得し、オメガ生成部４２０へ「オメガ生成依頼」を通知する。オメガ生成部４２０は、これを受けて、オメガ特徴格納部３３０が保持するオメガ生成情報に基づいて、サンプルオメガ画像を生成し、保持する。
【０１０８】
但し、オメガ生成部４２０は、オメガ生成情報のうち、各主成分の主成分スコアとして採用する値の組み合わせを変えることにより、Ｈ個の異なるタイプのオメガ形状を復元する。Ｈの値は、実験等により、処理負荷と推定精度とを考慮して定められる。
【０１０９】
具体的には、オメガ生成部４２０は、主成分毎に主成分スコア指定範囲一覧表７３０（図１７参照）に記述された範囲内の値から成る主成分スコアＳｊ（ｊ＝１〜Ｈ）を生成する。なお、主成分スコアＳｊは、必ずしも、基のいずれかのサンプル画像の主成分スコアＳに一致するとは限らない。そして、オメガ生成部４２０は、選択した主成分スコアＳｊ毎に、例えば、以下の式（３）により、サンプルオメガ特徴量Ｖｊ（ｊ＝１〜Ｈ）を復元する。ここで、Ｖバーは、オメガ特徴量Ｋの平均（Ｎ次元）である。
【数３】
【０１１０】
なお、第ｆ主成分の主成分スコアＳｆの個数をＵｆと置くと、オメガ生成情報から復元し得るサンプルオメガ形状の総数Ｎｕｍは、以下の式（４）で表される。
【数４】
【０１１１】
そして、オメガ生成部４２０は、サンプルオメガ特徴量Ｖｊが示すサンプルオメガ形状を生成し、サンプルオメガ形状を含むサンプルオメガ画像を生成する。サンプルオメガ画像のサイズは、例えば基のサンプル画像と同一のサイズであり、ここでは、横ｗ画素×縦ｈ画素であるものとする。また、サンプルオメガ画像は、画像の左上端を原点とし、基準点を画像の中心（ｗ／２、ｈ／２）に置いて、サンプルオメガ特徴量Ｖｊが示す形状を描画した画像である。
【０１１２】
図１９は、サンプルオメガ画像の生成の様子の一例を示す図である。
【０１１３】
主成分スコアＳｊの値の組み合わせが変わると、図１９の矢印７４１に示すように、サンプルオメガ特徴量Ｖｊが示すサンプルオメガ形状７４２の形状が変わる。したがって、Ｈ個の異の異なる主成分スコアＳｊからは、図１９に示すように、Ｈ個のサンプルオメガ形状７４２１〜７４２Ｈが生成される。これらのサンプルオメガ形状７４２１〜７４２Ｈは、後述の処理により、１つずつ、評価画像７４３に含まれる評価オメガ形状７４４と比較されることになる。
【０１１４】
また、オメガ生成部４２０は、生成したサンプルオメガ画像と基のサンプルオメガ特徴量Ｖｊとを対応付けて記述するサンプルオメガ画像一覧表を生成し、保持する。
【０１１５】
図２０は、サンプルオメガ画像一覧表の構成の一例を示す図である。
【０１１６】
図２０に示すように、サンプルオメガ画像一覧表７５０は、サンプルオメガ画像の識別情報７５１に対応付けて、サンプルオメガ特徴量７５２を記述する。
【０１１７】
そして、オメガ生成部４２０は、サンプルオメガ画像一覧表７５０の作成を完了すると、「オメガ生成完了」を評価部４３０へ通知する。
【０１１８】
この通知を受けて、図１８のステップＳ７０２０において、評価部４３０は、オメガ生成部４２０が保持するサンプルオメガ画像のうち未選択のものを１つ選択する。
【０１１９】
そして、ステップＳ７０３０において、評価部４３０は、評価画像で検出窓を走査し、ある位置の検出窓によって切り出される切出し画像とサンプルオメガ画像とのエッジマッチングを評価する。
【０１２０】
図２１は、検出窓の走査の様子の一例を示す図である。
【０１２１】
図２１に示すように、評価部４３０は、サンプルオメガ画像と同じサイズ（横ｗ画素×縦ｈ画素）の検出窓７６１を、例えば、評価画像７４３の左上から右下にかけて走査する。そして、各位置において、検出窓７６１に囲まれた部分を切り出して得られる画像を、切出し画像７６２として取得する。ここでは、評価部４３０は、Ｌ個の切出し画像７６２を取得するものとする。
【０１２２】
そして、評価部４３０は、切出し画像７６２に含まれる評価オメガ形状に選択中のサンプルオメガ画像を重ねたときに、切出し画像７６２において、サンプルオメガ形状に対応する画素に、エッジを示す特徴が見られるか否かを判断する。すなわち、評価部４３０は、切出し画像７６２に、そのサンプルオメガ形状に近似する形状が同一の位置で含まれているか否かを判断する。
【０１２３】
具体的には、評価部４３０は、例えば、サンプルオメガ形状に対応する各画素について、切出し画像７６２の対応する部分におけるエッジの有無を判断する。そして、評価部４３０は、エッジ有りと判断された画素数をサンプルオメガ形状の総画素数で除した値を、マッチングスコアとして算出する。以下、このマッチングスコアを算出する処理は、エッジマッチング処理という。
【０１２４】
なお、例えば、人の肩関節の位置との相関は、肩の端部と頭頂部とでは異なる。そこで、肩位置計算部４４０は、最尤オメガ特徴量Ｋ'が示すオメガ形状の位置毎に、その位置が肩位置の推定に与える影響が異なるようにしても良い。この場合、肩位置計算部４４０は、例えば、最尤オメガ特徴量Ｋ'を定義する各点（以下「オメガ点という」）毎に、その点の肩位置推定への影響度を重みγとして記述した影響度一覧表を予め作成しておく。
【０１２５】
具体的には、以下の通りである。説明の便宜のため、まず、回帰係数行列Ａの１行目に｛α１、α２、α３、α４｝、２行目に｛β１、β２、β３、β４｝が格納されている場合を想定する。
【０１２６】
このとき、α１は、識別番号１のオメガ点の半径が右肩の半径の推定に与える影響度を意味している。α２は、識別番号１のオメガ点の半径が右肩の角度の推定に与える影響度を意味している。α３は、識別番号１のオメガ点の半径が左肩の半径の推定に与える影響度を意味している。そして、α４は、識別番号１のオメガ点の半径が左肩の角度の推定に与える影響度を意味している。
【０１２７】
同様に、β１は、識別番号１のオメガ点の角度が右肩の半径の推定に与える影響度を意味している。β２は、識別番号１のオメガ点の角度が右肩の角度の推定に与える影響度を意味している。β３は、識別番号１のオメガ点の角度が左肩の半径の推定に与える影響度を意味している。そして、β４は、識別番号１のオメガ点の角度が左肩の角度の推定に与える影響度を意味している。
【０１２８】
識別番号１のオメガ点の位置は、評価基準点に対する半径と角度との組によって表現される。したがって、肩位置推定モデル格納部３４０は、識別番号１のオメガ点が、右肩の半径の推定に与える影響度Ｅ１→ＲＲ、右肩の角度の推定に与える影響度Ｅ１→Ｒθ、左肩の半径の推定に与える影響度Ｅ１→ＬＲ、および左肩の角度の推定に与える影響度Ｅ１→Ｌθを、例えば、以下の式（５）〜（８）を用いて数値化する。
【数５】
【数６】
【数７】
【数８】
【０１２９】
肩位置推定モデル格納部３４０は、全てのオメガ点について、上述のように影響度を数値化し、影響度一覧表７８０を生成する。これにより、影響度の大きい点の選別が可能となる。
【０１３０】
肩位置推定モデル格納部３４０は、影響度一覧表に、各オメガ点の各影響度を格納する。そして、肩位置推定モデル格納部３４０は、右肩の半径の推定に与える影響度Ｅ１→ＲＲ〜Ｅ２０→ＲＲが中から、値が大きい上位Ｆ個のオメガ点を選択し、影響度一覧表において、そのオメガ点の重みスコアを１増やす。同様に、肩位置推定モデル格納部３４０は、右肩の角度、左肩の半径、および左肩の角度についても、影響度が大きいオメガ点の重みスコアを増加させる。そして、肩位置推定モデル格納部３４０は、各オメガ点の最終的な重みスコアの値を、両肩の推定に与える影響度（以下「重みγ」という）として決定する。なお、Ｆの値は、実験等により、処理負荷と推定精度とを考慮して定められる。
【０１３１】
図２３は、影響度一覧表の構成の一例を示す図である。
【０１３２】
図２３に示すように、影響度一覧表７８０は、オメガ点識別情報７８１に対応付けて、右肩半径への影響度７８２、右肩角度への影響度７８３、左肩半径への影響度７８４、左肩角度への影響度７８５、および重み７８６を記述する。
【０１３３】
そして、評価部４３０は、エッジマッチングを評価する際に、影響度一覧表７８０の重みγを、重み付け計算のパラメータとして活用する。具体的には、評価部４３０は、オメガ点毎に、そのオメガ点の近傍のエッジの有無を数値化した値に対してそのオメガ点の重みγを乗じて、マッチングスコアの計算を行う。
【０１３４】
このような重み付けを行うことにより、特に肩推定に相関の高い部分を重視したマッチングを行うことが可能となり、推定精度を向上させることができる。
【０１３５】
図１８のステップＳ７０４０において、評価部４３０は、Ｌ個の切出し画像に対するエッジマッチング処理が完了したか否かを判断する。評価部４３０は、Ｌ個の切出し画像に対するエッジマッチング処理がまだ完了していない場合には（Ｓ７０４０：ＮＯ）、ステップＳ７０３０へ戻り、次の検出窓７６１の位置における切出し画像に対するエッジマッチング処理を行う。
【０１３６】
また、Ｌ個の切出し画像に対するエッジマッチング処理が完了した場合には（Ｓ７０４０：ＹＥＳ）、得られたＬ個のマッチングスコアの最大値ＭＳｊを取得する。そして、評価部４３０は、サンプルオメガ画像毎に、マッチングスコアの最大値ＭＳｊと、その最大値ＭＳｊが得られた切出し画像の切出し位置Ｃｊとを記述した、マッチング結果一覧表を作成する。但し、評価部４３０は、既にマッチング結果一覧表が生成されている場合には、新たに得られたマッチングスコアの最大値ＭＳｊを追記する形で、マッチング結果一覧表を更新する。
【０１３７】
図２２は、マッチング結果一覧表の構成の一例を示す図である。
【０１３８】
図２２に示すように、マッチング結果一覧表７７０は、サンプルオメガ画像毎に、サンプルオメガ画像の識別情報７７１に対応付けて、マッチングスコアが最大値となった切出し画像の切出し位置７７２およびそのマッチングスコア７７３を記述する。切出し位置７７２は、例えば、検出窓の左上端部の評価画像における位置を示す情報である。
【０１３９】
そして、図１８のステップＳ７０５０において、評価部４３０は、Ｈ個のサンプルオメガ画像に対して処理を完了したか否かを判断する。すなわち、評価部４３０は、Ｈ個のサンプルオメガ画像について、マッチングスコアが最大値となった切出し位置７７２とそのマッチングスコア７７３とを、マッチング結果一覧表７７０に記述したか否か（図２２参照）を判断する。
【０１４０】
評価部４３０は、Ｈ個のサンプルオメガ画像に対して処理をまだ完了していない場合には（Ｓ７０５０：ＮＯ）、ステップＳ７０２０へ戻り、次のサンプルオメガ画像を選択して処理を行う。
【０１４１】
また、評価部４３０は、Ｈ個のサンプルオメガ画像に対して処理を完了した場合には（Ｓ７０５０：ＹＥＳ）、マッチング結果一覧表７７０からマッチングスコアが最大値となったサンプルオメガ画像を特定する。そして、評価部４３０は、マッチングスコアが最大値となったサンプルオメガ画像のサンプルオメガ特徴量（以下「最尤オメガ特徴量」という）を肩位置計算部４４０へ出力し、「肩位置計算依頼」を肩位置計算部４４０へ通知して、図２の処理へ戻る。
【０１４２】
この通知を受けた肩位置計算部４４０は、図２のステップＳ８０００において、入力された最尤オメガ特徴量から、肩位置推定モデル格納部３４０が保持する肩位置推定モデルを用いて、評価画像に含まれる人の肩位置を推定する。そして、肩位置計算部４４０は、推定結果を、向き推定部５００へ出力する。向き推定部５００は、これを受けて、肩位置から評価画像に含まれる人の肩向きを推定する。
【０１４３】
具体的には、肩位置計算部４４０は、評価画像における最尤オメガ特徴量の基準点（以下「評価基準点」という）の位置を特定する。ここでは、上述の通り、サンプルオメガ形状は切出し位置の中心を基準点として描画されたので、評価基準点の位置は、切出し位置Ｃが（Ｘｃ，Ｙｃ）であるとき、（Ｘｃ＋ｗ／２、Ｙｃ＋ｈ／２）となる。
【０１４４】
また、肩位置計算部４４０は、肩位置推定モデルである回帰係数行列Ａを肩位置推定モデル格納部３４０から取得する。そして、肩位置計算部４４０は、例えば以下の式（９）のように、最尤オメガ特徴量Ｋ'を説明変数として回帰係数行列Ａを適用することにより、評価画像の評価肩位置特徴量Ｑ'を算出する。
【０１４５】
【数９】
【０１４６】
但し、「［ｕ］［ｖ］」がｕ行×ｖ列の２次元配列を意味するものとし、上述の通りオメガ形状がｍ＝２０個の点により定義されるものとすると、各値の構成は、Ｑ'：［１］［４］、Ｋ'：［１］［４０］、Ａ：［４０］［４］となる。また、算出された評価肩位置特徴量Ｑ'と評価基準点との組は、評価画像に含まれる人の右肩位置および左肩位置を示す情報となる。
【０１４７】
このようにして、右肩位置および左肩位置を算出すると、肩位置計算部４４０は、右肩位置（Ｓｈｘ１、Ｓｈｙ１）および左肩位置（Ｓｈｘ２、Ｓｈｙ２）を向き推定部５００へ出力して、「向き推定依頼」を向き推定部５００へ通知する。
【０１４８】
この通知を受けて、向き推定部５００は、右肩位置から左肩位置へと向かうベクトルに直交する水平なベクトルのうち、上方から見て時計回りに９０度回転の方向に相当するベクトルを、評価画像に含まれる人の肩向きＶｄとして算出する。更に、向き推定部５００は、右肩位置と左肩位置とを結ぶ線分の中点（（Ｓｈｘ１＋Ｓｈｘ２）／２、（Ｓｈｙ１＋Ｓｈｙ２）／２）を、肩中心位置Ｄとして算出する。
【０１４９】
向き推定部５００は、評価画像を評価画像格納部４１０から取得し、算出した右肩位置、左肩位置、肩中心位置、および向きベクトルを示す記号等を、評価画像に重畳して描画した評価結果画像の画像データを生成する。そして、向き推定部５００は、操作制御部２００に「向き推定完了通知」を通知すると共に、生成した評価結果画像の画像データを操作制御部２００へ出力して、評価結果画像を処理内容表示領域６１６に表示させる。
【０１５０】
そして、ステップＳ９０００において、操作制御部２００は、「終了」ボタン６１４が押下されたか否かを判断する。操作制御部２００は、「終了」ボタン６１４が押下されていない場合には、ステップＳ２０００へ戻る。また、操作制御部２００は、「終了」ボタン６１４が押下された場合には、操作画面６１０を消去すると共に、「終了」を肩位置推定モデル生成部３００および肩位置推定部４００へ通知する。この通知を受けて、肩位置推定モデル生成部３００および肩位置推定部４００は、動作を停止する。
【０１５１】
このような動作により、人検出装置１００は、肩位置推定モデルおよびオメガ生成情報を生成し、これらに基づいて、評価画像に含まれる人の肩位置および肩向きを、評価画像から推定することができる。
【０１５２】
以上説明したように、本実施の形態に係る人検出装置１００は、オメガ形状と肩位置との関係を示す肩位置推定モデルを用いるので、評価画像に含まれる人の肩位置および肩向きを、評価画像から推定することができる。また、人検出装置１００は、肩位置を推定することができるので、右肩下がりや左肩下がり等の姿勢の判定も可能となり、人の姿勢状態を推定する技術の発展に寄与することができる。
【０１５３】
すなわち、人検出装置１００は、従来技術のような局所特徴の共起性によってのみでは抽出することができないオメガ形状の全体特徴の抽出を可能とすることができる。したがって、人検出装置１００は、全体特徴が表現されなければ実現が難しい、オメガ形状と肩位置との相関性の活用を可能にすることができる。
【０１５４】
このような人検出装置１００は、例えば、動画像を記録し、記録した動画像から人の身体が向いている方向を解析するシステムに適用することができる。したがって、人検出装置１００は、街頭での異常行動検知や、店舗での購買行動分析、ドライバのわき見運転検知等に応用することができる。
【０１５５】
なお、以上説明した実施の形態では、人検出装置１００は、肩位置推定モデルの生成を、肩位置推定モデル格納部３４０において行ったが、オメガ特徴格納部３３０において行っても良い。
【０１５６】
また、人検出装置１００は、肩位置推定モデルを、重回帰分析ではなく全オメガ特徴量に対する主成分分析により生成しても良い。
【０１５７】
また、オメガ特徴格納部３３０は、オメガ特徴量Ｋ（４０次元×Ｎサンプル画像数）ではなく、全オメガ特徴量に含まれるオメガ特徴量Ｋと肩位置特徴量Ｑとをまとめたデータ（４４次元×Ｎサンプル画像数）に対して主成分分析を適用して、オメガ生成情報を生成しても良い。この場合には、オメガ生成情報から、オメガ形状に加えて両肩位置も復元可能となり、オメガ生成部４２０は、オメガ形状と両肩位置とを含んだサンプルオメガ画像を生成することができる。なお、評価部４３０は、マッチング評価時には、両肩位置を無視すれば良い。また、この場合、評価部４３０は、肩位置計算部４４０の機能を備えることができる。すなわち、評価部４３０は、マッチング評価が高いと判断したサンプルオメガ画像における両肩位置を、求めるべき両肩位置と推定することができる。
【０１５８】
また、人検出装置１００は、人の外形として、オメガ形状の全部または一部ではなく、手や足等、他の身体部位の外形を推定しても良い。また、人検出装置１００は、人の部位の状態として、肩位置および肩向きではなく、これらの一方のみや、手首の位置や前腕の伸びている方向等、他の状態を推定しても良い。すなわち、本発明は、人の外形と高い相関を有する各種の部位状態を推定する装置に適用することができる。
【産業上の利用可能性】
【０１５９】
本発明に係る人検出装置および人検出方法は、人の部位の状態を画像から推定することができる人検出装置および人検出方法として有用である。
【符号の説明】
【０１６０】
１００ 人検出装置
２００ 操作制御部
３００ 肩位置推定モデル生成部
３１０ サンプル画像格納部
３２０ オメガ特徴生成部
３３０ オメガ特徴格納部
３４０ 肩位置推定モデル格納部
４００ 肩位置推定部
４１０ 評価画像格納部
４２０ オメガ生成部
４３０ 評価部
４４０ 肩位置計算部
５００ 向き推定部
【特許請求の範囲】
【請求項１】
評価画像から人の所定の外形を取得する評価部と、
人の前記所定の外形と前記人の所定の部位の状態との関係を示す推定モデルに基づいて、前記評価画像から取得された前記所定の外形から、前記評価画像に含まれる人の前記所定の部位の状態を推定する推定部と、を有する、
人検出装置。
【請求項２】
前記所定の外形は、人の頭部および肩部の外形の全部または一部の形状および位置であり、前記所定の部位の状態は、前記肩部の位置および向きである、
請求項１記載の人検出装置。
【請求項３】
前記所定の外形は、前記頭部および肩部の外形の全部としてのオメガ形状である、
請求項１記載の人検出装置。
【請求項４】
前記オメガ形状は、前記オメガ形状を構成する各点の位置関係により定義される、
請求項３記載の人検出装置。
【請求項５】
サンプル画像に含まれる人の前記オメガ形状および前記人の前記肩部の位置および向きを取得する特徴生成部と、
前記特徴生成部が取得した前記オメガ形状および前記肩部の位置および向きに基づいて、前記推定モデルを生成する前記推定モデル生成部と、を更に有する、
請求項４記載の人検出装置。
【請求項６】
前記特徴生成部は、
前記サンプル画像を表示し、前記サンプル画像毎に、ユーザから前記オメガ形状の設定と前記肩部の位置および向きの設定とを受け付ける、
請求項５記載の人検出装置。
【請求項７】
前記推定モデル生成部は、
前記オメガ形状を示す情報を説明変数とし、前記肩部の位置および向きを示す情報を目的変数とした重回帰分析を行うことにより、前記推定モデルを生成する、
請求項６記載の人検出装置。
【請求項８】
前記推定モデルの生成に用いられた前記オメガ形状が複数であるとき、前記複数のオメガ形状から、１つまたは複数のサンプルオメガ形状を生成するオメガ生成部、を更に有し、
前記評価部は、
前記サンプルオメガ形状と前記評価画像のエッジ部分とのマッチングにより前記オメガ形状を取得する、
請求項７記載の人検出装置。
【請求項９】
前記オメガ生成部は、
前記複数のオメガ形状を示す情報に対する主成分分析の結果に基づいて、前記複数のサンプルオメガ形状を生成する、
請求項８記載の人検出装置。
【請求項１０】
評価画像から人の所定の外形を取得するステップと、
人の前記所定の外形と前記人の所定の部位の状態との関係を示す推定モデルに基づいて、前記評価画像から取得された前記所定の外形から、前記評価画像に含まれる人の前記所定の部位の状態を推定するステップと、を有する、
人検出方法。
【請求項１】
評価画像から人の所定の外形を取得する評価部と、
人の前記所定の外形と前記人の所定の部位の状態との関係を示す推定モデルに基づいて、前記評価画像から取得された前記所定の外形から、前記評価画像に含まれる人の前記所定の部位の状態を推定する推定部と、を有する、
人検出装置。
【請求項２】
前記所定の外形は、人の頭部および肩部の外形の全部または一部の形状および位置であり、前記所定の部位の状態は、前記肩部の位置および向きである、
請求項１記載の人検出装置。
【請求項３】
前記所定の外形は、前記頭部および肩部の外形の全部としてのオメガ形状である、
請求項１記載の人検出装置。
【請求項４】
前記オメガ形状は、前記オメガ形状を構成する各点の位置関係により定義される、
請求項３記載の人検出装置。
【請求項５】
サンプル画像に含まれる人の前記オメガ形状および前記人の前記肩部の位置および向きを取得する特徴生成部と、
前記特徴生成部が取得した前記オメガ形状および前記肩部の位置および向きに基づいて、前記推定モデルを生成する前記推定モデル生成部と、を更に有する、
請求項４記載の人検出装置。
【請求項６】
前記特徴生成部は、
前記サンプル画像を表示し、前記サンプル画像毎に、ユーザから前記オメガ形状の設定と前記肩部の位置および向きの設定とを受け付ける、
請求項５記載の人検出装置。
【請求項７】
前記推定モデル生成部は、
前記オメガ形状を示す情報を説明変数とし、前記肩部の位置および向きを示す情報を目的変数とした重回帰分析を行うことにより、前記推定モデルを生成する、
請求項６記載の人検出装置。
【請求項８】
前記推定モデルの生成に用いられた前記オメガ形状が複数であるとき、前記複数のオメガ形状から、１つまたは複数のサンプルオメガ形状を生成するオメガ生成部、を更に有し、
前記評価部は、
前記サンプルオメガ形状と前記評価画像のエッジ部分とのマッチングにより前記オメガ形状を取得する、
請求項７記載の人検出装置。
【請求項９】
前記オメガ生成部は、
前記複数のオメガ形状を示す情報に対する主成分分析の結果に基づいて、前記複数のサンプルオメガ形状を生成する、
請求項８記載の人検出装置。
【請求項１０】
評価画像から人の所定の外形を取得するステップと、
人の前記所定の外形と前記人の所定の部位の状態との関係を示す推定モデルに基づいて、前記評価画像から取得された前記所定の外形から、前記評価画像に含まれる人の前記所定の部位の状態を推定するステップと、を有する、
人検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２０１２−１２３６６８（Ｐ２０１２−１２３６６８Ａ）
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願番号】特願２０１０−２７４６７５（Ｐ２０１０−２７４６７５）
【出願日】平成２２年１２月９日（２０１０．１２．９）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願日】平成２２年１２月９日（２０１０．１２．９）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]