シルエット抽出方法
【課題】被写体のシルエットが精度よく抽出されうる方法の提供。
【解決手段】第一集合作成部２４は全てのフレームからなる全フレーム集合を作成する。第二集合作成部２６は、それぞれのフレームのそれぞれのピクセルが無彩色であるか有彩色であるかを決定し、それぞれのピクセルごとに、有彩色フレーム集合と無彩色フレーム集合とを作成する。輝度ヒストグラム作成部２８は、全フレーム集合について、頻度がフレーム数であり、階級が輝度である輝度ヒストグラムを作成する。色ヒストグラム作成部３０は、有彩色フレーム集合及び無彩色フレーム集合について、頻度がフレーム数であり、有彩色フレーム集合に関する階級が色相であり、無彩色フレーム集合に関する階級が輝度である第二ヒストグラムを作成する。判定部３２は、両ヒストグラムに基づき、それぞれのピクセルのそれぞれのフレームが背景であるか被写体であるかを判定する。
【解決手段】第一集合作成部２４は全てのフレームからなる全フレーム集合を作成する。第二集合作成部２６は、それぞれのフレームのそれぞれのピクセルが無彩色であるか有彩色であるかを決定し、それぞれのピクセルごとに、有彩色フレーム集合と無彩色フレーム集合とを作成する。輝度ヒストグラム作成部２８は、全フレーム集合について、頻度がフレーム数であり、階級が輝度である輝度ヒストグラムを作成する。色ヒストグラム作成部３０は、有彩色フレーム集合及び無彩色フレーム集合について、頻度がフレーム数であり、有彩色フレーム集合に関する階級が色相であり、無彩色フレーム集合に関する階級が輝度である第二ヒストグラムを作成する。判定部３２は、両ヒストグラムに基づき、それぞれのピクセルのそれぞれのフレームが背景であるか被写体であるかを判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スポーツ等の動作を行う被写体のシルエットを抽出する方法に関する。
【背景技術】
【０００２】
ゴルファーがゴルフボールを打撃するとき、左右の爪先を結ぶ線が打撃方向とほぼ平行となるようにアドレスする。右利きのゴルファーのアドレスでは、左足が打撃方向前側に位置し、右足が打撃方向後側に位置する。アドレスでは、ゴルフクラブのヘッドはゴルフボールの近くに位置する。この状態からゴルファーはテイクバックを開始し、ヘッドを後へ、次いで上方へと振り上げる。最もヘッドが振り上げられた位置がトップ位置である。トップ位置からダウンスイングが開始されてヘッドが振り下ろされ、ヘッドがゴルフボールと衝突する（インパクト）。インパクト後、ゴルファーはゴルフクラブを前方へ、次いで上方へと振り抜き（フォロースルー）、フィニッシュを迎える。
【０００３】
ゴルファーの技量向上において、適切なスイングフォームの習得が重要である。技量向上の一助とすべく、スイング診断がなされている。スイング診断では、ビデオカメラでスイングが撮影される。ゴルフ用品の開発に役立つ資料の収集の目的で、スイングが撮影されることもある。
【０００４】
古典的なスイング診断では、ティーチングプロ等が動画を見て、スイング中の問題点を指摘する。一方、画像処理によってスイングを診断しようとの試みも、なされている。画像処理による場合、ゴルファーが撮影されたピクセルと背景が撮影されたピクセルとが区別される必要がある。この区別により、ゴルファーのシルエットが抽出されうる。区別には、通常は差分処理が用いられる。この処理では、予め背景が撮影される。その後に、ゴルファーが撮影される。背景のみが撮影された画像と、背景及びゴルファーが撮影された画像との差分により、ゴルファーと背景とが区別される。具体的には、両画像において色情報が同じピクセルは背景と判断され、背景以外のピクセルがゴルファー（又はゴルフクラブ）と判断される。かかる診断方法が、特開２００５−２７０５３４公報に開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２７０５３４公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
背景の撮影とスイングの撮影との間に、天候が変化する場合がある。例えば、背景の撮影時には曇りであったにもかかわらず、スイングの撮影時に日光が照っていることがある。日光によって影が生じた場合、この影のピクセルの色情報が、背景が撮影されたときの色情報と異なる。従って、差分処理により、背景のピクセルがゴルファーのピクセルと誤認識されてしまう。誤認識は、シルエットの抽出の精度を阻害する。ゴルファーは、精度のよいシルエット抽出を望んでいる。野球、テニス等の種々のスポーツにおいても、精度のよいシルエット抽出が望まれている。
【０００７】
本発明の目的は、被写体のシルエットが精度よく抽出されうる方法の提供にある。
【課題を解決するための手段】
【０００８】
本発明に係るシルエット抽出方法は、
動作を行う被写体を背景と共に撮影し、それぞれが多数のピクセルを含む複数フレームを得るステップ、
それぞれのピクセルについて、全てのフレームからなる全フレーム集合を作成するステップ、
それぞれのフレームのそれぞれのピクセルが、無彩色であるか有彩色であるかを決定し、それぞれのピクセルごとに、有彩色フレーム集合と無彩色フレーム集合とを作成するステップ、
上記全フレーム集合について、頻度がフレーム数であり、階級が第一色情報である第一ヒストグラムを作成するステップ、
上記有彩色フレーム集合及び無彩色フレーム集合について、頻度がフレーム数であり、有彩色フレーム集合に関する階級が第二色情報であり、無彩色フレーム集合に関する階級が第三色情報である第二ヒストグラムを作成するステップ、
上記第一ヒストグラム及び第二ヒストグラムに基づいて、それぞれのピクセルのそれぞれのフレームが背景であるか被写体であるかを判定するステップ
を含む
【０００９】
好ましくは、上記判定するステップは、
第一ヒストグラム及び第二ヒストグラムに基づいて、それぞれのピクセルにつき、全てのフレームにわたって背景であるピクセルであるか、背景であるフレームと被写体であるフレームとが混在するピクセルであるかを決定するステップ
を含む。
【００１０】
好ましくは、上記判定するステップは、
背景であるフレームと被写体であるフレームとが混在するピクセルに関し、上記第一ヒストグラム及び第二ヒストグラムに基づいて、背景であるフレーム群と被写体であるフレーム群とに区分できるピクセルかできないピクセルかが判定されるステップ、
及び
背景であるフレーム群と被写体であるフレーム群とに区分できるピクセルに関し、この区分がなされるステップ
を含む。
【００１１】
好ましくは、上記判定するステップは、
背景であるフレーム群と被写であるフレーム群とに区分できないと判断されたピクセルのそれぞれのフレームに関し、このピクセルと隣接する他のピクセルとの関係に基づいて、背景であるか被写体であるかを決定するステップ
を含む。
【００１２】
本発明に係るシルエット抽出システムは、
（Ａ）動作を行う被写体を背景と共に撮影するためのカメラ、
（Ｂ）撮影された画像のデータを記憶するメモリ
及び
（Ｃ）演算部
を備える。この演算部は、
（Ｃ１）上記画像のデータから、多数のピクセルを含む複数フレームを抽出するフレーム抽出部、
（Ｃ２）それぞれのピクセルについて、全てのフレームからなる全フレーム集合を作成する第一集合作成部、
（Ｃ３）それぞれのフレームのそれぞれのピクセルが、無彩色であるか有彩色であるかを決定し、それぞれのピクセルごとに、有彩色フレーム集合と無彩色フレーム集合とを作成する第二集合作成部、
（Ｃ４）全フレーム集合について、頻度がフレーム数であり、階級が第一色情報である第一ヒストグラムを作成する第一ヒストグラム作成部、
（Ｃ５）有彩色フレーム集合及び無彩色フレーム集合について、頻度がフレーム数であり、有彩色フレーム集合に関する階級が第二色情報であり、無彩色フレーム集合に関する階級が第三色情報である第二ヒストグラムを作成する第二ヒストグラム作成部、
（Ｃ６）第一ヒストグラム及び第二ヒストグラムに基づいて、それぞれのピクセルのそれぞれのフレームが背景であるか被写体であるかを判定する判定部
を含む。
【発明の効果】
【００１３】
本発明に係る方法により、動作を行う被写体のシルエットが精度よく抽出される。このシルエットを用いてなされる診断の精度は、高い。
【図面の簡単な説明】
【００１４】
【図１】図１は、本発明の一実施形態に係るシルエット抽出システムが示された概念図である。
【図２】図２は、図１のシステムの演算部の詳細が示された概念図である。
【図３】図３は、図１のシステムによってなされるシルエット抽出方法が示されたフローチャートである。
【図４】図４は、図１のカメラの画面が示された説明図である。
【図５】図５は、図３のシルエット抽出方法のためのマスクが示された説明図である。
【図６】図６は、図３のシルエット抽出方法の一部のステップの詳細が示されたフローチャートである。
【図７】図７は、あるピクセルについての輝度ヒストグラムである。
【図８】図８は、他のピクセルについての輝度ヒストグラムである。
【図９】図９は、さらに他のピクセルについての輝度ヒストグラムである。
【図１０】図１０は、図７のピクセルについての色ヒストグラムである。
【図１１】図１１は、図８のピクセルについての色ヒストグラムである。
【図１２】図１２は、図９のピクセルについての色ヒストグラムである。
【図１３】図１３は、図３の方法の判定ステップの第一ステージが示されたフローチャートである。
【図１４】図１４は、図３の方法の判定ステップの第二ステージが示されたフローチャートである。
【図１５】図１５は、図３の方法の判定ステップの第三ステージが示されたフローチャートである。
【図１６】図１６は、図３の方法で得られたシルエットが示された説明図である。
【図１７】図１７は、本発明の他の実施形態に係るシルエット抽出システムが示された概念図である。
【発明を実施するための形態】
【００１５】
以下、適宜図面が参照されつつ、好ましい実施形態に基づいて本発明が詳細に説明される。
【００１６】
図１に示されたシステム２は、携帯電話機４とサーバ６とを備えている。携帯電話機４とサーバ６とは、通信回線８を介して接続されている。携帯電話機４は、カメラ１０、メモリ１２及び送受信部１４を備えている。メモリ１２の具体例としては、ＲＡＭ、ＳＤカード（ミニＳＤ、マイクロＳＤ等を含む）及びその他の記憶媒体が挙げられる。サーバ６は、演算部１６、メモリ１８及び送受信部２０を備えている。
【００１７】
典型的な演算部１６は、ＣＰＵである。図２には、演算部１６が示されている。この演算部１６は、フレーム抽出部２２、第一集合作成部２４、第二集合作成部２６、輝度ヒストグラム作成部２８（第一ヒストグラム作成部）、色ヒストグラム作成部３０（第二ヒストグラム作成部）及び判定部３２を有している。
【００１８】
図３には、図１のシステム２によってなされるシルエット抽出方法のフローチャートが示されている。この補正方法では、カメラ１０によって撮影がなされる（ＳＴＥＰ１）。図４には、撮影が開始される前の画面が示されている。この画面は、携帯電話機４のモニタ（図示されず）に表示される。この画面には、ゴルフクラブ３３を持ったゴルファー３４のアドレスが撮影されている。この画面では、ゴルファー３４が後方から撮影されている。この画面には、第一枠３６及び第二枠３８が示されている。これらの枠３６、３８は、携帯電話機４のＣＰＵ（図示されず）の上で実行されるソフトウエアにより、表示される。これらの枠３６、３８は、撮影者がカメラ１０のアングルを決定するときの一助となる。撮影者は、第一枠３６にグリップ４０が含まれ、第二枠３８にヘッド４２が含まれるように、カメラ１０のアングルを決定する。これらの枠３６、３８は、カメラ１０とゴルファー３４との距離の決定の一助ともなる。
【００１９】
図４に示された状態から、撮影が開始される。撮影開始後、ゴルファー３４はスイングを開始する。ゴルフボール（図示されず）が打撃され、さらにスイングが終了するまで、撮影が継続される。撮影により、動画のデータが得られる。このデータは、メモリ１２に記憶される（ＳＴＥＰ２）。この動画の画素数は、例えば６４０×３２０である。
【００２０】
撮影者又はゴルファー３４が携帯電話機４を操作することにより、動画のデータがサーバ６へと送信される（ＳＴＥＰ３）。データは、携帯電話機４の送受信部１４から、サーバ６の送受信部２０へ送信される。送信は、通信回線８を介してなされる。データは、サーバ６のメモリ１８に記憶される（ＳＴＥＰ４）。
【００２１】
フレーム抽出部２２は、動画のデータから多数のフレーム（すなわち静止画のデータ）を抽出する（ＳＴＥＰ５）。１秒あたりの抽出数は３０又は６０である。必要に応じ、各フレームに補正処理がなされる。補正処理の具体例としては、手ぶれ補正処理が挙げられる。これらフレームには、第一フレームと、この第一フレームよりも後で撮影された他のフレームとが含まれている。
【００２２】
第一集合作成部２４は、それぞれのピクセルについて、全てのフレームからなる全フレーム集合を作成する（ＳＴＥＰ６）。第二集合作成部２６は、それぞれのフレームのそれぞれのピクセルが、無彩色であるか有彩色であるかを決定し、それぞれのピクセルごとに、有彩色フレーム集合と無彩色フレーム集合とを作成する（ＳＴＥＰ７）。
【００２３】
輝度ヒストグラム作成部２８は、全フレーム集合について、輝度ヒストグラム（第一ヒストグラム）を作成する（ＳＴＥＰ８）。この輝度ヒストグラムでは、頻度がフレーム数であり、階級が輝度（第一色情報）である。他の色情報に基づいて輝度ヒストグラムが作成されてもよい。色ヒストグラム作成部３０は、有彩色フレーム集合及び無彩色フレーム集合について、色ヒストグラム（第二ヒストグラム）を作成する（ＳＴＥＰ９）。この色ヒストグラムは、頻度がフレーム数であり、有彩色フレーム集合に関する階級が色相（第二色情報）であり、無彩色フレーム集合に関する階級が輝度（第三色情報）である。有彩色フレーム集合に関する階級が、色相以外の色情報であってもよい。無彩色フレーム集合に関する階級が、輝度以外の色情報であってもよい。
【００２４】
判定部３２は、輝度ヒストグラム及び色ヒストグラムに基づいて、それぞれのピクセルのそれぞれのフレームが背景であるか被写体であるかを判定する（ＳＴＥＰ１０）。以下、主なステップが詳細に説明される。
【００２５】
本実施形態では、第一フレームに、図５に示されるマスク４４が設定される。図５から明らかなように、マスク４４は、図４に示されたゴルファー３４及びゴルフクラブ３３を含む。マスク４４の外縁は、ゴルファー３４の外縁よりも外側であり、ゴルフクラブ３３の外縁よりも外側である。それぞれのピクセルが無彩色であるか有彩色であるかの決定において、マスク４４に含まれるピクセルは計算の対象とされない。
【００２６】
図６のフローチャートには、それぞれのピクセルが無彩色であるか有彩色であるかを決定し、それぞれのピクセルごとに無彩色フレーム集合と有彩色フレーム集合とを作成するステップ（ＳＴＥＰ７）の詳細が示されている。
【００２７】
この方法では、ピクセルの彩度値ｓｆが算出される（ＳＴＥＰ７１）。例えば、第１フレームから第６０フレームまでの６０のフレームに基づいてシルエットが抽出される場合、１つのピクセルあたりの輝度値ｓｆの数は、６０個である。
【００２８】
これら６０の輝度値ｓｆのそれぞれに関し、閾値θｓよりも小さいか否かが判定される。閾値θｓは、適宜決定されうる。本発明者が用いた閾値θｓは、０．１５である。換言すれば、輝度値ｓｆが０．１５未満であるピクセルの色は、無彩色又は実質的に無彩色とみなされる。輝度値ｓｆが閾値θｓより小さいフレームにより、初期の無彩色フレーム集合Ｆｍが得られる（ＳＴＥＰ７２）。
【００２９】
無彩色フレーム集合Ｆｍに属さないフレームｆにおけるピクセルの色ベクトルＣｆに関し、集合Ｆｍとの最小の色距離ｄ（Ｃｆ）が計算される（ＳＴＥＰ７３）。計算は、下記数式に基づいてなされる。
【００３０】
【数１】
【００３１】
上記数式に基づき、無彩色フレーム集合Ｆｍの中でフレームｆとの色距離が最小である場合のｎが探索される。
【００３２】
得られたｄ（Ｃｆ）が閾値θｄ未満であるか否かが、判定される（ＳＴＥＰ７４）。閾値θｄは、適宜決定されうる。本発明者が用いた閾値θｄは、３．０である。換言すれば、ｄ（Ｃｆ）が３．０未満であるピクセルの色は、無彩色又は実質的に無彩色とみなされる。ｄ（Ｃｆ）が閾値θｄ未満である場合、当該フレームは無彩色フレーム集合Ｆｍに追加される（ＳＴＥＰ７５）。この追加により、無彩色フレーム集合Ｆｍが更新される。ｄ（Ｃｆ）が閾値θｄ以上である場合、当該フレームは有彩色フレーム集合に区分される（ＳＴＥＰ７６）。かかるフローが、全フレームについての有彩色と無彩色との区分が完了するまで、繰り返される。
【００３３】
図６に示されたフローが、マスク４４を除く全てのピクセルについてなされる。例えば、マウスを除くピクセルの数が１５００００であり、フレーム数が６０である場合、９００００００（１５０００×６０）の輝度値ｓｆが計算される。
【００３４】
輝度ヒストグラム作成部２８は、全フレーム集合について、輝度ヒストグラムを作成する（ＳＴＥＰ８）。あるピクセルについての輝度ヒストグラムの一例が、図７に示されている。この輝度ヒストグラムにおいて、階級は輝度である。このヒストグラムは、１から１００までの１００階級を含んでいる。このヒストグラムにおいて、頻度はフレーム数である。頻度に、平滑化処理がなされてもよい。図８には、他のピクセルについての輝度ヒストグラムの一例が示されている。図９には、さらに他のピクセルについての輝度ヒストグラムの一例が示されている。それぞれの輝度ヒストグラムにおいて、フレームの総数は９８である。
【００３５】
色ヒストグラム作成部３０は、有彩色フレーム集合及び無彩色フレーム集合について、色ヒストグラムを作成する（ＳＴＥＰ９）。あるピクセルについての色ヒストグラムの例が、図１０に示されている。この色ヒストグラムは、有彩色フレーム集合のヒストグラムと無彩色フレーム集合のヒストグラムとが複合されたものである。この色ヒストグラムにおいて、有彩色フレーム集合の階級は色相である。色相の階級は、１から１００までの１００階級を含んでいる。この色ヒストグラムにおいて、無彩色フレーム集合の階級は輝度である。輝度の階級は、１から１００までの１００階級を含んでいる。階級の合計数は、２００である。この色ヒストグラムにおいて、頻度はフレーム数である。頻度に、平滑化処理がなされてもよい。図１１には、他のピクセルについての色ヒストグラムの一例が示されている。図１２には、さらに他のピクセルについての色ヒストグラムの一例が示されている。それぞれの色ヒストグラムにおいて、フレームの総数は９８である。
【００３６】
輝度ヒストグラム及び色ヒストグラムに基づいて、それぞれのピクセルが背景であるか被写体であるかが判定される（ＳＴＥＰ１０）。判定は、判定部３２が行う。この判定は、第一ステージ、第二ステージ及び第三ステージからなる。以下、各ステージが詳説される。
【００３７】
図１３は、第一ステージが示されたフローチャートである。この第一ステージは、ピクセルごとになされる。第一ステージではまず、条件１が満たされるか否かが判断される（ＳＴＥＰ１０１１）。この条件１は、下記の通りである。
条件１：輝度ヒストグラムにおいて、階級幅が２０以下の範囲に全てのフレームが 含まれる
なお、階級幅として「２０」以外の値が用いられてもよい。
【００３８】
図７の輝度ヒストグラムでは、輝度が１２から１９まで（すなわち幅が８）の範囲に、全てのフレームが含まれている。従って、この輝度ヒストグラムは、上記条件１を満たす。図８の輝度ヒストグラムでは、階級の最小値は１２であり、最大値は７２である。従って、この輝度ヒストグラムは、上記条件１を満たさない。図９の輝度ヒストグラムでは、階級の最小値は１３であり、最大値は７７である。従って、この輝度ヒストグラムは、上記条件１を満たさない。
【００３９】
次に、条件２が満たされるか否かが判断される（ＳＴＥＰ１０１２）。この条件２は、下記の通りである。
条件２：色ヒストグラムにおいて、階級幅が２０以下の範囲に全てのフレームが 含まれる
なお、階級幅として「２０」以外の値が用いられてもよい。
【００４０】
図１０は、図７のピクセルについての色ヒストグラムである。図１１は、図８のピクセルについての色ヒストグラムである。図１２は、図９のピクセルについての色ヒストグラムである。図１０の色ヒストグラムでは、色相が５９から６６まで（すなわち幅が７）の範囲に、全てのフレームが含まれている。従って、この色ヒストグラムは、上記条件２を満たす。図１１の色ヒストグラムでは、色相の階級の最小値は４０であり、最大値は６５である。さらに、図１１のヒストグラムでは、輝度の階級が頻度を有する。従って、この色ヒストグラムは、上記条件２を満たさない。図１２の色ヒストグラムでは、色相の階級の最小値は１６であり、最大値は６４である。さらに、図１２のヒストグラムでは、輝度の階級が頻度を有する。従って、この色ヒストグラムは、上記条件２を満たさない。
【００４１】
図７及び１０に示されたピクセルでは、輝度ヒストグラムが上記条件１を満たし、色ヒストグラムが上記条件２を満たす。スイングのとき、ゴルファー３４は動く。この動きに起因して、ピクセルにゴルファー３４及び背景の両方が撮影されうる。ゴルファー３４及び背景の両方が撮影された場合、当該ピクセルの輝度又は色相は、大幅に変動する。上記条件１及び２の両方を満たすピクセルは、輝度及び色相の変動が小さなピクセルである。換言すれば、このピクセルには、第一フレームから最終フレームまでの間、ゴルファー３４は撮影されていないと考えられる。上記条件１及び２を満たすピクセルについては、全てのフレームにおいて、「背景」と判定される（ＳＴＥＰ１０１３）。
【００４２】
互いに輝度が同じである有彩色と無彩色とは、輝度ヒストグラムでは区別され得ないが、色ヒストグラムでは区別されうる。互いに色相が同じで互いに輝度が異なる２つの有彩色は、色ヒストグラムでは区別され得ないが、輝度ヒストグラムでは区別されうる。本発明に係るシルエット抽出方法では、条件１及び２の両方が満たされれば、当該ピクセルについては、全てのフレームにおいて、「背景」と判定される。換言すれば、輝度ヒストグラム及び色ヒストグラムの両方が考慮されて、判定がなされる。従って、背景でないピクセルが背景と誤認定されることがほとんどない。
【００４３】
なお、第一フレームから最終フレームまでの間にゴルファー３４のみが撮影されたピクセルでも、上記条件１及び２が満たされうる。しかし、前述の通り、ゴルファー３４にはマスク４４によってマスキングがなされているので、上記条件１及び２を満たすピクセルについては、全てのフレームにおいて、「背景」と判定されうる。
【００４４】
第一フレームから最終フレームまでの間に、ゴルファー３４及び背景の両方が撮影されたピクセルは、上記条件１又は２を満たさない。条件１又は２を満たさないピクセルについては、判定は第二ステージに持ち越される。
【００４５】
以下、第二ステージが詳説される。第一ステージにおいて、「ゴルファー３４及び背景の両方が撮影されている」と判断されたピクセルに関し、第二ステージにおいて、さらに検討が加えられる。図１４は、第二ステージが示されたフローチャートである。この第二ステージは、ピクセルごとになされる。第二ステージではまず、条件３が満たされるか否かが判断される（ＳＴＥＰ１０２１）。この条件３は、下記の通りである。
条件３：輝度ヒストグラムにおいて、階級幅が２０以下の範囲に、全フレームの６ ０％以上が含まれる
なお、階級幅として「２０」以外の値が用いられてもよい。比率として「６０％」以外の値が用いられてもよい。
【００４６】
図８の輝度ヒストグラムでは、輝度が１２から１９まで（すなわち幅が８）の範囲に、８０（すなわち８１．６％）のフレームが含まれている。従って、上記条件３を満たす。図９の輝度ヒストグラムでは、上記条件３は満たされない。
【００４７】
次に、条件４が満たされるか否かが判断される（ＳＴＥＰ１０２２）。この条件４は、下記の通りである。
条件４：色ヒストグラムにおいて、階級幅が２０以下の範囲に、全フレームの６ ０％以上が含まれる
なお、階級幅として「２０」以外の値が用いられてもよい。比率として「６０％」以外の値が用いられてもよい。
【００４８】
図１１の色ヒストグラムでは、輝度が５９から６５まで（すなわち幅が７）の範囲に、７２（すなわち７３．５％）のフレームが含まれている。従って、上記条件４を満たす。図１２の輝度ヒストグラムでは、上記条件４は満たされない。
【００４９】
図８及び１１に示されたピクセルでは、輝度ヒストグラムが上記条件３を満たし、色ヒストグラムが上記条件４を満たす。階級幅が２０以下の範囲に、全フレームの６０％以上のフレームが含まれる場合、当該階級幅内のフレーム群の当該ピクセルでは、輝度又は色相の変動が小さいと考えられる。一方、当該階級幅外のフレーム群の当該ピクセルの輝度又は色相は、当該階級幅内のフレームの当該ピクセルの輝度又は色相とは大きく異なっていると考えられる。かかる現象から、第一フレームから最終フレームまでの間、当該ピクセルに主として背景が撮影されており、かつ、一時的にゴルファー３４の人体が撮影されたと考えられる。上記条件３及び４を満たすピクセルについては、当該階級幅内のフレームを「背景」と判定し、その他のフレームを「被写体」と判定する（ＳＴＥＰ１０２３）。
【００５０】
互いに輝度が同じである有彩色と無彩色とは、輝度ヒストグラムでは区別され得ないが、色ヒストグラムでは区別されうる。互いに色相が同じで互いに輝度が異なる２つの有彩色は、色ヒストグラムでは区別され得ないが、輝度ヒストグラムでは区別されうる。本発明に係るシルエット抽出方法では、条件３及び４の両方に基づき、判定がなされる。換言すれば、輝度ヒストグラム及び色ヒストグラムの両方が考慮されて、判定がなされる。従って、誤認定が抑制される。
【００５１】
図９及び１２に示されるようなヒストグラムを呈するピクセルの判定は、第三ステージに持ち越される。
【００５２】
以下、第三ステージが詳説される。第二ステージにおいて判定が持ち越されたピクセル、及びマスク４４に該当するピクセルに関し、第三ステージにおいて、さらに検討が加えられる。以下、既に「背景」か「被写体」かの判定がなされたピクセルを「判定完了ピクセル」と称する。一方、「背景」か「被写体」かの判定が未だなされていないピクセルを「判定未完了ピクセル」と称する。
【００５３】
図１５は、第三ステージが示されたフローチャートである。第三ステージでは、判定未完了ピクセルに関し、距離画像ｄｘｙが生成される（ＳＴＥＰ１０３１）。距離画像ｄｘｙは、二次元データに奥行きデータを付加したものである。ここで奥行きデータは、境界までの距離である。
【００５４】
閾値θｄの初期値が１であるとき、ｄｘｙがθｄ未満である判定未完了ピクセルの８近傍に、判定完了ピクセルが存在するか否かが検討される（ＳＴＥＰ１０３２）。ここで８近傍とは、当該判定未完了ピクセルの左、左上、上、右上、右、右下、下及び左下に位置する８個のピクセルを意味する。
【００５５】
８近傍に判定完了ピクセルが全く存在しない場合、当該ピクセルは、全てのフレームにおいて「被写体」であると判定される（ＳＴＥＰ１０３３）。８近傍に１又は２以上の判定完了ピクセルが存在する場合、下記条件５が満たされるか否かが判断される（ＳＴＥＰ１０３４）。この条件５は、下記の通りである。
【００５６】
条件５：輝度ヒストグラムにおいて、下記数式を満たすフレーム群が存在する
【００５７】
ｍｉｎ（ＬＱ） ＞ ｍｉｎ（ＬＢ）−θｗ
ｍａｘ（ＬＱ） ＜ ｍａｘ（ＬＢ）＋θｗ
これら数式において、ｍｉｎ（ＬＱ）は判定未完了ピクセルの輝度ヒストグラムにおける上記フレーム群の階級幅最小値であり、ｍａｘ（ＬＱ）は判定未完了ピクセルの輝度ヒストグラムにおける上記フレーム群の階級幅最大値であり、ｍｉｎ（ＬＢ）は８近傍に存在する１つの判定完了ピクセルの輝度ヒストグラムにおける背景であるフレーム群の階級幅最小値であり、ｍａｘ（ＬＢ）は８近傍に存在する１つの判定完了ピクセルの輝度ヒストグラムにおける背景であるフレーム群の階級幅の最大値である。θｗは、適宜設定される。本発明者は、θｗとして６を用いた。
【００５８】
８近傍に１又は２以上の判定完了ピクセルが存在する場合、さらに、下記条件６が満たされるか否かが判断される（ＳＴＥＰ１０３５）。この条件６は、下記の通りである。
【００５９】
条件６：色ヒストグラムにおいて、下記数式が満たすフレーム群が存在する
【００６０】
ｍｉｎ（ＣＱ） ＞ ｍｉｎ（ＣＢ）−θｗ
ｍａｘ（ＣＱ） ＜ ｍａｘ（ＣＢ）＋θｗ
これら数式において、ｍｉｎ（ＣＱ）は判定未完了ピクセルの色ヒストグラムにおける上記フレーム群の階級幅最小値であり、ｍａｘ（ＣＱ）は判定未完了ピクセルの色ヒストグラムにおける上記フレーム群の階級幅最大値であり、ｍｉｎ（ＣＢ）は８近傍に存在する１つの判定完了ピクセルの色ヒストグラムにおける背景であるフレーム群の階級幅最小値であり、ｍａｘ（ＣＢ）は８近傍に存在する１つの判定完了ピクセルの色ヒストグラムにおける背景であるフレーム群の階級幅最大値である。θｗは、適宜設定される。本発明者は、θｗとして６を用いた。
【００６１】
上記条件５及び６を満たすフレーム群の当該ピクセルは「背景」と判定され、満たさないフレーム群の当該ピクセルは「被写体」と判定される（ＳＴＥＰ１０３６）。当該判定完了ピクセルとの関係において上記条件５及び６のいずれかが満たされず、かつ８近傍に他の判定完了ピクセルが存在する場合、他の判定完了ピクセルとの関係において、上記条件５及び６が満たされるか否かが、判断される。
【００６２】
全ての判定未完了ピクセルについて条件５及び６の検討が完了した後、θｄに「１」が加算される（ＳＴＥＰ１０３７）。そして、判定未完了ピクセルの８近傍に判定完了ピクセルが存在するか否かの検討（ＳＴＥＰ１０３２）から、判定（ＳＴＥＰ１０３６）までのフローが繰り返される。この繰り返しは、θｄがθｄｍａｘとなるまでなされる。θｄｍａｘは、距離画像における最大値である。
【００６３】
以上のフローにより、全てのフレームの全てのピクセルが、「背景」及び「被写体」のいずれかに区分される。各フレームにおいて、被写体とされたピクセルの集合は、被写体のシルエットである。図１６には、１つのフレームのシルエットが示されている。図１では、被写体のピクセルが黒で示され、他のピクセルが白で示されている。図１６から明らかなように、この方法により、被写体（ゴルファー３４）のシルエットがほぼ忠実に再現されている。このようなシルエットを用い、ゴルファー３４のスイングが画像処理によって診断されうる。撮影開始から終了までは短時間なので、この間に天候が大幅に変化することは少ない。従って、天候変化に起因する誤認識は生じにくい。
【００６４】
図１７は、本発明の他の実施形態に係るシルエット抽出システム４６が示された概念図である。このシステム４６は、携帯電話機４８からなる。この携帯電話機４８は、カメラ５０、メモリ５２及び演算部５４を備えている。図示されていないが、この演算部５４は、図２に示された演算部１６と同様、フレーム抽出部、第一集合作成部、第二集合作成部、輝度ヒストグラム作成部、色ヒストグラム作成部及び判定部を含んでいる。この演算部５４は、図２に示された演算部１６と同等の機能を果たす。つまり、この演算部５４が、シルエットの抽出を行う。従って、携帯電話機４８とサーバとの接続は不要である。撮影者は、携帯電話機４８のみを持参すれば、その場でスイングを診断しうる。
【産業上の利用可能性】
【００６５】
以上説明されたシルエット抽出方法は、スイングの診断、ゴルフクラブの開発、ゴルフシューズの開発等において有用である。この抽出方法は、テニス、野球等の種々のスポーツのフォーム診断に用いられうる。
【符号の説明】
【００６６】
２・・・シルエット抽出システム
４・・・携帯電話機
６・・・サーバ
８・・・通信回線
１０・・・カメラ
１２・・・メモリ
１６・・・演算部
２２・・・フレーム抽出部
２４・・・第一集合作成部
２６・・・第二集合作成部
２８・・・輝度ヒストグラム作成部
３０・・・色ヒストグラム作成部
３２・・・判定部
【技術分野】
【０００１】
本発明は、スポーツ等の動作を行う被写体のシルエットを抽出する方法に関する。
【背景技術】
【０００２】
ゴルファーがゴルフボールを打撃するとき、左右の爪先を結ぶ線が打撃方向とほぼ平行となるようにアドレスする。右利きのゴルファーのアドレスでは、左足が打撃方向前側に位置し、右足が打撃方向後側に位置する。アドレスでは、ゴルフクラブのヘッドはゴルフボールの近くに位置する。この状態からゴルファーはテイクバックを開始し、ヘッドを後へ、次いで上方へと振り上げる。最もヘッドが振り上げられた位置がトップ位置である。トップ位置からダウンスイングが開始されてヘッドが振り下ろされ、ヘッドがゴルフボールと衝突する（インパクト）。インパクト後、ゴルファーはゴルフクラブを前方へ、次いで上方へと振り抜き（フォロースルー）、フィニッシュを迎える。
【０００３】
ゴルファーの技量向上において、適切なスイングフォームの習得が重要である。技量向上の一助とすべく、スイング診断がなされている。スイング診断では、ビデオカメラでスイングが撮影される。ゴルフ用品の開発に役立つ資料の収集の目的で、スイングが撮影されることもある。
【０００４】
古典的なスイング診断では、ティーチングプロ等が動画を見て、スイング中の問題点を指摘する。一方、画像処理によってスイングを診断しようとの試みも、なされている。画像処理による場合、ゴルファーが撮影されたピクセルと背景が撮影されたピクセルとが区別される必要がある。この区別により、ゴルファーのシルエットが抽出されうる。区別には、通常は差分処理が用いられる。この処理では、予め背景が撮影される。その後に、ゴルファーが撮影される。背景のみが撮影された画像と、背景及びゴルファーが撮影された画像との差分により、ゴルファーと背景とが区別される。具体的には、両画像において色情報が同じピクセルは背景と判断され、背景以外のピクセルがゴルファー（又はゴルフクラブ）と判断される。かかる診断方法が、特開２００５−２７０５３４公報に開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２７０５３４公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
背景の撮影とスイングの撮影との間に、天候が変化する場合がある。例えば、背景の撮影時には曇りであったにもかかわらず、スイングの撮影時に日光が照っていることがある。日光によって影が生じた場合、この影のピクセルの色情報が、背景が撮影されたときの色情報と異なる。従って、差分処理により、背景のピクセルがゴルファーのピクセルと誤認識されてしまう。誤認識は、シルエットの抽出の精度を阻害する。ゴルファーは、精度のよいシルエット抽出を望んでいる。野球、テニス等の種々のスポーツにおいても、精度のよいシルエット抽出が望まれている。
【０００７】
本発明の目的は、被写体のシルエットが精度よく抽出されうる方法の提供にある。
【課題を解決するための手段】
【０００８】
本発明に係るシルエット抽出方法は、
動作を行う被写体を背景と共に撮影し、それぞれが多数のピクセルを含む複数フレームを得るステップ、
それぞれのピクセルについて、全てのフレームからなる全フレーム集合を作成するステップ、
それぞれのフレームのそれぞれのピクセルが、無彩色であるか有彩色であるかを決定し、それぞれのピクセルごとに、有彩色フレーム集合と無彩色フレーム集合とを作成するステップ、
上記全フレーム集合について、頻度がフレーム数であり、階級が第一色情報である第一ヒストグラムを作成するステップ、
上記有彩色フレーム集合及び無彩色フレーム集合について、頻度がフレーム数であり、有彩色フレーム集合に関する階級が第二色情報であり、無彩色フレーム集合に関する階級が第三色情報である第二ヒストグラムを作成するステップ、
上記第一ヒストグラム及び第二ヒストグラムに基づいて、それぞれのピクセルのそれぞれのフレームが背景であるか被写体であるかを判定するステップ
を含む
【０００９】
好ましくは、上記判定するステップは、
第一ヒストグラム及び第二ヒストグラムに基づいて、それぞれのピクセルにつき、全てのフレームにわたって背景であるピクセルであるか、背景であるフレームと被写体であるフレームとが混在するピクセルであるかを決定するステップ
を含む。
【００１０】
好ましくは、上記判定するステップは、
背景であるフレームと被写体であるフレームとが混在するピクセルに関し、上記第一ヒストグラム及び第二ヒストグラムに基づいて、背景であるフレーム群と被写体であるフレーム群とに区分できるピクセルかできないピクセルかが判定されるステップ、
及び
背景であるフレーム群と被写体であるフレーム群とに区分できるピクセルに関し、この区分がなされるステップ
を含む。
【００１１】
好ましくは、上記判定するステップは、
背景であるフレーム群と被写であるフレーム群とに区分できないと判断されたピクセルのそれぞれのフレームに関し、このピクセルと隣接する他のピクセルとの関係に基づいて、背景であるか被写体であるかを決定するステップ
を含む。
【００１２】
本発明に係るシルエット抽出システムは、
（Ａ）動作を行う被写体を背景と共に撮影するためのカメラ、
（Ｂ）撮影された画像のデータを記憶するメモリ
及び
（Ｃ）演算部
を備える。この演算部は、
（Ｃ１）上記画像のデータから、多数のピクセルを含む複数フレームを抽出するフレーム抽出部、
（Ｃ２）それぞれのピクセルについて、全てのフレームからなる全フレーム集合を作成する第一集合作成部、
（Ｃ３）それぞれのフレームのそれぞれのピクセルが、無彩色であるか有彩色であるかを決定し、それぞれのピクセルごとに、有彩色フレーム集合と無彩色フレーム集合とを作成する第二集合作成部、
（Ｃ４）全フレーム集合について、頻度がフレーム数であり、階級が第一色情報である第一ヒストグラムを作成する第一ヒストグラム作成部、
（Ｃ５）有彩色フレーム集合及び無彩色フレーム集合について、頻度がフレーム数であり、有彩色フレーム集合に関する階級が第二色情報であり、無彩色フレーム集合に関する階級が第三色情報である第二ヒストグラムを作成する第二ヒストグラム作成部、
（Ｃ６）第一ヒストグラム及び第二ヒストグラムに基づいて、それぞれのピクセルのそれぞれのフレームが背景であるか被写体であるかを判定する判定部
を含む。
【発明の効果】
【００１３】
本発明に係る方法により、動作を行う被写体のシルエットが精度よく抽出される。このシルエットを用いてなされる診断の精度は、高い。
【図面の簡単な説明】
【００１４】
【図１】図１は、本発明の一実施形態に係るシルエット抽出システムが示された概念図である。
【図２】図２は、図１のシステムの演算部の詳細が示された概念図である。
【図３】図３は、図１のシステムによってなされるシルエット抽出方法が示されたフローチャートである。
【図４】図４は、図１のカメラの画面が示された説明図である。
【図５】図５は、図３のシルエット抽出方法のためのマスクが示された説明図である。
【図６】図６は、図３のシルエット抽出方法の一部のステップの詳細が示されたフローチャートである。
【図７】図７は、あるピクセルについての輝度ヒストグラムである。
【図８】図８は、他のピクセルについての輝度ヒストグラムである。
【図９】図９は、さらに他のピクセルについての輝度ヒストグラムである。
【図１０】図１０は、図７のピクセルについての色ヒストグラムである。
【図１１】図１１は、図８のピクセルについての色ヒストグラムである。
【図１２】図１２は、図９のピクセルについての色ヒストグラムである。
【図１３】図１３は、図３の方法の判定ステップの第一ステージが示されたフローチャートである。
【図１４】図１４は、図３の方法の判定ステップの第二ステージが示されたフローチャートである。
【図１５】図１５は、図３の方法の判定ステップの第三ステージが示されたフローチャートである。
【図１６】図１６は、図３の方法で得られたシルエットが示された説明図である。
【図１７】図１７は、本発明の他の実施形態に係るシルエット抽出システムが示された概念図である。
【発明を実施するための形態】
【００１５】
以下、適宜図面が参照されつつ、好ましい実施形態に基づいて本発明が詳細に説明される。
【００１６】
図１に示されたシステム２は、携帯電話機４とサーバ６とを備えている。携帯電話機４とサーバ６とは、通信回線８を介して接続されている。携帯電話機４は、カメラ１０、メモリ１２及び送受信部１４を備えている。メモリ１２の具体例としては、ＲＡＭ、ＳＤカード（ミニＳＤ、マイクロＳＤ等を含む）及びその他の記憶媒体が挙げられる。サーバ６は、演算部１６、メモリ１８及び送受信部２０を備えている。
【００１７】
典型的な演算部１６は、ＣＰＵである。図２には、演算部１６が示されている。この演算部１６は、フレーム抽出部２２、第一集合作成部２４、第二集合作成部２６、輝度ヒストグラム作成部２８（第一ヒストグラム作成部）、色ヒストグラム作成部３０（第二ヒストグラム作成部）及び判定部３２を有している。
【００１８】
図３には、図１のシステム２によってなされるシルエット抽出方法のフローチャートが示されている。この補正方法では、カメラ１０によって撮影がなされる（ＳＴＥＰ１）。図４には、撮影が開始される前の画面が示されている。この画面は、携帯電話機４のモニタ（図示されず）に表示される。この画面には、ゴルフクラブ３３を持ったゴルファー３４のアドレスが撮影されている。この画面では、ゴルファー３４が後方から撮影されている。この画面には、第一枠３６及び第二枠３８が示されている。これらの枠３６、３８は、携帯電話機４のＣＰＵ（図示されず）の上で実行されるソフトウエアにより、表示される。これらの枠３６、３８は、撮影者がカメラ１０のアングルを決定するときの一助となる。撮影者は、第一枠３６にグリップ４０が含まれ、第二枠３８にヘッド４２が含まれるように、カメラ１０のアングルを決定する。これらの枠３６、３８は、カメラ１０とゴルファー３４との距離の決定の一助ともなる。
【００１９】
図４に示された状態から、撮影が開始される。撮影開始後、ゴルファー３４はスイングを開始する。ゴルフボール（図示されず）が打撃され、さらにスイングが終了するまで、撮影が継続される。撮影により、動画のデータが得られる。このデータは、メモリ１２に記憶される（ＳＴＥＰ２）。この動画の画素数は、例えば６４０×３２０である。
【００２０】
撮影者又はゴルファー３４が携帯電話機４を操作することにより、動画のデータがサーバ６へと送信される（ＳＴＥＰ３）。データは、携帯電話機４の送受信部１４から、サーバ６の送受信部２０へ送信される。送信は、通信回線８を介してなされる。データは、サーバ６のメモリ１８に記憶される（ＳＴＥＰ４）。
【００２１】
フレーム抽出部２２は、動画のデータから多数のフレーム（すなわち静止画のデータ）を抽出する（ＳＴＥＰ５）。１秒あたりの抽出数は３０又は６０である。必要に応じ、各フレームに補正処理がなされる。補正処理の具体例としては、手ぶれ補正処理が挙げられる。これらフレームには、第一フレームと、この第一フレームよりも後で撮影された他のフレームとが含まれている。
【００２２】
第一集合作成部２４は、それぞれのピクセルについて、全てのフレームからなる全フレーム集合を作成する（ＳＴＥＰ６）。第二集合作成部２６は、それぞれのフレームのそれぞれのピクセルが、無彩色であるか有彩色であるかを決定し、それぞれのピクセルごとに、有彩色フレーム集合と無彩色フレーム集合とを作成する（ＳＴＥＰ７）。
【００２３】
輝度ヒストグラム作成部２８は、全フレーム集合について、輝度ヒストグラム（第一ヒストグラム）を作成する（ＳＴＥＰ８）。この輝度ヒストグラムでは、頻度がフレーム数であり、階級が輝度（第一色情報）である。他の色情報に基づいて輝度ヒストグラムが作成されてもよい。色ヒストグラム作成部３０は、有彩色フレーム集合及び無彩色フレーム集合について、色ヒストグラム（第二ヒストグラム）を作成する（ＳＴＥＰ９）。この色ヒストグラムは、頻度がフレーム数であり、有彩色フレーム集合に関する階級が色相（第二色情報）であり、無彩色フレーム集合に関する階級が輝度（第三色情報）である。有彩色フレーム集合に関する階級が、色相以外の色情報であってもよい。無彩色フレーム集合に関する階級が、輝度以外の色情報であってもよい。
【００２４】
判定部３２は、輝度ヒストグラム及び色ヒストグラムに基づいて、それぞれのピクセルのそれぞれのフレームが背景であるか被写体であるかを判定する（ＳＴＥＰ１０）。以下、主なステップが詳細に説明される。
【００２５】
本実施形態では、第一フレームに、図５に示されるマスク４４が設定される。図５から明らかなように、マスク４４は、図４に示されたゴルファー３４及びゴルフクラブ３３を含む。マスク４４の外縁は、ゴルファー３４の外縁よりも外側であり、ゴルフクラブ３３の外縁よりも外側である。それぞれのピクセルが無彩色であるか有彩色であるかの決定において、マスク４４に含まれるピクセルは計算の対象とされない。
【００２６】
図６のフローチャートには、それぞれのピクセルが無彩色であるか有彩色であるかを決定し、それぞれのピクセルごとに無彩色フレーム集合と有彩色フレーム集合とを作成するステップ（ＳＴＥＰ７）の詳細が示されている。
【００２７】
この方法では、ピクセルの彩度値ｓｆが算出される（ＳＴＥＰ７１）。例えば、第１フレームから第６０フレームまでの６０のフレームに基づいてシルエットが抽出される場合、１つのピクセルあたりの輝度値ｓｆの数は、６０個である。
【００２８】
これら６０の輝度値ｓｆのそれぞれに関し、閾値θｓよりも小さいか否かが判定される。閾値θｓは、適宜決定されうる。本発明者が用いた閾値θｓは、０．１５である。換言すれば、輝度値ｓｆが０．１５未満であるピクセルの色は、無彩色又は実質的に無彩色とみなされる。輝度値ｓｆが閾値θｓより小さいフレームにより、初期の無彩色フレーム集合Ｆｍが得られる（ＳＴＥＰ７２）。
【００２９】
無彩色フレーム集合Ｆｍに属さないフレームｆにおけるピクセルの色ベクトルＣｆに関し、集合Ｆｍとの最小の色距離ｄ（Ｃｆ）が計算される（ＳＴＥＰ７３）。計算は、下記数式に基づいてなされる。
【００３０】
【数１】
【００３１】
上記数式に基づき、無彩色フレーム集合Ｆｍの中でフレームｆとの色距離が最小である場合のｎが探索される。
【００３２】
得られたｄ（Ｃｆ）が閾値θｄ未満であるか否かが、判定される（ＳＴＥＰ７４）。閾値θｄは、適宜決定されうる。本発明者が用いた閾値θｄは、３．０である。換言すれば、ｄ（Ｃｆ）が３．０未満であるピクセルの色は、無彩色又は実質的に無彩色とみなされる。ｄ（Ｃｆ）が閾値θｄ未満である場合、当該フレームは無彩色フレーム集合Ｆｍに追加される（ＳＴＥＰ７５）。この追加により、無彩色フレーム集合Ｆｍが更新される。ｄ（Ｃｆ）が閾値θｄ以上である場合、当該フレームは有彩色フレーム集合に区分される（ＳＴＥＰ７６）。かかるフローが、全フレームについての有彩色と無彩色との区分が完了するまで、繰り返される。
【００３３】
図６に示されたフローが、マスク４４を除く全てのピクセルについてなされる。例えば、マウスを除くピクセルの数が１５００００であり、フレーム数が６０である場合、９００００００（１５０００×６０）の輝度値ｓｆが計算される。
【００３４】
輝度ヒストグラム作成部２８は、全フレーム集合について、輝度ヒストグラムを作成する（ＳＴＥＰ８）。あるピクセルについての輝度ヒストグラムの一例が、図７に示されている。この輝度ヒストグラムにおいて、階級は輝度である。このヒストグラムは、１から１００までの１００階級を含んでいる。このヒストグラムにおいて、頻度はフレーム数である。頻度に、平滑化処理がなされてもよい。図８には、他のピクセルについての輝度ヒストグラムの一例が示されている。図９には、さらに他のピクセルについての輝度ヒストグラムの一例が示されている。それぞれの輝度ヒストグラムにおいて、フレームの総数は９８である。
【００３５】
色ヒストグラム作成部３０は、有彩色フレーム集合及び無彩色フレーム集合について、色ヒストグラムを作成する（ＳＴＥＰ９）。あるピクセルについての色ヒストグラムの例が、図１０に示されている。この色ヒストグラムは、有彩色フレーム集合のヒストグラムと無彩色フレーム集合のヒストグラムとが複合されたものである。この色ヒストグラムにおいて、有彩色フレーム集合の階級は色相である。色相の階級は、１から１００までの１００階級を含んでいる。この色ヒストグラムにおいて、無彩色フレーム集合の階級は輝度である。輝度の階級は、１から１００までの１００階級を含んでいる。階級の合計数は、２００である。この色ヒストグラムにおいて、頻度はフレーム数である。頻度に、平滑化処理がなされてもよい。図１１には、他のピクセルについての色ヒストグラムの一例が示されている。図１２には、さらに他のピクセルについての色ヒストグラムの一例が示されている。それぞれの色ヒストグラムにおいて、フレームの総数は９８である。
【００３６】
輝度ヒストグラム及び色ヒストグラムに基づいて、それぞれのピクセルが背景であるか被写体であるかが判定される（ＳＴＥＰ１０）。判定は、判定部３２が行う。この判定は、第一ステージ、第二ステージ及び第三ステージからなる。以下、各ステージが詳説される。
【００３７】
図１３は、第一ステージが示されたフローチャートである。この第一ステージは、ピクセルごとになされる。第一ステージではまず、条件１が満たされるか否かが判断される（ＳＴＥＰ１０１１）。この条件１は、下記の通りである。
条件１：輝度ヒストグラムにおいて、階級幅が２０以下の範囲に全てのフレームが 含まれる
なお、階級幅として「２０」以外の値が用いられてもよい。
【００３８】
図７の輝度ヒストグラムでは、輝度が１２から１９まで（すなわち幅が８）の範囲に、全てのフレームが含まれている。従って、この輝度ヒストグラムは、上記条件１を満たす。図８の輝度ヒストグラムでは、階級の最小値は１２であり、最大値は７２である。従って、この輝度ヒストグラムは、上記条件１を満たさない。図９の輝度ヒストグラムでは、階級の最小値は１３であり、最大値は７７である。従って、この輝度ヒストグラムは、上記条件１を満たさない。
【００３９】
次に、条件２が満たされるか否かが判断される（ＳＴＥＰ１０１２）。この条件２は、下記の通りである。
条件２：色ヒストグラムにおいて、階級幅が２０以下の範囲に全てのフレームが 含まれる
なお、階級幅として「２０」以外の値が用いられてもよい。
【００４０】
図１０は、図７のピクセルについての色ヒストグラムである。図１１は、図８のピクセルについての色ヒストグラムである。図１２は、図９のピクセルについての色ヒストグラムである。図１０の色ヒストグラムでは、色相が５９から６６まで（すなわち幅が７）の範囲に、全てのフレームが含まれている。従って、この色ヒストグラムは、上記条件２を満たす。図１１の色ヒストグラムでは、色相の階級の最小値は４０であり、最大値は６５である。さらに、図１１のヒストグラムでは、輝度の階級が頻度を有する。従って、この色ヒストグラムは、上記条件２を満たさない。図１２の色ヒストグラムでは、色相の階級の最小値は１６であり、最大値は６４である。さらに、図１２のヒストグラムでは、輝度の階級が頻度を有する。従って、この色ヒストグラムは、上記条件２を満たさない。
【００４１】
図７及び１０に示されたピクセルでは、輝度ヒストグラムが上記条件１を満たし、色ヒストグラムが上記条件２を満たす。スイングのとき、ゴルファー３４は動く。この動きに起因して、ピクセルにゴルファー３４及び背景の両方が撮影されうる。ゴルファー３４及び背景の両方が撮影された場合、当該ピクセルの輝度又は色相は、大幅に変動する。上記条件１及び２の両方を満たすピクセルは、輝度及び色相の変動が小さなピクセルである。換言すれば、このピクセルには、第一フレームから最終フレームまでの間、ゴルファー３４は撮影されていないと考えられる。上記条件１及び２を満たすピクセルについては、全てのフレームにおいて、「背景」と判定される（ＳＴＥＰ１０１３）。
【００４２】
互いに輝度が同じである有彩色と無彩色とは、輝度ヒストグラムでは区別され得ないが、色ヒストグラムでは区別されうる。互いに色相が同じで互いに輝度が異なる２つの有彩色は、色ヒストグラムでは区別され得ないが、輝度ヒストグラムでは区別されうる。本発明に係るシルエット抽出方法では、条件１及び２の両方が満たされれば、当該ピクセルについては、全てのフレームにおいて、「背景」と判定される。換言すれば、輝度ヒストグラム及び色ヒストグラムの両方が考慮されて、判定がなされる。従って、背景でないピクセルが背景と誤認定されることがほとんどない。
【００４３】
なお、第一フレームから最終フレームまでの間にゴルファー３４のみが撮影されたピクセルでも、上記条件１及び２が満たされうる。しかし、前述の通り、ゴルファー３４にはマスク４４によってマスキングがなされているので、上記条件１及び２を満たすピクセルについては、全てのフレームにおいて、「背景」と判定されうる。
【００４４】
第一フレームから最終フレームまでの間に、ゴルファー３４及び背景の両方が撮影されたピクセルは、上記条件１又は２を満たさない。条件１又は２を満たさないピクセルについては、判定は第二ステージに持ち越される。
【００４５】
以下、第二ステージが詳説される。第一ステージにおいて、「ゴルファー３４及び背景の両方が撮影されている」と判断されたピクセルに関し、第二ステージにおいて、さらに検討が加えられる。図１４は、第二ステージが示されたフローチャートである。この第二ステージは、ピクセルごとになされる。第二ステージではまず、条件３が満たされるか否かが判断される（ＳＴＥＰ１０２１）。この条件３は、下記の通りである。
条件３：輝度ヒストグラムにおいて、階級幅が２０以下の範囲に、全フレームの６ ０％以上が含まれる
なお、階級幅として「２０」以外の値が用いられてもよい。比率として「６０％」以外の値が用いられてもよい。
【００４６】
図８の輝度ヒストグラムでは、輝度が１２から１９まで（すなわち幅が８）の範囲に、８０（すなわち８１．６％）のフレームが含まれている。従って、上記条件３を満たす。図９の輝度ヒストグラムでは、上記条件３は満たされない。
【００４７】
次に、条件４が満たされるか否かが判断される（ＳＴＥＰ１０２２）。この条件４は、下記の通りである。
条件４：色ヒストグラムにおいて、階級幅が２０以下の範囲に、全フレームの６ ０％以上が含まれる
なお、階級幅として「２０」以外の値が用いられてもよい。比率として「６０％」以外の値が用いられてもよい。
【００４８】
図１１の色ヒストグラムでは、輝度が５９から６５まで（すなわち幅が７）の範囲に、７２（すなわち７３．５％）のフレームが含まれている。従って、上記条件４を満たす。図１２の輝度ヒストグラムでは、上記条件４は満たされない。
【００４９】
図８及び１１に示されたピクセルでは、輝度ヒストグラムが上記条件３を満たし、色ヒストグラムが上記条件４を満たす。階級幅が２０以下の範囲に、全フレームの６０％以上のフレームが含まれる場合、当該階級幅内のフレーム群の当該ピクセルでは、輝度又は色相の変動が小さいと考えられる。一方、当該階級幅外のフレーム群の当該ピクセルの輝度又は色相は、当該階級幅内のフレームの当該ピクセルの輝度又は色相とは大きく異なっていると考えられる。かかる現象から、第一フレームから最終フレームまでの間、当該ピクセルに主として背景が撮影されており、かつ、一時的にゴルファー３４の人体が撮影されたと考えられる。上記条件３及び４を満たすピクセルについては、当該階級幅内のフレームを「背景」と判定し、その他のフレームを「被写体」と判定する（ＳＴＥＰ１０２３）。
【００５０】
互いに輝度が同じである有彩色と無彩色とは、輝度ヒストグラムでは区別され得ないが、色ヒストグラムでは区別されうる。互いに色相が同じで互いに輝度が異なる２つの有彩色は、色ヒストグラムでは区別され得ないが、輝度ヒストグラムでは区別されうる。本発明に係るシルエット抽出方法では、条件３及び４の両方に基づき、判定がなされる。換言すれば、輝度ヒストグラム及び色ヒストグラムの両方が考慮されて、判定がなされる。従って、誤認定が抑制される。
【００５１】
図９及び１２に示されるようなヒストグラムを呈するピクセルの判定は、第三ステージに持ち越される。
【００５２】
以下、第三ステージが詳説される。第二ステージにおいて判定が持ち越されたピクセル、及びマスク４４に該当するピクセルに関し、第三ステージにおいて、さらに検討が加えられる。以下、既に「背景」か「被写体」かの判定がなされたピクセルを「判定完了ピクセル」と称する。一方、「背景」か「被写体」かの判定が未だなされていないピクセルを「判定未完了ピクセル」と称する。
【００５３】
図１５は、第三ステージが示されたフローチャートである。第三ステージでは、判定未完了ピクセルに関し、距離画像ｄｘｙが生成される（ＳＴＥＰ１０３１）。距離画像ｄｘｙは、二次元データに奥行きデータを付加したものである。ここで奥行きデータは、境界までの距離である。
【００５４】
閾値θｄの初期値が１であるとき、ｄｘｙがθｄ未満である判定未完了ピクセルの８近傍に、判定完了ピクセルが存在するか否かが検討される（ＳＴＥＰ１０３２）。ここで８近傍とは、当該判定未完了ピクセルの左、左上、上、右上、右、右下、下及び左下に位置する８個のピクセルを意味する。
【００５５】
８近傍に判定完了ピクセルが全く存在しない場合、当該ピクセルは、全てのフレームにおいて「被写体」であると判定される（ＳＴＥＰ１０３３）。８近傍に１又は２以上の判定完了ピクセルが存在する場合、下記条件５が満たされるか否かが判断される（ＳＴＥＰ１０３４）。この条件５は、下記の通りである。
【００５６】
条件５：輝度ヒストグラムにおいて、下記数式を満たすフレーム群が存在する
【００５７】
ｍｉｎ（ＬＱ） ＞ ｍｉｎ（ＬＢ）−θｗ
ｍａｘ（ＬＱ） ＜ ｍａｘ（ＬＢ）＋θｗ
これら数式において、ｍｉｎ（ＬＱ）は判定未完了ピクセルの輝度ヒストグラムにおける上記フレーム群の階級幅最小値であり、ｍａｘ（ＬＱ）は判定未完了ピクセルの輝度ヒストグラムにおける上記フレーム群の階級幅最大値であり、ｍｉｎ（ＬＢ）は８近傍に存在する１つの判定完了ピクセルの輝度ヒストグラムにおける背景であるフレーム群の階級幅最小値であり、ｍａｘ（ＬＢ）は８近傍に存在する１つの判定完了ピクセルの輝度ヒストグラムにおける背景であるフレーム群の階級幅の最大値である。θｗは、適宜設定される。本発明者は、θｗとして６を用いた。
【００５８】
８近傍に１又は２以上の判定完了ピクセルが存在する場合、さらに、下記条件６が満たされるか否かが判断される（ＳＴＥＰ１０３５）。この条件６は、下記の通りである。
【００５９】
条件６：色ヒストグラムにおいて、下記数式が満たすフレーム群が存在する
【００６０】
ｍｉｎ（ＣＱ） ＞ ｍｉｎ（ＣＢ）−θｗ
ｍａｘ（ＣＱ） ＜ ｍａｘ（ＣＢ）＋θｗ
これら数式において、ｍｉｎ（ＣＱ）は判定未完了ピクセルの色ヒストグラムにおける上記フレーム群の階級幅最小値であり、ｍａｘ（ＣＱ）は判定未完了ピクセルの色ヒストグラムにおける上記フレーム群の階級幅最大値であり、ｍｉｎ（ＣＢ）は８近傍に存在する１つの判定完了ピクセルの色ヒストグラムにおける背景であるフレーム群の階級幅最小値であり、ｍａｘ（ＣＢ）は８近傍に存在する１つの判定完了ピクセルの色ヒストグラムにおける背景であるフレーム群の階級幅最大値である。θｗは、適宜設定される。本発明者は、θｗとして６を用いた。
【００６１】
上記条件５及び６を満たすフレーム群の当該ピクセルは「背景」と判定され、満たさないフレーム群の当該ピクセルは「被写体」と判定される（ＳＴＥＰ１０３６）。当該判定完了ピクセルとの関係において上記条件５及び６のいずれかが満たされず、かつ８近傍に他の判定完了ピクセルが存在する場合、他の判定完了ピクセルとの関係において、上記条件５及び６が満たされるか否かが、判断される。
【００６２】
全ての判定未完了ピクセルについて条件５及び６の検討が完了した後、θｄに「１」が加算される（ＳＴＥＰ１０３７）。そして、判定未完了ピクセルの８近傍に判定完了ピクセルが存在するか否かの検討（ＳＴＥＰ１０３２）から、判定（ＳＴＥＰ１０３６）までのフローが繰り返される。この繰り返しは、θｄがθｄｍａｘとなるまでなされる。θｄｍａｘは、距離画像における最大値である。
【００６３】
以上のフローにより、全てのフレームの全てのピクセルが、「背景」及び「被写体」のいずれかに区分される。各フレームにおいて、被写体とされたピクセルの集合は、被写体のシルエットである。図１６には、１つのフレームのシルエットが示されている。図１では、被写体のピクセルが黒で示され、他のピクセルが白で示されている。図１６から明らかなように、この方法により、被写体（ゴルファー３４）のシルエットがほぼ忠実に再現されている。このようなシルエットを用い、ゴルファー３４のスイングが画像処理によって診断されうる。撮影開始から終了までは短時間なので、この間に天候が大幅に変化することは少ない。従って、天候変化に起因する誤認識は生じにくい。
【００６４】
図１７は、本発明の他の実施形態に係るシルエット抽出システム４６が示された概念図である。このシステム４６は、携帯電話機４８からなる。この携帯電話機４８は、カメラ５０、メモリ５２及び演算部５４を備えている。図示されていないが、この演算部５４は、図２に示された演算部１６と同様、フレーム抽出部、第一集合作成部、第二集合作成部、輝度ヒストグラム作成部、色ヒストグラム作成部及び判定部を含んでいる。この演算部５４は、図２に示された演算部１６と同等の機能を果たす。つまり、この演算部５４が、シルエットの抽出を行う。従って、携帯電話機４８とサーバとの接続は不要である。撮影者は、携帯電話機４８のみを持参すれば、その場でスイングを診断しうる。
【産業上の利用可能性】
【００６５】
以上説明されたシルエット抽出方法は、スイングの診断、ゴルフクラブの開発、ゴルフシューズの開発等において有用である。この抽出方法は、テニス、野球等の種々のスポーツのフォーム診断に用いられうる。
【符号の説明】
【００６６】
２・・・シルエット抽出システム
４・・・携帯電話機
６・・・サーバ
８・・・通信回線
１０・・・カメラ
１２・・・メモリ
１６・・・演算部
２２・・・フレーム抽出部
２４・・・第一集合作成部
２６・・・第二集合作成部
２８・・・輝度ヒストグラム作成部
３０・・・色ヒストグラム作成部
３２・・・判定部
【特許請求の範囲】
【請求項１】
動作を行う被写体を背景と共に撮影し、それぞれが多数のピクセルを含む複数フレームを得るステップ、
それぞれのピクセルについて、全てのフレームからなる全フレーム集合を作成するステップ、
それぞれのフレームのそれぞれのピクセルが、無彩色であるか有彩色であるかを決定し、それぞれのピクセルごとに、有彩色フレーム集合と無彩色フレーム集合とを作成するステップ、
上記全フレーム集合について、頻度がフレーム数であり、階級が第一色情報である第一ヒストグラムを作成するステップ、
上記有彩色フレーム集合及び無彩色フレーム集合について、頻度がフレーム数であり、有彩色フレーム集合に関する階級が第二色情報であり、無彩色フレーム集合に関する階級が第三色情報である第二ヒストグラムを作成するステップ、
上記第一ヒストグラム及び第二ヒストグラムに基づいて、それぞれのピクセルのそれぞれのフレームが背景であるか被写体であるかを判定するステップ
を含むシルエット抽出方法。
【請求項２】
上記判定するステップが、
上記第一ヒストグラム及び第二ヒストグラムに基づいて、それぞれのピクセルにつき、全てのフレームにわたって背景であるピクセルであるか、背景であるフレームと被写体であるフレームとが混在するピクセルであるかを決定するステップ
を含む請求項１に記載のシルエット抽出法。
【請求項３】
上記判定するステップが、
上記背景であるフレームと被写体であるフレームとが混在するピクセルに関し、上記第一ヒストグラム及び第二ヒストグラムに基づいて、背景であるフレーム群と被写体であるフレーム群とに区分できるピクセルかできないピクセルかが判定されるステップ、
及び
背景であるフレーム群と被写体であるフレーム群とに区分できるピクセルに関し、この区分がなされるステップ
を含む請求項２に記載のシルエット抽出法。
【請求項４】
上記判定するステップが、
上記背景であるフレーム群と被写であるフレーム群とに区分できないと判断されたピクセルのそれぞれのフレームに関し、このピクセルと隣接する他のピクセルとの関係に基づいて、背景であるか被写体であるかを決定するステップ
を含む請求項３に記載のシルエット抽出法。
【請求項５】
（Ａ）動作を行う被写体を背景と共に撮影するためのカメラ、
（Ｂ）撮影された画像のデータを記憶するメモリ
及び
（Ｃ）演算部
を備えており、
この演算部が、
（Ｃ１）上記画像のデータから、多数のピクセルを含む複数フレームを抽出するフレーム抽出部、
（Ｃ２）それぞれのピクセルについて、全てのフレームからなる全フレーム集合を作成する第一集合作成部、
（Ｃ３）それぞれのフレームのそれぞれのピクセルが、無彩色であるか有彩色であるかを決定し、それぞれのピクセルごとに、有彩色フレーム集合と無彩色フレーム集合とを作成する第二集合作成部、
（Ｃ４）全フレーム集合について、頻度がフレーム数であり、階級が第一色情報である第一ヒストグラムを作成する第一ヒストグラム作成部、
（Ｃ５）有彩色フレーム集合及び無彩色フレーム集合について、頻度がフレーム数であり、有彩色フレーム集合に関する階級が第二色情報であり、無彩色フレーム集合に関する階級が第三色情報である第二ヒストグラムを作成する第二ヒストグラム作成部、
（Ｃ６）第一ヒストグラム及び第二ヒストグラムに基づいて、それぞれのピクセルのそれぞれのフレームが背景であるか被写体であるかを判定する判定部
を含む、シルエット抽出システム。
【請求項１】
動作を行う被写体を背景と共に撮影し、それぞれが多数のピクセルを含む複数フレームを得るステップ、
それぞれのピクセルについて、全てのフレームからなる全フレーム集合を作成するステップ、
それぞれのフレームのそれぞれのピクセルが、無彩色であるか有彩色であるかを決定し、それぞれのピクセルごとに、有彩色フレーム集合と無彩色フレーム集合とを作成するステップ、
上記全フレーム集合について、頻度がフレーム数であり、階級が第一色情報である第一ヒストグラムを作成するステップ、
上記有彩色フレーム集合及び無彩色フレーム集合について、頻度がフレーム数であり、有彩色フレーム集合に関する階級が第二色情報であり、無彩色フレーム集合に関する階級が第三色情報である第二ヒストグラムを作成するステップ、
上記第一ヒストグラム及び第二ヒストグラムに基づいて、それぞれのピクセルのそれぞれのフレームが背景であるか被写体であるかを判定するステップ
を含むシルエット抽出方法。
【請求項２】
上記判定するステップが、
上記第一ヒストグラム及び第二ヒストグラムに基づいて、それぞれのピクセルにつき、全てのフレームにわたって背景であるピクセルであるか、背景であるフレームと被写体であるフレームとが混在するピクセルであるかを決定するステップ
を含む請求項１に記載のシルエット抽出法。
【請求項３】
上記判定するステップが、
上記背景であるフレームと被写体であるフレームとが混在するピクセルに関し、上記第一ヒストグラム及び第二ヒストグラムに基づいて、背景であるフレーム群と被写体であるフレーム群とに区分できるピクセルかできないピクセルかが判定されるステップ、
及び
背景であるフレーム群と被写体であるフレーム群とに区分できるピクセルに関し、この区分がなされるステップ
を含む請求項２に記載のシルエット抽出法。
【請求項４】
上記判定するステップが、
上記背景であるフレーム群と被写であるフレーム群とに区分できないと判断されたピクセルのそれぞれのフレームに関し、このピクセルと隣接する他のピクセルとの関係に基づいて、背景であるか被写体であるかを決定するステップ
を含む請求項３に記載のシルエット抽出法。
【請求項５】
（Ａ）動作を行う被写体を背景と共に撮影するためのカメラ、
（Ｂ）撮影された画像のデータを記憶するメモリ
及び
（Ｃ）演算部
を備えており、
この演算部が、
（Ｃ１）上記画像のデータから、多数のピクセルを含む複数フレームを抽出するフレーム抽出部、
（Ｃ２）それぞれのピクセルについて、全てのフレームからなる全フレーム集合を作成する第一集合作成部、
（Ｃ３）それぞれのフレームのそれぞれのピクセルが、無彩色であるか有彩色であるかを決定し、それぞれのピクセルごとに、有彩色フレーム集合と無彩色フレーム集合とを作成する第二集合作成部、
（Ｃ４）全フレーム集合について、頻度がフレーム数であり、階級が第一色情報である第一ヒストグラムを作成する第一ヒストグラム作成部、
（Ｃ５）有彩色フレーム集合及び無彩色フレーム集合について、頻度がフレーム数であり、有彩色フレーム集合に関する階級が第二色情報であり、無彩色フレーム集合に関する階級が第三色情報である第二ヒストグラムを作成する第二ヒストグラム作成部、
（Ｃ６）第一ヒストグラム及び第二ヒストグラムに基づいて、それぞれのピクセルのそれぞれのフレームが背景であるか被写体であるかを判定する判定部
を含む、シルエット抽出システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１１−７８０６９（Ｐ２０１１−７８０６９Ａ）
【公開日】平成２３年４月１４日（２０１１．４．１４）
【国際特許分類】
【出願番号】特願２００９−２３０４１７（Ｐ２００９−２３０４１７）
【出願日】平成２１年１０月２日（２００９．１０．２）
【出願人】（５０４０１７８０９）ＳＲＩスポーツ株式会社 (701)
【出願人】（０００１８３２３３）住友ゴム工業株式会社 (3,458)
【出願人】（５０４００５７４７）
【出願人】（５０４００５２１９）
【Ｆターム（参考）】
【公開日】平成２３年４月１４日（２０１１．４．１４）
【国際特許分類】
【出願日】平成２１年１０月２日（２００９．１０．２）
【出願人】（５０４０１７８０９）ＳＲＩスポーツ株式会社 (701)
【出願人】（０００１８３２３３）住友ゴム工業株式会社 (3,458)
【出願人】（５０４００５７４７）
【出願人】（５０４００５２１９）
【Ｆターム（参考）】
[ Back to top ]