画像処理装置および方法、プログラム、並びに記録媒体
【課題】 正確に順位を判定する仕組みを、安価に提供できるようにする。
【解決手段】 徒競走のそれぞれの走者は、ゴールライン221とそれぞれ直角に交差し、図中上下方向に平行する複数のコースのそれぞれを、矢印261−1、261−2、・・・に沿って、図中右から左方向に駆け抜けるとき、カメラ121Aが、ゴールライン221と並行する線181Aを中心とする光に基づく画像を撮影し、カメラ121Bは、線181Aと所定の角度で交差する線181B−1または181B−2を中心とする光に基づく画像を撮影する。カメラ121Aとカメラ121Bにより撮影された画像を合成し、立体的な画像を表示することにより、正確な着順の判定を可能とする。本発明は、順位判定システムに適用することができる。
【解決手段】 徒競走のそれぞれの走者は、ゴールライン221とそれぞれ直角に交差し、図中上下方向に平行する複数のコースのそれぞれを、矢印261−1、261−2、・・・に沿って、図中右から左方向に駆け抜けるとき、カメラ121Aが、ゴールライン221と並行する線181Aを中心とする光に基づく画像を撮影し、カメラ121Bは、線181Aと所定の角度で交差する線181B−1または181B−2を中心とする光に基づく画像を撮影する。カメラ121Aとカメラ121Bにより撮影された画像を合成し、立体的な画像を表示することにより、正確な着順の判定を可能とする。本発明は、順位判定システムに適用することができる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、正確に順位を判定する仕組みを、安価に提供できるようにする画像処理装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【0002】
例えば、徒競走などの陸上競技の順位の判定において、近年、ラインセンサなどのカメラを用いた判定が行われている。ゴールライン付近に設置されたカメラで、ゴールした走者を撮影すれば、目視などによる判定より高い精度で順位を判定することが可能となる。
【0003】
図1は、従来の順位判定システムの例を示す図である。同図においては、陸上競技用のトラック11のゴールライン12の真上を通り、ゴールライン12と並行な線41を中心とする光を受光するラインセンサなどで構成するカメラ31または32により、ゴールした走者が撮影される。
【0004】
カメラ31は、トラック11の外側にある監視室14の内部に設けられており、カメラ32は、トラック11の内側のフィールド13上に設けられている。カメラ31およびカメラ32により撮影された画像は、図示せぬ伝送ケーブルなどを介して、監視室14の内部に設置されたモニタなどに表示され、表示された画像に基づいて、陸上競技の順位の判定が行われる。
【0005】
カメラ31とカメラ32は、それぞれトラック11のゴールライン12付近の画像であって、トラック11の外側からみた画像と、トラック11の内側からみた画像を撮影する。したがって、複数の走者がほぼ同時にゴールした場合であっても、どの走者が最も早くゴールしたのかを正確に判定することができる。
【0006】
また、陸上,スケート,自転車などの周回を重ねる競技において、先頭の競技者が周回を重ねる時に、判定者がグリップスイッチをONすることにより周回カウント装置が周回番号と各周回を区別するマークを記憶装置に入力し、かつ、周回遅れの競技者が周回を重ねる時に、判定員がグリップスイッチをONすることにより、周回遅れを区別するマークが記憶装置に入力され、各競技者のフィニッシュのスリット映像が、本当のフィニッシュか周回遅れであるか、素早く判断でき、またゼッケン番号の認識が確実に行える着順判定装置も提案されている(例えば、特許文献1参照。)
【特許文献1】特開2000−244901号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
しかしながら、図1の例の場合、カメラ32は、トラック11の内側のフィールド13上に設けられているため、カメラ32をフィールド13の一点に固定するために、例えば、金属性の取り付けフレームなどを、フィールド13に埋め込んで固定するなどの工事が必要となる。また、カメラ32から出力されるセンサ情報、画像データなどを、監視室14に伝送するための伝送ケーブルなどを、競技の邪魔にならないようトラック11の下部に埋設したり、カメラ32を防水するための工事なども必要となる。
【0008】
さらに、トラック11を含む陸上競技場は、規定により、例えば2年に1度、点検などを受ける必要があり、この点検の都度、カメラ32を取り外して、再度設置するなどの工事も行われており、順位判定システムの維持には、多大な費用や時間がかかっていた。
【0009】
本発明はこのような状況に鑑みてなされたものであり、正確に順位を判定する仕組みを、安価に提供できるようにするものである。
【課題を解決するための手段】
【0010】
本発明の画像処理装置は、着順を判定する競技における着順の決まる地点の画像を提供する画像処理装置であって、着順を決める基準線上の光線であって、基準線と並行な第1の光線を中心とする光に基づく第1の画像を撮影する第1の撮影手段と、第1の光線に対して、所定の角度で交差する第2の光線を中心とする光に基づく第2の画像を撮影する第2の撮影手段と、第1の撮影手段により撮影された第1の画像のデータ、および第2の撮影手段により撮影された第2の画像のデータを合成し、第3の画像のデータを生成する画像合成手段とを備えることを特徴とする。
【0011】
前記第2の撮影手段の取り付け位置が、複数の取り付け位置の中から選択可能であるようにすることができる。
【0012】
前記第1の撮影手段および第2の撮影手段は、基準線が引かれる面に対して垂直方向に所定の長さを有する1次元の画像センサにより、それぞれ第1の画像および第2の画像を撮影するようにすることができる。
【0013】
前記競技の開始と同期して第1の画像のデータおよび第2の画像のデータを、画像合成手段に提供するデータ提供手段をさらに備えるようにすることができる。
【0014】
前記画像合成手段は、第1の画像と、第1の画像に対して視差を有する第2の画像を合成して得られる立体的な画像のデータを、第3の画像のデータとして生成するようにすることができる。
【0015】
前記画像合成手段により生成されたデータに対応する画像を表示する表示手段をさらに備えるようにすることができる。
【0016】
前記画像合成手段は、ユーザの選択に基づいて、第2の画像を第1の画像と合成する必要があるか否かを判定し、第2の画像を、第1の画像と合成する必要がないと判定された場合、第1の画像を、表示部に出力するようにすることができる。
【0017】
本発明の画像処理方法は、着順を判定する競技における着順の決まる地点の画像を提供する画像処理装置の画像処理方法であって、着順を決める基準線上の光線であって、基準線と並行な第1の光線を中心とする光に基づく第1の画像を撮影する第1の撮影ステップと、第1の光線に対して、所定の角度で交差する第2の光線を中心とする光に基づく第2の画像を撮影する第2の撮影ステップと、第1の撮影ステップの処理により撮影された第1の画像のデータ、および第2の撮影ステップの処理により撮影された第2の画像のデータを合成し、第3の画像のデータを生成する画像合成ステップとを含むことを特徴とする。
【0018】
本発明のプログラムは、着順を判定する競技における着順の決まる地点の画像を提供する画像処理装置に画像処理を実行させるプログラムであって、着順を決める基準線上の光線であって、基準線と並行な第1の光線を中心とする光に基づく第1の画像の撮影を制御する第1の撮影制御ステップと、第1の光線に対して、所定の角度で交差する第2の光線を中心とする光に基づく第2の画像の撮影を制御する第2の撮影制御ステップと、第1の撮影制御ステップの処理により撮影された第1の画像のデータ、および第2の撮影制御ステップの処理により撮影された第2の画像のデータを合成し、第3の画像のデータの生成を制御する画像合成制御ステップとをコンピュータに実行させることを特徴とする。
【0019】
本発明の画像処理装置および方法、並びにプログラムにおいては、着順を決める基準線上の光線であって、基準線と並行な第1の光線を中心とする光に基づく第1の画像が撮影され、第1の光線に対して、所定の角度で交差する第2の光線を中心とする光に基づく第2の画像が撮影され、撮影された第1の画像のデータ、および第2の画像のデータが合成され、第3の画像のデータが生成される。
【発明の効果】
【0020】
本発明によれば、正確に順位を判定する仕組みを、安価に提供できるようにすることができる。
【発明を実施するための最良の形態】
【0021】
以下に本発明の実施の形態を説明するが、本明細書に記載した発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が明細書に記載されていることを確認するためのものである。従って、明細書には記載されているが、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
【0022】
さらに、この記載は、明細書に記載されている発明が、全て請求されていることを意味するものではない。換言すれば、この記載は、明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出願、または追加される発明の存在を否定するものではない。
【0023】
請求項1に記載の画像処理装置は、着順を判定する競技における着順の決まる地点の画像を提供する画像処理装置であって、前記着順を決める基準線(例えば、図7のゴールライン221)上の光線であって、前記基準線と並行な第1の光線(例えば、図7の線181A)を中心とする光に基づく第1の画像を撮影する第1の撮影手段(例えば、図2のカメラ121A)と、前記第1の光線に対して、所定の角度で交差する第2の光線(例えば、図7の線181B−1または181B−2)を中心とする光に基づく第2の画像を撮影する第2の撮影手段(例えば、図2のカメラ121B)と、前記第1の撮影手段により撮影された前記第1の画像のデータ、および前記第2の撮影手段により撮影された前記第2の画像のデータを合成し、第3の画像のデータを生成する画像合成手段(例えば、図8の立体画像合成部305)とを備える。
【0024】
請求項3に記載の画像処理装置は、前記第1の撮影手段および第2の撮影手段が、前記基準線が引かれる面に対して垂直方向に所定の長さを有する1次元の画像センサ(例えば、図4のエリアセンサ143)により、それぞれ前記第1の画像および第2の画像を撮影するようにすることができる。
【0025】
請求項4に記載の画像処理装置は、前記競技の開始と同期して前記第1の画像のデータおよび前記第2の画像のデータを、前記画像合成手段に提供するデータ提供手段(例えば、図2のカメラコントロールユニット122)をさらに備えるようにすることができる。
【0026】
請求項5に記載の画像処理装置は、前記画像合成手段が、前記第1の画像と、前記第1の画像に対して視差を有する前記第2の画像を合成して得られる立体的な画像(例えば、図9の画像320)のデータを、前記第3の画像のデータとして生成するようにすることができる。
【0027】
請求項6に記載の画像処理装置は、前記画像合成手段により生成されたデータに対応する画像を表示する表示手段(例えば、図2の表示部124)をさらに備えるようにすることができる。
【0028】
請求項7に記載の画像処理装置は、前記画像合成手段が、ユーザの選択に基づいて、前記第2の画像を前記第1の画像と合成する必要があるか否かを判定し(例えば、図10のステップS105で判定し)、前記第2の画像を、前記第1の画像と合成する必要がないと判定された場合、前記第1の画像を、前記表示部に出力するようにすることができる。
【0029】
請求項8に記載の画像処理方法は、着順を判定する競技における着順の決まる地点の画像を提供する画像処理装置の画像処理方法であって、前記着順を決める基準線(例えば、図7のゴールライン221)上の光線であって、前記基準線と並行な第1の光線(例えば、図7の線181A)を中心とする光に基づく第1の画像を撮影する第1の撮影ステップ(例えば、図10のステップS101の処理)と、前記第1の光線に対して、所定の角度で交差する第2の光線(例えば、図7の線181B−1または181B−2)を中心とする光に基づく第2の画像を撮影する第2の撮影ステップ(例えば、図10ステップS102の処理)と、前記第1の撮影ステップの処理により撮影された前記第1の画像のデータ、および前記第2の撮影ステップの処理により撮影された前記第2の画像のデータを合成し、第3の画像のデータを生成する画像合成ステップ(例えば、図10のステップS106の処理)とを含むことを特徴とする。
【0030】
請求項9に記載のプログラムは、着順を判定する競技における着順の決まる地点の画像を提供する画像処理装置に画像処理を実行させるプログラムであって、前記着順を決める基準線(例えば、図7のゴールライン221)上の光線であって、前記基準線と並行な第1の光線(例えば、図7の線181A)を中心とする光に基づく第1の画像の撮影を制御する第1の撮影制御ステップ(例えば、図10のステップS101の処理)と、前記第1の光線に対して、所定の角度で交差する第2の光線(例えば、図7の線181B−1または181B−2)を中心とする光に基づく第2の画像の撮影を制御する第2の撮影制御ステップ(例えば、図10ステップS102の処理)と、前記第1の撮影制御ステップの処理により撮影された前記第1の画像のデータ、および前記第2の撮影制御ステップの処理により撮影された前記第2の画像のデータを合成し、第3の画像のデータの生成を制御する画像合成制御ステップ(例えば、図10のステップS106の処理)とをコンピュータに実行させる。
【0031】
以下、図面を参照して、本発明の実施の形態について説明する。
【0032】
図2は、本発明を適用した順位判定システムの100の一実施形態に係る構成例を示す図である。この例では、順位判定システム100がカメラ121Aおよび121B、カメラコントロールユニット122、制御部123、並びに表示部124により構成されている。
【0033】
カメラ121Aまたは121Bは、それぞれラインセンサなどの光学センサを有し、レンズを介して入射する光に基づく画像を撮影し、撮影した画像のデータを、カメラコントロールユニット122Bに出力する。
【0034】
カメラコントロールユニット122は、カメラ121Aまたは121Bから供給される画像のデータを、コマンド入力部125から供給されるコマンドに基づいて制御部123に出力する。
【0035】
コマンド入力部125は、例えば、徒競走などの競技の開始を合図するピストルなどと連動して動作するように構成されており、カメラコントロールユニット122に対して、カメラ121Aまたは121Bから供給される画像のデータを、制御部123に対して出力するか、または出力を停止するかなどを指令するコマンドを生成し、カメラコントロールユニット122に出力する。これにより、例えば、競技の開始に伴って、カメラ121Aまたは121Bにより撮影された画像のデータが制御部123に供給され、競技の終了後、所定の時間が経過したとき、カメラ121Aまたは121Bにより撮影された画像のデータの制御部123への供給が停止される。
【0036】
制御部123は、例えば、CPU(Central Processing Unit)、RAM(Random Access Memory)などを含んで構成され、カメラコントロールユニット122から供給される画像のデータに対して、予め組み込まれたプログラムなどを実行して所定の処理を施して生成された画像のデータに対応する信号を表示部124に出力する。制御部123は、例えば、カメラコントロールユニット122から供給された、カメラ121Aにより撮影された画像のデータと、カメラ121Bにより撮影された画像のデータを、RAMなどのメモリに保存して合成することにより、同一の被写体を2つの異なる視点において撮影した2種類の画像に基づいた立体的な画像を生成する。
【0037】
表示部124は、例えば、LCD(Liquid Crystal Display)などのディスプレイにより構成され、制御部123から供給される信号に基づいて画像を表示する。
【0038】
図3は、カメラ121Aまたは121Bの外観を示す斜視図である。なお、カメラ121Aまたは121Bを特に区別する必要がない場合、単にカメラ121と称する。
【0039】
カメラ121は、レンズ141と本体142により構成されており、レンズ141は、本体142に対して着脱可能となるように構成されている。カメラ121は、レンズ141により集光された光を、本体142に設けられた光学センサにより受光し、レンズ141から入射した光に対応する画像のデータを生成する。
【0040】
図4は、カメラ121のレンズ141を、本体142から取り外し、本体142を正面からみた図である。本体142において、図中中央の円形の取り付け部144にレンズ141が取り付けられる。そして、取り付け部144の中央に、図中縦方向(上下の方向)に直線状に構成されたラインセンサ143が設けられている。ラインセンサ143は、ゴールライン221が引かれる地面などの面に対して垂直方向に所定の長さを有する1次元の画像センサであって、例えばCCD(Charge Coupled Device)など、光情報を電気信号に変換する半導体素子(光電変換素子)により構成され、1回の画像の撮影のタイミングで、レンズ141を介して入射する光に基づいて、図中縦方向に直線状となる画像であって、一次元の画像のデータを生成する。
【0041】
従って、短い時間間隔でラインセンサ143による画像の撮影が連続して行われると、図中縦方向の幅がラインセンサ143の長さに対応し、図中横方向の幅が、撮影が連続して行われる時間に対応する2次元の画像のデータが生成される。
【0042】
例えば、図5に示されるように、徒競走の走者201がゴールライン221を駆け抜ける場面を、カメラ121により撮影すると、図中点線で示され、ゴールライン221と並行な線181に対応する一次元の画像が連続して撮影されることになる。ゴールライン221上を1次元のラインセンサ143で撮影することにより、走者がゴールしたタイミング(時刻)を正確に記録することができ、その結果、着順(徒競走の順位など)を正確に判定することが可能となる。
【0043】
図6は、図5のカメラ121により撮影された画像であって、走者201がゴールライン221を駆け抜ける場面の画像241の例を示す図である。2次元の画像である画像241は、図中点線で区切られている複数の一次元の画像241−1乃至241―8により構成されている。すなわち、画像241−1は、所定のタイミング(走者201がゴールライン221に差し掛かったタイミング)で、カメラ121により撮影された画像であり、画像241−2は、画像241−2は、画像241−1が撮影された直後のタイミングで撮影された画像である。
【0044】
そしてこの後同様に、時間の経過に伴って、一次元の画像241−3乃至241−8が順番に撮影され、一次元の画像241−1乃至241−8が組み合わせられることにより2次元の画像241が構成される。
【0045】
このように、ラインセンサ143により一次元の画像を撮影することで、走者201の判定基準となる部位(例えば、胸、頭など体の一部)がゴールライン221を通過したタイミングを正確に記録することができる。
【0046】
図2のカメラコントロールユニット122は、例えば、図6の一次元の画像241−1乃至241−8を、それぞれの画像が撮影された時刻を表す情報とともに、制御部123に出力する。
【0047】
図7は、カメラ121の取り付け位置の例を示す図である。同図は、例えば、陸上競技場などのトラックのゴールライン221付近を上からみた図である。例えば、徒競走のそれぞれの走者は、ゴールライン221とそれぞれ直角に交差し、図中上下方向に平行する複数のコースのそれぞれを、矢印261−1、261−2、・・・に沿って、図中右から左方向に駆け抜ける。この例では、カメラ121Aが、ゴールライン221と並行する線181Aを中心とする光に基づく画像を撮影することが可能となる位置に取り付けられている。カメラ121Bは、線181Aと所定の角度で交差する線181B−1または181B−2を中心とする光に基づく画像を撮影することが可能となる位置に取り付けられている。
【0048】
カメラ121Aは、ゴールライン221上の光であって、ゴールライン221と並行する光に基づく画像を撮影することにより、走者の順位判定の基準となる基準画像を撮影する。基準画像を撮影するカメラ121Aの取り付け位置は、予め定められた位置に固定される。
【0049】
しかしながら、例えば、複数の走者が接近した状態でゴールライン221を駆け抜けた場合、カメラ121Aの取り付け位置からみた画像においては、ゴールライン221の図中下側を駆け抜ける走者の後ろに、ゴールライン221の図中上側を駆け抜ける走者が隠れてしまい、カメラ121Aにより撮影される基準画像のみでは、順位の判定が困難となることもある。
【0050】
そこで、カメラ121Aの取り付け位置に対応する視点とは異なる視点に対応する位置にカメラ121Bを取り付ける。これにより、2つの異なる視点からみた、視差をもつ画像を生成することが可能となり、視差をもつ画像を合成することで、立体的な画像を生成することができるとともに、複数の走者が接近した状態でゴールライン221を駆け抜けた場合であっても、正確に順位を判定することが可能な画像を提供することができる。
【0051】
例えば、カメラ121Bを、カメラ121Aの左側に設置した場合、カメラ121Aにより撮影される画像は右目でみた画像に対応し、カメラ121Bにより撮影される画像は左目でみた画像に対応することになり視差をもった画像が生成される。また、カメラ121Bを、カメラ121Aの右側に設置した場合、カメラ121Aにより撮影される画像は左目でみた画像に対応し、カメラ121Bにより撮影される画像は右目でみた画像に対応することになり視差をもった画像が生成される。なお、カメラ121Bの取り付け位置は、図7に示されるものには限られず、任意に設定されるようにしてもよい。
【0052】
また、カメラ121Aの他に、複数のカメラを取り付けて、例えば、ユーザの選択により、カメラ121Aの他に、任意の1台のカメラが選択されて視差をもった画像が生成されるようにしてもよい。例えば、カメラ121Aの左側にカメラ121Bを設置し、カメラ121Aの右側にカメラ121Cを設置し、カメラ121Aにより撮影される基準画像を、右目でみた画像に対応させたい場合、カメラ121Bが選択され、カメラ121Aにより撮影される基準画像を、左目でみた画像に対応させたい場合、カメラ121Cが選択されるようにしてもよい。
【0053】
カメラ121Aとカメラ121B(またはカメラ121C)は、全てトラックの外側の監視室などに設けられる。すなわち、視差画像を取得するためのカメラ121B(またはカメラ121C)を、トラックの内側のフィールド上などに設ける必要はなく、また、カメラ121B(またはカメラ121C)をフィールドの一点に固定するために、例えば、金属性の取り付けフレームなどを、フィールドに埋め込んで固定するなどの工事が不要になるとともに、カメラ121B(またはカメラ121C)から出力されるセンサ情報、画像データなどを、監視室に伝送するための伝送ケーブルなどを、競技の邪魔にならないようトラックの下部に埋設したり、カメラ121B(またはカメラ121C)を防水するための工事なども不要になる。
【0054】
したがって、視差画像を用いて正確な順位が判定できる順位判定システム100を、安価に提供することが可能となる。
【0055】
図8は、制御部123により実行されるプログラムなどで構成されるソフトウェアの機能的構成例を示すブロック図である。
【0056】
基準画像取得部301は、例えば、図7のカメラ121Aにより撮影される基準画像のデータを、カメラコントロールユニット122から取得し、視差画像取得部302は、例えば、図7のカメラ121Bにより撮影される画像であって、基準画像に対する視差を有する画像(視差画像)のデータを、カメラコントロールユニット122から取得する。
【0057】
基準画像合成部303は、基準画像取得部301により取得された画像であって、カメラコントロールユニット122から供給されるカメラ121Aにより撮影された基準画像を組み合わせて(合成して)2次元の基準画像を生成する。例えば、図6の画像241−1乃至241−8を組み合わせて、走者がゴールラインを駆け抜けるときの所定の時間に対応した横方向の幅を有する2次元の画像241を生成する。視差画像合成部304も、同様に、視差画像取得部302により取得された画像であって、カメラコントロールユニット122から供給されるカメラ121Bにより撮影された視差画像を組み合わせて(合成して)、基準画像合成部303により生成される画像と同じサイズの2次元の視差画像を生成する。
【0058】
立体画像合成部305は、基準画像合成部303および視差画像合成部304により生成された画像を合成して立体的な画像(立体画像)を生成する。
【0059】
図9は、立体画像合成部305による立体的な画像の生成の例を説明する図である。同図において、基準画像に対応する領域は、空白の四角形で表され、視差画像に対応する領域は、斜線でハッチングされた四角形で表されている。立体画像合成部305は、基準画像321と、視差画像322を、それぞれ横方向(左右方向)に予め設定された、充分小さい間隔で縦方向に長いn個の領域に分割し、基準画像の領域321−1の右側に、視差画像の領域322−2を配置し、視差画像の領域322−2の右側に基準画像の領域321−3を配置し、・・・基準画像の領域321−(n−1)の右側に視差画像の領域322−nを配置する。このように、分割された基準画像の領域と視差画像の領域とを交互に並べることにより、立体画像320が生成される。
【0060】
なお、立体画像の合成の方法は、図9を参照して上述した方法に限られるものではなく、別の方法により立体画像が合成されるようにしてもよい。
【0061】
次に、図10のフローチャートを参照して、順位判定システム100による判定画像出力処理について説明する。この処理は、例えば、順位判定システム100のユーザにより、徒競走の順位の判定のための画像である判定画像の出力が指令されたとき実行される。
【0062】
ステップS101において、基準画像取得部301は、カメラ121Aにより撮影される基準画像のデータを取得する。
【0063】
ステップS102において、視差画像取得部302は、カメラ121Bにより撮影される視差画像のデータを取得する。
【0064】
ステップS103において、基準画像合成部303は、ステップS101の処理で基準画像取得部301により取得された基準画像を組み合わせて(合成して)2次元の基準画像を生成する。
【0065】
ステップS104において、視差画像合成部304は、ステップS102の処理で視差画像取得部302により取得された視差画像を組み合わせて(合成して)2次元の視差画像を生成する。
【0066】
ステップS105において、立体画像合成部305は、立体画像の表示が指令されたか否かを判定する。例えば、ユーザが図示せぬ操作部を操作して、立体画像の表示を指令した場合、ステップS105においては、立体画像の表示が指令されたと判定され、処理は、ステップS106に進む。
【0067】
ステップS106において、立体画像合成部305は、例えば、図9を参照して説明したように、立体画像を合成(生成)する。
【0068】
ステップS107において、立体画像合成部305は、ステップS106の処理により生成された立体画像のデータに対応する信号を、表示部124に出力し、立体画像を表示させる。
【0069】
一方、ステップS105において、立体画像の表示が指令されなかったと判定された場合、処理は、ステップS108に進み、立体画像合成部305は、ステップS103の処理により生成された基準画像のデータに対応する信号を表示部124に出力し、基準画像を表示させる。
【0070】
このようにして、判定画像の出力が行われる。このようにすることで、ユーザは、必要に応じて、立体画像または基準画像を選択して表示させることができ、正確かつ簡単に順位を判定することができる。
【0071】
ところで、以上においては、カメラ121Aとカメラ121Bが、それぞれ横方向(左右)に異なる位置に取り付けられる例について説明したが、例えば、カメラ121Aとカメラ121Bが、それぞれ縦方向(上下)に異なる位置に取り付けられるようにしてもよい。
【0072】
図11は、カメラ121の別の取り付け位置の例を示す図であり、図12は、図11のカメラ121と走者201を図中左方向から見た側面図である。この例では、図11に示されるように、カメラ121Aが、ゴールライン221と並行する線181Aを中心とする光に基づく画像を撮影し、カメラ121Bは、線181Aと所定の角度で交差する線181Bを中心とする光に基づく画像を撮影する。
【0073】
図11または図12において、上述した図7の場合と同様に、カメラ121Aは、ゴールライン221上の光であって、ゴールライン221と並行する光に基づく画像を撮影することにより、走者の順位判定の基準となる基準画像を撮影する。基準画像を撮影するカメラ121Aの取り付け位置は、予め定められた位置に固定される。しかし、カメラ121Bの取り付け位置は、図7の場合と異なり、カメラ121Aの上側(または下側であってもよい)とされる。
【0074】
すなわち、図12に示されるように、地面と垂直であって、ゴールライン221上を通る線231上の異なる位置に、カメラ121Aとカメラ121Bがそれぞれ取り付けられることになる。
【0075】
例えば、上述した図7の場合のように、カメラ121Aとカメラ121Bを、それぞれ横方向に異なる位置に取り付けた場合正確には、カメラ121Bにより撮影される画像は、カメラ121Aにより撮影される画像に対して、時間差が生じることになる。すなわち、カメラ121は、ゴールライン221が引かれる地面などの面に対して垂直方向(縦方向)に所定の長さを有する1次元の画像センサ(ラインセンサ)により画像を撮影するので、横方向に異なる位置に設けられた2つのラインセンサにより撮影される画像は、それぞれ時間軸が異なる画像となる。
【0076】
このため、カメラ121Aとカメラ121Bを、それぞれ横方向に異なる位置に取り付けた場合、それぞれのカメラにより撮影された画像を合成するとき、時間差による歪みが生じる恐れがある。
【0077】
これに対して、図11と図12を参照して説明したように、カメラ121Aとカメラ121Bを、それぞれ縦方向に異なる位置に取り付けた場合、2つのラインセンサにより撮影される画像において、時間軸が異なることはなく、その結果、歪みのない正確な画像を得ることが可能となるとともに、ある時点で撮影されたカメラ121Aとカメラ121Bの画像のそれぞれにおいて、全画素がゴールライン221上の光に対応することになるので、判定に用いる画像をより正確に撮影することができる。
【0078】
カメラ121Aとカメラ121Bを、それぞれ縦方向に異なる位置に取り付けた場合、2つのカメラで撮影された画像を合成して立体的な画像を生成するときは、例えば、撮影されたそれぞれの画像を90°回転させるなどして、人間の目と同様の左右の視差に対応する画像として合成すればよい。
【0079】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図13に示されるような汎用のパーソナルコンピュータ500などに、ネットワークや記録媒体からインストールされる。
【0080】
図13において、CPU(Central Processing Unit)501は、ROM(Read Only Memory
)502に記憶されているプログラム、または記憶部508からRAM(Random Access Memory)503にロードされたプログラムに従って各種の処理を実行する。RAM503にはまた、CPU501が各種の処理を実行する上において必要なデータなども適宜記憶される。
【0081】
CPU501、ROM502、およびRAM503は、バス504を介して相互に接続されている。このバス504にはまた、入出力インタフェース505も接続されている。
【0082】
入出力インタフェース505には、キーボード、マウスなどよりなる入力部506、CRT(Cathode Ray Tube)、LCD(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部507、ハードディスクなどより構成される記憶部508、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部509が接続されている。通信部509は、インターネットを含むネットワークを介しての通信処理を行う。
【0083】
入出力インタフェース505にはまた、必要に応じてドライブ510が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア511が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部508にインストールされる。
【0084】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア511などからなる記録媒体からインストールされる。
【0085】
なお、この記録媒体は、図13に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク(フロッピディスク(登録商標)を含む)、光ディスク(CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む)、光磁気ディスク(MD(Mini-Disk)(登録商標)を含む)、もしくは半導体メモリなどよりなるリムーバブルメディア511により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM502や、記憶部508に含まれるハードディスクなどで構成されるものも含む。
【0086】
本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【0087】
【図1】従来の順位判定システムの例を示す図である。
【図2】本発明を適用した順位判定システムの一実施形態に係る構成例を示す図である。
【図3】図2のカメラの外観を示す斜視図である。
【図4】図3のカメラのレンズを取り外したときの例を示す図である。
【図5】カメラにより撮影される画像を説明する図である。
【図6】カメラにより撮影される画像の例を示す図である。
【図7】カメラの取り付け位置の例を示す図である。
【図8】図2の制御部において実行されるソフトウェアの機能的構成例を示すブロック図である。
【図9】立体画像の合成の例を示す図である。
【図10】判定画像出力処理を説明するフローチャートである。
【図11】カメラの取り付け位置の別の例を示す図である。
【図12】図11に対応する側面図である。
【図13】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【0088】
100 順位判定システム
121A,121B カメラ
122 カメラコントロールユニット
123 制御部
124 表示部
125 コマンド入力部
141 レンズ
143 エリアセンサ
301 基準画像取得部
302 視差画像取得部
303 基準画像合成部
304 視差画像合成部
305 立体画像合成部
【技術分野】
【0001】
本発明は、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、正確に順位を判定する仕組みを、安価に提供できるようにする画像処理装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【0002】
例えば、徒競走などの陸上競技の順位の判定において、近年、ラインセンサなどのカメラを用いた判定が行われている。ゴールライン付近に設置されたカメラで、ゴールした走者を撮影すれば、目視などによる判定より高い精度で順位を判定することが可能となる。
【0003】
図1は、従来の順位判定システムの例を示す図である。同図においては、陸上競技用のトラック11のゴールライン12の真上を通り、ゴールライン12と並行な線41を中心とする光を受光するラインセンサなどで構成するカメラ31または32により、ゴールした走者が撮影される。
【0004】
カメラ31は、トラック11の外側にある監視室14の内部に設けられており、カメラ32は、トラック11の内側のフィールド13上に設けられている。カメラ31およびカメラ32により撮影された画像は、図示せぬ伝送ケーブルなどを介して、監視室14の内部に設置されたモニタなどに表示され、表示された画像に基づいて、陸上競技の順位の判定が行われる。
【0005】
カメラ31とカメラ32は、それぞれトラック11のゴールライン12付近の画像であって、トラック11の外側からみた画像と、トラック11の内側からみた画像を撮影する。したがって、複数の走者がほぼ同時にゴールした場合であっても、どの走者が最も早くゴールしたのかを正確に判定することができる。
【0006】
また、陸上,スケート,自転車などの周回を重ねる競技において、先頭の競技者が周回を重ねる時に、判定者がグリップスイッチをONすることにより周回カウント装置が周回番号と各周回を区別するマークを記憶装置に入力し、かつ、周回遅れの競技者が周回を重ねる時に、判定員がグリップスイッチをONすることにより、周回遅れを区別するマークが記憶装置に入力され、各競技者のフィニッシュのスリット映像が、本当のフィニッシュか周回遅れであるか、素早く判断でき、またゼッケン番号の認識が確実に行える着順判定装置も提案されている(例えば、特許文献1参照。)
【特許文献1】特開2000−244901号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
しかしながら、図1の例の場合、カメラ32は、トラック11の内側のフィールド13上に設けられているため、カメラ32をフィールド13の一点に固定するために、例えば、金属性の取り付けフレームなどを、フィールド13に埋め込んで固定するなどの工事が必要となる。また、カメラ32から出力されるセンサ情報、画像データなどを、監視室14に伝送するための伝送ケーブルなどを、競技の邪魔にならないようトラック11の下部に埋設したり、カメラ32を防水するための工事なども必要となる。
【0008】
さらに、トラック11を含む陸上競技場は、規定により、例えば2年に1度、点検などを受ける必要があり、この点検の都度、カメラ32を取り外して、再度設置するなどの工事も行われており、順位判定システムの維持には、多大な費用や時間がかかっていた。
【0009】
本発明はこのような状況に鑑みてなされたものであり、正確に順位を判定する仕組みを、安価に提供できるようにするものである。
【課題を解決するための手段】
【0010】
本発明の画像処理装置は、着順を判定する競技における着順の決まる地点の画像を提供する画像処理装置であって、着順を決める基準線上の光線であって、基準線と並行な第1の光線を中心とする光に基づく第1の画像を撮影する第1の撮影手段と、第1の光線に対して、所定の角度で交差する第2の光線を中心とする光に基づく第2の画像を撮影する第2の撮影手段と、第1の撮影手段により撮影された第1の画像のデータ、および第2の撮影手段により撮影された第2の画像のデータを合成し、第3の画像のデータを生成する画像合成手段とを備えることを特徴とする。
【0011】
前記第2の撮影手段の取り付け位置が、複数の取り付け位置の中から選択可能であるようにすることができる。
【0012】
前記第1の撮影手段および第2の撮影手段は、基準線が引かれる面に対して垂直方向に所定の長さを有する1次元の画像センサにより、それぞれ第1の画像および第2の画像を撮影するようにすることができる。
【0013】
前記競技の開始と同期して第1の画像のデータおよび第2の画像のデータを、画像合成手段に提供するデータ提供手段をさらに備えるようにすることができる。
【0014】
前記画像合成手段は、第1の画像と、第1の画像に対して視差を有する第2の画像を合成して得られる立体的な画像のデータを、第3の画像のデータとして生成するようにすることができる。
【0015】
前記画像合成手段により生成されたデータに対応する画像を表示する表示手段をさらに備えるようにすることができる。
【0016】
前記画像合成手段は、ユーザの選択に基づいて、第2の画像を第1の画像と合成する必要があるか否かを判定し、第2の画像を、第1の画像と合成する必要がないと判定された場合、第1の画像を、表示部に出力するようにすることができる。
【0017】
本発明の画像処理方法は、着順を判定する競技における着順の決まる地点の画像を提供する画像処理装置の画像処理方法であって、着順を決める基準線上の光線であって、基準線と並行な第1の光線を中心とする光に基づく第1の画像を撮影する第1の撮影ステップと、第1の光線に対して、所定の角度で交差する第2の光線を中心とする光に基づく第2の画像を撮影する第2の撮影ステップと、第1の撮影ステップの処理により撮影された第1の画像のデータ、および第2の撮影ステップの処理により撮影された第2の画像のデータを合成し、第3の画像のデータを生成する画像合成ステップとを含むことを特徴とする。
【0018】
本発明のプログラムは、着順を判定する競技における着順の決まる地点の画像を提供する画像処理装置に画像処理を実行させるプログラムであって、着順を決める基準線上の光線であって、基準線と並行な第1の光線を中心とする光に基づく第1の画像の撮影を制御する第1の撮影制御ステップと、第1の光線に対して、所定の角度で交差する第2の光線を中心とする光に基づく第2の画像の撮影を制御する第2の撮影制御ステップと、第1の撮影制御ステップの処理により撮影された第1の画像のデータ、および第2の撮影制御ステップの処理により撮影された第2の画像のデータを合成し、第3の画像のデータの生成を制御する画像合成制御ステップとをコンピュータに実行させることを特徴とする。
【0019】
本発明の画像処理装置および方法、並びにプログラムにおいては、着順を決める基準線上の光線であって、基準線と並行な第1の光線を中心とする光に基づく第1の画像が撮影され、第1の光線に対して、所定の角度で交差する第2の光線を中心とする光に基づく第2の画像が撮影され、撮影された第1の画像のデータ、および第2の画像のデータが合成され、第3の画像のデータが生成される。
【発明の効果】
【0020】
本発明によれば、正確に順位を判定する仕組みを、安価に提供できるようにすることができる。
【発明を実施するための最良の形態】
【0021】
以下に本発明の実施の形態を説明するが、本明細書に記載した発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が明細書に記載されていることを確認するためのものである。従って、明細書には記載されているが、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
【0022】
さらに、この記載は、明細書に記載されている発明が、全て請求されていることを意味するものではない。換言すれば、この記載は、明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出願、または追加される発明の存在を否定するものではない。
【0023】
請求項1に記載の画像処理装置は、着順を判定する競技における着順の決まる地点の画像を提供する画像処理装置であって、前記着順を決める基準線(例えば、図7のゴールライン221)上の光線であって、前記基準線と並行な第1の光線(例えば、図7の線181A)を中心とする光に基づく第1の画像を撮影する第1の撮影手段(例えば、図2のカメラ121A)と、前記第1の光線に対して、所定の角度で交差する第2の光線(例えば、図7の線181B−1または181B−2)を中心とする光に基づく第2の画像を撮影する第2の撮影手段(例えば、図2のカメラ121B)と、前記第1の撮影手段により撮影された前記第1の画像のデータ、および前記第2の撮影手段により撮影された前記第2の画像のデータを合成し、第3の画像のデータを生成する画像合成手段(例えば、図8の立体画像合成部305)とを備える。
【0024】
請求項3に記載の画像処理装置は、前記第1の撮影手段および第2の撮影手段が、前記基準線が引かれる面に対して垂直方向に所定の長さを有する1次元の画像センサ(例えば、図4のエリアセンサ143)により、それぞれ前記第1の画像および第2の画像を撮影するようにすることができる。
【0025】
請求項4に記載の画像処理装置は、前記競技の開始と同期して前記第1の画像のデータおよび前記第2の画像のデータを、前記画像合成手段に提供するデータ提供手段(例えば、図2のカメラコントロールユニット122)をさらに備えるようにすることができる。
【0026】
請求項5に記載の画像処理装置は、前記画像合成手段が、前記第1の画像と、前記第1の画像に対して視差を有する前記第2の画像を合成して得られる立体的な画像(例えば、図9の画像320)のデータを、前記第3の画像のデータとして生成するようにすることができる。
【0027】
請求項6に記載の画像処理装置は、前記画像合成手段により生成されたデータに対応する画像を表示する表示手段(例えば、図2の表示部124)をさらに備えるようにすることができる。
【0028】
請求項7に記載の画像処理装置は、前記画像合成手段が、ユーザの選択に基づいて、前記第2の画像を前記第1の画像と合成する必要があるか否かを判定し(例えば、図10のステップS105で判定し)、前記第2の画像を、前記第1の画像と合成する必要がないと判定された場合、前記第1の画像を、前記表示部に出力するようにすることができる。
【0029】
請求項8に記載の画像処理方法は、着順を判定する競技における着順の決まる地点の画像を提供する画像処理装置の画像処理方法であって、前記着順を決める基準線(例えば、図7のゴールライン221)上の光線であって、前記基準線と並行な第1の光線(例えば、図7の線181A)を中心とする光に基づく第1の画像を撮影する第1の撮影ステップ(例えば、図10のステップS101の処理)と、前記第1の光線に対して、所定の角度で交差する第2の光線(例えば、図7の線181B−1または181B−2)を中心とする光に基づく第2の画像を撮影する第2の撮影ステップ(例えば、図10ステップS102の処理)と、前記第1の撮影ステップの処理により撮影された前記第1の画像のデータ、および前記第2の撮影ステップの処理により撮影された前記第2の画像のデータを合成し、第3の画像のデータを生成する画像合成ステップ(例えば、図10のステップS106の処理)とを含むことを特徴とする。
【0030】
請求項9に記載のプログラムは、着順を判定する競技における着順の決まる地点の画像を提供する画像処理装置に画像処理を実行させるプログラムであって、前記着順を決める基準線(例えば、図7のゴールライン221)上の光線であって、前記基準線と並行な第1の光線(例えば、図7の線181A)を中心とする光に基づく第1の画像の撮影を制御する第1の撮影制御ステップ(例えば、図10のステップS101の処理)と、前記第1の光線に対して、所定の角度で交差する第2の光線(例えば、図7の線181B−1または181B−2)を中心とする光に基づく第2の画像の撮影を制御する第2の撮影制御ステップ(例えば、図10ステップS102の処理)と、前記第1の撮影制御ステップの処理により撮影された前記第1の画像のデータ、および前記第2の撮影制御ステップの処理により撮影された前記第2の画像のデータを合成し、第3の画像のデータの生成を制御する画像合成制御ステップ(例えば、図10のステップS106の処理)とをコンピュータに実行させる。
【0031】
以下、図面を参照して、本発明の実施の形態について説明する。
【0032】
図2は、本発明を適用した順位判定システムの100の一実施形態に係る構成例を示す図である。この例では、順位判定システム100がカメラ121Aおよび121B、カメラコントロールユニット122、制御部123、並びに表示部124により構成されている。
【0033】
カメラ121Aまたは121Bは、それぞれラインセンサなどの光学センサを有し、レンズを介して入射する光に基づく画像を撮影し、撮影した画像のデータを、カメラコントロールユニット122Bに出力する。
【0034】
カメラコントロールユニット122は、カメラ121Aまたは121Bから供給される画像のデータを、コマンド入力部125から供給されるコマンドに基づいて制御部123に出力する。
【0035】
コマンド入力部125は、例えば、徒競走などの競技の開始を合図するピストルなどと連動して動作するように構成されており、カメラコントロールユニット122に対して、カメラ121Aまたは121Bから供給される画像のデータを、制御部123に対して出力するか、または出力を停止するかなどを指令するコマンドを生成し、カメラコントロールユニット122に出力する。これにより、例えば、競技の開始に伴って、カメラ121Aまたは121Bにより撮影された画像のデータが制御部123に供給され、競技の終了後、所定の時間が経過したとき、カメラ121Aまたは121Bにより撮影された画像のデータの制御部123への供給が停止される。
【0036】
制御部123は、例えば、CPU(Central Processing Unit)、RAM(Random Access Memory)などを含んで構成され、カメラコントロールユニット122から供給される画像のデータに対して、予め組み込まれたプログラムなどを実行して所定の処理を施して生成された画像のデータに対応する信号を表示部124に出力する。制御部123は、例えば、カメラコントロールユニット122から供給された、カメラ121Aにより撮影された画像のデータと、カメラ121Bにより撮影された画像のデータを、RAMなどのメモリに保存して合成することにより、同一の被写体を2つの異なる視点において撮影した2種類の画像に基づいた立体的な画像を生成する。
【0037】
表示部124は、例えば、LCD(Liquid Crystal Display)などのディスプレイにより構成され、制御部123から供給される信号に基づいて画像を表示する。
【0038】
図3は、カメラ121Aまたは121Bの外観を示す斜視図である。なお、カメラ121Aまたは121Bを特に区別する必要がない場合、単にカメラ121と称する。
【0039】
カメラ121は、レンズ141と本体142により構成されており、レンズ141は、本体142に対して着脱可能となるように構成されている。カメラ121は、レンズ141により集光された光を、本体142に設けられた光学センサにより受光し、レンズ141から入射した光に対応する画像のデータを生成する。
【0040】
図4は、カメラ121のレンズ141を、本体142から取り外し、本体142を正面からみた図である。本体142において、図中中央の円形の取り付け部144にレンズ141が取り付けられる。そして、取り付け部144の中央に、図中縦方向(上下の方向)に直線状に構成されたラインセンサ143が設けられている。ラインセンサ143は、ゴールライン221が引かれる地面などの面に対して垂直方向に所定の長さを有する1次元の画像センサであって、例えばCCD(Charge Coupled Device)など、光情報を電気信号に変換する半導体素子(光電変換素子)により構成され、1回の画像の撮影のタイミングで、レンズ141を介して入射する光に基づいて、図中縦方向に直線状となる画像であって、一次元の画像のデータを生成する。
【0041】
従って、短い時間間隔でラインセンサ143による画像の撮影が連続して行われると、図中縦方向の幅がラインセンサ143の長さに対応し、図中横方向の幅が、撮影が連続して行われる時間に対応する2次元の画像のデータが生成される。
【0042】
例えば、図5に示されるように、徒競走の走者201がゴールライン221を駆け抜ける場面を、カメラ121により撮影すると、図中点線で示され、ゴールライン221と並行な線181に対応する一次元の画像が連続して撮影されることになる。ゴールライン221上を1次元のラインセンサ143で撮影することにより、走者がゴールしたタイミング(時刻)を正確に記録することができ、その結果、着順(徒競走の順位など)を正確に判定することが可能となる。
【0043】
図6は、図5のカメラ121により撮影された画像であって、走者201がゴールライン221を駆け抜ける場面の画像241の例を示す図である。2次元の画像である画像241は、図中点線で区切られている複数の一次元の画像241−1乃至241―8により構成されている。すなわち、画像241−1は、所定のタイミング(走者201がゴールライン221に差し掛かったタイミング)で、カメラ121により撮影された画像であり、画像241−2は、画像241−2は、画像241−1が撮影された直後のタイミングで撮影された画像である。
【0044】
そしてこの後同様に、時間の経過に伴って、一次元の画像241−3乃至241−8が順番に撮影され、一次元の画像241−1乃至241−8が組み合わせられることにより2次元の画像241が構成される。
【0045】
このように、ラインセンサ143により一次元の画像を撮影することで、走者201の判定基準となる部位(例えば、胸、頭など体の一部)がゴールライン221を通過したタイミングを正確に記録することができる。
【0046】
図2のカメラコントロールユニット122は、例えば、図6の一次元の画像241−1乃至241−8を、それぞれの画像が撮影された時刻を表す情報とともに、制御部123に出力する。
【0047】
図7は、カメラ121の取り付け位置の例を示す図である。同図は、例えば、陸上競技場などのトラックのゴールライン221付近を上からみた図である。例えば、徒競走のそれぞれの走者は、ゴールライン221とそれぞれ直角に交差し、図中上下方向に平行する複数のコースのそれぞれを、矢印261−1、261−2、・・・に沿って、図中右から左方向に駆け抜ける。この例では、カメラ121Aが、ゴールライン221と並行する線181Aを中心とする光に基づく画像を撮影することが可能となる位置に取り付けられている。カメラ121Bは、線181Aと所定の角度で交差する線181B−1または181B−2を中心とする光に基づく画像を撮影することが可能となる位置に取り付けられている。
【0048】
カメラ121Aは、ゴールライン221上の光であって、ゴールライン221と並行する光に基づく画像を撮影することにより、走者の順位判定の基準となる基準画像を撮影する。基準画像を撮影するカメラ121Aの取り付け位置は、予め定められた位置に固定される。
【0049】
しかしながら、例えば、複数の走者が接近した状態でゴールライン221を駆け抜けた場合、カメラ121Aの取り付け位置からみた画像においては、ゴールライン221の図中下側を駆け抜ける走者の後ろに、ゴールライン221の図中上側を駆け抜ける走者が隠れてしまい、カメラ121Aにより撮影される基準画像のみでは、順位の判定が困難となることもある。
【0050】
そこで、カメラ121Aの取り付け位置に対応する視点とは異なる視点に対応する位置にカメラ121Bを取り付ける。これにより、2つの異なる視点からみた、視差をもつ画像を生成することが可能となり、視差をもつ画像を合成することで、立体的な画像を生成することができるとともに、複数の走者が接近した状態でゴールライン221を駆け抜けた場合であっても、正確に順位を判定することが可能な画像を提供することができる。
【0051】
例えば、カメラ121Bを、カメラ121Aの左側に設置した場合、カメラ121Aにより撮影される画像は右目でみた画像に対応し、カメラ121Bにより撮影される画像は左目でみた画像に対応することになり視差をもった画像が生成される。また、カメラ121Bを、カメラ121Aの右側に設置した場合、カメラ121Aにより撮影される画像は左目でみた画像に対応し、カメラ121Bにより撮影される画像は右目でみた画像に対応することになり視差をもった画像が生成される。なお、カメラ121Bの取り付け位置は、図7に示されるものには限られず、任意に設定されるようにしてもよい。
【0052】
また、カメラ121Aの他に、複数のカメラを取り付けて、例えば、ユーザの選択により、カメラ121Aの他に、任意の1台のカメラが選択されて視差をもった画像が生成されるようにしてもよい。例えば、カメラ121Aの左側にカメラ121Bを設置し、カメラ121Aの右側にカメラ121Cを設置し、カメラ121Aにより撮影される基準画像を、右目でみた画像に対応させたい場合、カメラ121Bが選択され、カメラ121Aにより撮影される基準画像を、左目でみた画像に対応させたい場合、カメラ121Cが選択されるようにしてもよい。
【0053】
カメラ121Aとカメラ121B(またはカメラ121C)は、全てトラックの外側の監視室などに設けられる。すなわち、視差画像を取得するためのカメラ121B(またはカメラ121C)を、トラックの内側のフィールド上などに設ける必要はなく、また、カメラ121B(またはカメラ121C)をフィールドの一点に固定するために、例えば、金属性の取り付けフレームなどを、フィールドに埋め込んで固定するなどの工事が不要になるとともに、カメラ121B(またはカメラ121C)から出力されるセンサ情報、画像データなどを、監視室に伝送するための伝送ケーブルなどを、競技の邪魔にならないようトラックの下部に埋設したり、カメラ121B(またはカメラ121C)を防水するための工事なども不要になる。
【0054】
したがって、視差画像を用いて正確な順位が判定できる順位判定システム100を、安価に提供することが可能となる。
【0055】
図8は、制御部123により実行されるプログラムなどで構成されるソフトウェアの機能的構成例を示すブロック図である。
【0056】
基準画像取得部301は、例えば、図7のカメラ121Aにより撮影される基準画像のデータを、カメラコントロールユニット122から取得し、視差画像取得部302は、例えば、図7のカメラ121Bにより撮影される画像であって、基準画像に対する視差を有する画像(視差画像)のデータを、カメラコントロールユニット122から取得する。
【0057】
基準画像合成部303は、基準画像取得部301により取得された画像であって、カメラコントロールユニット122から供給されるカメラ121Aにより撮影された基準画像を組み合わせて(合成して)2次元の基準画像を生成する。例えば、図6の画像241−1乃至241−8を組み合わせて、走者がゴールラインを駆け抜けるときの所定の時間に対応した横方向の幅を有する2次元の画像241を生成する。視差画像合成部304も、同様に、視差画像取得部302により取得された画像であって、カメラコントロールユニット122から供給されるカメラ121Bにより撮影された視差画像を組み合わせて(合成して)、基準画像合成部303により生成される画像と同じサイズの2次元の視差画像を生成する。
【0058】
立体画像合成部305は、基準画像合成部303および視差画像合成部304により生成された画像を合成して立体的な画像(立体画像)を生成する。
【0059】
図9は、立体画像合成部305による立体的な画像の生成の例を説明する図である。同図において、基準画像に対応する領域は、空白の四角形で表され、視差画像に対応する領域は、斜線でハッチングされた四角形で表されている。立体画像合成部305は、基準画像321と、視差画像322を、それぞれ横方向(左右方向)に予め設定された、充分小さい間隔で縦方向に長いn個の領域に分割し、基準画像の領域321−1の右側に、視差画像の領域322−2を配置し、視差画像の領域322−2の右側に基準画像の領域321−3を配置し、・・・基準画像の領域321−(n−1)の右側に視差画像の領域322−nを配置する。このように、分割された基準画像の領域と視差画像の領域とを交互に並べることにより、立体画像320が生成される。
【0060】
なお、立体画像の合成の方法は、図9を参照して上述した方法に限られるものではなく、別の方法により立体画像が合成されるようにしてもよい。
【0061】
次に、図10のフローチャートを参照して、順位判定システム100による判定画像出力処理について説明する。この処理は、例えば、順位判定システム100のユーザにより、徒競走の順位の判定のための画像である判定画像の出力が指令されたとき実行される。
【0062】
ステップS101において、基準画像取得部301は、カメラ121Aにより撮影される基準画像のデータを取得する。
【0063】
ステップS102において、視差画像取得部302は、カメラ121Bにより撮影される視差画像のデータを取得する。
【0064】
ステップS103において、基準画像合成部303は、ステップS101の処理で基準画像取得部301により取得された基準画像を組み合わせて(合成して)2次元の基準画像を生成する。
【0065】
ステップS104において、視差画像合成部304は、ステップS102の処理で視差画像取得部302により取得された視差画像を組み合わせて(合成して)2次元の視差画像を生成する。
【0066】
ステップS105において、立体画像合成部305は、立体画像の表示が指令されたか否かを判定する。例えば、ユーザが図示せぬ操作部を操作して、立体画像の表示を指令した場合、ステップS105においては、立体画像の表示が指令されたと判定され、処理は、ステップS106に進む。
【0067】
ステップS106において、立体画像合成部305は、例えば、図9を参照して説明したように、立体画像を合成(生成)する。
【0068】
ステップS107において、立体画像合成部305は、ステップS106の処理により生成された立体画像のデータに対応する信号を、表示部124に出力し、立体画像を表示させる。
【0069】
一方、ステップS105において、立体画像の表示が指令されなかったと判定された場合、処理は、ステップS108に進み、立体画像合成部305は、ステップS103の処理により生成された基準画像のデータに対応する信号を表示部124に出力し、基準画像を表示させる。
【0070】
このようにして、判定画像の出力が行われる。このようにすることで、ユーザは、必要に応じて、立体画像または基準画像を選択して表示させることができ、正確かつ簡単に順位を判定することができる。
【0071】
ところで、以上においては、カメラ121Aとカメラ121Bが、それぞれ横方向(左右)に異なる位置に取り付けられる例について説明したが、例えば、カメラ121Aとカメラ121Bが、それぞれ縦方向(上下)に異なる位置に取り付けられるようにしてもよい。
【0072】
図11は、カメラ121の別の取り付け位置の例を示す図であり、図12は、図11のカメラ121と走者201を図中左方向から見た側面図である。この例では、図11に示されるように、カメラ121Aが、ゴールライン221と並行する線181Aを中心とする光に基づく画像を撮影し、カメラ121Bは、線181Aと所定の角度で交差する線181Bを中心とする光に基づく画像を撮影する。
【0073】
図11または図12において、上述した図7の場合と同様に、カメラ121Aは、ゴールライン221上の光であって、ゴールライン221と並行する光に基づく画像を撮影することにより、走者の順位判定の基準となる基準画像を撮影する。基準画像を撮影するカメラ121Aの取り付け位置は、予め定められた位置に固定される。しかし、カメラ121Bの取り付け位置は、図7の場合と異なり、カメラ121Aの上側(または下側であってもよい)とされる。
【0074】
すなわち、図12に示されるように、地面と垂直であって、ゴールライン221上を通る線231上の異なる位置に、カメラ121Aとカメラ121Bがそれぞれ取り付けられることになる。
【0075】
例えば、上述した図7の場合のように、カメラ121Aとカメラ121Bを、それぞれ横方向に異なる位置に取り付けた場合正確には、カメラ121Bにより撮影される画像は、カメラ121Aにより撮影される画像に対して、時間差が生じることになる。すなわち、カメラ121は、ゴールライン221が引かれる地面などの面に対して垂直方向(縦方向)に所定の長さを有する1次元の画像センサ(ラインセンサ)により画像を撮影するので、横方向に異なる位置に設けられた2つのラインセンサにより撮影される画像は、それぞれ時間軸が異なる画像となる。
【0076】
このため、カメラ121Aとカメラ121Bを、それぞれ横方向に異なる位置に取り付けた場合、それぞれのカメラにより撮影された画像を合成するとき、時間差による歪みが生じる恐れがある。
【0077】
これに対して、図11と図12を参照して説明したように、カメラ121Aとカメラ121Bを、それぞれ縦方向に異なる位置に取り付けた場合、2つのラインセンサにより撮影される画像において、時間軸が異なることはなく、その結果、歪みのない正確な画像を得ることが可能となるとともに、ある時点で撮影されたカメラ121Aとカメラ121Bの画像のそれぞれにおいて、全画素がゴールライン221上の光に対応することになるので、判定に用いる画像をより正確に撮影することができる。
【0078】
カメラ121Aとカメラ121Bを、それぞれ縦方向に異なる位置に取り付けた場合、2つのカメラで撮影された画像を合成して立体的な画像を生成するときは、例えば、撮影されたそれぞれの画像を90°回転させるなどして、人間の目と同様の左右の視差に対応する画像として合成すればよい。
【0079】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図13に示されるような汎用のパーソナルコンピュータ500などに、ネットワークや記録媒体からインストールされる。
【0080】
図13において、CPU(Central Processing Unit)501は、ROM(Read Only Memory
)502に記憶されているプログラム、または記憶部508からRAM(Random Access Memory)503にロードされたプログラムに従って各種の処理を実行する。RAM503にはまた、CPU501が各種の処理を実行する上において必要なデータなども適宜記憶される。
【0081】
CPU501、ROM502、およびRAM503は、バス504を介して相互に接続されている。このバス504にはまた、入出力インタフェース505も接続されている。
【0082】
入出力インタフェース505には、キーボード、マウスなどよりなる入力部506、CRT(Cathode Ray Tube)、LCD(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部507、ハードディスクなどより構成される記憶部508、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部509が接続されている。通信部509は、インターネットを含むネットワークを介しての通信処理を行う。
【0083】
入出力インタフェース505にはまた、必要に応じてドライブ510が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア511が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部508にインストールされる。
【0084】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア511などからなる記録媒体からインストールされる。
【0085】
なお、この記録媒体は、図13に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク(フロッピディスク(登録商標)を含む)、光ディスク(CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む)、光磁気ディスク(MD(Mini-Disk)(登録商標)を含む)、もしくは半導体メモリなどよりなるリムーバブルメディア511により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM502や、記憶部508に含まれるハードディスクなどで構成されるものも含む。
【0086】
本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【0087】
【図1】従来の順位判定システムの例を示す図である。
【図2】本発明を適用した順位判定システムの一実施形態に係る構成例を示す図である。
【図3】図2のカメラの外観を示す斜視図である。
【図4】図3のカメラのレンズを取り外したときの例を示す図である。
【図5】カメラにより撮影される画像を説明する図である。
【図6】カメラにより撮影される画像の例を示す図である。
【図7】カメラの取り付け位置の例を示す図である。
【図8】図2の制御部において実行されるソフトウェアの機能的構成例を示すブロック図である。
【図9】立体画像の合成の例を示す図である。
【図10】判定画像出力処理を説明するフローチャートである。
【図11】カメラの取り付け位置の別の例を示す図である。
【図12】図11に対応する側面図である。
【図13】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【0088】
100 順位判定システム
121A,121B カメラ
122 カメラコントロールユニット
123 制御部
124 表示部
125 コマンド入力部
141 レンズ
143 エリアセンサ
301 基準画像取得部
302 視差画像取得部
303 基準画像合成部
304 視差画像合成部
305 立体画像合成部
【特許請求の範囲】
【請求項1】
着順を判定する競技における着順の決まる地点の画像を提供する画像処理装置であって、
前記着順を決める基準線上の光線であって、前記基準線と並行な第1の光線を中心とする光に基づく第1の画像を撮影する第1の撮影手段と、
前記第1の光線に対して、所定の角度で交差する第2の光線を中心とする光に基づく第2の画像を撮影する第2の撮影手段と、
前記第1の撮影手段により撮影された前記第1の画像のデータ、および前記第2の撮影手段により撮影された前記第2の画像のデータを合成し、第3の画像のデータを生成する画像合成手段と
を備えることを特徴とする画像処理装置。
【請求項2】
前記第2の撮影手段の取り付け位置が、複数の取り付け位置の中から選択可能である
ことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記第1の撮影手段および第2の撮影手段は、前記基準線が引かれる面に対して垂直方向に所定の長さを有する1次元の画像センサにより、それぞれ前記第1の画像および第2の画像を撮影する
ことを特徴とする請求項1に記載の画像処理装置。
【請求項4】
前記競技の開始と同期して前記第1の画像のデータおよび前記第2の画像のデータを、前記画像合成手段に提供するデータ提供手段をさらに備える
ことを特徴とする請求項1に記載の画像処理装置。
【請求項5】
前記画像合成手段は、前記第1の画像と、前記第1の画像に対して視差を有する前記第2の画像を合成して得られる立体的な画像のデータを、前記第3の画像のデータとして生成する
ことを特徴とする請求項1に記載の画像処理装置。
【請求項6】
前記画像合成手段により生成されたデータに対応する画像を表示する表示手段をさらに備える
ことを特徴とする請求項1に記載の画像処理装置。
【請求項7】
前記画像合成手段は、ユーザの選択に基づいて、前記第2の画像を前記第1の画像と合成する必要があるか否かを判定し、
前記第2の画像を、前記第1の画像と合成する必要がないと判定された場合、前記第1の画像を、前記表示部に出力する
ことを特徴とする請求項6に記載の画像処理装置。
【請求項8】
着順を判定する競技における着順の決まる地点の画像を提供する画像処理装置の画像処理方法であって、
前記着順を決める基準線上の光線であって、前記基準線と並行な第1の光線を中心とする光に基づく第1の画像を撮影する第1の撮影ステップと、
前記第1の光線に対して、所定の角度で交差する第2の光線を中心とする光に基づく第2の画像を撮影する第2の撮影ステップと、
前記第1の撮影ステップの処理により撮影された前記第1の画像のデータ、および前記第2の撮影ステップの処理により撮影された前記第2の画像のデータを合成し、第3の画像のデータを生成する画像合成ステップと
を含むことを特徴とする画像処理方法。
【請求項9】
着順を判定する競技における着順の決まる地点の画像を提供する画像処理装置に画像処理を実行させるプログラムであって、
前記着順を決める基準線上の光線であって、前記基準線と並行な第1の光線を中心とする光に基づく第1の画像の撮影を制御する第1の撮影制御ステップと、
前記第1の光線に対して、所定の角度で交差する第2の光線を中心とする光に基づく第2の画像の撮影を制御する第2の撮影制御ステップと、
前記第1の撮影制御ステップの処理により撮影された前記第1の画像のデータ、および前記第2の撮影制御ステップの処理により撮影された前記第2の画像のデータを合成し、第3の画像のデータの生成を制御する画像合成制御ステップと
をコンピュータに実行させることを特徴とするプログラム。
【請求項10】
請求項9に記載のプログラムが記録されていることを特徴とする記録媒体。
【請求項1】
着順を判定する競技における着順の決まる地点の画像を提供する画像処理装置であって、
前記着順を決める基準線上の光線であって、前記基準線と並行な第1の光線を中心とする光に基づく第1の画像を撮影する第1の撮影手段と、
前記第1の光線に対して、所定の角度で交差する第2の光線を中心とする光に基づく第2の画像を撮影する第2の撮影手段と、
前記第1の撮影手段により撮影された前記第1の画像のデータ、および前記第2の撮影手段により撮影された前記第2の画像のデータを合成し、第3の画像のデータを生成する画像合成手段と
を備えることを特徴とする画像処理装置。
【請求項2】
前記第2の撮影手段の取り付け位置が、複数の取り付け位置の中から選択可能である
ことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記第1の撮影手段および第2の撮影手段は、前記基準線が引かれる面に対して垂直方向に所定の長さを有する1次元の画像センサにより、それぞれ前記第1の画像および第2の画像を撮影する
ことを特徴とする請求項1に記載の画像処理装置。
【請求項4】
前記競技の開始と同期して前記第1の画像のデータおよび前記第2の画像のデータを、前記画像合成手段に提供するデータ提供手段をさらに備える
ことを特徴とする請求項1に記載の画像処理装置。
【請求項5】
前記画像合成手段は、前記第1の画像と、前記第1の画像に対して視差を有する前記第2の画像を合成して得られる立体的な画像のデータを、前記第3の画像のデータとして生成する
ことを特徴とする請求項1に記載の画像処理装置。
【請求項6】
前記画像合成手段により生成されたデータに対応する画像を表示する表示手段をさらに備える
ことを特徴とする請求項1に記載の画像処理装置。
【請求項7】
前記画像合成手段は、ユーザの選択に基づいて、前記第2の画像を前記第1の画像と合成する必要があるか否かを判定し、
前記第2の画像を、前記第1の画像と合成する必要がないと判定された場合、前記第1の画像を、前記表示部に出力する
ことを特徴とする請求項6に記載の画像処理装置。
【請求項8】
着順を判定する競技における着順の決まる地点の画像を提供する画像処理装置の画像処理方法であって、
前記着順を決める基準線上の光線であって、前記基準線と並行な第1の光線を中心とする光に基づく第1の画像を撮影する第1の撮影ステップと、
前記第1の光線に対して、所定の角度で交差する第2の光線を中心とする光に基づく第2の画像を撮影する第2の撮影ステップと、
前記第1の撮影ステップの処理により撮影された前記第1の画像のデータ、および前記第2の撮影ステップの処理により撮影された前記第2の画像のデータを合成し、第3の画像のデータを生成する画像合成ステップと
を含むことを特徴とする画像処理方法。
【請求項9】
着順を判定する競技における着順の決まる地点の画像を提供する画像処理装置に画像処理を実行させるプログラムであって、
前記着順を決める基準線上の光線であって、前記基準線と並行な第1の光線を中心とする光に基づく第1の画像の撮影を制御する第1の撮影制御ステップと、
前記第1の光線に対して、所定の角度で交差する第2の光線を中心とする光に基づく第2の画像の撮影を制御する第2の撮影制御ステップと、
前記第1の撮影制御ステップの処理により撮影された前記第1の画像のデータ、および前記第2の撮影制御ステップの処理により撮影された前記第2の画像のデータを合成し、第3の画像のデータの生成を制御する画像合成制御ステップと
をコンピュータに実行させることを特徴とするプログラム。
【請求項10】
請求項9に記載のプログラムが記録されていることを特徴とする記録媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2006−339703(P2006−339703A)
【公開日】平成18年12月14日(2006.12.14)
【国際特許分類】
【出願番号】特願2005−158496(P2005−158496)
【出願日】平成17年5月31日(2005.5.31)
【出願人】(391000896)株式会社フローベル (10)
【Fターム(参考)】
【公開日】平成18年12月14日(2006.12.14)
【国際特許分類】
【出願日】平成17年5月31日(2005.5.31)
【出願人】(391000896)株式会社フローベル (10)
【Fターム(参考)】
[ Back to top ]