撮像方法、および撮像装置
【課題】カメラを所持することなく、任意の構図で撮影された写真を取得する。
【解決手段】利用者が図示するように構えると、利用者の目21の3次元座標が算出される。次に、利用者の左手22Lまたは右手Rの一方の指で作られるL字型の3点と他方の指で作られるL字型の頂点の合計4点の3次元座標が算出されて、利用者の手で形成される矩形の4頂点の3次元座標が特定される。さらに、利用者の目21の位置を基準として、利用者の手で形成される矩形の4頂点を透視投影することにより撮像範囲23が決定される。本発明は、自動撮像システムに適用できる。
【解決手段】利用者が図示するように構えると、利用者の目21の3次元座標が算出される。次に、利用者の左手22Lまたは右手Rの一方の指で作られるL字型の3点と他方の指で作られるL字型の頂点の合計4点の3次元座標が算出されて、利用者の手で形成される矩形の4頂点の3次元座標が特定される。さらに、利用者の目21の位置を基準として、利用者の手で形成される矩形の4頂点を透視投影することにより撮像範囲23が決定される。本発明は、自動撮像システムに適用できる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像方法、および撮像装置に関し、例えば、観光地の撮影スポットなどに設置したカメラを使用して写真撮影を行えるようにした撮像方法、および撮像装置に関する。
【背景技術】
【0002】
観光地などのいわゆる撮影スポットとなる場所に出かけたとき、その場で写真を撮影するためには、自身でカメラなどを所持している必要がある。
【0003】
また、カメラを所持している場合であっても、その場で自己が属する集団(以下、グループと称する)の集合写真を撮影するためには、例えば、グループ以外の人にシャッタ操作を依頼したり、グループ内の誰かが集合写真に写らずにシャッタ操作を行ったりすることなどが必要となる。また、カメラのタイマ機能またはリモートシャッタ機能を利用することも考えられる。
【0004】
カメラを所持していない場合については、観光地などに予め設置されているカメラを用いて記念写真を撮影できる方法が提案されている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2004−282769号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1に記載の発明は、予め決められている構図(撮影の方向、範囲など)でのみ撮影が可能であり、利用者は写真の構図を決定することができなかった。
【0007】
本発明はこのような状況に鑑みてなされたものであり、カメラを所持しなくても任意の構図で撮影された写真を取得できるようにするものである。
【課題を解決するための手段】
【0008】
本発明の一側面である撮像方法は、撮像装置による、所定の範囲に存在し得る利用者を検出する検出ステップと、検出された前記利用者の目および手の3次元座標を算出する算出ステップと、算出された前記利用者の目および手の前記3次元座標に基づいて撮像範囲を決定する決定ステップと、決定された前記撮像範囲を撮像する撮像ステップとを含む。
【0009】
前記決定ステップは、前記利用者の両手の指により特定される矩形の3次元座標を、前記利用者の目の3次元座標から投影することにより前記撮像範囲を決定することができる。
【0010】
前記決定ステップは、算出された前記利用者の目および手の前記3次元座標に基づいて撮像方向を決定し、決定した撮像方向に対して予め設定されている最適な構図を前記撮像範囲に決定することができる。
【0011】
本発明の一側面である撮像方法は、前記撮像装置による、前記撮像ステップの撮像結果として得られた撮像画像と、予め蓄積されている画像の中から前記撮像画像に類似した類似画像を検索する検索ステップと、前記類似画像を用いて前記撮像画像を補正する補正ステップとをさらに含むことができる。
【0012】
本発明の一側面である撮像方法は、前記撮像装置による、前記撮像ステップの撮像結果として得られた撮像画像における被写体人物のうち、前記利用者と同一のグループに属するグループメンバを特定する特定ステップをさらに含むことができ、前記補正ステップは、前記撮像画像のグループメンバ以外の被写体人物の領域を前記類似画像を用いて置換することができる。
【0013】
本発明の一側面である撮像装置は、所定の範囲に存在し得る利用者を検出する検出手段と、検出された前記利用者の目および手の3次元座標を算出する算出手段と、算出された前記利用者の目および手の前記3次元座標に基づいて撮像範囲を決定する決定手段と、決定された前記撮像範囲を撮像する撮像手段とを備える。
【0014】
本発明の一側面においては、所定の範囲に存在し得る利用者が検出され、検出された利用者の目および手の3次元座標が算出され、算出された利用者の目および手の3次元座標に基づいて撮像範囲が決定され、決定された撮像範囲が撮像される。
【発明の効果】
【0015】
本発明の一側面によれば、カメラを所持しなくても任意の構図で撮影された写真を取得することが可能となる。
【図面の簡単な説明】
【0016】
【図1】本発明を適用した自動撮像システムの構成例を示すブロック図である。
【図2】利用者の目および両手と写真の構図との関係を示す図である。
【図3】利用者による手の構えのパターン例を示す図である。
【図4】撮像処理を説明するフローチャートである。
【図5】撮像事後処理を説明するフローチャートである。
【図6】グループメンバ以外の被写体人物を消去する例を示す図である。
【図7】グループメンバ以外の被写体人物を消去する他の例を示す図である。
【発明を実施するための形態】
【0017】
以下、発明を実施するための最良の形態(以下、実施の形態と称する)について、図面を参照しながら詳細に説明する。
【0018】
<1.実施の形態>
[自動撮像システムの構成例]
図1は、本発明の実施の形態である自動撮像システムの構成例を示している。この自動撮像システムは、観光地などのいわゆる撮影スポットにおいて、カメラを所持していない人(以下、利用者と称する)が、写真の構図を示す所定の構え(後述)を行うことに応じ、周囲に設置されているカメラが利用者の意図した構図(以下、撮像範囲とも称する)で撮影を行うものである。
【0019】
この自動撮像システム10は、ネットワーク12を介して接続されている、複数のカメラ11−1乃至11−3、撮像管理装置13、および画像管理装置14から構成される。
【0020】
カメラ11−1乃至11−3は、撮影スポットとなり得る場所に設置される。具体的には、所定の長さを有するレールなどに載置され、当該レール上を移動することにより、その設置位置が変更できるようになされている。また、撮像方向(方位角、および上下角)、ズーム倍率も変更可能である。
【0021】
カメラ11−1は、利用者を検出してその目および両手の3次元座標を測定するための画像(以下、第1の画像と称する)を撮像するものであり、撮影スポットの利用者が存在し得る方向を連続的に撮影し、その結果得られた第1の画像を撮像管理装置13に随時出力する。
【0022】
カメラ11−2は、撮影スポットの景色、建物などを背景としてその前に立つ被写体人物と利用者との距離を測定するための第2の画像を撮像するものであり、撮影スポットの利用者と被写体人物との両方を撮影し得る方向を撮影し、その結果得られた第2の画像を撮像管理装置13に出力する。
【0023】
カメラ11−3は、撮像管理装置13から指定される撮影範囲を所定のサンプリング周期で撮像し、その結果得られた画像(以下、第3の画像と称する)を撮像管理装置13に出力する。また、カメラ11−3は、撮像管理装置13から指定される撮影範囲を、指定されたタイミングで撮像し、その結果得られた画像(以下、撮像画像と称する)を撮像条件(カメラ11−3の設置位置の座標、撮像方向、およびズーム倍率)とともに撮像管理装置13に出力する。
【0024】
さらに、カメラ11−3は、撮像画像と合成するための類似画像(詳細後述)の候補となる画像を、構図、天候、季節、時刻などの条件を変えて定期的に撮像し、得られた画像、およびその撮像時の撮像条件を、ネットワーク12を介して画像管理装置14に供給する。
【0025】
カメラ11−1乃至11−3の撮像条件(カメラ11の設置位置の座標、撮像方向、およびズーム倍率)は、ネットワーク12を介して撮像管理装置13に通知され、撮像管理装置13が常に把握しているものとする。
【0026】
また、上述した説明では、便宜上、カメラ11−1乃至11−3の用途を区別しているが、カメラ11−1乃至11−3は、互いに他の用途を代行したり、兼務したりすることができる。
【0027】
カメラ11−1乃至11−3は、自動撮像システム10のために専用に設ける必要は無く、既設の監視用カメラ、観測用カメラなどを流用するようにしてもよい。
【0028】
撮像管理装置13は、人の顔、目、手などの画像が予め機械学習されている画像認識器を内蔵している。撮像管理装置13は、画像認識器を用いることにより、カメラ11−1からネットワーク12を介して随時入力される第1の画像内から利用者となる人物を検出する。具体的には、例えば、所定の構え(図2に示す両手の指でそれぞれL字型を形成して矩形を示すなど)を行う人物を利用者とみなして検出する。
【0029】
あるいは、例えば、利用者であることを示す目印(例えば、バッジ、シールなど)を予め利用者に供与して胸などに貼付させるようにし、当該目印が貼付されている人物を利用者として検出するようにしてもよい。
【0030】
撮像管理装置13は、カメラ11−1および11−2それぞれによって撮影可能な範囲の3次元マッピングデータを保持している。
【0031】
図2は、利用者の目および両手と、カメラ1−3にて撮像する撮像範囲(上述したように、構図とも称する)の関係を示している。
【0032】
利用者は、撮像範囲を指示するために、撮像方向に対して、両手の指をそれぞれL字型にして撮像範囲となる矩形の対向する頂点を示すように構え、撮像タイミングを指示するために、所定のシャッタ動作(例えば、人差し指の先を曲げるなど)を行うものとする。
【0033】
利用者が上述したように構えると、利用者の目21の3次元座標が算出される。次に、利用者の左手22Lまたは右手Rの一方の指で作られるL字型の3点と他方の指で作られるL字型の頂点の合計4点の3次元座標が算出されて、利用者の手で形成される矩形の4頂点の3次元座標が特定される。さらに、利用者の目21の位置を基準として、利用者の手で形成される矩形の4頂点を透視投影することにより撮像範囲23が決定される。
【0034】
なお、カメラ11−1乃至カメラ11−3が設置される撮影スポットにおいて撮像する写真の理想的な構図を数種類予め撮像管理装置13に保持するようにし、それらのうちの利用者が手で示す方向に合致するものを撮像範囲23として採用するようにしてもよい。
【0035】
理想的な構図については、その場所で撮像された複数の画像を構図解析して決定したり、当該複数の画像をダウンロードできるようにしてそのダウンロード数に基づいて決定したり、当該複数の画像に対する評価を投票できるようにしてその投票結果に基づいて決定したりすればよい。あるいは、それらを総合して理想的な構図を決定してもよい。
【0036】
理想的な構図を撮像範囲23として採用した場合、利用者にとっては、おおまかに撮影方向を指定するだけで良い構図の画像を得られるという利点がある。また、自動撮像システム10側にとっては、カメラ11の位置や撮像方向などに起因して、利用者の目および手の位置が正確に認識できなくても撮像範囲を決定することができるという利点がある。
【0037】
図1に戻る。撮像管理装置13は、画像認識器を用いることにより、第1の画像から利用者の目および両手の位置を特定し、第1の画像に対応する3次元マッピングデータに基づいて、利用者の目および両手の3次元座標を算出する。さらに、撮像管理装置13は、カメラ11−2から入力される第2の画像とそれに対応する3次元マッピングデータに基づいて利用者と被写体人物との距離を算出する。またさらに、撮像管理装置13は、算出した目および両手の3次元座標、並びに利用者と被写体人物との距離に基づいて撮像範囲23(図2)を決定してカメラ11−3に通知する。
【0038】
なお、上述したように、撮像管理装置13が3次元マッピングデータを保持する代わりに、カメラ11−1および11−2をそれぞれステレオカメラに代えてステレオマッチングに基づいて被写体までの距離を測定できるようにしてもよい。あるいは、カメラ11−1および11−2に距離センサを搭載するようにしてもよい。これにより、3次元マッピングデータを用いることなく、利用者の目および両手の3次元座標を算出したり、利用者と被写体人物との距離を算出したりすることができる。
【0039】
撮像管理装置13は、カメラ11−3から順次入力される第3の画像に写っている被写体人物のうち、利用者と同じグループに属する人物(以下、グループメンバと称する)を推定して、その推定結果を示す撮像前グループ情報を生成する。具体的には、第3の画像内から顔認識処理によって人の顔の目を抽出し、その視線方向が一定時間継続して利用者の方向を向いている人物をグループメンバであると推定する。生成された撮像前グループ情報は、利用者を識別するための情報(以下、利用者情報と称する)に対応付けて、インタネットなどのネットワーク12を介して画像管理装置14に通知される。
【0040】
また、撮像管理装置13は、第1の画像に基づき、利用者が所定のシャッタ動作(例えば、L字型に形成している指の先を曲げるなど)を検出した場合、そのタイミングに合わせてカメラ11−3に撮像範囲23を撮像させて撮像画像を得る。なお、後述するタイマモードにおいては、シャッタ動作のタイミングから所定の時間だけ遅延してタイミングで撮像させるようにすればよい。得られた撮像画像は、利用者情報に対応付けて、ネットワーク12を介して画像管理装置14に出力される。なお、所定のサンプリング周期で入力される第3の画像の中からシャッタ動作のタイミングに合ったものを撮像画像とみなすようにしてもよい。
【0041】
画像管理装置14は、撮像管理装置13からネットワーク12を介して入力された撮像画像を解析し、撮像画像に写っている被写体人物のうちのグループメンバを推定して、その推定結果を示す撮像後グループ情報を生成する。
【0042】
具体的には、撮像前グループ情報の生成と同様、撮像画像内から顔認識処理によって人の目を抽出し、その視線方向が利用者の方向を向いている人物をグループメンバであると推定する。また、同一の利用者に対応して当該撮像画像と連続して撮像された他の撮像画像におけるグループメンバも推定し、複数の撮像画像で重複してグループメンバと推定された人物だけをグループメンバとみなすようにして撮像後グループ情報の精度を上げるようにしてもよい。
【0043】
さらに、画像管理装置14は、被写体人物のうち、撮像前グループ情報と撮像後グループ情報の双方により重複してグループメンバと推定された被写体人物だけを最終的にグループメンバであると判断して、利用者情報にグループメンバの顔を対応付けて、自己が管理するグループDB(データベース)に登録する。
【0044】
またさらに、画像管理装置14は、自己が管理する画像DBの中から当該撮像画像と類似している画像(以下、類似画像と称する)を、カメラ11−3の設置位置の座標、撮像方向、ズーム倍率、および構図を比較することにより検索する。
【0045】
なお、画像DBには、カメラ11−3により撮像された、構図、天候、季節、時刻などの条件が異なる複数の画像が、カメラ11−3の設置位置の座標、撮像方向、およびズーム倍率に対応付けて蓄積されているものとする。なお、後述するように、類似画像は、人が写っていない領域を用いるので、類似画像には人が写っていないことが望ましい。しかしながら、撮影スポットにおいて人が写らないタイミングで類似画像を撮像することは困難である。そこで、同様の条件(構図、天候、季節、時刻など)で撮像された多数の画像の、人が写っていない領域を合成して、人が写っていない類似画像を生成し、蓄積するようにしてもよい。
【0046】
画像管理装置14は、撮像画像のグループメンバ以外の人物が写っている領域を類似画像の人が写っていない対応する領域で置換することにより、グループメンバ以外の人物を消した状態の撮像画像を生成する。このグループメンバ以外の人物を消した状態の撮像画像は、利用者情報に対応付けて画像DBに保存され、例えば、利用者が携帯電話機やパーソナルコンピュータなどを用い、ネットワーク12を介して画像管理装置14にアクセスすれば、それを表示したり、ダウンロードしたりすることができる。
【0047】
[撮像モードの変更]
図3は、撮像範囲23を指定する際の利用者の両手の構えの様々なパターンを示している。これら様々なパターンに応じて撮像モードを変更するようにしてもよい。
【0048】
例えば、同図Aに示されるように、利用者が両手の甲を自身に向けて、親指と他の1本の指(人差し指など)でL字型を形成している場合には通常モード(シャッタ動作に応じて直ちに撮像が1回行われる)とする。
【0049】
また例えば、同図Bに示されるように、利用者が両手の甲を自身に向けて、親指と他の2本の指(人差し指と中指など)でL字型を形成している場合には連写モード(シャッタ動作に応じて撮像が複数回行われる)とする。
【0050】
さらに例えば、同図Cに示されるように、利用者が両手の平を自身に向けている場合にはタイマモード(シャッタ動作に応じて数秒後に撮像が回行われる)とする。タイマモードを用いれば、利用者も撮像領域23に移動して被写体人物となることができる。
【0051】
同図A乃至同図Cに示された手の構えのパターンや、それぞれに対応する撮像モードはその一例であり、様々な組み合わせが可能である。
【0052】
[動作説明]
次に、自動撮像システム10の動作について説明する。自動撮像システム10の動作は、カメラ11−1乃至11−3および撮像管理装置13による撮像処理と、画像管理装置14による撮像事後処理からなる。
【0053】
図4は、撮像処理を説明するフローチャートである。
【0054】
この撮像処理は、自動撮像システム10が稼動されている間、継続して繰り返し実行される。
【0055】
ステップS1において、撮像管理装置13は、カメラ11−1からネットワーク12を介して随時入力されている第1の画像を監視し、ステップS2において、第1の画像内から利用者を検出したか否かを判定する。ここで、利用者を検出したと判定されない場合、処理はステップS1に戻されて、第1の画像の監視が継続される。ステップS2において、利用者を検出したと判定された場合、処理はステップS3に進められる。
【0056】
ステップS3において、撮像管理装置13は、第1の画像から利用者の目および両手の位置を検出し、ステップS4において、検出した利用者の目および両手の3次元座標を算出する。さらに、撮像管理装置13は、ステップS5において、カメラ11−2から入力される第2の画像とそれに対応する3次元マッピングデータに基づいて利用者と被写体人物との距離を算出し、利用者の目および両手の3次元座標、並びに利用者と被写体人物との距離に基づいて撮像範囲23を決定してカメラ11−3に通知する。
【0057】
この通知に従い、ステップS6において、カメラ11−3は、通知された撮像範囲を所定のサンプリング周期で撮像し、その結果得られる第3の画像を撮像管理装置13に順次出力する。撮像管理装置13は、カメラ11−3から順次入力されている第3の画像に写っている被写体人物の中からグループメンバを推定して、その推定結果を示す撮像前グループ情報を生成する。また、撮像管理装置13は、第1の画像から、利用者の手の構えのパターンを判別して撮像モードを決定する。
【0058】
ステップS7において、撮像管理装置13は、カメラ11−1から入力されている第1の画像を監視し、利用者による所定のシャッタ動作を検出するまで待機する。利用者による所定のシャッタ動作が検出された場合、処理はステップS8に進められる。
【0059】
ステップS8において、撮像管理装置13は、決定した撮像モードに従い、カメラ11−3に撮像範囲23を撮像させて撮像画像を得る。撮像管理装置13は、得られた撮像画像と生成した撮像前グループ情報とを利用者情報に対応付け、ネットワーク12を介して画像管理装置14に送信する。以上で、撮像処理は終了される。
【0060】
図5は、撮像事後処理を説明するフローチャートである。この撮像事後処理は、撮像管理装置13から送信された、利用者情報に対応付けられた撮像画像と撮像前グループ情報とを画像管理装置14が受信したときに開始される。
【0061】
ステップS11において、画像管理装置14は、撮像管理装置13からの撮像画像を解析し、撮像画像に写っている被写体人物のうちのグループメンバを推定して、その推定結果を示す撮像後グループ情報を生成する。
【0062】
ステップS12において、画像管理装置14は、撮像画像の被写体人物のうち、撮像前グループ情報と撮像後グループ情報の双方により重複してグループメンバと推定された被写体人物だけを最終的にグループメンバであると確定する。
【0063】
ステップS13において、画像管理装置14は、自己が管理する画像DBの中から当該撮像画像と類似した類似画像を検索する。ステップS14において、画像管理装置14は、例えば、図6Aに示されるような撮像画像のグループメンバ以外の人物が写っている領域を、同図Bに示されるような類似画像の人が写っていない対応する領域で置換することにより、同図Cに示されるようなグループメンバ以外の人物を消した状態の撮像画像を生成する。以上で、撮像事後処理は終了される。
【0064】
[撮像画像のグループメンバ以外の被写体人物を消去する他の例]
図7は、類似画像を用いて撮像画像のグループメンバ以外の被写体人物を消去する他の例と示している。
【0065】
同図に示されるように、1枚の撮像画像からグループのメンバ(グループメンバXとグループメンバY)だけがそれぞれ存在する複数の画像生成するようにしてもよい。
【0066】
以上説明したように、自動撮像システム10によれば、観光地などにおいて利用者は自らカメラを所持しなくとも、希望する方向の撮像した写真を取得することができる。
【0067】
また、例えば、カメラを高所に設置したり、通常人の立ち入りが制限されている場所に設置したりすることにより、通常、個人では取れないような構図の写真を得ることができる。また、設置するカメラを例えば職業用に用いるような高性能のものとすれば、通常、個人では取れないような高画質の写真を得ることができる。
【0068】
さらに、カメラ11−1乃至カメラ11−3が設置される撮影スポットにおいて撮像する写真の理想的な構図を数種類予め撮像管理装置13に保持するようにし、それらのうちの利用者が手で示す撮像方向における理想的な構図を撮像範囲23とするようにしてもよい。
【0069】
理想的な構図については、その場所で撮像された複数の画像を構図解析して決定したり、当該複数の画像をダウンロードできるようにしてそのダウンロード数に基づいて決定したり、当該複数の画像に対する評価を投票できるようにしてその投票結果に基づいて決定したりすればよい。あるいは、それらを総合して理想的な構図を決定してもよい。これにより、例えば、写真撮影が苦手な利用人であっても、良い構図の写真を撮像できる(よい構図の画像を取得できる)。また、利用者の目および手の3次元座標を正確に算出できなくても、撮像範囲23を決定することができる。
【0070】
ところで、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【0071】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【0072】
10 自動撮像システム, 11 カメラ, 12 ネットワーク, 13 撮像管理装置, 14 画像管理装置
【技術分野】
【0001】
本発明は、撮像方法、および撮像装置に関し、例えば、観光地の撮影スポットなどに設置したカメラを使用して写真撮影を行えるようにした撮像方法、および撮像装置に関する。
【背景技術】
【0002】
観光地などのいわゆる撮影スポットとなる場所に出かけたとき、その場で写真を撮影するためには、自身でカメラなどを所持している必要がある。
【0003】
また、カメラを所持している場合であっても、その場で自己が属する集団(以下、グループと称する)の集合写真を撮影するためには、例えば、グループ以外の人にシャッタ操作を依頼したり、グループ内の誰かが集合写真に写らずにシャッタ操作を行ったりすることなどが必要となる。また、カメラのタイマ機能またはリモートシャッタ機能を利用することも考えられる。
【0004】
カメラを所持していない場合については、観光地などに予め設置されているカメラを用いて記念写真を撮影できる方法が提案されている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2004−282769号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1に記載の発明は、予め決められている構図(撮影の方向、範囲など)でのみ撮影が可能であり、利用者は写真の構図を決定することができなかった。
【0007】
本発明はこのような状況に鑑みてなされたものであり、カメラを所持しなくても任意の構図で撮影された写真を取得できるようにするものである。
【課題を解決するための手段】
【0008】
本発明の一側面である撮像方法は、撮像装置による、所定の範囲に存在し得る利用者を検出する検出ステップと、検出された前記利用者の目および手の3次元座標を算出する算出ステップと、算出された前記利用者の目および手の前記3次元座標に基づいて撮像範囲を決定する決定ステップと、決定された前記撮像範囲を撮像する撮像ステップとを含む。
【0009】
前記決定ステップは、前記利用者の両手の指により特定される矩形の3次元座標を、前記利用者の目の3次元座標から投影することにより前記撮像範囲を決定することができる。
【0010】
前記決定ステップは、算出された前記利用者の目および手の前記3次元座標に基づいて撮像方向を決定し、決定した撮像方向に対して予め設定されている最適な構図を前記撮像範囲に決定することができる。
【0011】
本発明の一側面である撮像方法は、前記撮像装置による、前記撮像ステップの撮像結果として得られた撮像画像と、予め蓄積されている画像の中から前記撮像画像に類似した類似画像を検索する検索ステップと、前記類似画像を用いて前記撮像画像を補正する補正ステップとをさらに含むことができる。
【0012】
本発明の一側面である撮像方法は、前記撮像装置による、前記撮像ステップの撮像結果として得られた撮像画像における被写体人物のうち、前記利用者と同一のグループに属するグループメンバを特定する特定ステップをさらに含むことができ、前記補正ステップは、前記撮像画像のグループメンバ以外の被写体人物の領域を前記類似画像を用いて置換することができる。
【0013】
本発明の一側面である撮像装置は、所定の範囲に存在し得る利用者を検出する検出手段と、検出された前記利用者の目および手の3次元座標を算出する算出手段と、算出された前記利用者の目および手の前記3次元座標に基づいて撮像範囲を決定する決定手段と、決定された前記撮像範囲を撮像する撮像手段とを備える。
【0014】
本発明の一側面においては、所定の範囲に存在し得る利用者が検出され、検出された利用者の目および手の3次元座標が算出され、算出された利用者の目および手の3次元座標に基づいて撮像範囲が決定され、決定された撮像範囲が撮像される。
【発明の効果】
【0015】
本発明の一側面によれば、カメラを所持しなくても任意の構図で撮影された写真を取得することが可能となる。
【図面の簡単な説明】
【0016】
【図1】本発明を適用した自動撮像システムの構成例を示すブロック図である。
【図2】利用者の目および両手と写真の構図との関係を示す図である。
【図3】利用者による手の構えのパターン例を示す図である。
【図4】撮像処理を説明するフローチャートである。
【図5】撮像事後処理を説明するフローチャートである。
【図6】グループメンバ以外の被写体人物を消去する例を示す図である。
【図7】グループメンバ以外の被写体人物を消去する他の例を示す図である。
【発明を実施するための形態】
【0017】
以下、発明を実施するための最良の形態(以下、実施の形態と称する)について、図面を参照しながら詳細に説明する。
【0018】
<1.実施の形態>
[自動撮像システムの構成例]
図1は、本発明の実施の形態である自動撮像システムの構成例を示している。この自動撮像システムは、観光地などのいわゆる撮影スポットにおいて、カメラを所持していない人(以下、利用者と称する)が、写真の構図を示す所定の構え(後述)を行うことに応じ、周囲に設置されているカメラが利用者の意図した構図(以下、撮像範囲とも称する)で撮影を行うものである。
【0019】
この自動撮像システム10は、ネットワーク12を介して接続されている、複数のカメラ11−1乃至11−3、撮像管理装置13、および画像管理装置14から構成される。
【0020】
カメラ11−1乃至11−3は、撮影スポットとなり得る場所に設置される。具体的には、所定の長さを有するレールなどに載置され、当該レール上を移動することにより、その設置位置が変更できるようになされている。また、撮像方向(方位角、および上下角)、ズーム倍率も変更可能である。
【0021】
カメラ11−1は、利用者を検出してその目および両手の3次元座標を測定するための画像(以下、第1の画像と称する)を撮像するものであり、撮影スポットの利用者が存在し得る方向を連続的に撮影し、その結果得られた第1の画像を撮像管理装置13に随時出力する。
【0022】
カメラ11−2は、撮影スポットの景色、建物などを背景としてその前に立つ被写体人物と利用者との距離を測定するための第2の画像を撮像するものであり、撮影スポットの利用者と被写体人物との両方を撮影し得る方向を撮影し、その結果得られた第2の画像を撮像管理装置13に出力する。
【0023】
カメラ11−3は、撮像管理装置13から指定される撮影範囲を所定のサンプリング周期で撮像し、その結果得られた画像(以下、第3の画像と称する)を撮像管理装置13に出力する。また、カメラ11−3は、撮像管理装置13から指定される撮影範囲を、指定されたタイミングで撮像し、その結果得られた画像(以下、撮像画像と称する)を撮像条件(カメラ11−3の設置位置の座標、撮像方向、およびズーム倍率)とともに撮像管理装置13に出力する。
【0024】
さらに、カメラ11−3は、撮像画像と合成するための類似画像(詳細後述)の候補となる画像を、構図、天候、季節、時刻などの条件を変えて定期的に撮像し、得られた画像、およびその撮像時の撮像条件を、ネットワーク12を介して画像管理装置14に供給する。
【0025】
カメラ11−1乃至11−3の撮像条件(カメラ11の設置位置の座標、撮像方向、およびズーム倍率)は、ネットワーク12を介して撮像管理装置13に通知され、撮像管理装置13が常に把握しているものとする。
【0026】
また、上述した説明では、便宜上、カメラ11−1乃至11−3の用途を区別しているが、カメラ11−1乃至11−3は、互いに他の用途を代行したり、兼務したりすることができる。
【0027】
カメラ11−1乃至11−3は、自動撮像システム10のために専用に設ける必要は無く、既設の監視用カメラ、観測用カメラなどを流用するようにしてもよい。
【0028】
撮像管理装置13は、人の顔、目、手などの画像が予め機械学習されている画像認識器を内蔵している。撮像管理装置13は、画像認識器を用いることにより、カメラ11−1からネットワーク12を介して随時入力される第1の画像内から利用者となる人物を検出する。具体的には、例えば、所定の構え(図2に示す両手の指でそれぞれL字型を形成して矩形を示すなど)を行う人物を利用者とみなして検出する。
【0029】
あるいは、例えば、利用者であることを示す目印(例えば、バッジ、シールなど)を予め利用者に供与して胸などに貼付させるようにし、当該目印が貼付されている人物を利用者として検出するようにしてもよい。
【0030】
撮像管理装置13は、カメラ11−1および11−2それぞれによって撮影可能な範囲の3次元マッピングデータを保持している。
【0031】
図2は、利用者の目および両手と、カメラ1−3にて撮像する撮像範囲(上述したように、構図とも称する)の関係を示している。
【0032】
利用者は、撮像範囲を指示するために、撮像方向に対して、両手の指をそれぞれL字型にして撮像範囲となる矩形の対向する頂点を示すように構え、撮像タイミングを指示するために、所定のシャッタ動作(例えば、人差し指の先を曲げるなど)を行うものとする。
【0033】
利用者が上述したように構えると、利用者の目21の3次元座標が算出される。次に、利用者の左手22Lまたは右手Rの一方の指で作られるL字型の3点と他方の指で作られるL字型の頂点の合計4点の3次元座標が算出されて、利用者の手で形成される矩形の4頂点の3次元座標が特定される。さらに、利用者の目21の位置を基準として、利用者の手で形成される矩形の4頂点を透視投影することにより撮像範囲23が決定される。
【0034】
なお、カメラ11−1乃至カメラ11−3が設置される撮影スポットにおいて撮像する写真の理想的な構図を数種類予め撮像管理装置13に保持するようにし、それらのうちの利用者が手で示す方向に合致するものを撮像範囲23として採用するようにしてもよい。
【0035】
理想的な構図については、その場所で撮像された複数の画像を構図解析して決定したり、当該複数の画像をダウンロードできるようにしてそのダウンロード数に基づいて決定したり、当該複数の画像に対する評価を投票できるようにしてその投票結果に基づいて決定したりすればよい。あるいは、それらを総合して理想的な構図を決定してもよい。
【0036】
理想的な構図を撮像範囲23として採用した場合、利用者にとっては、おおまかに撮影方向を指定するだけで良い構図の画像を得られるという利点がある。また、自動撮像システム10側にとっては、カメラ11の位置や撮像方向などに起因して、利用者の目および手の位置が正確に認識できなくても撮像範囲を決定することができるという利点がある。
【0037】
図1に戻る。撮像管理装置13は、画像認識器を用いることにより、第1の画像から利用者の目および両手の位置を特定し、第1の画像に対応する3次元マッピングデータに基づいて、利用者の目および両手の3次元座標を算出する。さらに、撮像管理装置13は、カメラ11−2から入力される第2の画像とそれに対応する3次元マッピングデータに基づいて利用者と被写体人物との距離を算出する。またさらに、撮像管理装置13は、算出した目および両手の3次元座標、並びに利用者と被写体人物との距離に基づいて撮像範囲23(図2)を決定してカメラ11−3に通知する。
【0038】
なお、上述したように、撮像管理装置13が3次元マッピングデータを保持する代わりに、カメラ11−1および11−2をそれぞれステレオカメラに代えてステレオマッチングに基づいて被写体までの距離を測定できるようにしてもよい。あるいは、カメラ11−1および11−2に距離センサを搭載するようにしてもよい。これにより、3次元マッピングデータを用いることなく、利用者の目および両手の3次元座標を算出したり、利用者と被写体人物との距離を算出したりすることができる。
【0039】
撮像管理装置13は、カメラ11−3から順次入力される第3の画像に写っている被写体人物のうち、利用者と同じグループに属する人物(以下、グループメンバと称する)を推定して、その推定結果を示す撮像前グループ情報を生成する。具体的には、第3の画像内から顔認識処理によって人の顔の目を抽出し、その視線方向が一定時間継続して利用者の方向を向いている人物をグループメンバであると推定する。生成された撮像前グループ情報は、利用者を識別するための情報(以下、利用者情報と称する)に対応付けて、インタネットなどのネットワーク12を介して画像管理装置14に通知される。
【0040】
また、撮像管理装置13は、第1の画像に基づき、利用者が所定のシャッタ動作(例えば、L字型に形成している指の先を曲げるなど)を検出した場合、そのタイミングに合わせてカメラ11−3に撮像範囲23を撮像させて撮像画像を得る。なお、後述するタイマモードにおいては、シャッタ動作のタイミングから所定の時間だけ遅延してタイミングで撮像させるようにすればよい。得られた撮像画像は、利用者情報に対応付けて、ネットワーク12を介して画像管理装置14に出力される。なお、所定のサンプリング周期で入力される第3の画像の中からシャッタ動作のタイミングに合ったものを撮像画像とみなすようにしてもよい。
【0041】
画像管理装置14は、撮像管理装置13からネットワーク12を介して入力された撮像画像を解析し、撮像画像に写っている被写体人物のうちのグループメンバを推定して、その推定結果を示す撮像後グループ情報を生成する。
【0042】
具体的には、撮像前グループ情報の生成と同様、撮像画像内から顔認識処理によって人の目を抽出し、その視線方向が利用者の方向を向いている人物をグループメンバであると推定する。また、同一の利用者に対応して当該撮像画像と連続して撮像された他の撮像画像におけるグループメンバも推定し、複数の撮像画像で重複してグループメンバと推定された人物だけをグループメンバとみなすようにして撮像後グループ情報の精度を上げるようにしてもよい。
【0043】
さらに、画像管理装置14は、被写体人物のうち、撮像前グループ情報と撮像後グループ情報の双方により重複してグループメンバと推定された被写体人物だけを最終的にグループメンバであると判断して、利用者情報にグループメンバの顔を対応付けて、自己が管理するグループDB(データベース)に登録する。
【0044】
またさらに、画像管理装置14は、自己が管理する画像DBの中から当該撮像画像と類似している画像(以下、類似画像と称する)を、カメラ11−3の設置位置の座標、撮像方向、ズーム倍率、および構図を比較することにより検索する。
【0045】
なお、画像DBには、カメラ11−3により撮像された、構図、天候、季節、時刻などの条件が異なる複数の画像が、カメラ11−3の設置位置の座標、撮像方向、およびズーム倍率に対応付けて蓄積されているものとする。なお、後述するように、類似画像は、人が写っていない領域を用いるので、類似画像には人が写っていないことが望ましい。しかしながら、撮影スポットにおいて人が写らないタイミングで類似画像を撮像することは困難である。そこで、同様の条件(構図、天候、季節、時刻など)で撮像された多数の画像の、人が写っていない領域を合成して、人が写っていない類似画像を生成し、蓄積するようにしてもよい。
【0046】
画像管理装置14は、撮像画像のグループメンバ以外の人物が写っている領域を類似画像の人が写っていない対応する領域で置換することにより、グループメンバ以外の人物を消した状態の撮像画像を生成する。このグループメンバ以外の人物を消した状態の撮像画像は、利用者情報に対応付けて画像DBに保存され、例えば、利用者が携帯電話機やパーソナルコンピュータなどを用い、ネットワーク12を介して画像管理装置14にアクセスすれば、それを表示したり、ダウンロードしたりすることができる。
【0047】
[撮像モードの変更]
図3は、撮像範囲23を指定する際の利用者の両手の構えの様々なパターンを示している。これら様々なパターンに応じて撮像モードを変更するようにしてもよい。
【0048】
例えば、同図Aに示されるように、利用者が両手の甲を自身に向けて、親指と他の1本の指(人差し指など)でL字型を形成している場合には通常モード(シャッタ動作に応じて直ちに撮像が1回行われる)とする。
【0049】
また例えば、同図Bに示されるように、利用者が両手の甲を自身に向けて、親指と他の2本の指(人差し指と中指など)でL字型を形成している場合には連写モード(シャッタ動作に応じて撮像が複数回行われる)とする。
【0050】
さらに例えば、同図Cに示されるように、利用者が両手の平を自身に向けている場合にはタイマモード(シャッタ動作に応じて数秒後に撮像が回行われる)とする。タイマモードを用いれば、利用者も撮像領域23に移動して被写体人物となることができる。
【0051】
同図A乃至同図Cに示された手の構えのパターンや、それぞれに対応する撮像モードはその一例であり、様々な組み合わせが可能である。
【0052】
[動作説明]
次に、自動撮像システム10の動作について説明する。自動撮像システム10の動作は、カメラ11−1乃至11−3および撮像管理装置13による撮像処理と、画像管理装置14による撮像事後処理からなる。
【0053】
図4は、撮像処理を説明するフローチャートである。
【0054】
この撮像処理は、自動撮像システム10が稼動されている間、継続して繰り返し実行される。
【0055】
ステップS1において、撮像管理装置13は、カメラ11−1からネットワーク12を介して随時入力されている第1の画像を監視し、ステップS2において、第1の画像内から利用者を検出したか否かを判定する。ここで、利用者を検出したと判定されない場合、処理はステップS1に戻されて、第1の画像の監視が継続される。ステップS2において、利用者を検出したと判定された場合、処理はステップS3に進められる。
【0056】
ステップS3において、撮像管理装置13は、第1の画像から利用者の目および両手の位置を検出し、ステップS4において、検出した利用者の目および両手の3次元座標を算出する。さらに、撮像管理装置13は、ステップS5において、カメラ11−2から入力される第2の画像とそれに対応する3次元マッピングデータに基づいて利用者と被写体人物との距離を算出し、利用者の目および両手の3次元座標、並びに利用者と被写体人物との距離に基づいて撮像範囲23を決定してカメラ11−3に通知する。
【0057】
この通知に従い、ステップS6において、カメラ11−3は、通知された撮像範囲を所定のサンプリング周期で撮像し、その結果得られる第3の画像を撮像管理装置13に順次出力する。撮像管理装置13は、カメラ11−3から順次入力されている第3の画像に写っている被写体人物の中からグループメンバを推定して、その推定結果を示す撮像前グループ情報を生成する。また、撮像管理装置13は、第1の画像から、利用者の手の構えのパターンを判別して撮像モードを決定する。
【0058】
ステップS7において、撮像管理装置13は、カメラ11−1から入力されている第1の画像を監視し、利用者による所定のシャッタ動作を検出するまで待機する。利用者による所定のシャッタ動作が検出された場合、処理はステップS8に進められる。
【0059】
ステップS8において、撮像管理装置13は、決定した撮像モードに従い、カメラ11−3に撮像範囲23を撮像させて撮像画像を得る。撮像管理装置13は、得られた撮像画像と生成した撮像前グループ情報とを利用者情報に対応付け、ネットワーク12を介して画像管理装置14に送信する。以上で、撮像処理は終了される。
【0060】
図5は、撮像事後処理を説明するフローチャートである。この撮像事後処理は、撮像管理装置13から送信された、利用者情報に対応付けられた撮像画像と撮像前グループ情報とを画像管理装置14が受信したときに開始される。
【0061】
ステップS11において、画像管理装置14は、撮像管理装置13からの撮像画像を解析し、撮像画像に写っている被写体人物のうちのグループメンバを推定して、その推定結果を示す撮像後グループ情報を生成する。
【0062】
ステップS12において、画像管理装置14は、撮像画像の被写体人物のうち、撮像前グループ情報と撮像後グループ情報の双方により重複してグループメンバと推定された被写体人物だけを最終的にグループメンバであると確定する。
【0063】
ステップS13において、画像管理装置14は、自己が管理する画像DBの中から当該撮像画像と類似した類似画像を検索する。ステップS14において、画像管理装置14は、例えば、図6Aに示されるような撮像画像のグループメンバ以外の人物が写っている領域を、同図Bに示されるような類似画像の人が写っていない対応する領域で置換することにより、同図Cに示されるようなグループメンバ以外の人物を消した状態の撮像画像を生成する。以上で、撮像事後処理は終了される。
【0064】
[撮像画像のグループメンバ以外の被写体人物を消去する他の例]
図7は、類似画像を用いて撮像画像のグループメンバ以外の被写体人物を消去する他の例と示している。
【0065】
同図に示されるように、1枚の撮像画像からグループのメンバ(グループメンバXとグループメンバY)だけがそれぞれ存在する複数の画像生成するようにしてもよい。
【0066】
以上説明したように、自動撮像システム10によれば、観光地などにおいて利用者は自らカメラを所持しなくとも、希望する方向の撮像した写真を取得することができる。
【0067】
また、例えば、カメラを高所に設置したり、通常人の立ち入りが制限されている場所に設置したりすることにより、通常、個人では取れないような構図の写真を得ることができる。また、設置するカメラを例えば職業用に用いるような高性能のものとすれば、通常、個人では取れないような高画質の写真を得ることができる。
【0068】
さらに、カメラ11−1乃至カメラ11−3が設置される撮影スポットにおいて撮像する写真の理想的な構図を数種類予め撮像管理装置13に保持するようにし、それらのうちの利用者が手で示す撮像方向における理想的な構図を撮像範囲23とするようにしてもよい。
【0069】
理想的な構図については、その場所で撮像された複数の画像を構図解析して決定したり、当該複数の画像をダウンロードできるようにしてそのダウンロード数に基づいて決定したり、当該複数の画像に対する評価を投票できるようにしてその投票結果に基づいて決定したりすればよい。あるいは、それらを総合して理想的な構図を決定してもよい。これにより、例えば、写真撮影が苦手な利用人であっても、良い構図の写真を撮像できる(よい構図の画像を取得できる)。また、利用者の目および手の3次元座標を正確に算出できなくても、撮像範囲23を決定することができる。
【0070】
ところで、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【0071】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【0072】
10 自動撮像システム, 11 カメラ, 12 ネットワーク, 13 撮像管理装置, 14 画像管理装置
【特許請求の範囲】
【請求項1】
撮像装置による、
所定の範囲に存在し得る利用者を検出する検出ステップと、
検出された前記利用者の目および手の3次元座標を算出する算出ステップと、
算出された前記利用者の目および手の前記3次元座標に基づいて撮像範囲を決定する決定ステップと、
決定された前記撮像範囲を撮像する撮像ステップと
を含む撮像方法。
【請求項2】
前記決定ステップは、前記利用者の両手の指により特定される矩形の3次元座標を、前記利用者の目の3次元座標から投影することにより前記撮像範囲を決定する
請求項1に記載の撮像方法。
【請求項3】
前記決定ステップは、算出された前記利用者の目および手の前記3次元座標に基づいて撮像方向を決定し、決定した撮像方向に対して予め設定されている最適な構図を前記撮像範囲に決定する
請求項1に記載の撮像方法。
【請求項4】
前記撮像装置による、
前記撮像ステップの撮像結果として得られた撮像画像と、予め蓄積されている画像の中から前記撮像画像に類似した類似画像を検索する検索ステップと、
前記類似画像を用いて前記撮像画像を補正する補正ステップと
をさらに含む請求項2または3に記載の撮像方法。
【請求項5】
前記撮像装置による、
前記撮像ステップの撮像結果として得られた撮像画像における被写体人物のうち、前記利用者と同一のグループに属するグループメンバを特定する特定ステップを
さらに含み、
前記補正ステップは、前記撮像画像のグループメンバ以外の被写体人物の領域を前記類似画像を用いて置換する
請求項4に記載の撮像方法。
【請求項6】
所定の範囲に存在し得る利用者を検出する検出手段と、
検出された前記利用者の目および手の3次元座標を算出する算出手段と、
算出された前記利用者の目および手の前記3次元座標に基づいて撮像範囲を決定する決定手段と、
決定された前記撮像範囲を撮像する撮像手段と
を備える撮像装置。
【請求項1】
撮像装置による、
所定の範囲に存在し得る利用者を検出する検出ステップと、
検出された前記利用者の目および手の3次元座標を算出する算出ステップと、
算出された前記利用者の目および手の前記3次元座標に基づいて撮像範囲を決定する決定ステップと、
決定された前記撮像範囲を撮像する撮像ステップと
を含む撮像方法。
【請求項2】
前記決定ステップは、前記利用者の両手の指により特定される矩形の3次元座標を、前記利用者の目の3次元座標から投影することにより前記撮像範囲を決定する
請求項1に記載の撮像方法。
【請求項3】
前記決定ステップは、算出された前記利用者の目および手の前記3次元座標に基づいて撮像方向を決定し、決定した撮像方向に対して予め設定されている最適な構図を前記撮像範囲に決定する
請求項1に記載の撮像方法。
【請求項4】
前記撮像装置による、
前記撮像ステップの撮像結果として得られた撮像画像と、予め蓄積されている画像の中から前記撮像画像に類似した類似画像を検索する検索ステップと、
前記類似画像を用いて前記撮像画像を補正する補正ステップと
をさらに含む請求項2または3に記載の撮像方法。
【請求項5】
前記撮像装置による、
前記撮像ステップの撮像結果として得られた撮像画像における被写体人物のうち、前記利用者と同一のグループに属するグループメンバを特定する特定ステップを
さらに含み、
前記補正ステップは、前記撮像画像のグループメンバ以外の被写体人物の領域を前記類似画像を用いて置換する
請求項4に記載の撮像方法。
【請求項6】
所定の範囲に存在し得る利用者を検出する検出手段と、
検出された前記利用者の目および手の3次元座標を算出する算出手段と、
算出された前記利用者の目および手の前記3次元座標に基づいて撮像範囲を決定する決定手段と、
決定された前記撮像範囲を撮像する撮像手段と
を備える撮像装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【公開番号】特開2012−123218(P2012−123218A)
【公開日】平成24年6月28日(2012.6.28)
【国際特許分類】
【出願番号】特願2010−274231(P2010−274231)
【出願日】平成22年12月9日(2010.12.9)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成24年6月28日(2012.6.28)
【国際特許分類】
【出願日】平成22年12月9日(2010.12.9)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]