撮影機器
【課題】被写体に関連する情報を的確に表示することができる撮影機器を提供する。
【解決手段】デジタルカメラ1は、被写体を撮影した撮影画像を表示する表示部18と、デジタルカメラ1の位置情報及び方位情報に基づき、データベース16aから被写体に関連した情報及び被写体周辺に関連した情報を読み出す信号処理及び制御部11と、レンズ条件に応じて、被写体に関連した情報を選択するともに、撮影画像に選択した情報を重畳して表示部18に表示するように制御する表示制御部11bとを有する。
【解決手段】デジタルカメラ1は、被写体を撮影した撮影画像を表示する表示部18と、デジタルカメラ1の位置情報及び方位情報に基づき、データベース16aから被写体に関連した情報及び被写体周辺に関連した情報を読み出す信号処理及び制御部11と、レンズ条件に応じて、被写体に関連した情報を選択するともに、撮影画像に選択した情報を重畳して表示部18に表示するように制御する表示制御部11bとを有する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮影機器に関し、特に、被写体に関連した情報を表示可能な撮影機器に関する。
【背景技術】
【0002】
従来より、デジタルカメラ等の撮影機器には、撮影画像を確認するためのLCD等の表示デバイスを有しているものがある。撮影者であるユーザは、その表示デバイスに表示される画像を見て、撮影画像を確認することができる。
【0003】
ところで、自動的に対象物の名称等の関連する情報を取得して、撮影している画像情報における観測方向に存在する対象物に名称を表示する携帯通信端末が開示されている(例えば、特許文献1参照)。
【0004】
この携帯通信端末は、現在位置している場所の位置情報と、現在位置からの被写体の方位情報とに基づいて、地図情報データベースより検索された被写体名称を取得し、被写体画像に被写体名称を合成して表示デバイスに表示するように制御している。
【0005】
このような特許文献1に開示されている技術を撮影機器に適応し、撮影される被写体に、被写体に関連する情報を合成して、撮影機器の表示デバイスに表示することによって、被写体をよく確認しながら撮影の楽しみを倍加することが考えられる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2010−124185号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、撮影機器は、ユーザによりレンズの画角、焦点、絞り等のレンズ特性が変更される。また、レンズ交換式の撮影機器は、交換されるレンズ毎にレンズ特性が変更される。
【0008】
そのため、特許文献1に開示されている技術を適応した撮影機器は、撮影機器のレンズ特性が変更された場合に、位置情報及び方位情報からだけでは被写体に関連する情報を的確に表示することができない上、ユーザの興味のもの以外をも整理せず表示してしまうという問題がある。
【0009】
そこで、本発明は、ユーザの撮影操作を考慮することによって、被写体に関連する情報を的確に表示することができる撮影機器を提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明の一態様によれば、被写体を撮影するためのレンズ条件を変更可能な撮影機器であって、前記被写体を撮影した撮影画像を表示する表示部と、前記撮影機器の位置情報及び方位情報に基づき、データベースから前記被写体に関連した情報及び前記被写体周辺に関連した情報を読み出す制御部と、前記レンズ条件に応じて、前記被写体に関連した情報を選択するともに、前記撮影画像に選択した前記情報を重畳して前記表示部に表示するように制御する表示制御部と、を有することを特徴とする撮影機器を提供することができる。
【発明の効果】
【0011】
本発明の撮影機器によれば、ユーザの撮影操作を考慮することによって、被写体に関連する情報を的確に表示することができる。
【図面の簡単な説明】
【0012】
【図1】本発明の第1の実施の形態に係るデジタルカメラの構成を示すブロック図である。
【図2】被写体にタグを合成表示する場合について説明するための図である。
【図3】焦点情報に応じて被写体にタグを合成表示する場合について説明するための図である。
【図4】画角情報に応じて被写体に関連する情報を表示する場合について説明するための図である。
【図5】画角情報に応じて被写体に関連する情報を表示する場合について説明するための図である。
【図6】焦点及び絞り情報に応じて被写体に関連する情報を表示する場合について説明するための図である。
【図7】被写体にアバター情報を重畳表示する場合を説明するための図である。
【図8】デジタルカメラ1の撮影時の処理の流れの例を示すフローチャートである。
【図9】本発明の第2の実施の形態に係わる、ユーザPが月撮影モードに変更する状態を説明するための図である。
【図10】ユーザPがレンズ3をズーミングして月を撮影する場合を説明するための図である。
【図11】デジタルカメラ1の月撮影モード時の処理の流れの例を示すフローチャートである。
【図12】本発明の第3の実施の形態に係わる、歪特性及び画像データを説明するための図である。
【図13】歪特性に合わせて重畳画像に歪を付加する例を説明するための図である。
【図14】樽型歪の場合の撮影画像と重畳画像とを説明するための図である。
【図15】歪特性に応じて重畳画像に歪を付加する処理の流れの例を示すフローチャートである。
【発明を実施するための形態】
【0013】
以下、図面を参照して本発明の実施の形態を説明する。
(第1の実施の形態)
(構成)
【0014】
本実施の形態の撮影機器としてのデジタルカメラ1は、レンズ3が交換可能な本体部2を含む、一眼式のデジタルカメラである。図1は、本実施の形態に係るデジタルカメラの構成を示すブロック図である。
【0015】
なお、以下の説明では、撮影機器は、一眼式のデジタルカメラであるとして説明するが、撮影機器は、いわゆるレンズ交換のできないカメラであってよく、例えば、レンズ一体型のカメラ、所謂コンパクトカメラ等、あるいは画角調整機能付きカメラ付き携帯電話であってもよい。第2及び第3の実施の形態においても同様である。
【0016】
図1に示すように、デジタルカメラ1は、いわゆるボディである本体部2と、レンズ3とを有する。
【0017】
まず、本体部2は、信号処理及び制御部11と、通信部12,13と、撮像部14と、モーション判定部15と、記録部16と、GPS部17と、表示部18と、方位判定部19と、操作判定部20と、時計部21とを含んで構成されている。これらの各部は、本体部2内の回路基板上に搭載されている。
【0018】
信号処理及び制御部11は、中央処理装置(以下、CPUとい)を含み、撮像部14からの画像信号に対して、所定の信号処理、例えば、色信号生成処理、マトリックス変換処理、その他各種のデジタル処理を行う。信号処理及び制御部11は、画像信号及び音声信号等の記録に際して、符号化処理を施して圧縮した画像情報及び音声情報等を出力することもできるようになっている。また、信号処理及び制御部11は、記録部16からの画像情報及び音声情報を復号化して、画像信号及び音声信号を得ることができるようになっている。
【0019】
信号処理及び制御部11のCPUが、デジタルカメラ1の全体の動作の制御を行う。CPUが実行するソフトウエアプログラムは、図示しないROMに記憶されている。
【0020】
また、信号処理及び制御部11は、物体認識部11aと、表示制御部11bとを含む。物体認識部11a及び表示制御部11bは、CPUにより実行されるソフトウエアプログラムでもよいし、ハードウエア回路でもよい。
【0021】
物体認識部11aは、撮像部14により得られた撮像信号から人物の顔あるいは建物の外観等の物体を認識する。
【0022】
表示制御部11bは、撮像結果に被写体に関連する関連情報である後述するタグまたはアバター情報を合成し、表示部18に表示するように制御する処理部である。
【0023】
通信部12は、レンズ3の通信部(後述)との各種データ通信を行う回路である。
【0024】
通信部13は、無線通信機能を有し、インターネット等の通信回線を介し、データベース36等とデータ通信を行う回路である。
【0025】
撮像部14は、CCDやCMOSセンサ等の撮像素子によって構成されている。レンズ3からの被写体の光学像は、撮像部14を構成する撮像素子の撮像面に結像するようになっている。この撮像部14は、信号処理及び制御部11によって駆動制御される。信号処理及び制御部11は、撮像部14に撮像素子の駆動信号を出力すると共に、撮像素子が光学像を光電変換して得た画像信号を取り込む。
【0026】
モーション判定部15は、加速度センサ等を含み、本体部2の動き、例えば、本体部2の仰角、ブレ及び姿勢等を判定する。
【0027】
記録部16は、信号処理及び制御部11からの画像情報及び音声情報を図示しない記録媒体に記録する回路である。なお、記録部16は、例えばカードインターフェースを採用することができ、記録部16は、メモリカード等に画像情報及び音声情報等を記録可能である。また、記録部16は、記録媒体に記録された画像情報及び音声情報を読み出して信号処理及び制御部11に供給することができる。
【0028】
また、記録部16は、データベース16aを有する。データベース16aには、地図情報及びアバター情報等が記録されている。地図情報及びアバター情報等は、信号処理及び制御部11によって読み出される。
【0029】
GPS部17は、GPSシステムからの信号を受信して、デジタルカメラ1の位置情報を取得する回路である。
【0030】
表示部18は、液晶表示器(LCD)等の表示デバイスにより構成され、撮影画像及び後述する補助画像を表示するユニットである。表示部18は、撮像部14からの撮像画像や記録部16からの再生画像が信号処理及び制御部11から供給されて、これらの画像表示を行うことができる。また、表示部18は信号処理及び制御部11により制御されて、デジタルカメラ1の操作を行うためのメニュー表示等を表示することもできるようになっている。
【0031】
方位判定部19は、地磁気センサ等を含み、デジタルカメラ1のレンズ3の向いている方向である方位を判定するためのセンサを含む。
【0032】
操作判定部20は、本体部2に設けられた操作部20a(図3(a)参照)、各種スイッチ、タッチパネル等への操作信号を入力して、ユーザの種々の操作内容を判定する回路である。操作判定部20は、ユーザによる各種釦操作に応じた操作信号を発生させて、信号処理及び制御部11に出力するようになっている。信号処理及び制御部11は、操作信号に基づいて、各部を制御する。
【0033】
時計部21は、信号処理及び制御部11が用いる時間情報を発生する。
【0034】
レンズ3は、ズームレンズ部31(単焦点レンズでもよい)と、通信部32と、駆動部33と、操作部34と、レンズデータ格納部35とを含んで構成されている。
【0035】
ズームレンズ部31は、ズームレンズの光学系を有しており、かつ駆動部33に駆動されることにより被写体の像を合焦させるオートフォーカス機能を備えている。なお、本実施の形態では、ズームレンズの光学系を有するズームレンズ部31として説明するが、これに限定されることなく、例えば、単焦点レンズの光学系を有する単焦点レンズ部であってもよい。
【0036】
通信部32は、本体部2の通信部12との通信を行う回路である。レンズ3が本体部2に装着されると、それぞれに設けられた複数の切片あるいは複数のピンが接触して、通信部12と13間で信号の送受信が可能となる。通信部32は、レンズデータ格納部に格納されているレンズ3に関する情報を本体部2へ送信することができる。
【0037】
レンズ3は、交換レンズであるので、種々のレンズが本体部2へ装着可能である。よって、装着される複数のレンズは、ズームレンズとしての倍率、焦点距離、明るさ(F値)等の情報が互いに異なっている。
【0038】
駆動部33は、ズームレンズ部31の絞り、焦点、および画角(ズーム状態)等を制御するために、ズームレンズ部31を駆動する回路である。ズームレンズ部31のズーム状態、合焦状態、および絞りは、図示しない検出部によって検出され、その検出されたズームレンズ部31の状態等は通信部32を介して本体部2へ送信される。
【0039】
操作部34は、レンズ3のズームリングあるいはズームスイッチであり、操作部34を操作することによって、ユーザは、レンズ3のズームをすることができる。また、焦点位置や絞りを手動調整できるような操作部を有してもよい。もちろん、シーンに応じて、自動でこれらの変数を変更できる仕様でもよい。
【0040】
レンズデータ格納部35には、レンズ3の絞り、焦点、画角及び収差等の情報が記録されている。
【0041】
従って、デジタルカメラ1は、信号処理及び制御部11、記録部16及び表示部18により、撮像部14からの撮像信号に基づく動画像及び静止画についての処理が可能である。即ち、信号処理及び制御部11は、撮像部14からの撮像信号に所定の信号処理を施して動画像の映像信号を生成すると共に、この映像信号を表示部18に与えて表示させる。また、信号処理及び制御部11は、生成した映像信号を圧縮して記録部16に与える。記録部16は、信号処理及び制御部11からの映像信号を図示しない記録媒体に記録すると共に、記録媒体に記録されている映像信号を読み出して信号処理及び制御部11に出力することができる。信号処理及び制御部11は記録部16からの映像信号を復号化して、本体部2の表示部18に与えて表示させることができる。
【0042】
図2は、被写体にタグを合成表示する場合について説明するための図である。
【0043】
信号処理及び制御部11は、ユーザPによりAR表示モード(Augmented Reality=拡張現実)に設定されると、GPS部17からのデジタルカメラ1の位置情報と、方位判定部19からの方位情報とに基づき、データベース16aの地図情報を参照し、被写体を説明するためのタグを読み出す。表示制御部11bは、信号処理及び制御部11によって読み出されたタグを表示画面18aに表示することができる。
【0044】
図2(a)に示すように、ユーザPが、被写体の一例として、富士山を撮影している場合、表示部18の表示画面18aには、被写体を説明するための、即ち、被写体に関連する情報であるタグ41が被写体に合成表示される。
【0045】
しかしながら、図2(b)に示すように、ユーザPが、街中の雑然とした場所で撮影する場合、被写体に関連する情報である複数のタグ42〜44が表示部18の表示画面18aに合成表示される。この場合、複数のタグ42〜44が表示画面18aの多くの部分を占めるようになり、被写体の撮影に支障がでる。
【0046】
図3は、焦点情報に応じて被写体にタグを合成表示する場合について説明するための図である。
【0047】
表示制御部11bは、GPS部17からのデジタルカメラ1の位置情報と、方位判定部19からの方位情報と、レンズ3からの焦点情報とに応じて、被写体に関連する情報のみを選択して表示画面18aに表示する。そして、被写体周辺に関連した情報は選択されず、表示画面18aに表示されない。
【0048】
図3(a)に示すように、ユーザPは、本体部2の背面の表示部18の表示画面18aに表示される撮影画像を見ながら、本体部2の操作部20aあるいはレンズ3の操作部34を操作する。ユーザPが、例えば、遠距離のタワーに焦点を合わせると、その操作に応じて、図3(b)に示すように、遠距離のタワーに関連するタグ42のみが表示画面18aに表示される。また、ユーザPが、例えば、近距離の△ビルに焦点を合わせると、その操作に応じて、図3(c)に示すように、近距離の△ビルに関連するタグ44のみが表示画面18aに表示される。なお、図3(a)及び(b)に示すタグ42及びタグ44は、3D表示にしてもよい。
【0049】
このように、本実施の形態のデジタルカメラ1は、ユーザPのレンズ操作に応じて、ユーザPの必要とするタグ情報のみを表示部18の表示画面18aに表示するようにしている。
【0050】
図4及び図5は、画角情報に応じて被写体に関連する情報を表示する場合について説明するための図である。
【0051】
ユーザPが図4に示す向きにデジタルカメラ1を向けると、GPS部17及び方位判定部19は、それぞれデジタルカメラ1の位置(経度x0、緯度y0)及び向きθ0を検出する。ユーザPがレンズ3をズーミングして画角θ1から画角θ2に変更すると、信号処理及び制御部11は、画角θ2を考慮して、図5の(式1)を算出する。
【0052】
信号処理及び制御部11は、デジタルカメラ1の経度x0、緯度y0を基準にして、Aビル51の経度x1、緯度y1に基づき、Aビル51の相対経度(x1−x0)、相対緯度(y1−y0)を求める。同様に、信号処理及び制御部11は、Bビルの(x2−x0)、相対緯度(y2−y0)を求める。
【0053】
信号処理及び制御部11は、このように求めたAビル51及びBビル52の相対経度をそれぞれ図5の(式1)に代入して得られる緯度が、それぞれAビル51及びBビル52の相対緯度より小さいか否かを判定する。図5の(式1)に代入して得られる緯度が、相対緯度より小さい場合、撮影範囲で表示候補となる。従って、Aビル51は、撮影対象ではなく、Bビル52は、撮影対象となる。この結果、Aビルに関連するタグは表示画面18aに表示されず、Bビル52に関連するタグが表示画面18aに表示される。
【0054】
図6は、焦点及び絞り情報に応じて被写体に関連する情報を表示する場合について説明するための図である。
【0055】
信号処理及び制御部11は、デジタルカメラ1またはレンズ3によって設定された焦点位置L1、L2、または、絞りによる被写界深度(L1−L2)に基づき、被写体としてのBビル52の距離Lb、X駅の距離LCが表示条件に入るか否かを判定する。
【0056】
Bビル51の距離は、図6の(式2)で算出できるので、信号処理及び制御部11は、算出した距離を焦点位置によって決まる焦点合わせ距離、または、絞りによって決まる被写界深度を加味した距離幅と比較する。そして、信号処理及び制御部11は、Bビル51が焦点合わせ距離、または、被写界深度を加味した距離幅内に存在すると判定すると、Bビル51に関連するタグを表示画面18aに表示させる。
【0057】
次に、アバター情報を表示することについて説明する。
【0058】
図7は、被写体にアバター情報を重畳表示する場合を説明するための図である。ここでアバター情報とは、被写体や撮影者など、人物を単純化して図像化したもので、対応するデジタルデータが、適宜、記録部から読み出されて画像として合成されるものである。もちろん、被写体の場合、その特徴を抽出して、輪郭を単純化したり、顔パーツを合成してアバター画像を形成してもよい。
【0059】
図7(a)に示すように、被写体55をデジタルカメラ1で撮影する場合、GPS部17及び方位判定部19によりデジタルカメラ1の位置及び方位が検出される。信号処理及び制御部11は、位置及び方位情報から、地図上のどこの位置で撮影するかを検出し、図7(b)に示すように、対応する場所の簡易地図情報56をデータベース16aから読み出す。
【0060】
また、物体認識部11aは、被写体55に対応するアバター情報がデータベース16aに記録されているか否かを検出する。信号処理及び制御部11は、被写体55に対応するアバター情報がデータベース16aに記録されていることを物体認識部11aが検出すると、図7(c)に示すように、簡易地図情報56の対応する位置にアバター情報57を合成する。
【0061】
表示制御部11bは、合成された簡易地図情報56及びアバター情報57をアイコン化し、図7(d)に示すように、撮影画像に重畳表示する。これにより、ユーザPは、単に個々の被写体の名称のみならず、自分の位置と周りの環境を含めた撮影時の状況を把握して撮影することが可能となる。これによって、見のがしていたものや、歩行者や人物によって隠れていた背景などを考慮して、より良い記念写真を撮影することが可能となる。
(処理)
【0062】
次に、デジタルカメラ1の撮影時の処理を説明する。図8は、デジタルカメラ1の撮影時の処理の流れの例を示すフローチャートである。図8の処理は、信号処理及び制御部11のCPUが実行する。図8の処理プログラムは、信号処理及び制御部11内のROM(図示せず)に記憶されている。
【0063】
デジタルカメラ1の電源がオンにされているときに、CPUは、ユーザにより撮影モードが設定されているか否かを判定する(S1)。撮影モードでないとき(S1:NO)は、その他のモードの処理、例えば再生モードの処理、が実行される。
【0064】
撮影モードであるとき(S1:YES)、CPUは、レンズ3の各種データを取得し(S2)、AR表示モードであるか否かを判定する(S3)。このAR表示モードは、被写体にAR情報、即ち、被写体に関連する情報を仮想現実的に重畳表示するモードであり、デジタルカメラ1がユーザによって、AR表示モードに設定されているか否かが判定される。これは、タグやアバターなどのデジタル情報を実際の画像のデータの中に合成するので、現実の情報がリッチコンテンツになるということで、現実を拡張したように見えるのでこのように呼ぶ。ここでは、こうして現実画像内に重ねて表示するデジタル情報を「ARデータ」と呼ぶ。
【0065】
デジタルカメラ1がAR表示モードに設定されていない場合(S3: NO)、CPUは、ズーム操作がされたか否かを判定する(S4)。ズーム操作がされたときは(S4:YES)、CPUは、光学ズーム制御操作を実行し(S5)、全域表示を行う(S6)。全域表示は、撮像部14の撮像素子で撮像して得られた画像を表示部18の表示画面18a上に表示することである。ズーム操作がされていないときは(S4:NO)、CPUは、全域表示を行う(S6)。
【0066】
次に、撮影釦が押されたか否かが判定され(S7)、撮影釦が押されたとき(S7:YES)、CPUは、撮像範囲の画像を記憶する(S8)。撮影釦が押されないとき(S7:NO)、処理は、S1へ戻る。CPUは、AR表示モードであるか否かを判定する(S9)。デジタルカメラ1がAR表示モードに設定されていない場合(S9: NO)、処理は、S1へ戻る。なお、デジタルカメラ1がAR表示モードに設定されている際の処理は、S3の処理から説明する。
【0067】
デジタルカメラ1がAR表示モードに設定されている場合(S3:YES)、CPUは、デジタルカメラ1に状態変化があったか否かを判定する(S10)。状態変化があったときは(S10:YES)、CPUは、位置検出、方位検出、レンズ広角画角情報より必要データをデータベース16aから取得し、(S11)CPUは、ズーム操作があったか否かを判定する(S12)。状態変化がないときは(S10: NO)、CPUは、ズーム操作があったか否かを判定する(S12)。ズーム操作があった場合(S12:YES)、CPUは、取得したデータを画角で限定し(S13)、焦点操作があったか否かを検出する(S14)。ズーム操作がなかった場合(S12: NO)、CPUは、焦点操作があったか否かを検出する(S14)。焦点操作があった場合(S14:YES)、CPUは、取得したデータを距離で限定し(S15)、絞り操作があったか否かを検出する(S16)。焦点操作がなかった場合(S14: NO)、CPUは、絞り操作があったか否かを検出する(S16)。絞り操作があった場合(S16:YES)、CPUは、取得したデータを距離範囲で限定し(S17)、撮像結果にデータを3Dデータとして合成表示する(S17)。絞り操作がなかった場合(S16:NO)、CPUは、撮像結果にデータを3Dデータとして合成表示する(S17)。
【0068】
S17の処理後、S7の処理で撮影釦が押されたか否かが判定される。CPUは、S7で撮影釦が押されたと判定されると、撮像範囲の画像を記憶する。
【0069】
そして、デジタルカメラ1がAR表示モードに設定されている場合(S9:YES)、CPUは、データを記録する(S19)。CPUは、アバター画像を作成し(S20)、処理は、S1へ戻る。
【0070】
以上のように、デジタルカメラ1は、位置情報と方位情報と加え、レンズ3の画角、焦点、絞り情報に応じて、被写体に関連する情報を表示画面18aに表示する。レンズ交換式カメラの場合、装着されたレンズ特性に応じた表示が可能となる。
【0071】
よって、本実施の形態の撮影機器によれば、ユーザの撮影操作を考慮することによって、被写体に関連する情報を的確に表示することができる。
(第2の実施の形態)
【0072】
次に、本発明の第2の実施の形態について説明する。
(構成)
【0073】
第2の実施の形態に係る撮影機器は、被写体として「月」を撮影する月撮影モードを有する。第2の実施の形態に係る撮影機器の構成は、第1の実施の形態で説明した撮影機器の構成と略同じであるので、以下、第2の実施の形態に係る撮影機器を、第1の実施の形態の撮影機器と異なる構成について主として説明する。
【0074】
図9は、ユーザPが月撮影モードに変更する状態を説明するための図である。
【0075】
図9に示すように、ユーザPは、デジタルカメラ1Aを手に持って操作部20aを操作することにより、デジタルカメラ1Aの設定を月撮影モードに変更する。
【0076】
図10は、ユーザPがレンズ3をズーミングして月を撮影する場合を説明するための図である。
【0077】
図10(a)に示すように、ユーザPがデジタルカメラ1Aを手に持って月Mを撮影しようとするとき、ユーザPは表示部18の表示画面18aを見ながら、デジタルカメラ1Aのレンズ3の向きを調整する。
【0078】
ユーザPは、図10(b)に示すように、月Mを大きく撮影するため、レンズ3をズーミングする、あるいは、レンズ3を望遠レンズに交換することになる。図10(a)において、点線の枠が、ユーザPがズーミングしている撮影範囲ZAを示す。
【0079】
しかし、ユーザPにとっては、月Mを狭い画角内の略中心に位置させて、図10(b)に示すように、表示画面18a上に月画像MIが表示されるように、デジタルカメラ1Aの向きを調整することは容易でない。
【0080】
この場合、図10(c)に示すように、表示画面18a上に、撮影範囲ZAに対応する撮影枠61を表示するとともに、月Mの方向を示すAR情報62を撮影枠61外に表示する。
【0081】
この月Mの方向を示すAR情報62を検出するために、データベース16aには、月Mの日時及び場所に応じた軌跡情報が記録されている。ユーザPにより月撮影モードに変更されると、GPS部17、方位判定部19及びモーション判定部15は、それぞれデジタルカメラ1Aの位置、方位及び仰角を検出する。
【0082】
信号処理及び制御部11は、データベース16aに記録されている月Mの日時及び場所に応じた軌跡情報と、デジタルカメラ1Aの位置情報、方位情報及び仰角情報とに基づき、現在の月Mの位置を検出し、月Mが撮影範囲ZA内にあるか否かを判定する。
【0083】
なお、信号処理及び制御部11は、デジタルカメラ1Aの位置情報と、方位情報及び仰角情報から検出されるデジタルカメラ1Aの観察方向情報とを、通信部13を介してインターネットに送信するとともに、インターネットを介して観察方向の天体情報を受信することにより、現在の月Mの位置を検出し、月Mが撮影範囲ZA内にあるか否かを判定するようにしてもよい。
【0084】
信号処理及び制御部11は、月Mが撮影範囲ZA内にないと判定すると、撮影枠61に対する月Mの位置を検出し、月Mの方向を示すAR情報62を検出する。
【0085】
検出された月Mの方向を示すAR情報62は、表示制御部11bにより撮影枠61外に重畳され、表示部18の表示画面18aに表示される。
【0086】
なお、データベース16aに月M以外の天体の場所及び日時の情報を記録し、その天体の軌道を算出することにより、月撮影モードは、月以外の天体にも適応可能である。また、天体に限定されることなく、例えば、ある建物等の方向をAR情報として、撮影枠61外に重畳して表示画面18aに表示するようにしてもよい。天体でない場合は、仰角は0と考えて処理すればよく、必ずしも、仰角情報を取得しなくてもよい。また、撮影画面内の画像パターンを利用して、例えば、地面と空の割合を検出して仰角相当の情報を得たり、各ビルの配置や高さを参照したりして、これらのAR情報の付与の位置を調整してもよい。
(処理)
【0087】
次に、デジタルカメラ1Aの月撮影モード時の処理を説明する。図11は、デジタルカメラ1Aの月撮影モード時の処理の流れの例を示すフローチャートである。図11の処理は、信号処理及び制御部11のCPUが実行する。図11の処理プログラムは、信号処理及び制御部11内のROM(図示せず)に記憶されている。なお、図11において、図8と同様の処理については、同一の符号を付して説明を省略する。
【0088】
CPUは、S1の処理で撮影モードと判定し、S2の処理でレンズデータを取得すると、月撮影モードであるか否かを判定する(S31)。
【0089】
デジタルカメラ1Aが月撮影モードに設定されていない場合(S31: NO)、CPUは、図8と同様に、S4〜S8の処理を行う。デジタルカメラ1Aが月撮影モードに設定されている場合(S31: YES)、CPUは、ズーム操作がされたか否かを判定する(S32)。ズーム操作がされたときは(S32:YES)、CPUは、光学ズームが限界か否かを判定する(S33)。光学ズームが限界の場合(S33:YES)、CPUは、電子ズームを実行する(S34)。光学ズームが限界でない場合(S33:NO)、CPUは、光学ズーム制御操作を実行する(S35)。
【0090】
S34、S34の処理後、あるいは、ズーム操作がなかったときは(S32:NO)、CPUは、デジタルカメラ1Aの位置、方位及び仰角を判定する(S36)。CPUは、判定された位置、方位及び仰角からデジタルカメラ1Aの位置情報、観察方向情報をインターネットに送信し(S37)、観察方向の天体情報をインターネットから受信する(S38)。CPUは、受信した観察方向の天体情報から撮影対象の天体が撮影範囲外か否かを判定する(S39)。天体が撮影範囲外の場合(S39:YES)、CPUは、画角外の天体情報(AR情報)を撮影枠外に付加表示し(S40)、S7の処理に移行する。天体が撮影範囲外でない場合(S39:NO)、CPUは、天体を表示し(S41)、S7の処理に移行する。
【0091】
以上のように、デジタルカメラ1Aは、撮影枠61階に被写体に関連する情報を表示することができる。
(第3の実施の形態)
【0092】
次に、本発明の第3の実施の形態について説明する。
(構成)
【0093】
第3の実施の形態に係る撮影機器は、レンズ3の収差条件に応じて重畳画像(被写体に関連する情報)に歪を付加する制御を行うようになっている。第3の実施の形態に係る撮影機器の構成は、第1の実施の形態で説明した撮影機器の構成と略同じであるので、以下、第3の実施の形態に係る撮影機器を、第1の実施の形態の撮影機器と異なる構成について主として説明する。
【0094】
図12は、歪特性及び画像データを説明するための図である。
【0095】
図12(a)において、像高は、画像中心からの距離を示し、図12(b)に示す画像データにおける中心が0、4つの隅が1となる。また、理想像高は、歪がない、理想的な画像での像高を示し、実像高は、実際に撮影された歪を含む像高を示す。
【0096】
また、図12(a)の符号71は、糸巻き型歪の場合の特性例を示し、符号72は、樽型歪の場合の特性例を示している。
【0097】
図12(a)において、対角の中点Aの画像は、糸巻き型歪の特性例では、点Bに映る。これに伴い、図12(b)の画像データにおいて、対角の中点Aの画像が点Bに映る。
【0098】
図13は、歪特性に合わせて重畳画像に歪を付加する例を説明するための図である。
【0099】
図13(a)に示すように、信号処理及び制御部11は、第1の実施の形態と同様に、被写体を説明するための文字列、即ち、被写体に合成するための重畳画像81a〜81dを検出する。
【0100】
信号処理及び制御部11は、レンズ3からズーム位置に応じた歪特性を取得する。信号処理及び制御部11は、取得した歪特性に応じて、重畳画像81a〜81dに歪を付加する。これにより、図13(b)に示すように、画面内の位置に従った歪特性に応じて歪が付加された重畳画像82a〜82dが生成される。
【0101】
信号処理及び制御部11は、撮影画像と、歪が付加された重畳画像82a〜82dとを合成する。合成された合成画像は、表示制御部11bにより表示画面18aに表示される。
【0102】
また、信号処理及び制御部11は、必要に応じて合成画像に歪補正を行う。このように、合成画像に歪補正を行うことで、撮影画像及び重畳画像82a〜82dは、同等の歪特性にすることができる。
【0103】
図14は、樽型歪の場合の撮影画像と重畳画像とを説明するための図である。
【0104】
図14に示すように、信号処理及び制御部11は、樽型歪の特性に応じて重畳画像に歪を付加し、歪を付加した重畳画像91〜93をAビル51、Bビル52及びCビル53に合成する。また、信号処理部及び制御部11は、歪特性に応じて看板94に重畳画像として表示される広告にも歪を付加することができる。
(処理)
【0105】
次に、歪特性に応じて重畳画像に歪を付加する処理(歪み付与処理)について説明する。図15は、歪特性に応じて重畳画像に歪を付加する処理の流れの例を示すフローチャートである。図15の処理は、信号処理及び制御部11のCPUが実行する。図15の処理プログラムは、信号処理及び制御部11内のROM(図示せず)に記憶されている。
【0106】
まず、CPUは、レンズ3からズーム位置に応じた歪特性を取得し(S51)、重畳画像を生成する(S52)。なお、CPUは、重畳画像を生成する際、歪ませていない重畳画像を生成する。CPUは、歪特性に合わせて、重畳画像(AR情報)に歪を付加し(S53)、被写体像と、歪を付加した重畳画像とを合成する(S54)。CPUは、必要に応じた歪補正を行い(S55)、処理を終了する。この際、建物の外観や輪郭から重畳画像を合成する位置を決定する。例えば、空の境のビルの屋上部とか、ビルとビルの間の輪郭から、看板状表示をするなどの制御を行い、現実と仮想情報を混在させるようにしてもよい。
【0107】
以上のように、デジタルカメラ1Bは、レンズ3の収差による歪特性に応じて、重畳画像に歪を付加するため、ユーザPは、違和感なく撮影画像を認識することができる。この発明によれば、撮影レンズの操作に応じて重畳表示が刻々と切り替り、ユーザの興味や思惑に応じた最適表示がなされる。これを見ながら、有効な画角や構図や撮影場所を考えながらの撮影が可能となる。この情報は一緒に撮影しても良いし、画像ファイル内に付与して、後で読み出せるようにしてもよい。
【0108】
なお、本明細書における各フローチャート中の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。
【0109】
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【符号の説明】
【0110】
1…デジタルカメラ、2…本体部、3…レンズ、11…信号処理及び制御部、11a…物体認識部、11b…表示制御部、12,13,32…通信部、14…撮像部、15…モーション判定部、16…記録部、17…GPS部、18…表示部、19…方位判定部、20…操作判定部、21…時計部、31…ズームレンズ部、33…駆動部、34…操作部、35…レンズデータ格納部。
【技術分野】
【0001】
本発明は、撮影機器に関し、特に、被写体に関連した情報を表示可能な撮影機器に関する。
【背景技術】
【0002】
従来より、デジタルカメラ等の撮影機器には、撮影画像を確認するためのLCD等の表示デバイスを有しているものがある。撮影者であるユーザは、その表示デバイスに表示される画像を見て、撮影画像を確認することができる。
【0003】
ところで、自動的に対象物の名称等の関連する情報を取得して、撮影している画像情報における観測方向に存在する対象物に名称を表示する携帯通信端末が開示されている(例えば、特許文献1参照)。
【0004】
この携帯通信端末は、現在位置している場所の位置情報と、現在位置からの被写体の方位情報とに基づいて、地図情報データベースより検索された被写体名称を取得し、被写体画像に被写体名称を合成して表示デバイスに表示するように制御している。
【0005】
このような特許文献1に開示されている技術を撮影機器に適応し、撮影される被写体に、被写体に関連する情報を合成して、撮影機器の表示デバイスに表示することによって、被写体をよく確認しながら撮影の楽しみを倍加することが考えられる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2010−124185号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、撮影機器は、ユーザによりレンズの画角、焦点、絞り等のレンズ特性が変更される。また、レンズ交換式の撮影機器は、交換されるレンズ毎にレンズ特性が変更される。
【0008】
そのため、特許文献1に開示されている技術を適応した撮影機器は、撮影機器のレンズ特性が変更された場合に、位置情報及び方位情報からだけでは被写体に関連する情報を的確に表示することができない上、ユーザの興味のもの以外をも整理せず表示してしまうという問題がある。
【0009】
そこで、本発明は、ユーザの撮影操作を考慮することによって、被写体に関連する情報を的確に表示することができる撮影機器を提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明の一態様によれば、被写体を撮影するためのレンズ条件を変更可能な撮影機器であって、前記被写体を撮影した撮影画像を表示する表示部と、前記撮影機器の位置情報及び方位情報に基づき、データベースから前記被写体に関連した情報及び前記被写体周辺に関連した情報を読み出す制御部と、前記レンズ条件に応じて、前記被写体に関連した情報を選択するともに、前記撮影画像に選択した前記情報を重畳して前記表示部に表示するように制御する表示制御部と、を有することを特徴とする撮影機器を提供することができる。
【発明の効果】
【0011】
本発明の撮影機器によれば、ユーザの撮影操作を考慮することによって、被写体に関連する情報を的確に表示することができる。
【図面の簡単な説明】
【0012】
【図1】本発明の第1の実施の形態に係るデジタルカメラの構成を示すブロック図である。
【図2】被写体にタグを合成表示する場合について説明するための図である。
【図3】焦点情報に応じて被写体にタグを合成表示する場合について説明するための図である。
【図4】画角情報に応じて被写体に関連する情報を表示する場合について説明するための図である。
【図5】画角情報に応じて被写体に関連する情報を表示する場合について説明するための図である。
【図6】焦点及び絞り情報に応じて被写体に関連する情報を表示する場合について説明するための図である。
【図7】被写体にアバター情報を重畳表示する場合を説明するための図である。
【図8】デジタルカメラ1の撮影時の処理の流れの例を示すフローチャートである。
【図9】本発明の第2の実施の形態に係わる、ユーザPが月撮影モードに変更する状態を説明するための図である。
【図10】ユーザPがレンズ3をズーミングして月を撮影する場合を説明するための図である。
【図11】デジタルカメラ1の月撮影モード時の処理の流れの例を示すフローチャートである。
【図12】本発明の第3の実施の形態に係わる、歪特性及び画像データを説明するための図である。
【図13】歪特性に合わせて重畳画像に歪を付加する例を説明するための図である。
【図14】樽型歪の場合の撮影画像と重畳画像とを説明するための図である。
【図15】歪特性に応じて重畳画像に歪を付加する処理の流れの例を示すフローチャートである。
【発明を実施するための形態】
【0013】
以下、図面を参照して本発明の実施の形態を説明する。
(第1の実施の形態)
(構成)
【0014】
本実施の形態の撮影機器としてのデジタルカメラ1は、レンズ3が交換可能な本体部2を含む、一眼式のデジタルカメラである。図1は、本実施の形態に係るデジタルカメラの構成を示すブロック図である。
【0015】
なお、以下の説明では、撮影機器は、一眼式のデジタルカメラであるとして説明するが、撮影機器は、いわゆるレンズ交換のできないカメラであってよく、例えば、レンズ一体型のカメラ、所謂コンパクトカメラ等、あるいは画角調整機能付きカメラ付き携帯電話であってもよい。第2及び第3の実施の形態においても同様である。
【0016】
図1に示すように、デジタルカメラ1は、いわゆるボディである本体部2と、レンズ3とを有する。
【0017】
まず、本体部2は、信号処理及び制御部11と、通信部12,13と、撮像部14と、モーション判定部15と、記録部16と、GPS部17と、表示部18と、方位判定部19と、操作判定部20と、時計部21とを含んで構成されている。これらの各部は、本体部2内の回路基板上に搭載されている。
【0018】
信号処理及び制御部11は、中央処理装置(以下、CPUとい)を含み、撮像部14からの画像信号に対して、所定の信号処理、例えば、色信号生成処理、マトリックス変換処理、その他各種のデジタル処理を行う。信号処理及び制御部11は、画像信号及び音声信号等の記録に際して、符号化処理を施して圧縮した画像情報及び音声情報等を出力することもできるようになっている。また、信号処理及び制御部11は、記録部16からの画像情報及び音声情報を復号化して、画像信号及び音声信号を得ることができるようになっている。
【0019】
信号処理及び制御部11のCPUが、デジタルカメラ1の全体の動作の制御を行う。CPUが実行するソフトウエアプログラムは、図示しないROMに記憶されている。
【0020】
また、信号処理及び制御部11は、物体認識部11aと、表示制御部11bとを含む。物体認識部11a及び表示制御部11bは、CPUにより実行されるソフトウエアプログラムでもよいし、ハードウエア回路でもよい。
【0021】
物体認識部11aは、撮像部14により得られた撮像信号から人物の顔あるいは建物の外観等の物体を認識する。
【0022】
表示制御部11bは、撮像結果に被写体に関連する関連情報である後述するタグまたはアバター情報を合成し、表示部18に表示するように制御する処理部である。
【0023】
通信部12は、レンズ3の通信部(後述)との各種データ通信を行う回路である。
【0024】
通信部13は、無線通信機能を有し、インターネット等の通信回線を介し、データベース36等とデータ通信を行う回路である。
【0025】
撮像部14は、CCDやCMOSセンサ等の撮像素子によって構成されている。レンズ3からの被写体の光学像は、撮像部14を構成する撮像素子の撮像面に結像するようになっている。この撮像部14は、信号処理及び制御部11によって駆動制御される。信号処理及び制御部11は、撮像部14に撮像素子の駆動信号を出力すると共に、撮像素子が光学像を光電変換して得た画像信号を取り込む。
【0026】
モーション判定部15は、加速度センサ等を含み、本体部2の動き、例えば、本体部2の仰角、ブレ及び姿勢等を判定する。
【0027】
記録部16は、信号処理及び制御部11からの画像情報及び音声情報を図示しない記録媒体に記録する回路である。なお、記録部16は、例えばカードインターフェースを採用することができ、記録部16は、メモリカード等に画像情報及び音声情報等を記録可能である。また、記録部16は、記録媒体に記録された画像情報及び音声情報を読み出して信号処理及び制御部11に供給することができる。
【0028】
また、記録部16は、データベース16aを有する。データベース16aには、地図情報及びアバター情報等が記録されている。地図情報及びアバター情報等は、信号処理及び制御部11によって読み出される。
【0029】
GPS部17は、GPSシステムからの信号を受信して、デジタルカメラ1の位置情報を取得する回路である。
【0030】
表示部18は、液晶表示器(LCD)等の表示デバイスにより構成され、撮影画像及び後述する補助画像を表示するユニットである。表示部18は、撮像部14からの撮像画像や記録部16からの再生画像が信号処理及び制御部11から供給されて、これらの画像表示を行うことができる。また、表示部18は信号処理及び制御部11により制御されて、デジタルカメラ1の操作を行うためのメニュー表示等を表示することもできるようになっている。
【0031】
方位判定部19は、地磁気センサ等を含み、デジタルカメラ1のレンズ3の向いている方向である方位を判定するためのセンサを含む。
【0032】
操作判定部20は、本体部2に設けられた操作部20a(図3(a)参照)、各種スイッチ、タッチパネル等への操作信号を入力して、ユーザの種々の操作内容を判定する回路である。操作判定部20は、ユーザによる各種釦操作に応じた操作信号を発生させて、信号処理及び制御部11に出力するようになっている。信号処理及び制御部11は、操作信号に基づいて、各部を制御する。
【0033】
時計部21は、信号処理及び制御部11が用いる時間情報を発生する。
【0034】
レンズ3は、ズームレンズ部31(単焦点レンズでもよい)と、通信部32と、駆動部33と、操作部34と、レンズデータ格納部35とを含んで構成されている。
【0035】
ズームレンズ部31は、ズームレンズの光学系を有しており、かつ駆動部33に駆動されることにより被写体の像を合焦させるオートフォーカス機能を備えている。なお、本実施の形態では、ズームレンズの光学系を有するズームレンズ部31として説明するが、これに限定されることなく、例えば、単焦点レンズの光学系を有する単焦点レンズ部であってもよい。
【0036】
通信部32は、本体部2の通信部12との通信を行う回路である。レンズ3が本体部2に装着されると、それぞれに設けられた複数の切片あるいは複数のピンが接触して、通信部12と13間で信号の送受信が可能となる。通信部32は、レンズデータ格納部に格納されているレンズ3に関する情報を本体部2へ送信することができる。
【0037】
レンズ3は、交換レンズであるので、種々のレンズが本体部2へ装着可能である。よって、装着される複数のレンズは、ズームレンズとしての倍率、焦点距離、明るさ(F値)等の情報が互いに異なっている。
【0038】
駆動部33は、ズームレンズ部31の絞り、焦点、および画角(ズーム状態)等を制御するために、ズームレンズ部31を駆動する回路である。ズームレンズ部31のズーム状態、合焦状態、および絞りは、図示しない検出部によって検出され、その検出されたズームレンズ部31の状態等は通信部32を介して本体部2へ送信される。
【0039】
操作部34は、レンズ3のズームリングあるいはズームスイッチであり、操作部34を操作することによって、ユーザは、レンズ3のズームをすることができる。また、焦点位置や絞りを手動調整できるような操作部を有してもよい。もちろん、シーンに応じて、自動でこれらの変数を変更できる仕様でもよい。
【0040】
レンズデータ格納部35には、レンズ3の絞り、焦点、画角及び収差等の情報が記録されている。
【0041】
従って、デジタルカメラ1は、信号処理及び制御部11、記録部16及び表示部18により、撮像部14からの撮像信号に基づく動画像及び静止画についての処理が可能である。即ち、信号処理及び制御部11は、撮像部14からの撮像信号に所定の信号処理を施して動画像の映像信号を生成すると共に、この映像信号を表示部18に与えて表示させる。また、信号処理及び制御部11は、生成した映像信号を圧縮して記録部16に与える。記録部16は、信号処理及び制御部11からの映像信号を図示しない記録媒体に記録すると共に、記録媒体に記録されている映像信号を読み出して信号処理及び制御部11に出力することができる。信号処理及び制御部11は記録部16からの映像信号を復号化して、本体部2の表示部18に与えて表示させることができる。
【0042】
図2は、被写体にタグを合成表示する場合について説明するための図である。
【0043】
信号処理及び制御部11は、ユーザPによりAR表示モード(Augmented Reality=拡張現実)に設定されると、GPS部17からのデジタルカメラ1の位置情報と、方位判定部19からの方位情報とに基づき、データベース16aの地図情報を参照し、被写体を説明するためのタグを読み出す。表示制御部11bは、信号処理及び制御部11によって読み出されたタグを表示画面18aに表示することができる。
【0044】
図2(a)に示すように、ユーザPが、被写体の一例として、富士山を撮影している場合、表示部18の表示画面18aには、被写体を説明するための、即ち、被写体に関連する情報であるタグ41が被写体に合成表示される。
【0045】
しかしながら、図2(b)に示すように、ユーザPが、街中の雑然とした場所で撮影する場合、被写体に関連する情報である複数のタグ42〜44が表示部18の表示画面18aに合成表示される。この場合、複数のタグ42〜44が表示画面18aの多くの部分を占めるようになり、被写体の撮影に支障がでる。
【0046】
図3は、焦点情報に応じて被写体にタグを合成表示する場合について説明するための図である。
【0047】
表示制御部11bは、GPS部17からのデジタルカメラ1の位置情報と、方位判定部19からの方位情報と、レンズ3からの焦点情報とに応じて、被写体に関連する情報のみを選択して表示画面18aに表示する。そして、被写体周辺に関連した情報は選択されず、表示画面18aに表示されない。
【0048】
図3(a)に示すように、ユーザPは、本体部2の背面の表示部18の表示画面18aに表示される撮影画像を見ながら、本体部2の操作部20aあるいはレンズ3の操作部34を操作する。ユーザPが、例えば、遠距離のタワーに焦点を合わせると、その操作に応じて、図3(b)に示すように、遠距離のタワーに関連するタグ42のみが表示画面18aに表示される。また、ユーザPが、例えば、近距離の△ビルに焦点を合わせると、その操作に応じて、図3(c)に示すように、近距離の△ビルに関連するタグ44のみが表示画面18aに表示される。なお、図3(a)及び(b)に示すタグ42及びタグ44は、3D表示にしてもよい。
【0049】
このように、本実施の形態のデジタルカメラ1は、ユーザPのレンズ操作に応じて、ユーザPの必要とするタグ情報のみを表示部18の表示画面18aに表示するようにしている。
【0050】
図4及び図5は、画角情報に応じて被写体に関連する情報を表示する場合について説明するための図である。
【0051】
ユーザPが図4に示す向きにデジタルカメラ1を向けると、GPS部17及び方位判定部19は、それぞれデジタルカメラ1の位置(経度x0、緯度y0)及び向きθ0を検出する。ユーザPがレンズ3をズーミングして画角θ1から画角θ2に変更すると、信号処理及び制御部11は、画角θ2を考慮して、図5の(式1)を算出する。
【0052】
信号処理及び制御部11は、デジタルカメラ1の経度x0、緯度y0を基準にして、Aビル51の経度x1、緯度y1に基づき、Aビル51の相対経度(x1−x0)、相対緯度(y1−y0)を求める。同様に、信号処理及び制御部11は、Bビルの(x2−x0)、相対緯度(y2−y0)を求める。
【0053】
信号処理及び制御部11は、このように求めたAビル51及びBビル52の相対経度をそれぞれ図5の(式1)に代入して得られる緯度が、それぞれAビル51及びBビル52の相対緯度より小さいか否かを判定する。図5の(式1)に代入して得られる緯度が、相対緯度より小さい場合、撮影範囲で表示候補となる。従って、Aビル51は、撮影対象ではなく、Bビル52は、撮影対象となる。この結果、Aビルに関連するタグは表示画面18aに表示されず、Bビル52に関連するタグが表示画面18aに表示される。
【0054】
図6は、焦点及び絞り情報に応じて被写体に関連する情報を表示する場合について説明するための図である。
【0055】
信号処理及び制御部11は、デジタルカメラ1またはレンズ3によって設定された焦点位置L1、L2、または、絞りによる被写界深度(L1−L2)に基づき、被写体としてのBビル52の距離Lb、X駅の距離LCが表示条件に入るか否かを判定する。
【0056】
Bビル51の距離は、図6の(式2)で算出できるので、信号処理及び制御部11は、算出した距離を焦点位置によって決まる焦点合わせ距離、または、絞りによって決まる被写界深度を加味した距離幅と比較する。そして、信号処理及び制御部11は、Bビル51が焦点合わせ距離、または、被写界深度を加味した距離幅内に存在すると判定すると、Bビル51に関連するタグを表示画面18aに表示させる。
【0057】
次に、アバター情報を表示することについて説明する。
【0058】
図7は、被写体にアバター情報を重畳表示する場合を説明するための図である。ここでアバター情報とは、被写体や撮影者など、人物を単純化して図像化したもので、対応するデジタルデータが、適宜、記録部から読み出されて画像として合成されるものである。もちろん、被写体の場合、その特徴を抽出して、輪郭を単純化したり、顔パーツを合成してアバター画像を形成してもよい。
【0059】
図7(a)に示すように、被写体55をデジタルカメラ1で撮影する場合、GPS部17及び方位判定部19によりデジタルカメラ1の位置及び方位が検出される。信号処理及び制御部11は、位置及び方位情報から、地図上のどこの位置で撮影するかを検出し、図7(b)に示すように、対応する場所の簡易地図情報56をデータベース16aから読み出す。
【0060】
また、物体認識部11aは、被写体55に対応するアバター情報がデータベース16aに記録されているか否かを検出する。信号処理及び制御部11は、被写体55に対応するアバター情報がデータベース16aに記録されていることを物体認識部11aが検出すると、図7(c)に示すように、簡易地図情報56の対応する位置にアバター情報57を合成する。
【0061】
表示制御部11bは、合成された簡易地図情報56及びアバター情報57をアイコン化し、図7(d)に示すように、撮影画像に重畳表示する。これにより、ユーザPは、単に個々の被写体の名称のみならず、自分の位置と周りの環境を含めた撮影時の状況を把握して撮影することが可能となる。これによって、見のがしていたものや、歩行者や人物によって隠れていた背景などを考慮して、より良い記念写真を撮影することが可能となる。
(処理)
【0062】
次に、デジタルカメラ1の撮影時の処理を説明する。図8は、デジタルカメラ1の撮影時の処理の流れの例を示すフローチャートである。図8の処理は、信号処理及び制御部11のCPUが実行する。図8の処理プログラムは、信号処理及び制御部11内のROM(図示せず)に記憶されている。
【0063】
デジタルカメラ1の電源がオンにされているときに、CPUは、ユーザにより撮影モードが設定されているか否かを判定する(S1)。撮影モードでないとき(S1:NO)は、その他のモードの処理、例えば再生モードの処理、が実行される。
【0064】
撮影モードであるとき(S1:YES)、CPUは、レンズ3の各種データを取得し(S2)、AR表示モードであるか否かを判定する(S3)。このAR表示モードは、被写体にAR情報、即ち、被写体に関連する情報を仮想現実的に重畳表示するモードであり、デジタルカメラ1がユーザによって、AR表示モードに設定されているか否かが判定される。これは、タグやアバターなどのデジタル情報を実際の画像のデータの中に合成するので、現実の情報がリッチコンテンツになるということで、現実を拡張したように見えるのでこのように呼ぶ。ここでは、こうして現実画像内に重ねて表示するデジタル情報を「ARデータ」と呼ぶ。
【0065】
デジタルカメラ1がAR表示モードに設定されていない場合(S3: NO)、CPUは、ズーム操作がされたか否かを判定する(S4)。ズーム操作がされたときは(S4:YES)、CPUは、光学ズーム制御操作を実行し(S5)、全域表示を行う(S6)。全域表示は、撮像部14の撮像素子で撮像して得られた画像を表示部18の表示画面18a上に表示することである。ズーム操作がされていないときは(S4:NO)、CPUは、全域表示を行う(S6)。
【0066】
次に、撮影釦が押されたか否かが判定され(S7)、撮影釦が押されたとき(S7:YES)、CPUは、撮像範囲の画像を記憶する(S8)。撮影釦が押されないとき(S7:NO)、処理は、S1へ戻る。CPUは、AR表示モードであるか否かを判定する(S9)。デジタルカメラ1がAR表示モードに設定されていない場合(S9: NO)、処理は、S1へ戻る。なお、デジタルカメラ1がAR表示モードに設定されている際の処理は、S3の処理から説明する。
【0067】
デジタルカメラ1がAR表示モードに設定されている場合(S3:YES)、CPUは、デジタルカメラ1に状態変化があったか否かを判定する(S10)。状態変化があったときは(S10:YES)、CPUは、位置検出、方位検出、レンズ広角画角情報より必要データをデータベース16aから取得し、(S11)CPUは、ズーム操作があったか否かを判定する(S12)。状態変化がないときは(S10: NO)、CPUは、ズーム操作があったか否かを判定する(S12)。ズーム操作があった場合(S12:YES)、CPUは、取得したデータを画角で限定し(S13)、焦点操作があったか否かを検出する(S14)。ズーム操作がなかった場合(S12: NO)、CPUは、焦点操作があったか否かを検出する(S14)。焦点操作があった場合(S14:YES)、CPUは、取得したデータを距離で限定し(S15)、絞り操作があったか否かを検出する(S16)。焦点操作がなかった場合(S14: NO)、CPUは、絞り操作があったか否かを検出する(S16)。絞り操作があった場合(S16:YES)、CPUは、取得したデータを距離範囲で限定し(S17)、撮像結果にデータを3Dデータとして合成表示する(S17)。絞り操作がなかった場合(S16:NO)、CPUは、撮像結果にデータを3Dデータとして合成表示する(S17)。
【0068】
S17の処理後、S7の処理で撮影釦が押されたか否かが判定される。CPUは、S7で撮影釦が押されたと判定されると、撮像範囲の画像を記憶する。
【0069】
そして、デジタルカメラ1がAR表示モードに設定されている場合(S9:YES)、CPUは、データを記録する(S19)。CPUは、アバター画像を作成し(S20)、処理は、S1へ戻る。
【0070】
以上のように、デジタルカメラ1は、位置情報と方位情報と加え、レンズ3の画角、焦点、絞り情報に応じて、被写体に関連する情報を表示画面18aに表示する。レンズ交換式カメラの場合、装着されたレンズ特性に応じた表示が可能となる。
【0071】
よって、本実施の形態の撮影機器によれば、ユーザの撮影操作を考慮することによって、被写体に関連する情報を的確に表示することができる。
(第2の実施の形態)
【0072】
次に、本発明の第2の実施の形態について説明する。
(構成)
【0073】
第2の実施の形態に係る撮影機器は、被写体として「月」を撮影する月撮影モードを有する。第2の実施の形態に係る撮影機器の構成は、第1の実施の形態で説明した撮影機器の構成と略同じであるので、以下、第2の実施の形態に係る撮影機器を、第1の実施の形態の撮影機器と異なる構成について主として説明する。
【0074】
図9は、ユーザPが月撮影モードに変更する状態を説明するための図である。
【0075】
図9に示すように、ユーザPは、デジタルカメラ1Aを手に持って操作部20aを操作することにより、デジタルカメラ1Aの設定を月撮影モードに変更する。
【0076】
図10は、ユーザPがレンズ3をズーミングして月を撮影する場合を説明するための図である。
【0077】
図10(a)に示すように、ユーザPがデジタルカメラ1Aを手に持って月Mを撮影しようとするとき、ユーザPは表示部18の表示画面18aを見ながら、デジタルカメラ1Aのレンズ3の向きを調整する。
【0078】
ユーザPは、図10(b)に示すように、月Mを大きく撮影するため、レンズ3をズーミングする、あるいは、レンズ3を望遠レンズに交換することになる。図10(a)において、点線の枠が、ユーザPがズーミングしている撮影範囲ZAを示す。
【0079】
しかし、ユーザPにとっては、月Mを狭い画角内の略中心に位置させて、図10(b)に示すように、表示画面18a上に月画像MIが表示されるように、デジタルカメラ1Aの向きを調整することは容易でない。
【0080】
この場合、図10(c)に示すように、表示画面18a上に、撮影範囲ZAに対応する撮影枠61を表示するとともに、月Mの方向を示すAR情報62を撮影枠61外に表示する。
【0081】
この月Mの方向を示すAR情報62を検出するために、データベース16aには、月Mの日時及び場所に応じた軌跡情報が記録されている。ユーザPにより月撮影モードに変更されると、GPS部17、方位判定部19及びモーション判定部15は、それぞれデジタルカメラ1Aの位置、方位及び仰角を検出する。
【0082】
信号処理及び制御部11は、データベース16aに記録されている月Mの日時及び場所に応じた軌跡情報と、デジタルカメラ1Aの位置情報、方位情報及び仰角情報とに基づき、現在の月Mの位置を検出し、月Mが撮影範囲ZA内にあるか否かを判定する。
【0083】
なお、信号処理及び制御部11は、デジタルカメラ1Aの位置情報と、方位情報及び仰角情報から検出されるデジタルカメラ1Aの観察方向情報とを、通信部13を介してインターネットに送信するとともに、インターネットを介して観察方向の天体情報を受信することにより、現在の月Mの位置を検出し、月Mが撮影範囲ZA内にあるか否かを判定するようにしてもよい。
【0084】
信号処理及び制御部11は、月Mが撮影範囲ZA内にないと判定すると、撮影枠61に対する月Mの位置を検出し、月Mの方向を示すAR情報62を検出する。
【0085】
検出された月Mの方向を示すAR情報62は、表示制御部11bにより撮影枠61外に重畳され、表示部18の表示画面18aに表示される。
【0086】
なお、データベース16aに月M以外の天体の場所及び日時の情報を記録し、その天体の軌道を算出することにより、月撮影モードは、月以外の天体にも適応可能である。また、天体に限定されることなく、例えば、ある建物等の方向をAR情報として、撮影枠61外に重畳して表示画面18aに表示するようにしてもよい。天体でない場合は、仰角は0と考えて処理すればよく、必ずしも、仰角情報を取得しなくてもよい。また、撮影画面内の画像パターンを利用して、例えば、地面と空の割合を検出して仰角相当の情報を得たり、各ビルの配置や高さを参照したりして、これらのAR情報の付与の位置を調整してもよい。
(処理)
【0087】
次に、デジタルカメラ1Aの月撮影モード時の処理を説明する。図11は、デジタルカメラ1Aの月撮影モード時の処理の流れの例を示すフローチャートである。図11の処理は、信号処理及び制御部11のCPUが実行する。図11の処理プログラムは、信号処理及び制御部11内のROM(図示せず)に記憶されている。なお、図11において、図8と同様の処理については、同一の符号を付して説明を省略する。
【0088】
CPUは、S1の処理で撮影モードと判定し、S2の処理でレンズデータを取得すると、月撮影モードであるか否かを判定する(S31)。
【0089】
デジタルカメラ1Aが月撮影モードに設定されていない場合(S31: NO)、CPUは、図8と同様に、S4〜S8の処理を行う。デジタルカメラ1Aが月撮影モードに設定されている場合(S31: YES)、CPUは、ズーム操作がされたか否かを判定する(S32)。ズーム操作がされたときは(S32:YES)、CPUは、光学ズームが限界か否かを判定する(S33)。光学ズームが限界の場合(S33:YES)、CPUは、電子ズームを実行する(S34)。光学ズームが限界でない場合(S33:NO)、CPUは、光学ズーム制御操作を実行する(S35)。
【0090】
S34、S34の処理後、あるいは、ズーム操作がなかったときは(S32:NO)、CPUは、デジタルカメラ1Aの位置、方位及び仰角を判定する(S36)。CPUは、判定された位置、方位及び仰角からデジタルカメラ1Aの位置情報、観察方向情報をインターネットに送信し(S37)、観察方向の天体情報をインターネットから受信する(S38)。CPUは、受信した観察方向の天体情報から撮影対象の天体が撮影範囲外か否かを判定する(S39)。天体が撮影範囲外の場合(S39:YES)、CPUは、画角外の天体情報(AR情報)を撮影枠外に付加表示し(S40)、S7の処理に移行する。天体が撮影範囲外でない場合(S39:NO)、CPUは、天体を表示し(S41)、S7の処理に移行する。
【0091】
以上のように、デジタルカメラ1Aは、撮影枠61階に被写体に関連する情報を表示することができる。
(第3の実施の形態)
【0092】
次に、本発明の第3の実施の形態について説明する。
(構成)
【0093】
第3の実施の形態に係る撮影機器は、レンズ3の収差条件に応じて重畳画像(被写体に関連する情報)に歪を付加する制御を行うようになっている。第3の実施の形態に係る撮影機器の構成は、第1の実施の形態で説明した撮影機器の構成と略同じであるので、以下、第3の実施の形態に係る撮影機器を、第1の実施の形態の撮影機器と異なる構成について主として説明する。
【0094】
図12は、歪特性及び画像データを説明するための図である。
【0095】
図12(a)において、像高は、画像中心からの距離を示し、図12(b)に示す画像データにおける中心が0、4つの隅が1となる。また、理想像高は、歪がない、理想的な画像での像高を示し、実像高は、実際に撮影された歪を含む像高を示す。
【0096】
また、図12(a)の符号71は、糸巻き型歪の場合の特性例を示し、符号72は、樽型歪の場合の特性例を示している。
【0097】
図12(a)において、対角の中点Aの画像は、糸巻き型歪の特性例では、点Bに映る。これに伴い、図12(b)の画像データにおいて、対角の中点Aの画像が点Bに映る。
【0098】
図13は、歪特性に合わせて重畳画像に歪を付加する例を説明するための図である。
【0099】
図13(a)に示すように、信号処理及び制御部11は、第1の実施の形態と同様に、被写体を説明するための文字列、即ち、被写体に合成するための重畳画像81a〜81dを検出する。
【0100】
信号処理及び制御部11は、レンズ3からズーム位置に応じた歪特性を取得する。信号処理及び制御部11は、取得した歪特性に応じて、重畳画像81a〜81dに歪を付加する。これにより、図13(b)に示すように、画面内の位置に従った歪特性に応じて歪が付加された重畳画像82a〜82dが生成される。
【0101】
信号処理及び制御部11は、撮影画像と、歪が付加された重畳画像82a〜82dとを合成する。合成された合成画像は、表示制御部11bにより表示画面18aに表示される。
【0102】
また、信号処理及び制御部11は、必要に応じて合成画像に歪補正を行う。このように、合成画像に歪補正を行うことで、撮影画像及び重畳画像82a〜82dは、同等の歪特性にすることができる。
【0103】
図14は、樽型歪の場合の撮影画像と重畳画像とを説明するための図である。
【0104】
図14に示すように、信号処理及び制御部11は、樽型歪の特性に応じて重畳画像に歪を付加し、歪を付加した重畳画像91〜93をAビル51、Bビル52及びCビル53に合成する。また、信号処理部及び制御部11は、歪特性に応じて看板94に重畳画像として表示される広告にも歪を付加することができる。
(処理)
【0105】
次に、歪特性に応じて重畳画像に歪を付加する処理(歪み付与処理)について説明する。図15は、歪特性に応じて重畳画像に歪を付加する処理の流れの例を示すフローチャートである。図15の処理は、信号処理及び制御部11のCPUが実行する。図15の処理プログラムは、信号処理及び制御部11内のROM(図示せず)に記憶されている。
【0106】
まず、CPUは、レンズ3からズーム位置に応じた歪特性を取得し(S51)、重畳画像を生成する(S52)。なお、CPUは、重畳画像を生成する際、歪ませていない重畳画像を生成する。CPUは、歪特性に合わせて、重畳画像(AR情報)に歪を付加し(S53)、被写体像と、歪を付加した重畳画像とを合成する(S54)。CPUは、必要に応じた歪補正を行い(S55)、処理を終了する。この際、建物の外観や輪郭から重畳画像を合成する位置を決定する。例えば、空の境のビルの屋上部とか、ビルとビルの間の輪郭から、看板状表示をするなどの制御を行い、現実と仮想情報を混在させるようにしてもよい。
【0107】
以上のように、デジタルカメラ1Bは、レンズ3の収差による歪特性に応じて、重畳画像に歪を付加するため、ユーザPは、違和感なく撮影画像を認識することができる。この発明によれば、撮影レンズの操作に応じて重畳表示が刻々と切り替り、ユーザの興味や思惑に応じた最適表示がなされる。これを見ながら、有効な画角や構図や撮影場所を考えながらの撮影が可能となる。この情報は一緒に撮影しても良いし、画像ファイル内に付与して、後で読み出せるようにしてもよい。
【0108】
なお、本明細書における各フローチャート中の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。
【0109】
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【符号の説明】
【0110】
1…デジタルカメラ、2…本体部、3…レンズ、11…信号処理及び制御部、11a…物体認識部、11b…表示制御部、12,13,32…通信部、14…撮像部、15…モーション判定部、16…記録部、17…GPS部、18…表示部、19…方位判定部、20…操作判定部、21…時計部、31…ズームレンズ部、33…駆動部、34…操作部、35…レンズデータ格納部。
【特許請求の範囲】
【請求項1】
被写体を撮影するためのレンズ条件を変更可能な撮影機器であって、
前記被写体を撮影した撮影画像を表示する表示部と、
前記撮影機器の位置情報及び方位情報に基づき、データベースから前記被写体に関連した情報及び前記被写体周辺に関連した情報を読み出す制御部と、
前記レンズ条件に応じて、前記被写体に関連した情報を選択するともに、前記撮影画像に選択した前記情報を重畳して前記表示部に表示するように制御する表示制御部と、
を有することを特徴とする撮影機器。
【請求項2】
前記レンズ条件は、焦点条件、画角条件、絞り条件、収差条件の少なくとも1つであることを特徴とする請求項1に記載の撮影機器。
【請求項3】
前記制御部は、前記位置情報、前記方位情報に基づき、前記被写体の方向を検出し、
前記表示制御部は、前記被写体の方向を示す情報を前記表示部に設けられた撮影枠外に表示するように制御することを特徴とする請求項1または2に記載の撮影機器。
【請求項4】
前記表示制御部は、前記収差情報に従って、選択した前記情報を歪み付与処理した後、前記表示部に表示するように制御することを特徴とする請求項2または3に記載の撮影機器。
【請求項5】
前記制御部は、前記被写体に関連するアバター情報が前記データベースに記録されているか否かを判定するとともに、前記アバター情報が前記データベースに記録されていると判定すると、前記データベースから前記アバター情報を読み出し、
前記表示制御部は、読み出された前記アバター情報を前記撮影画像に重畳して前記表示部に表示するように制御することを特徴とする請求項1から3のいずれか1つに記載の撮影機器。
【請求項1】
被写体を撮影するためのレンズ条件を変更可能な撮影機器であって、
前記被写体を撮影した撮影画像を表示する表示部と、
前記撮影機器の位置情報及び方位情報に基づき、データベースから前記被写体に関連した情報及び前記被写体周辺に関連した情報を読み出す制御部と、
前記レンズ条件に応じて、前記被写体に関連した情報を選択するともに、前記撮影画像に選択した前記情報を重畳して前記表示部に表示するように制御する表示制御部と、
を有することを特徴とする撮影機器。
【請求項2】
前記レンズ条件は、焦点条件、画角条件、絞り条件、収差条件の少なくとも1つであることを特徴とする請求項1に記載の撮影機器。
【請求項3】
前記制御部は、前記位置情報、前記方位情報に基づき、前記被写体の方向を検出し、
前記表示制御部は、前記被写体の方向を示す情報を前記表示部に設けられた撮影枠外に表示するように制御することを特徴とする請求項1または2に記載の撮影機器。
【請求項4】
前記表示制御部は、前記収差情報に従って、選択した前記情報を歪み付与処理した後、前記表示部に表示するように制御することを特徴とする請求項2または3に記載の撮影機器。
【請求項5】
前記制御部は、前記被写体に関連するアバター情報が前記データベースに記録されているか否かを判定するとともに、前記アバター情報が前記データベースに記録されていると判定すると、前記データベースから前記アバター情報を読み出し、
前記表示制御部は、読み出された前記アバター情報を前記撮影画像に重畳して前記表示部に表示するように制御することを特徴とする請求項1から3のいずれか1つに記載の撮影機器。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【公開番号】特開2012−65263(P2012−65263A)
【公開日】平成24年3月29日(2012.3.29)
【国際特許分類】
【出願番号】特願2010−209777(P2010−209777)
【出願日】平成22年9月17日(2010.9.17)
【出願人】(504371974)オリンパスイメージング株式会社 (2,647)
【Fターム(参考)】
【公開日】平成24年3月29日(2012.3.29)
【国際特許分類】
【出願日】平成22年9月17日(2010.9.17)
【出願人】(504371974)オリンパスイメージング株式会社 (2,647)
【Fターム(参考)】
[ Back to top ]