説明

撮像装置

【課題】撮影者が被写体を撮影する際、被写体側から撮影者のことが撮像装置によって見えなくなってしまうことを防止する。
【解決手段】撮像部17で撮像される画像に基づいて、実空間に対応する3次元座標における第1被写体のひとみ位置を検出するひとみ位置検出部18と、実空間に対応する3次元座標における第2被写体の形状情報を検出する形状検出部20と、撮像部19で撮像される画像の情報と、第1被写体のひとみ位置と、第2被写体の形状状態と、記憶部22に記憶される表示部14の画像表示面P1の大きさとに基づいて、第1被写体のひとみ位置から第2被写体を見たときに表示部14の画像表示面P1に投影される第2被写体を含んで表示部14に表示される画像を生成する表示画像生成部13とを備えて撮像装置10を構成する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数の撮像部を備える撮像装置に関する。
【背景技術】
【0002】
近年、デジタルカメラなどの撮像装置は、複数の撮像部が備えられ、被写体のみならず、撮影者自身も同時に撮影することができるものが提案されている(例えば、特許文献1参照)。
【0003】
ところで、撮影者が撮像装置を自分の顔の近くに持って撮影する場合では、被写体から見て撮影者の顔が撮像装置によって隠れてしまうおそれがある。また、画像表示面が比較的大きく撮像装置全体も大きい場合では、被写体から見て撮影者の顔が撮像装置によってさらに隠れてしまうおそれがある。例えば、母親が赤ちゃんを撮影する場合において、赤ちゃんが母親の顔を見ることができないと、赤ちゃんの安堵感が薄れて赤ちゃんの表情がこわばり赤ちゃんの笑顔を撮影することが困難になるおそれがある。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2004−147046号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は、撮影者が被写体を撮影する際、被写体側から撮影者のことが撮像装置によって見えなくなってしまうことを防止する。
【課題を解決するための手段】
【0006】
本発明の撮像装置は、第1被写体を撮像する第1撮像手段と、前記第1撮像手段で撮像される画像に基づいて、実空間に対応する3次元座標における前記第1被写体のひとみ位置を検出する第1ひとみ位置検出手段と、前記第1撮像手段の撮像方向を正面方向、前記正面方向と反対方向を背面方向とするとき、前記背面方向に位置する第2被写体を撮像する第2撮像手段と、前記3次元座標における前記第2被写体の形状情報を検出する第1形状検出手段と、画像を表示する表示方向が、前記正面方向となるように配置される第1表示手段と、前記第1表示手段の画像表示面の大きさが記憶される第1記憶手段と、前記第2撮像手段で撮像される画像の情報と、前記第1ひとみ位置検出手段で検出される前記第1被写体のひとみ位置と、前記第1形状検出手段で検出される前記第2被写体の形状情報と、前記第1記憶手段に記憶される前記第1表示手段の画像表示面の大きさとに基づいて、前記第1被写体のひとみ位置から前記第2被写体を見たときに前記第1表示手段の画像表示面に投影される前記第2被写体を含んで前記第1表示手段に表示される画像を生成する第1表示画像生成手段とを備える。
【発明の効果】
【0007】
本発明によれば、撮影者である第2被写体が被写体である第1被写体を撮影する際、第2被写体の投影画像が第1表示手段に表示されるため、第1被写体側から第2被写体のことが撮像装置によって見えなくなることを防止することができる。
【図面の簡単な説明】
【0008】
【図1】本発明の第1実施形態の撮像装置を示す図である。
【図2】第1実施形態の撮像装置の使用例を示す図である。
【図3】投影点の一例を示す図である。
【図4】表示画像生成部の動作の一例を示すフローチャートである。
【図5】第1実施形態の撮像装置の変形例(その1)を示す図である。
【図6】点Pb1、Pb2及び距離L1の関係を示す図である。
【図7】第1実施形態の撮像装置の変形例(その2)を示す図である。
【図8A】撮像部の一方のカメラ及び他方のカメラの一例を示す図である。
【図8B】一方のカメラにより撮像された画像の一例を示す図である。
【図8C】他方のカメラにより撮像された画像の一例を示す図である。
【図8D】補正後の画像の一例を示す図である。
【図9】第1実施形態の撮像装置の変形例(その3)を示す図である。
【図10】本発明の第2実施形態の撮像装置を示す図である。
【図11】第2実施形態の撮像装置の使用例を示す図である。
【図12】投影点の一例を示す図である。
【図13】第2実施形態の撮像装置の変形例(その1)を示す図である。
【図14】第2実施形態の撮像装置の変形例(その2)を示す図である。
【図15】第2実施形態の撮像装置の変形例(その3)を示す図である。
【発明を実施するための形態】
【0009】
<第1実施形態>
【0010】
図1は、本発明の第1実施形態の撮像装置を示す図である。
【0011】
図1に示す撮像装置10は、例えば、スマートフォンやタブレットPCなどであって、第1被写体情報検出部11と、第2被写体情報検出部12と、表示画像生成部13と、表示部14と、記録判断部15と、記録部16とを備える。
【0012】
第1被写体情報検出部11は、撮像部17と、ひとみ位置検出部18とを備える。
【0013】
第2被写体情報検出部12は、撮像部19と、形状検出部20とを備える。
【0014】
表示画像生成部13は、投影画像生成部21と、記憶部22とを備える。
【0015】
なお、図2に示すように、撮像部17の撮像方向を正面方向とする。また、その正面方向と反対方向を背面方向とする。
【0016】
また、記録部16は、例えば、ハードディスク、CD(Compact Disc)、DVD(Digital Versatile Disc)、メモリカード、又はUSBメモリなどにより構成される。
【0017】
また、記憶部22は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、不揮発性メモリ、又はフラッシュメモリなどにより構成される。また、記憶部22は、表示画像生成部13の外部に設けられてもよい。
【0018】
また、第1被写体情報検出部11、第2被写体情報検出部12、及び表示画像生成部13などは、例えば、DSP(Digital Signal Processor)が不図示のメモリに格納されているプログラムを実行することにより実現されてもよいし、FPGA(Field Programmable Gate Array)やASIC(Application Specific Integrated Circuit)などを利用して実現されてもよい。
【0019】
撮像部17は、正面方向に位置する第1被写体を撮像し、撮像部19は、背面方向に位置する第2被写体を撮像する。
【0020】
なお、撮像部17、19は、それぞれ、例えば、レンズによってCCD(Charge Coupled Device)などの撮像素子に結像される被写体像をその撮像素子において電気信号に変換し画像とするとともに、その画像データに対してシャープネス補正回路、コントラスト補正回路、輝度・色差信号生成回路、及びホワイトバランス補正回路などを用いて各種画像処理を行う。
【0021】
ひとみ位置検出部18は、実空間に対応する3次元座標における第1被写体のひとみ位置を検出する。例えば、撮像部17が2つのカメラで構成され、それらカメラが正面方向側の撮像装置10において互いに異なる位置に配置されている場合、ひとみ位置検出部18は、撮像部17の2つのカメラで撮像される各画像を用いて、三角測量の原理やステレオマッチング法などにより、実空間に対応する3次元座標における第1被写体のひとみ位置を求める。なお、実空間に対応する3次元座標における第1被写体のひとみ位置の検出精度を上げるために撮像部17を3つ以上のカメラで構成してもよい。
【0022】
形状検出部20は、実空間に対応する3次元座標における第2被写体の形状情報(実空間に対応する3次元座標において第2被写体を構成する全ての点)を検出する。例えば、撮像部19が2つのカメラで構成され、それらカメラが背面方向側の撮像装置10において互いに異なる位置に配置されている場合、形状検出部20は、撮像部19の2つのカメラで撮像される各画像を用いて、三角測量の原理やステレオマッチング法などにより、実空間に対応する3次元座標において第2被写体を構成する全ての点を求める。なお、実空間に対応する3次元座標における第2被写体の形状情報の検出精度を上げるために撮像部19を3つ以上のカメラで構成してもよい。また、実空間に対応する3次元座標における第2被写体の形状情報の検出方法は、上述の方法以外にも赤外パターン投影法などを採用してもよく、特に限定されない。
【0023】
投影画像生成部21は、撮像部19で撮像される画像の情報(例えば、各画素の輝度や色など)と、ひとみ位置検出部18で検出される第1被写体のひとみ位置と、形状検出部20で検出される第2被写体の形状情報と、記憶部22に記憶されている実空間に対応する3次元座標における表示部14の画像表示面P1の大きさとに基づいて、第1被写体のひとみ位置から第2被写体を見たときに表示部14の画像表示面P1に投影される第2被写体を含んで表示部14に表示される投影画像を生成する。例えば、図3に示すように、実空間に対応し表示部14の画像表示面P1の中心点を原点とする3次元座標(X,Y,Z)における第1被写体のひとみ位置PA(例えば、左右のひとみの中間点)を(Xpa,Ypa,Zpa)とし、3次元座標(X,Y,Z)において第2被写体を構成する全ての点のうちの任意の点を(Xb1,Yb1,Zb1)とし、3次元座標(X,Y,Z)における表示部14の画像表示面P1上の投影点(ひとみ位置PAから任意の点までを結ぶ直線l1と画像表示面P1との交点)を(Xb2,Yb2,0)とする。この場合、投影画像生成部21は、第2被写体を構成する全ての点にそれぞれ対応する投影点を、Xb2=(−Zb1×(Xpa−Xb1)/Zpa−Zb1)+Xb1、及び、Yb2=(−Zb1×(Ypa−Yb1)/Zpa−Zb1)+Yb1を計算することにより求める。そして、投影画像生成部21は、その求めた各投影点と、撮像部19で撮像される画像の情報とに基づいて、第1被写体のひとみ位置から第2被写体を見たときに表示部14の画像表示面P1に投影される第2被写体を含む投影画像を生成する。そして、表示部14は、投影画像生成部21で生成される投影画像を表示する。
【0024】
記録判断部15は、第1被写体の操作などにより画像記録指示が入力されると、そのときに撮像部17で撮像される画像を記録部16に記録する。
【0025】
また、記録判断部15は、タッチパネルディスプレイで構成される表示部14が第1被写体などによりタッチされると、そのときに撮像部17で撮像される画像を記録部16に記録するように構成してもよい。
【0026】
図4は、表示画像生成部13の動作の一例を示すフローチャートである。
【0027】
まず、表示画像生成部13は、撮像部19で撮像される画像の情報、第1被写体のひとみ位置と、第2被写体の形状情報を取得すると(S1がYes)、第2被写体を構成する全ての点にそれぞれ対応する投影点を計算する(S2、S3)。
【0028】
そして、表示画像生成部13は、撮像部19で撮像される画像の情報と、第2被写体を構成する全ての点にそれぞれ対応する投影点とに基づいて、投影画像を生成し(S4)、その生成した投影画像を表示部14へ送った後(S5)、再びS1に戻る。
【0029】
このように、図1に示す第1実施形態の撮像装置10は、第1被写体のひとみ位置から第2被写体を見たときに表示部14の画像表示面P1に投影される第2被写体を含んで表示部14に表示される投影画像を生成する構成であるため、第1被写体側から見て撮像装置10と第2被写体とが互いに重なっていても、第1被写体側から第2被写体をシースルーで見ているかのような画像を表示部14の画像表示面P1に表示させることができる。そのため、母親が赤ちゃんを撮影する場合において、赤ちゃん側から母親をシースルーで見ているかのような画像を表示部14に表示させることができるので、赤ちゃんから見て母親の顔が撮像装置10で隠れてしまわず、赤ちゃんの笑顔を撮像し易くすることができる。
<第1実施形態の変形例(その1)>
【0030】
図5は、第1実施形態の撮像装置10の変形例(その1)を示す図である。なお、図1に示す構成と同じ構成には同じ符号を付している。
【0031】
図5に示す撮像装置10において図1に示す撮像装置10と異なる点は、さらに、視線方向検出部23を備えている点である。なお、視線方向検出部23は、例えば、DSPが不図示のメモリに格納されているプログラムを実行することにより実現されてもよいし、FPGAやASICなどを利用して実現されてもよい。
【0032】
視線方向検出部23は、第1被写体の視線方向を検出する。例えば、視線方向検出部23は、撮像部17で撮像される画像内の第1被写体の白目部分に対する黒目部分の位置に基づいて、第1被写体の視線方向を検出する。
【0033】
記録判断部15は、表示部14の画像表示面P1に表示される投影画像内の第2被写体のひとみ位置と、視線方向検出部23で検出される第1被写体の視線方向と表示部14の画像表示面P1との交点との距離が閾値以下になると、撮像部17で撮像される画像を記録部16に記録させる。例えば、記録判断部15は、図6に示すように、表示部14の画像表示面P1に表示される投影画像内の第2被写体のひとみ位置(左右のひとみの中間点)Pb1と、視線方向検出部23で検出される第1被写体の視線方向と表示部14の画像表示面P1との交点Pb2との距離Lが閾値Lth以下になると、撮像部17で撮像される画像を記録部16に記録させる。
【0034】
図5に示す撮像装置10によれば、第2被写体側から見て第1被写体の顔が撮像装置10で隠れて見えない場合でも、カメラ目線の第1被写体の顔を記録することができる。そのため、母親が赤ちゃんを撮影する場合において、母親側から見て赤ちゃんの顔が撮像装置10で隠れて見えない場合でも、カメラ目線の赤ちゃんの顔を記録することができる。
また、図5に示す撮像装置10によれば、第1被写体と第2被写体の互いの視線が合った場合に撮影を行うことができる。
<第1実施形態の変形例(その2)>
【0035】
図7は、第1実施形態の撮像装置10の変形例(その2)を示す図である。なお、図5に示す構成と同じ構成には同じ符号を付している。
【0036】
図7に示す撮像装置10において図5に示す撮像装置10と異なる点は、さらに、補正判断部24と、補正部25とを備えている点である。
【0037】
補正判断部24は、撮像部17で撮像される画像を補正する必要があるか否かを判断する。
【0038】
補正部25は、補正判断部24により撮像部17で撮像される画像を補正する必要があると判断されると、その画像を補正する。
【0039】
例えば、図8Aに示すように、撮像部17を構成する2つのカメラ17−1、17−2のうちの一方のカメラ17−1が正面方向側の撮像装置10の上側端部に配置され、他方のカメラ17−2が正面方向側の撮像装置10の下側端部に配置されているとする。この場合、まず、補正判断部24は、カメラ17−1で撮像される画像に基づいて第1被写体のひとみ位置PAとカメラ17−1との距離d1を求めるとともに、カメラ17−2で撮像される画像に基づいて第2被写体のひとみ位置PAとカメラ17−2との距離d2を求める。そして、補正判断部24は、距離d1、d2の差(絶対値)が閾値dth1以上のとき、第1被写体に対して撮像装置10が傾いていることにより生じる撮像部17の撮像画像の歪み部分を補正する必要があると判断する。例えば、距離d1が距離d2よりも長く、かつ、距離d1、d2の差が閾値dth1以上の場合は、カメラ17−1、17−2がそれぞれ第1被写体を下側から撮像しているときであって、そのときに撮像される画像内の第1被写体の黒目部分は図8Bに示すように白目部分に対して下側に寄ってしまう。また、距離d2が距離d1よりも長く、かつ、距離d1、d2の差が閾値dth1以上の場合は、カメラ17−1、17−2がそれぞれ第1被写体を上側から撮像しているときであって、そのときに撮像される画像内の第1被写体の黒目部分は白目部分に対して上側に寄ってしまう。これらの場合において、補正部25は、図8Dに示すように、第1被写体の黒目部分を白目部分に対して中央に位置するように画像を補正する。このように、距離d1、d2の差に基づいて、撮像部17で撮像される画像の縦方向の歪みを補正することができる。
【0040】
なお、撮像部17を構成する2つのカメラのうちの一方のカメラを正面方向側の撮像装置10の右側端部に配置し、他方のカメラを正面方向側の撮像装置10の左側端部に配置してもよい。この場合、距離d1、d2の差に基づいて、撮像部17で撮像される画像の横方向の歪みを補正することができる。
【0041】
また、補正判断部24を加速度センサやジャイロなどにより構成して、地面に対する撮像装置10の傾きθが閾値θth以上傾いたとき、撮像部17で撮像される画像を補正する必要があると判断してもよい。この場合、補正部25は、撮像装置10の傾きθに基づいて、撮像部17で撮像される画像を補正する。
【0042】
図7に示す撮像装置10によれば、撮像装置10が第1被写体に対して傾いていても、撮像部17で撮像される画像内の第1被写体の顔などを歪ませることなく記録部16に記録することができる。そのため、母親が赤ちゃんを撮影する場合において、撮像装置10が赤ちゃんに対して傾いていても、撮像部17で撮像される画像内の赤ちゃんの顔などを歪ませることなく記録部16に記録することができる。
<第1実施形態の変形例(その3)>
【0043】
図9は、第1実施形態の撮像装置10の変形例(その3)を示す図である。なお、図7に示す構成と同じ構成には同じ符号を付している。
【0044】
図9に示す撮像装置10において図7に示す撮像装置10と異なる点は、さらに、測光部26を備えている点である。
【0045】
測光部26は、背面方向側を測光する。
【0046】
投影画像生成部21は、撮像部19で撮像される画像の情報と、ひとみ位置検出部18で検出される第1被写体のひとみ位置と、形状検出部20で検出される第2被写体の形状情報と、記憶部22に記憶されている3次元座標における表示部14の画像表示面P1の大きさと、測光部26の測光結果とに基づいて、投影画像を生成する。
【0047】
図9に示す撮像装置10によれば、測光部26により第2被写体の輝度や色を精度良く検出することができるため、投影画像内の第2被写体をより自然な色で再現することができる。そのため、母親が赤ちゃんを撮影する場合において、母親の輝度や色を精度良く検出することができるので、投影画像内の母親をより自然な色で再現することができる。
<第2実施形態>
【0048】
図10は、本発明の第2実施形態の撮像装置を示す図である。なお、図1に示す第1実施形態の撮像装置10と同じ構成には同じ符号を付している。
【0049】
図10に示す撮像装置100は、第1被写体情報検出部11と、第2被写体情報検出部12と、表示画像生成部13と、表示部14と、記録判断部15と、記録部16と、第1被写体情報検出部51と、第2被写体情報検出部52と、表示画像生成部53と、表示部54と、記録判断部55と、記録部56とを備える。
【0050】
第1被写体情報検出部11は、撮像部17と、ひとみ位置検出部18とを備える。第2被写体情報検出部12は、撮像部19と、形状検出部20とを備える。表示画像生成部13は、投影画像生成部21と、記憶部22とを備える。
【0051】
第1被写体情報検出部51は、撮像部57と、ひとみ位置検出部58とを備える。第2被写体情報検出部52は、撮像部59と、形状検出部60とを備える。表示画像生成部53は、投影画像生成部61と、記憶部62とを備える。
【0052】
なお、図11に示すように、撮像部17の撮像方向を正面方向とする。また、その正面方向と反対方向を背面方向とする。この場合、撮像部19、57のそれぞれの撮像方向は背面方向となり、撮像部59の撮影方向は正面方向となる。
【0053】
また、図10に示す第2実施形態の撮像装置100における、第1被写体情報検出部11、第2被写体情報検出部12、表示画像生成部13、表示部14、記録判断部15、及び記録部16のそれぞれの動作は、図1に示す第1実施形態の撮像装置10の第1被写体情報検出部11、第2被写体情報検出部12、表示画像生成部13、表示部14、記録判断部15、及び記録部16のそれぞれの動作と同様とする。
【0054】
また、撮像部57、59は、例えば、レンズによってCCDなどの撮像素子に結像される被写体像をその撮像素子において電気信号に変換し画像とするとともに、その画像データに対してシャープネス補正回路、コントラスト補正回路、輝度・色差信号生成回路、及びホワイトバランス補正回路などを用いて各種画像処理を行う。
【0055】
また、表示部14、54のそれぞれの画像表示面P1、P2は、互いに略同じ大きさとする。
【0056】
ひとみ位置検出部58は、実空間に対応する3次元座標における第2被写体のひとみ位置を検出する。例えば、撮像部57が2つのカメラで構成され、それらカメラが背面方向側の撮像装置100において互いに異なる位置に配置されている場合、ひとみ位置検出部58は、撮像部57の2つのカメラで撮像される各画像を用いて、三角測量の原理やステレオマッチング法などにより、実空間に対応する3次元座標における第2被写体のひとみ位置を求める。なお、実空間に対応する3次元座標における第2被写体のひとみ位置の検出精度を上げるために撮像部57を3つ以上のカメラで構成してもよい。
【0057】
形状検出部60は、実空間に対応する3次元座標における第1被写体の形状情報(実空間に対応する3次元座標において第1被写体に対応する全ての点)を検出する。例えば、撮像部59が2つのカメラで構成され、それらカメラが正面方向側の撮像装置100において互いに異なる位置に配置されている場合、形状検出部60は、撮像部59の2つのカメラで撮像される各画像を用いて、三角測量の原理やステレオマッチング法などにより、実空間に対応する3次元座標において第1被写体を構成する全ての点を求める。なお、実空間に対応する3次元座標における第1被写体の形状情報の検出精度を上げるために撮像部59を3つ以上のカメラで構成してもよい。また、実空間に対応する3次元座標における第1被写体の形状情報の検出方法は、上述の方法以外にも赤外パターン投影法などを採用してもよく、特に限定されない。
【0058】
投影画像生成部61は、撮像部59で撮像される画像の情報(例えば、各画素の輝度や色など)と、ひとみ位置検出部58で検出される第2被写体のひとみ位置と、形状検出部60で検出される第1被写体の形状情報と、記憶部62に記憶されている実空間に対応する3次元座標における表示部54の画像表示面P2の大きさとに基づいて、第2被写体のひとみ位置から第1被写体を見たときに表示部54の画像表示面P2に投影される第1被写体を含んで表示部54に表示される投影画像を生成する。例えば、図12に示すように、実空間に対応し表示部54の画像表示面P2の中心点を原点とする3次元座標(X,Y,Z)における第2被写体のひとみ位置PB(例えば、左右のひとみの中間点)を(Xpb,Ypb,Zpb)とし、3次元座標(X,Y,Z)において第1被写体を構成する全ての点のうちの任意の点を(Xa1,Ya1,Za1)とし、3次元座標(X,Y,Z)における表示部54の画像表示面P2上の投影点(ひとみ位置PBから任意の点までを結ぶ直線l2と画像表示面P2との交点)を(Xa2,Ya2,0)とする。この場合、投影画像生成部61は、第1被写体を構成する全ての点にそれぞれ対応する投影点を、Xa2=(−Za1×(Xpb−Xa1)/Zpb−Za1)+Xa1、及び、Ya2=(−Za1×(Ypb−Ya1)/Zpb−Za1)+Ya1を計算することにより求める。そして、投影画像生成部61は、その求めた各投影点と、撮像部59で撮像される画像の情報とに基づいて、第2被写体のひとみ位置から第1被写体を見たときに表示部54の画像表示面P2に投影される第1被写体を含む投影画像を生成する。そして、表示部54は、投影画像生成部61で生成される投影画像を表示する。
【0059】
記録判断部55は、第2被写体の操作などにより画像記録指示が入力されると、そのときに撮像部57で撮像される画像を記録部56に記録する。
【0060】
また、記録判断部55は、タッチパネルディスプレイで構成される表示部54が第2被写体などによりタッチされると、そのときに撮像部57で撮像される画像を記録部56に記録するように構成してもよい。
【0061】
また、記録判断部15は、タッチパネルディスプレイで構成される表示部14が第1被写体又は第2被写体によりタッチされて書かれた文字や絵を、撮像部17で撮像される画像に重畳させて記録部16に記憶するように構成してもよい。また、記録判断部55は、タッチパネルディスプレイで構成される表示部54が第1被写体又は第2被写体によりタッチされて書かれた文字や絵を、撮像部57で撮像される画像に重畳させて記録部56に記憶するように構成してもよい。
【0062】
このように、第2実施形態の撮像装置100は、第1被写体のひとみ位置から第2被写体を見たときに表示部14の画像表示面P1に投影される第2被写体を含んで表示部14の画像表示面P1に表示される投影画像を生成するとともに、第2被写体のひとみ位置から第1被写体を見たときに表示部54の画像表示面P2に投影される第1被写体を含んで表示部54に表示される投影画像を生成する構成である。そのため、第1被写体から見て撮像装置100と第2被写体とが互いに重なっていても、第1被写体側から第2被写体をシースルーで見ているかのような画像を表示部14の画像表示面P1に表示させることができるとともに、第2被写体側から見て撮像装置100と第1被写体とが重なっていても、第2被写体側から第1被写体をシースルーで見ているかのような画像を表示部54の画像表示面P2に表示させることができる。これにより、母親が赤ちゃんを撮影する場合において、赤ちゃん側から母親をシースルーで見ているかのような画像を表示部14に表示させることができるので、赤ちゃんから見て母親の顔が撮像装置100で隠れてしまわず、赤ちゃんの笑顔を撮像し易くすることができる。また、母親側から赤ちゃんをシースルーで見ているかのような画像を表示部54に表示させることができるので、赤ちゃんの様子を見ながら撮影を行うことができる。
【0063】
なお、第2実施形態の撮像装置100において、撮像部59を撮像部17と同一にし、撮像部57を撮像部19と同一にしてもよい。この場合、ひとみ位置検出部58は、撮像部19で撮像される画像に基づいて実空間に対応する3次元座標における第2被写体のひとみ位置を検出する。また、形状検出部60は、撮像部17で撮像される画像に基づいて実空間に対応する3次元座標における第1被写体の形状情報を検出する。また、投影画像生成部61は、撮像部17で撮像される画像の情報を用いて投影画像を生成する。このように、撮像部59を撮像部17と同一にし、撮像部57を撮像部19と同一にすることにより、撮像装置100全体の大型化やコスト増大を抑えることができる。
<第2実施形態の変形例(その1)>
【0064】
図13は、本発明の第3実施形態の撮像装置を示す図である。なお、図10に示す第2実施形態の撮像装置100と同じ構成には同じ符号を付している。
【0065】
図13に示す第3実施形態の撮像装置130において図10に示す第2実施形態の撮像装置100と異なる点は、第1被写体情報検出部11、第1被写体情報検出部52、表示画像生成部53、表示部14、記録判断部15、及び記録部16を筐体131に備え、第2被写体情報検出部12、第2被写体情報検出部51、表示画像生成部13、表示部54、記録判断部55、及び記録部56を筐体132に備え、筐体131及び筐体132を連結器133を介して互いに連結している点である。なお、筐体131及び筐体132は、それぞれ、例えば、スマートフォンやタブレットPCなどとし、連結器133と着脱可能とする。また、筐体131、132の間のデータの受け渡しは、無線通信でも有線通信でもよい。
【0066】
投影画像生成部21は、ひとみ位置検出部18で検出される第1被写体のひとみ位置を連結器133を介して筐体131から取得する。
【0067】
表示部14は、投影画像生成部21で生成される投影画像を連結器133を介して筐体132から取得する。
【0068】
投影画像生成部61は、ひとみ位置検出部58で検出される第2被写体のひとみ位置を連結器133を介して筐体132から取得する。
【0069】
表示部54は、投影画像生成部61で生成される投影画像を連結器133を介して筐体131から取得する。
【0070】
第3実施形態の撮像装置130は、筐体131、132において背面方向側に撮像部が配置されていなくても、筐体131、132を連結器133で互いに連結することにより、第2被写体のシースルー画像を表示部14に表示させつつ、第1被写体のシースルー画像を表示部54に表示させることができる。
<第2実施形態の変形例(その2)>
【0071】
図14は、本発明の第4実施形態の撮像装置を示す図である。なお、図10に示す第2実施形態の撮像装置100と同じ構成には同じ符号を付している。
【0072】
図14に示す第4実施形態の撮像装置140において図10に示す第2実施形態の撮像装置100と異なる点は、さらに、視線方向検出部141、142と、補正判断部143、144と、補正部145、146とを備えている点である。なお、補正判断部143及び補正部145のそれぞれの動作は、図9に示す第1実施形態の変形例(その2)における補正判断部24及び補正部25のそれぞれの動作と同様とする。
【0073】
視線方向検出部141は、撮像部17で撮像される画像に基づいて、第1被写体の視線方向を検出する。例えば、視線方向検出部141は、撮像部17で撮像される画像内の第1被写体の白目部分に対する黒目部分の位置に基づいて、第1被写体の視線方向を検出する。
【0074】
視線方向検出部142は、撮像部57で撮像される画像に基づいて、第2被写体の視線方向を検出する。例えば、視線方向検出部142は、撮像部57で撮像される画像内の第2被写体の白目部分に対する黒目部分の位置に基づいて、第2被写体の視線方向を検出する。
【0075】
補正判断部144は、撮像部57で撮像される画像を補正する必要があるか否かを判断する。
【0076】
補正部146は、撮像部57で撮像される画像を補正する必要があると判断されると、その画像を補正する。
【0077】
例えば、撮像部57を構成する2つのカメラのうちの一方のカメラが背面方向側の撮像装置100の上側端部に配置され、他方のカメラが背面方向側の撮像装置100の下側端部に配置されているとする。この場合、まず、補正判断部144は、一方のカメラで撮像される画像に基づいて第2被写体と一方のカメラとの距離d3を求めるとともに、他方のカメラで撮像される画像に基づいて第2被写体と他方のカメラとの距離d4を求める。そして、補正判断部144は、距離d3、d4の差(絶対値)が閾値dth2以上のとき、撮像部57で撮像される画像を補正する必要があると判断する。例えば、距離d3が距離d4よりも長く、かつ、距離d3、d4の差が閾値dth2以上の場合は、2つのカメラがそれぞれ第2被写体を下側から撮像しているときであって、そのときに撮像される画像内の第2被写体の黒目部分は白目部分に対して下側に寄ってしまう。また、距離d4が距離d3よりも長く、かつ、距離d3、d4の差が閾値dth2以上の場合は、2つのカメラが第2被写体を上側から撮像しているときであって、そのときに撮像される画像内の第2被写体の黒目部分は白目部分に対して上側に寄ってしまう。これらの場合において、補正部146は、第2被写体の黒目部分を白目部分に対して中央に位置するように投影画像を補正する。このように、距離d3、d4の差に基づいて、撮像部57で撮像される画像の縦方向の歪みを補正することができる。
【0078】
なお、撮像部57を構成する2つのカメラのうちの一方のカメラを背面方向側の撮像装置100の右側端部に配置し、他方のカメラを背面方向側の撮像装置100の左側端部に配置してもよい。この場合、距離d3、d4の差に基づいて、撮像部57で撮像される画像の横方向の歪みを補正することができる。
【0079】
また、補正判断部144を加速度センサやジャイロなどにより構成して、地面に対する撮像装置100の傾きθが閾値θth以上傾いたとき、投影画像を補正する必要があると判断してもよい。この場合、補正部146は、撮像装置100の傾きθに基づいて、撮像部57で撮像される画像を補正する。
【0080】
また、記録判断部15は、視線方向検出部141で検出される第1被写体の視線方向と視線方向検出部142で検出される第2被写体の視線方向とが互いに一致又は略一致すると、そのときに撮像部17で撮像される画像を記録部16に記録するように構成してもよい。また、記録判断部55は、視線方向検出部141で検出される第1被写体の視線方向と視線方向検出部142で検出される第2被写体の視線方向とが互いに一致又は略一致すると、そのときに撮像部57で撮像される画像を記録部56に記録するように構成してもよい。
【0081】
また、補正部145は、補正判断部143で補正する必要があると判断されると、視線方向検出部141で検出される第1被写体の視線方向と視線方向検出部142で検出される第2被写体の視線方向とが互いに一致又は略一致するときの第1被写体の視線方向に基づいて、撮像部17で撮像される画像を補正してもよい。例えば、補正部145は、補正判断部143で補正する必要があると判断されると、視線方向検出部141で検出される第1被写体の視線方向と視線方向検出部142で検出される第2被写体の視線方向とが互いに一致又は略一致するときの第1被写体の視線方向と表示部14の画像表示面P1との交点と、撮像部17で撮像される画像内の第1被写体のひとみ位置とが同じ位置になるように、撮像部17で撮像される画像を補正する。
【0082】
また、補正部146は、補正判断部144で補正する必要があると判断されると、視線方向検出部141で検出される第1被写体の視線方向と視線方向検出部142で検出される第2被写体の視線方向とが互いに一致又は略一致するときの第2被写体の視線方向に基づいて、撮像部57で撮像される画像を補正してもよい。例えば、補正部146は、補正判断部144で補正する必要があると判断されると、視線方向検出部141で検出される第1被写体の視線方向と視線方向検出部142で検出される第2被写体の視線方向とが互いに一致又は略一致するときの第2被写体の視線方向と表示部54の画像表示面P2との交点と、撮像部57で撮像される画像内の第2被写体のひとみ位置とが同じ位置になるように、撮像部57で撮像される画像を補正する。
【0083】
図14に示す撮像装置100によれば、撮像装置100が第1被写体に対して傾いていても、撮像部17で撮像される画像内の第1被写体の顔などを歪ませることなく記録部16に記録することができるとともに、撮像装置100が第2被写体に対して傾いていても、撮像部57で撮像される画像内の第2被写体の顔などを歪ませることなく記録部56に記録することができる。
<第2実施形態の変形例(その3)>
【0084】
図15は、本発明の第5実施形態の撮像装置を示す図である。なお、図10に示す第2実施形態の撮像装置100と同じ構成には同じ符号を付している。
【0085】
図15に示す第5実施形態の撮像装置100において図10に示す第2実施形態の撮像装置100と異なる点は、さらに、測光部151、152とを備えている点である。
【0086】
測光部151は、正面方向側を測光する。
【0087】
測光部152は、背面方向側を測光する。
【0088】
投影画像生成部21は、撮像部19で撮像される画像の情報と、ひとみ位置検出部18で検出される第1被写体のひとみ位置と、形状検出部20で検出される第2被写体の形状情報と、記憶部22に記憶されている実空間に対応する3次元座標における表示部14の画像表示面P1の大きさと、測光部151の測光結果とに基づいて、投影画像を生成する。
【0089】
投影画像生成部61は、撮像部59で撮像される画像の情報と、ひとみ位置検出部58で検出される第2被写体のひとみ位置と、形状検出部60で検出される第1被写体の形状情報と、記憶部62に記憶されている実空間に対応する3次元座標における表示部54の画像表示面P2の大きさと、測光部152の測光結果とに基づいて、投影画像を生成する。
【0090】
図15に示す撮像装置100によれば、測光部151により第1被写体の輝度や色を精度良く検出することができるため、投影画像内の第1被写体をより自然な色で再現することができるとともに、測光部152により第2被写体の輝度や色を精度良く検出することができるため、投影画像内の第2被写体をより自然な色で再現することができる。
【符号の説明】
【0091】
10 撮像装置
11、52 第1被写体情報検出部
12、51 第2被写体情報検出部
13 53 表示画像生成部
14、54 表示部
15、55 記録判断部
16、56 記録部
17、57 撮像部
18、58 ひとみ位置検出部
19、59 撮像部
20、60 形状検出部
21、61 投影画像生成部
22、62 記憶部
23 視線方向検出部
24 補正判断部
25 補正部
26 測光部

【特許請求の範囲】
【請求項1】
第1被写体を撮像する第1撮像手段と、
前記第1撮像手段で撮像される画像に基づいて、実空間に対応する3次元座標における前記第1被写体のひとみ位置を検出する第1ひとみ位置検出手段と、
前記第1撮像手段の撮像方向を正面方向、前記正面方向と反対方向を背面方向とするとき、前記背面方向に位置する第2被写体を撮像する第2撮像手段と、
前記3次元座標における前記第2被写体の形状情報を検出する第1形状検出手段と、
画像を表示する表示方向が、前記正面方向となるように配置される第1表示手段と、
前記第1表示手段の画像表示面の大きさが記憶される第1記憶手段と、
前記第2撮像手段で撮像される画像の情報と、前記第1ひとみ位置検出手段で検出される前記第1被写体のひとみ位置と、前記第1形状検出手段で検出される前記第2被写体の形状情報と、前記第1記憶手段に記憶される前記第1表示手段の画像表示面の大きさとに基づいて、前記第1被写体のひとみ位置から前記第2被写体を見たときに前記第1表示手段の画像表示面に投影される前記第2被写体を含んで前記第1表示手段に表示される画像を生成する第1表示画像生成手段と、
を備える撮像装置。
【請求項2】
請求項1に記載の撮像装置であって、
前記第1撮像手段で撮像される画像に基づいて、前記第1被写体の視線方向を検出する第1視線方向検出手段と、
第1記録判断手段と、
第1記録手段と、
を備え、
前記第1記録判断手段は、前記第1表示手段の画像表示面に表示される画像内の前記第2被写体のひとみ位置と、前記第1視線方向検出手段で検出される前記第1被写体の視線方向と前記第1表示手段の画像表示面との交点との距離が閾値以下になると、前記第1撮像手段で撮像される画像を前記第1記録手段に記録する、
ことを特徴とする撮像装置。
【請求項3】
請求項1又は請求項2に記載の撮像装置であって、
前記第1撮像手段で撮像される画像を補正する必要があるか否かを判断する補正判断手段と、
前記補正判断手段により前記第1撮像手段で撮像される画像を補正する必要があると判断されると、前記第1撮像手段で撮像される画像を補正する第1補正手段と、
を備える撮像装置。
【請求項4】
請求項3に記載の撮像装置であって、
前記補正判断手段は、当該撮像装置の傾きに基づいて、前記第1撮像手段で撮像される画像を補正する必要があるか否かを判断する、
ことを特徴とする撮像装置。
【請求項5】
請求項4に記載の撮像装置であって、
前記第1撮像手段は、互いに異なる位置に配置される第1及び第2カメラを備え、
前記補正判断手段は、前記第1及び第2カメラで撮像される各画像に基づいて前記第1カメラと前記第1被写体との第1距離及び前記第2カメラと前記第1被写体との第2距離を求め、前記第1距離と前記第2距離との差が閾値以上になると、前記第1撮像手段で撮像される画像を補正する必要があると判断する、
ことを特徴とする撮像装置。
【請求項6】
請求項1〜5の何れか1項に記載の撮像装置であって、
前記背面方向側を測光する第1測光手段と、
を備え、
前記第1表示画像生成手段は、さらに前記第1測光手段の測光結果に基づいて、前記第1被写体のひとみ位置から前記第2被写体を見たときに前記第1表示手段の画像表示面に投影される前記第2被写体を含んで前記第1表示手段に表示される画像を生成する、
ことを特徴とする撮像装置。
【請求項7】
請求項1に記載の撮像装置であって、
前記第2被写体を撮像する第3撮像手段と、
前記第1被写体を撮像する第4撮像手段と、
前記第3撮像手段で撮像される画像に基づいて、前記3次元座標における前記第2被写体のひとみ位置を検出する第2ひとみ位置検出手段と、
前記3次元座標における前記第1被写体の形状情報を検出する第2形状検出手段と、
画像を表示する表示方向が、前記背面方向となるように配置される第2表示手段と、
前記第2表示手段の画像表示面の大きさを記憶する第2記憶手段と、
前記第4撮像手段で撮像される画像の情報と、前記第2ひとみ位置検出手段で検出される前記第2被写体のひとみ位置と、前記第2形状検出手段で検出される前記第1被写体の形状情報と、前記第2記憶手段に記憶される前記第2表示手段の画像表示面の大きさとに基づいて、前記第2被写体のひとみ位置から前記第1被写体を見たときに前記第2表示手段の画像表示面に投影される前記第1被写体を含んで前記第2表示手段に表示される画像を生成する第2表示画像生成手段と、
を備える撮像装置。
【請求項8】
請求項7に記載の撮像装置であって、
前記第1撮像手段で撮像される画像に基づいて、前記第1被写体の視線方向を検出する第1視線方向検出手段と、
第1記録判断手段と、
第1記録手段と、
前記第3撮像手段で撮像される画像に基づいて、前記第2被写体の視線方向を検出する第2視線方向検出手段と、
第2記録判断手段と、
第2記録手段と、
を備え、
前記第1記録判断手段は、前記第1視線方向検出手段で検出される前記第1被写体の視線方向と前記第2視線方向検出手段で検出される前記第2被写体の視線方向とが互いに一致又は略一致すると、前記第1撮像手段で撮像される画像を前記第1記録手段に記録し、
前記第2記録判断手段は、前記第1視線方向検出手段で検出される前記第1被写体の視線方向と前記第2視線方向検出手段で検出される前記第2被写体の視線方向とが互いに一致又は略一致すると、前記第3撮像手段で撮像される画像を前記第2記録手段に記録する、
ことを特徴とする撮像装置。
【請求項9】
請求項8に記載の撮像装置であって、
前記第1撮像手段で撮像される画像を補正する必要があると判断する第1補正判断手段と、
前記第3撮像手段で撮像される画像を補正する必要があると判断する第2補正判断手段と、
前記第1補正判断手段により前記第1撮像手段で撮像される画像を補正する必要があると判断されると、前記第1撮像手段で撮像される画像を補正する第1補正手段と、
前記第2補正判断手段により前記第3撮像手段で撮像される画像を補正する必要があると判断されると、前記第3撮像手段で撮像される画像を補正する第2補正手段と、
を備える撮像装置。
【請求項10】
請求項9に記載の撮像装置であって、
前記第1補正判断手段は、当該撮像装置の傾きに基づいて、前記第1撮像手段で撮像される画像を補正する必要があると判断し、
前記第2補正判断手段は、当該撮像装置の傾きに基づいて、前記第3撮像手段で撮像される画像を補正する必要があると判断する、
ことを特徴とする撮像装置。
【請求項11】
請求項10に記載の撮像装置であって、
前記第1撮像手段は、互いに異なる位置に配置される第1及び第2カメラを備え、
前記第3撮像手段は、互いに異なる位置に配置される第3及び第4カメラを備え、
前記第1補正判断手段は、前記第1及び第2カメラで撮像される各画像に基づいて前記第1カメラと前記第1被写体との第1距離及び前記第2カメラと前記第1被写体との第2距離を求め、前記第1距離と前記第2距離との差が第1閾値以上になると、前記第1撮像手段で撮像される画像を補正する必要があると判断し、
前記第2補正判断手段は、前記第3及び第4カメラで撮像される各画像に基づいて前記第3カメラと前記第2被写体との第3距離及び前記第4カメラと前記第2被写体との第4距離を求め、前記第3距離と前記第4距離との差が第2閾値以上になると、前記第3撮像手段で撮像される画像を補正する必要があると判断する、
ことを特徴とする撮像装置。
【請求項12】
請求項9に記載の撮像装置であって、
前記第1補正手段は、前記第1視線方向検出手段で検出される前記第1被写体の視線方向と前記第2視線方向検出手段で検出される前記第2被写体の視線方向とが一致又は略一致するときの前記第1被写体の視線方向に基づいて、前記第1撮像手段で撮像される画像を補正し、
前記第2補正手段は、前記第1視線方向検出手段で検出される前記第1被写体の視線方向と前記第2視線方向検出手段で検出される前記第2被写体の視線方向とが一致又は略一致するときの前記第2被写体の視線方向に基づいて、前記第3撮像手段で撮像される画像を補正する、
ことを特徴とする撮像装置。
【請求項13】
請求項7〜12の何れか1項に記載の撮像装置であって、
前記第1及び第4撮像手段は同一であり
前記第2及び第3撮像手段は同一である、
ことを特徴とする撮像装置。
【請求項14】
請求項7〜13の何れか1項に記載の撮像装置であって、
前記第1及び第2表示手段は互いに略同じ大きさである、
ことを特徴とする撮像装置。
【請求項15】
請求項7〜14の何れか1項に記載の撮像装置であって、
前記第1撮像手段、前記第4撮像手段、前記第1ひとみ位置検出手段、前記第2形状検出手段、前記第1表示手段、及び前記第2表示画像生成手段を備える第1筐体と、
前記第2撮像手段、前記第3撮像手段、前記第2ひとみ位置検出手段、前記第1形状検出手段、前記第2表示手段、及び前記第1表示画像生成手段を備える第2筐体と、
前記第1及び第2筐体を互いに連結する連結手段と、
を備える撮像装置。
【請求項16】
請求項7〜15の何れか1項に記載の撮像装置であって、
前記背面方向側を測光する第1測光手段と、
前記正面方向側を測光する第2測光手段と、
を備え、
前記第1表示画像生成手段は、さらに前記第1測光手段の測光結果に基づいて、前記第1被写体のひとみ位置から前記第2被写体を見たときに前記第1表示手段の画像表示面に投影される前記第2被写体を含んで前記第1表示手段に表示される画像を生成し、
前記第2表示画像生成手段は、さらに前記第2測光手段の測光結果に基づいて、前記第2被写体のひとみ位置から前記第1被写体を見たときに前記第2表示手段の画像表示面に投影される前記第1被写体を含んで前記第2表示手段に表示される画像を生成する、
ことを特徴とする撮像装置。
【請求項17】
請求項1に記載の撮像装置であって、
前記第2撮像手段は、互いに異なる位置に配置される第5及び第6カメラを備え、
前記第1形状検出手段は、前記第5及び第6カメラで撮像される各画像に基づいて、前記3次元座標における前記第2被写体の形状情報を検出する、
ことを特徴とする撮像装置。
【請求項18】
請求項7に記載の撮像装置であって、
前記第2撮像手段は、互いに異なる位置に配置される第5及び第6カメラを備え、
前記第1形状検出手段は、前記第5及び第6カメラで撮像される各画像に基づいて、前記3次元座標における前記第2被写体の形状情報を検出し、
前記第4撮像手段は、互いに異なる位置に配置される第7及び第8カメラを備え、
前記第2形状検出手段は、前記第7及び第8カメラで撮像される各画像に基づいて、前記3次元座標における前記第1被写体の形状情報を検出する、
ことを特徴とする撮像装置。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8A】
image rotate

【図8B】
image rotate

【図8C】
image rotate

【図8D】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate


【公開番号】特開2013−98965(P2013−98965A)
【公開日】平成25年5月20日(2013.5.20)
【国際特許分類】
【出願番号】特願2011−243255(P2011−243255)
【出願日】平成23年11月7日(2011.11.7)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】