撮像装置、及びカメラ付き携帯電話機
【課題】ファインダを用いない視線検出装置をローコストに組み込んだ撮像装置を提供する。
【解決手段】メインカメラ１６で被写体を撮影し、ＬＣＤパネル３にそのスルー画像を表示する。ＬＣＤパネル３の下方に配置された赤外線発光部８で撮影者の顔に向けて赤外光を照射する。ＬＣＤパネル３を挟んで赤外線発光部８の反対側に配置されたサブカメラ７により撮影者の顔を撮影する。ＬＣＤパネル３の表示領域を複数の視線検出領域に分割しておき、サブカメラ７で撮影された画像に基づいて撮影者の目１９が向いている視線位置を検出し、この視線位置に該当する視線検出領域を特定する。メインカメラ１６で撮影されたスルー画像を複数の視線検出領域に対応する複数の測距領域に分割し、特定された視線検出領域に対応する測距領域に基づいてメインカメラ１６のフォーカス調整を行なう。
【解決手段】メインカメラ１６で被写体を撮影し、ＬＣＤパネル３にそのスルー画像を表示する。ＬＣＤパネル３の下方に配置された赤外線発光部８で撮影者の顔に向けて赤外光を照射する。ＬＣＤパネル３を挟んで赤外線発光部８の反対側に配置されたサブカメラ７により撮影者の顔を撮影する。ＬＣＤパネル３の表示領域を複数の視線検出領域に分割しておき、サブカメラ７で撮影された画像に基づいて撮影者の目１９が向いている視線位置を検出し、この視線位置に該当する視線検出領域を特定する。メインカメラ１６で撮影されたスルー画像を複数の視線検出領域に対応する複数の測距領域に分割し、特定された視線検出領域に対応する測距領域に基づいてメインカメラ１６のフォーカス調整を行なう。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びカメラ付き携帯電話機に関し、更に詳しくは、被写体を撮影するメインカメラと、撮影者自身を撮影するサブカメラと、メインカメラのフォーカス調整を行なうＡＦ機構とを備える撮像装置及びカメラ付き携帯電話機に関する。
【背景技術】
【０００２】
従来、携帯電話機にデジタルカメラを組み込んだカメラ付き携帯電話機が販売されている。現在のカメラ付き携帯電話機は、一般のコンパクト型デジタルカメラと同程度の画素数を有する撮像素子やＡＦ機構、高精細なＬＣＤパネル等を組み込むことにより、撮影画質と表示品質の向上が図られている。
【０００３】
また、カメラ付き携帯電話機の中には、筐体背面に設けられて被写体の撮影に用いられるメインカメラの他、筐体前面に設けられて撮影者自身の撮影（以下、セルフ撮影と呼ぶ）を行なうサブカメラを備えているものがある。このカメラ付き携帯電話機では、サブカメラで撮影を行ないながら通話を行なうテレビ電話等の機能を有しているものもある。
【０００４】
上記カメラ付き携帯電話機による撮影品質は向上しているものの、例えば、横に並んでいる２人の人物を撮影する際等に２人の人物の間にピントが合ってしまう、いわゆるピント抜けが発生しやすいという問題があった。これは、中央測距のみのローコストなＡＦ機構しか組み込むことができないという製品側の問題と、焦点調節を行なった後で構図を決めるという中央測距に応じた撮影技術がない撮影者側の問題とに起因する。
【０００５】
構図の決定後に対象とする被写体にピントを合せるための技術として、視線検出装置を組み込んだカメラが知られている（例えば、特許文献１，２参照）。このカメラでは、ファインダ内での撮影者の目の動きを撮像素子で検出し、ファインダ内で視線が向けられている位置を測距する。
【特許文献１】特開昭６１−０１７５５２号公報
【特許文献２】特開平０６−０００１６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
カメラ付き携帯電話機に上記視線検出装置を組み込むことにより、撮影技術の低い撮影者であっても適切な位置にピントが合った撮影を行なうことができる。しかし、カメラ付き携帯電話機は、ＬＣＤパネルにスルー表示されるスルー画像を見ながら撮影を行なうため、ファインダを備えていない。また、カメラ付き携帯電話機という製品の性格上、デジタルカメラ部分に多くのコストをかけることができないという問題があった。
【０００７】
本発明は、上記問題を解決するために、ファインダを用いない視線検出装置をローコストに組み込んだ撮像装置、及びカメラ付き携帯電話機を提供する。
【課題を解決するための手段】
【０００８】
上記課題を解決するために本発明の撮像装置は、被写体を撮像する第１撮像手段と、第１撮像手段で撮像された画像が表示される表示手段と、第１撮像手段で撮像中の画像をスルー画像として表示手段に表示させるスルー画像表示制御手段と、撮影者の顔に向けて赤外光を照射する光源と、撮影者の顔を撮像する第２撮像手段と、表示手段を複数の視線検出領域に分割するとともに、第２撮像手段で撮像された画像に基づいて撮影者の視線位置を検出し、この視線位置に該当する視線検出領域を特定する視線演算処理手段と、第１撮像手段で撮像されたスルー画像を複数の視線検出領域に対応する複数の測距領域に分割し、視線演算処理手段で特定された視線検出領域に対応する測距領域に基づいて第１撮像手段のフォーカス調整を行なうフォーカス調整手段から構成したものである。
【０００９】
また、光源は、表示手段を挟んで第２撮像手段と反対側の位置に配置するようにしたものである。
【００１０】
更に、第２撮像手段の光路内に配される赤外線カットフィルタと、赤外線カットフィルタを第２撮像手段の光路内に挿脱する挿脱手段とを設けたものである。
【００１１】
本発明のカメラ付き携帯電話機は、請求項１〜３いずれか記載の撮像装置を備えるものである。
【発明の効果】
【００１２】
本発明の撮像装置及びカメラ付き携帯電話機によれば、撮影者を撮像するために設けられているサブカメラを視線検出用の第２撮像手段として利用できるので、ローコストに採用することができる。
【００１３】
また、光源は、表示手段を挟んで第２撮像手段と反対側の位置に配置したので、表示手段を見ながら撮像を行なう撮影者の目を適切に照明することができる。更に、赤外光を照射するようにしたので、撮影者が眩しいと感じることはなく、瞳に対する悪影響もない。
【００１４】
更に、赤外線カットフィルタを第２撮像手段の光路に対して挿脱自在にしたので、第２撮像手段はセルフ撮影用及び視線検出用として兼用することができる。
【発明を実施するための最良の形態】
【００１５】
図１（Ａ）に示すように、本発明のカメラ付き携帯電話機２は、前面上部に各種情報や画像が表示されるＬＣＤパネル３が設けられている。また、ＬＣＤパネル３の下方には、各種操作に用いられる操作パネル４が設けられている。ＬＣＤパネル３の上方及び操作パネル４の下方には、通話時に音声が出力される受話部５と、音声が入力される送話部６が配置されている。ＬＣＤパネル３の上下で略対角線上には、撮影者がセルフ撮影を行なう際に使用されるサブカメラ７と、通常の撮影時に撮影者の顔に向けて赤外光を照射する赤外線発光部８が設けられている。
【００１６】
カメラ付き携帯電話機３の側面には、サブカメラ７の撮影光路内に赤外線カットフィルタを挿脱するフィルタ切換え部１１と、メモリカード１２が挿入されるカードスロット１３とが設けられている。また、図１（Ｂ）に示すように、カメラ付き携帯電話機２の背面には、通常の撮影時に使用されるメインカメラ１６が設けられている。メモリカード１２には、メインカメラ１６、またはサブカメラ７で撮影した画像が記憶される。
【００１７】
本実施形態のカメラ付き携帯電話機２は、メインカメラ１６を用いて撮影を行なう通常撮影モードと、サブカメラ７を用いて撮影者自身を撮影するセルフ撮影モードとを備えている。図２に示すように、通常撮影モードでは、ＬＣＤパネル３に表示されるスルー画像を確認しながらメインカメラ１６で撮影を行なう際に、赤外線発光部８から撮影者の顔に向けて赤外光を照射し、撮影者の顔によって反射された赤外光をサブカメラ７で撮影して、ＬＣＤパネル３に対する撮影者の目１９の向き、すなわち視線位置を検出する。そして、その視線位置にある被写体にピントが合うようにメインカメラ１６のフォーカス調整を行なう。
【００１８】
ＬＣＤパネル３は、本発明の表示手段を構成する。ＬＣＤパネル３には、カメラ付き携帯電話機２の携帯電話機能を使用する際に、各種操作画面や設定画面等が表示される。また、カメラ付き携帯電話機２のデジタルカメラ機能を使用する際には、撮影中のスルー画像や、撮影済みの画像、各種操作画面、設定画面等が表示される。
【００１９】
操作パネル４は、１〜９等の数字キーからなる複数個のテンキーボタン２２と、ＬＣＤパネル３上でカーソルの移動や画面のスクロール等を行なうカーソルボタン２３と、このカーソルボタン２３の中央に用いられて操作決定時に用いられる決定ボタン２４と、カーソルボタン２３の両側方に配置されるモード切換えボタン２５、操作を取り消すキャンセルボタン２６等から構成されている。モード切換えボタン２５を操作してカメラ付き携帯電話機２を通常撮影モードまたはセルフ撮影モードにセットすると、決定ボタン２４はシャッタボタンとして動作するように機能が切り換えられる。
【００２０】
一般的なデジタルカメラでは、被写体光中の赤外光をカットするために、撮像素子の前面や撮影光路中に赤外線カットフィルタを設けている。しかし、本実施形態のサブカメラ７は、通常撮影モード時に赤外線発光部８により照明された撮影者の顔を撮影し、セルフ撮影モード時に撮影者の顔を可視光領域で撮影する必要があるため、サブカメラ７の撮影光路中に赤外線カットフィルタを挿脱できるようにしている。
【００２１】
フィルタ切換え部１１は、カメラ付き携帯電話機２の筐体に設けられた長穴２ａ内でスライド操作される操作部材２９を備えている。図３（Ａ）に示すように、操作部材２９には赤外線カットフィルタ３０が一体に設けられている。操作部材２９が上下方向でスライドされると、赤外線カットフィルタ３０がサブカメラ７の撮影光路内に挿脱される。また、赤外線カットフィルタ３０の移動経路上には、赤外線カットフィルタ３０がサブカメラ７の撮影光路から外れたときに、赤外線カットフィルタ３０の突出部３０ａに押圧されてオンするフィルタ検出スイッチ３１が配置されている。
【００２２】
図４に示すように、カメラ付き携帯電話機２の各部は、ＣＰＵ３５によって統括的に制御される。ＣＰＵ３５には、操作パネル４の各ボタンによる操作信号と、フィルタ検出スイッチ３１の検出信号とが入力される。ＣＰＵ３５は、モード切換えボタン２５が操作されて通常撮影モードにセットされたときに、ＬＥＤドライバ３６を制御して赤外線発光部８内に組み込まれたＩＲ−ＬＥＤ３７を発光させる。このＩＲ−ＬＥＤは、本発明の光源を構成する。
【００２３】
また、ＣＰＵ３５は、通常撮影モードまたはセルフ撮影モードにセットされたときにフィルタ検出スイッチ３１の検出信号を確認する。例えば、通常撮影モードにあるときにフィルタ検出スイッチ３１がオフのときには、赤外線カットフィルタ３０がサブカメラ７の撮影光路内にあると判定して警告を行なう。同様に、セルフ撮影モードにあるときにフィルタ検出スイッチ３１がオンのときにも警告を行なう。この警告としては、例えばＬＣＤパネル３に警告メッセージやマークを表示したり、警告音や音声で行なってもよい。
【００２４】
ＣＰＵ３５は、データバス４０によりカメラ付き携帯電話機２の各部と接続されている。ＲＯＭ４１には、制御プログラムや各種設定データ等が記憶されている。携帯電話ユニット４２は、カメラ付き携帯電話機２に携帯電話機能を付与するユニットであり、例えば、通信回路や音声処理回路等から構成されている。
【００２５】
第１撮像手段であるメインカメラ１６は、モータを含むレンズ駆動機構４５によって撮影光軸方向で移動される撮影レンズ４６と、この撮影レンズ４６によって結像された画像を撮像するＣＣＤ４７と、このＣＣＤ４７から出力されたアナログの撮像信号に各種処理を施してデジタルの画像データ（以下、メイン画像データと呼ぶ）に変換する撮像信号処理回路４８と、この撮像信号処理回路４８から出力されたメイン画像データをフレーム毎に記憶するフレームメモリ４９を備えている。レンズ駆動機構４５のモータは、ＣＰＵ３５に接続されたモータドライバ５０によって駆動される。
【００２６】
第２撮像手段であるサブカメラ７は、カメラ付き携帯電話機２を持った撮影者の顔にピントが合うように設定された撮影レンズ５３と、この撮影レンズ５３によって結像された画像を撮像するＣＣＤ５４と、このＣＣＤ５４から出力されたアナログの撮像信号に各種処理を施してデジタルの画像データ（以下、サブ画像データと呼ぶ）に変換する撮像信号処理回路５５と、この撮像信号処理回路５５から出力されたメイン画像データをフレーム毎に記憶するフレームメモリ５６を備えている。前述の赤外線カットフィルタ３０は、撮影レンズ５３とＣＣＤ５４の間の撮影光路内に挿脱される。
【００２７】
ＣＣＤ４７，５４は、ＣＰＵ３５に接続されたＣＣＤドライバ５９によって駆動される。なお、本実施形態では、撮像素子としてＣＣＤを例に説明するが、Ｃ−ＭＯＳタイプの撮像素子を用いてもよい。
【００２８】
メインカメラ１６及びサブカメラ７から出力されたメイン画像データ及びサブ画像データは、ＲＡＭ６２に記憶される。画像処理回路６３は、ＲＡＭ６２に記憶されたメイン画像データに対し、階調変換、ホワイトバランス補正、γ補正処理等の各種画像処理と、ＹＣ変換処理とを施す。ＹＣ変換処理により輝度信号Ｙと色差信号Ｃｒ、Ｃｂとに変換されたメイン画像データは、ＬＣＤドライバ６４に入力される。ＬＣＤドライバ６４は、入力されたメイン画像データに基づいてＬＣＤパネル３にスルー画像を表示させる。本発明のスルー画像表示制御手段は、画像処理回路６３、ＬＣＤドライバ６４により構成される。
【００２９】
本発明の視線演算処理手段である視線演算処理回路６７は、ＲＡＭ６２に記憶されたサブ画像データから、ＬＣＤパネル３に対する撮影者の視線位置を特定する。図２に示す赤外発光部８から出射された赤外光は、撮影者の目１９の角膜表面にて反射されて、サブカメラ７上に反射光強度パターンとして結像される。視線演算処理回路６７は、赤外反射光強度パターンより、撮影者の視線がＬＣＤパネル３のどこに向いているかを判別する。ここでの視線位置検出の分解能は、例えば図５に示すように、ＬＣＤパネル３を９個の仮想的な視線検出領域６８a〜６８ｉに分割する。上記検出では、この９箇所のいずれに撮影者の視線が向いているかを特定する。なお、撮影者の視線検出時には、図３Ａに示される赤外カットフィルタ３０はサブカメラ７の撮影光路上から外れた位置（図３（Ｂ））にある。
【００３０】
視線演算処理回路６７により特定された視線検出領域は、ＡＦ検出回路７１に入力される。図６に示すように、ＡＦ検出回路７１は、ＲＡＭ６２に記憶されているメイン画像データ７２をＬＣＤパネル３の視線検出領域６８ａ〜６８ｉに対応する９個の測距領域７３ａ〜７３ｉに分割する。そして、視線演算処理回路６７から入力された視線検出領域に対応する測距領域の空間周波数の高周波成分を積算する。ＣＰＵ３５は、ＡＦ制御時にＡＦ検出回路７１によって得られる高周波成分の積算値が最大となるようにモータドライバ５０を制御して撮影レンズ４６を光軸方向で進退させ、フォーカス調整を行う。これにより、撮影者がＬＣＤパネル３上で見ている位置にピントが合う。なお、ＣＰＵ３５及びＡＦ検出回路７１により、本発明のフォーカス調整手段が構成される。
【００３１】
ＡＥ検出回路７６は、輝度信号Ｙから被写体輝度を検出し、この被写体輝度に基づいて適性露出を算出する。また、算出した適性露出から、この適性露出に適合するシャッタスピード、絞り値、撮影感度等を決定し、これらをＣＰＵ３５に入力する。ＣＰＵ３５は、入力されたデータに基づいてＣＣＤドライバ５９等を制御する。
【００３２】
圧縮伸長処理回路７９は、決定ボタン２４が操作されたときに、画像処理回路６３によりＹＣ変換されたメイン画像データを所定の圧縮形式、例えばＪＰＥＧ形式で圧縮処理する。また、メモリカード１２から読み出した画像データをＬＣＤパネル３で表示する際には、ＪＰＥＧ形式の画像データをＹＣ信号に伸長する。メモリカード１２への画像データの記録及び読み出しは、メディアコントローラ８０により行なわれる。
【００３３】
次に、上記実施形態の作用について、図７のフローチャートを参照しながら説明する。カメラ付き携帯電話機２のメインカメラ１６で撮影を行なう際には、モード切換えボタン２５を操作して通常撮影モードにセットする。図４に示すＣＰＵ３５は、メインカメラ１６によるスルー画撮影を開始する。メインカメラ１６で撮影されたスルー画像は、撮像信号処理回路４８によりメイン画像データに変換され、画像処理回路６３による画像処理後にＲＡＭ６２に記憶される。
【００３４】
また、ＣＰＵ３５は、フィルタ検出スイッチ３１の検出信号を確認し、この検出信号がオンのときにＩＲ−ＬＥＤ３７を点灯させ、サブカメラ７による撮影者の撮影を開始する。サブカメラ７で撮影された撮影者画像は、撮像信号処理回路５５によりサブ画像データに変換され、画像処理回路６３による画像処理後にＲＡＭ６２に記憶される。なお、フィルタ検出スイッチ３１の検出信号がオフのときには、ＬＣＤパネル３に警告メッセージを表示する。
【００３５】
撮影者は、ＬＣＤパネル３に表示されるスルー画像を見ながらカメラ付き携帯電話機２を動かし、撮影する構図を決定する。構図決定後、ＬＣＤパネル３に表示されているスルー画像の中から、ピントを合せたい主要な被写体を注視する。例えば、図５に示すＬＣＤパネル３の中で右側中央に主要被写体がある場合、撮影者は視線検出領域６８ｇを注視することになる。
【００３６】
ＲＡＭ６２に記憶されたサブ画像データには、赤外発光部８から照射された赤外光が撮影者の目１９の角膜での反射強度パターンが記憶されている。視線演算処理回路６７は、サブ画像データの反射強度パターンから撮影者の視線の向きを演算する。この演算により、撮影者がＬＣＤパネル３上のどの領域に視線を向けているかを判定する。以下では、例えば、ＬＣＤパネル３上の領域６８ｇに撮影者の視線が向けられているものと仮定して説明を行なう。
【００３７】
ＡＥ検出回路７６による被写体輝度の検出後、ＣＰＵ３５はＡＦ検出回路７１によるＡＦ制御を開始する。図６に示すように、ＡＦ検出回路７１は、ＲＡＭ６２に記憶されているメイン画像データ７２を視線検出領域６８ａ〜６８ｉに対応する測距領域７３ａ〜７３ｉに分割し、視線演算処理回路６７で特定された視線検出領域６８ｇに対応する測距領域７３ｇを特定し、この測距領域７３ｇの高周波成分の積分値を算出する。これと同時にＣＰＵ３５は、モータドライバ５０を制御して撮影レンズ４６を光軸方向で移動させ、積算値が最も大きくなる撮影レンズ４６の位置を特定し、撮影レンズ３４を停止させる。これにより、視線検出領域６８ｇにある主要被写体にピントが合う。
【００３８】
フォーカス調整後、決定ボタン２４を操作すると撮影が行なわれる。撮影された画像データは、圧縮伸長処理回路７９により圧縮されてメモリカード１２に記憶される。
【００３９】
なお、上記実施形態ではカメラ付き携帯電話機を例に説明したが、メインカメラ、撮影者を撮影するサブカメラ、スルー画像を表示する表示手段、メインカメラのＡＦ機構を有する装置であれば、携帯電話機以外の装置であっても本発明を実施することができる。
【図面の簡単な説明】
【００４０】
【図１】本発明のカメラ付き携帯電話機の外観形状を示す斜視図である。
【図２】カメラ付き携帯電話機による視線検出状態を示す模式図である。
【図３】赤外線カットフィルタの挿脱状態を示す正面図である。
【図４】カメラ付き携帯電話機の構成を示すブロック図である。
【図５】ＬＣＤパネルの視線検出領域を示す正面図である。
【図６】メイン画像データの測距領域を示す説明図である。
【図７】視線検出による撮影手順を示すフローチャートである。
【符号の説明】
【００４１】
２ カメラ付き携帯電話機
３ ＬＣＤパネル
４ 操作パネル
７ サブカメラ
８ 赤外線発光部
１１ フィルタ切換え部
１６ メインカメラ
３０ 赤外線カットフィルタ
３１ フィルタ検出スイッチ
３５ ＣＰＵ
３７ ＩＲ−ＬＥＤ
６７ 視線演算処理回路
６８ａ〜６８ｉ 視線検出領域
７１ ＡＦ検出回路
７３ａ〜７３ｉ 測距領域
【技術分野】
【０００１】
本発明は、撮像装置及びカメラ付き携帯電話機に関し、更に詳しくは、被写体を撮影するメインカメラと、撮影者自身を撮影するサブカメラと、メインカメラのフォーカス調整を行なうＡＦ機構とを備える撮像装置及びカメラ付き携帯電話機に関する。
【背景技術】
【０００２】
従来、携帯電話機にデジタルカメラを組み込んだカメラ付き携帯電話機が販売されている。現在のカメラ付き携帯電話機は、一般のコンパクト型デジタルカメラと同程度の画素数を有する撮像素子やＡＦ機構、高精細なＬＣＤパネル等を組み込むことにより、撮影画質と表示品質の向上が図られている。
【０００３】
また、カメラ付き携帯電話機の中には、筐体背面に設けられて被写体の撮影に用いられるメインカメラの他、筐体前面に設けられて撮影者自身の撮影（以下、セルフ撮影と呼ぶ）を行なうサブカメラを備えているものがある。このカメラ付き携帯電話機では、サブカメラで撮影を行ないながら通話を行なうテレビ電話等の機能を有しているものもある。
【０００４】
上記カメラ付き携帯電話機による撮影品質は向上しているものの、例えば、横に並んでいる２人の人物を撮影する際等に２人の人物の間にピントが合ってしまう、いわゆるピント抜けが発生しやすいという問題があった。これは、中央測距のみのローコストなＡＦ機構しか組み込むことができないという製品側の問題と、焦点調節を行なった後で構図を決めるという中央測距に応じた撮影技術がない撮影者側の問題とに起因する。
【０００５】
構図の決定後に対象とする被写体にピントを合せるための技術として、視線検出装置を組み込んだカメラが知られている（例えば、特許文献１，２参照）。このカメラでは、ファインダ内での撮影者の目の動きを撮像素子で検出し、ファインダ内で視線が向けられている位置を測距する。
【特許文献１】特開昭６１−０１７５５２号公報
【特許文献２】特開平０６−０００１６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
カメラ付き携帯電話機に上記視線検出装置を組み込むことにより、撮影技術の低い撮影者であっても適切な位置にピントが合った撮影を行なうことができる。しかし、カメラ付き携帯電話機は、ＬＣＤパネルにスルー表示されるスルー画像を見ながら撮影を行なうため、ファインダを備えていない。また、カメラ付き携帯電話機という製品の性格上、デジタルカメラ部分に多くのコストをかけることができないという問題があった。
【０００７】
本発明は、上記問題を解決するために、ファインダを用いない視線検出装置をローコストに組み込んだ撮像装置、及びカメラ付き携帯電話機を提供する。
【課題を解決するための手段】
【０００８】
上記課題を解決するために本発明の撮像装置は、被写体を撮像する第１撮像手段と、第１撮像手段で撮像された画像が表示される表示手段と、第１撮像手段で撮像中の画像をスルー画像として表示手段に表示させるスルー画像表示制御手段と、撮影者の顔に向けて赤外光を照射する光源と、撮影者の顔を撮像する第２撮像手段と、表示手段を複数の視線検出領域に分割するとともに、第２撮像手段で撮像された画像に基づいて撮影者の視線位置を検出し、この視線位置に該当する視線検出領域を特定する視線演算処理手段と、第１撮像手段で撮像されたスルー画像を複数の視線検出領域に対応する複数の測距領域に分割し、視線演算処理手段で特定された視線検出領域に対応する測距領域に基づいて第１撮像手段のフォーカス調整を行なうフォーカス調整手段から構成したものである。
【０００９】
また、光源は、表示手段を挟んで第２撮像手段と反対側の位置に配置するようにしたものである。
【００１０】
更に、第２撮像手段の光路内に配される赤外線カットフィルタと、赤外線カットフィルタを第２撮像手段の光路内に挿脱する挿脱手段とを設けたものである。
【００１１】
本発明のカメラ付き携帯電話機は、請求項１〜３いずれか記載の撮像装置を備えるものである。
【発明の効果】
【００１２】
本発明の撮像装置及びカメラ付き携帯電話機によれば、撮影者を撮像するために設けられているサブカメラを視線検出用の第２撮像手段として利用できるので、ローコストに採用することができる。
【００１３】
また、光源は、表示手段を挟んで第２撮像手段と反対側の位置に配置したので、表示手段を見ながら撮像を行なう撮影者の目を適切に照明することができる。更に、赤外光を照射するようにしたので、撮影者が眩しいと感じることはなく、瞳に対する悪影響もない。
【００１４】
更に、赤外線カットフィルタを第２撮像手段の光路に対して挿脱自在にしたので、第２撮像手段はセルフ撮影用及び視線検出用として兼用することができる。
【発明を実施するための最良の形態】
【００１５】
図１（Ａ）に示すように、本発明のカメラ付き携帯電話機２は、前面上部に各種情報や画像が表示されるＬＣＤパネル３が設けられている。また、ＬＣＤパネル３の下方には、各種操作に用いられる操作パネル４が設けられている。ＬＣＤパネル３の上方及び操作パネル４の下方には、通話時に音声が出力される受話部５と、音声が入力される送話部６が配置されている。ＬＣＤパネル３の上下で略対角線上には、撮影者がセルフ撮影を行なう際に使用されるサブカメラ７と、通常の撮影時に撮影者の顔に向けて赤外光を照射する赤外線発光部８が設けられている。
【００１６】
カメラ付き携帯電話機３の側面には、サブカメラ７の撮影光路内に赤外線カットフィルタを挿脱するフィルタ切換え部１１と、メモリカード１２が挿入されるカードスロット１３とが設けられている。また、図１（Ｂ）に示すように、カメラ付き携帯電話機２の背面には、通常の撮影時に使用されるメインカメラ１６が設けられている。メモリカード１２には、メインカメラ１６、またはサブカメラ７で撮影した画像が記憶される。
【００１７】
本実施形態のカメラ付き携帯電話機２は、メインカメラ１６を用いて撮影を行なう通常撮影モードと、サブカメラ７を用いて撮影者自身を撮影するセルフ撮影モードとを備えている。図２に示すように、通常撮影モードでは、ＬＣＤパネル３に表示されるスルー画像を確認しながらメインカメラ１６で撮影を行なう際に、赤外線発光部８から撮影者の顔に向けて赤外光を照射し、撮影者の顔によって反射された赤外光をサブカメラ７で撮影して、ＬＣＤパネル３に対する撮影者の目１９の向き、すなわち視線位置を検出する。そして、その視線位置にある被写体にピントが合うようにメインカメラ１６のフォーカス調整を行なう。
【００１８】
ＬＣＤパネル３は、本発明の表示手段を構成する。ＬＣＤパネル３には、カメラ付き携帯電話機２の携帯電話機能を使用する際に、各種操作画面や設定画面等が表示される。また、カメラ付き携帯電話機２のデジタルカメラ機能を使用する際には、撮影中のスルー画像や、撮影済みの画像、各種操作画面、設定画面等が表示される。
【００１９】
操作パネル４は、１〜９等の数字キーからなる複数個のテンキーボタン２２と、ＬＣＤパネル３上でカーソルの移動や画面のスクロール等を行なうカーソルボタン２３と、このカーソルボタン２３の中央に用いられて操作決定時に用いられる決定ボタン２４と、カーソルボタン２３の両側方に配置されるモード切換えボタン２５、操作を取り消すキャンセルボタン２６等から構成されている。モード切換えボタン２５を操作してカメラ付き携帯電話機２を通常撮影モードまたはセルフ撮影モードにセットすると、決定ボタン２４はシャッタボタンとして動作するように機能が切り換えられる。
【００２０】
一般的なデジタルカメラでは、被写体光中の赤外光をカットするために、撮像素子の前面や撮影光路中に赤外線カットフィルタを設けている。しかし、本実施形態のサブカメラ７は、通常撮影モード時に赤外線発光部８により照明された撮影者の顔を撮影し、セルフ撮影モード時に撮影者の顔を可視光領域で撮影する必要があるため、サブカメラ７の撮影光路中に赤外線カットフィルタを挿脱できるようにしている。
【００２１】
フィルタ切換え部１１は、カメラ付き携帯電話機２の筐体に設けられた長穴２ａ内でスライド操作される操作部材２９を備えている。図３（Ａ）に示すように、操作部材２９には赤外線カットフィルタ３０が一体に設けられている。操作部材２９が上下方向でスライドされると、赤外線カットフィルタ３０がサブカメラ７の撮影光路内に挿脱される。また、赤外線カットフィルタ３０の移動経路上には、赤外線カットフィルタ３０がサブカメラ７の撮影光路から外れたときに、赤外線カットフィルタ３０の突出部３０ａに押圧されてオンするフィルタ検出スイッチ３１が配置されている。
【００２２】
図４に示すように、カメラ付き携帯電話機２の各部は、ＣＰＵ３５によって統括的に制御される。ＣＰＵ３５には、操作パネル４の各ボタンによる操作信号と、フィルタ検出スイッチ３１の検出信号とが入力される。ＣＰＵ３５は、モード切換えボタン２５が操作されて通常撮影モードにセットされたときに、ＬＥＤドライバ３６を制御して赤外線発光部８内に組み込まれたＩＲ−ＬＥＤ３７を発光させる。このＩＲ−ＬＥＤは、本発明の光源を構成する。
【００２３】
また、ＣＰＵ３５は、通常撮影モードまたはセルフ撮影モードにセットされたときにフィルタ検出スイッチ３１の検出信号を確認する。例えば、通常撮影モードにあるときにフィルタ検出スイッチ３１がオフのときには、赤外線カットフィルタ３０がサブカメラ７の撮影光路内にあると判定して警告を行なう。同様に、セルフ撮影モードにあるときにフィルタ検出スイッチ３１がオンのときにも警告を行なう。この警告としては、例えばＬＣＤパネル３に警告メッセージやマークを表示したり、警告音や音声で行なってもよい。
【００２４】
ＣＰＵ３５は、データバス４０によりカメラ付き携帯電話機２の各部と接続されている。ＲＯＭ４１には、制御プログラムや各種設定データ等が記憶されている。携帯電話ユニット４２は、カメラ付き携帯電話機２に携帯電話機能を付与するユニットであり、例えば、通信回路や音声処理回路等から構成されている。
【００２５】
第１撮像手段であるメインカメラ１６は、モータを含むレンズ駆動機構４５によって撮影光軸方向で移動される撮影レンズ４６と、この撮影レンズ４６によって結像された画像を撮像するＣＣＤ４７と、このＣＣＤ４７から出力されたアナログの撮像信号に各種処理を施してデジタルの画像データ（以下、メイン画像データと呼ぶ）に変換する撮像信号処理回路４８と、この撮像信号処理回路４８から出力されたメイン画像データをフレーム毎に記憶するフレームメモリ４９を備えている。レンズ駆動機構４５のモータは、ＣＰＵ３５に接続されたモータドライバ５０によって駆動される。
【００２６】
第２撮像手段であるサブカメラ７は、カメラ付き携帯電話機２を持った撮影者の顔にピントが合うように設定された撮影レンズ５３と、この撮影レンズ５３によって結像された画像を撮像するＣＣＤ５４と、このＣＣＤ５４から出力されたアナログの撮像信号に各種処理を施してデジタルの画像データ（以下、サブ画像データと呼ぶ）に変換する撮像信号処理回路５５と、この撮像信号処理回路５５から出力されたメイン画像データをフレーム毎に記憶するフレームメモリ５６を備えている。前述の赤外線カットフィルタ３０は、撮影レンズ５３とＣＣＤ５４の間の撮影光路内に挿脱される。
【００２７】
ＣＣＤ４７，５４は、ＣＰＵ３５に接続されたＣＣＤドライバ５９によって駆動される。なお、本実施形態では、撮像素子としてＣＣＤを例に説明するが、Ｃ−ＭＯＳタイプの撮像素子を用いてもよい。
【００２８】
メインカメラ１６及びサブカメラ７から出力されたメイン画像データ及びサブ画像データは、ＲＡＭ６２に記憶される。画像処理回路６３は、ＲＡＭ６２に記憶されたメイン画像データに対し、階調変換、ホワイトバランス補正、γ補正処理等の各種画像処理と、ＹＣ変換処理とを施す。ＹＣ変換処理により輝度信号Ｙと色差信号Ｃｒ、Ｃｂとに変換されたメイン画像データは、ＬＣＤドライバ６４に入力される。ＬＣＤドライバ６４は、入力されたメイン画像データに基づいてＬＣＤパネル３にスルー画像を表示させる。本発明のスルー画像表示制御手段は、画像処理回路６３、ＬＣＤドライバ６４により構成される。
【００２９】
本発明の視線演算処理手段である視線演算処理回路６７は、ＲＡＭ６２に記憶されたサブ画像データから、ＬＣＤパネル３に対する撮影者の視線位置を特定する。図２に示す赤外発光部８から出射された赤外光は、撮影者の目１９の角膜表面にて反射されて、サブカメラ７上に反射光強度パターンとして結像される。視線演算処理回路６７は、赤外反射光強度パターンより、撮影者の視線がＬＣＤパネル３のどこに向いているかを判別する。ここでの視線位置検出の分解能は、例えば図５に示すように、ＬＣＤパネル３を９個の仮想的な視線検出領域６８a〜６８ｉに分割する。上記検出では、この９箇所のいずれに撮影者の視線が向いているかを特定する。なお、撮影者の視線検出時には、図３Ａに示される赤外カットフィルタ３０はサブカメラ７の撮影光路上から外れた位置（図３（Ｂ））にある。
【００３０】
視線演算処理回路６７により特定された視線検出領域は、ＡＦ検出回路７１に入力される。図６に示すように、ＡＦ検出回路７１は、ＲＡＭ６２に記憶されているメイン画像データ７２をＬＣＤパネル３の視線検出領域６８ａ〜６８ｉに対応する９個の測距領域７３ａ〜７３ｉに分割する。そして、視線演算処理回路６７から入力された視線検出領域に対応する測距領域の空間周波数の高周波成分を積算する。ＣＰＵ３５は、ＡＦ制御時にＡＦ検出回路７１によって得られる高周波成分の積算値が最大となるようにモータドライバ５０を制御して撮影レンズ４６を光軸方向で進退させ、フォーカス調整を行う。これにより、撮影者がＬＣＤパネル３上で見ている位置にピントが合う。なお、ＣＰＵ３５及びＡＦ検出回路７１により、本発明のフォーカス調整手段が構成される。
【００３１】
ＡＥ検出回路７６は、輝度信号Ｙから被写体輝度を検出し、この被写体輝度に基づいて適性露出を算出する。また、算出した適性露出から、この適性露出に適合するシャッタスピード、絞り値、撮影感度等を決定し、これらをＣＰＵ３５に入力する。ＣＰＵ３５は、入力されたデータに基づいてＣＣＤドライバ５９等を制御する。
【００３２】
圧縮伸長処理回路７９は、決定ボタン２４が操作されたときに、画像処理回路６３によりＹＣ変換されたメイン画像データを所定の圧縮形式、例えばＪＰＥＧ形式で圧縮処理する。また、メモリカード１２から読み出した画像データをＬＣＤパネル３で表示する際には、ＪＰＥＧ形式の画像データをＹＣ信号に伸長する。メモリカード１２への画像データの記録及び読み出しは、メディアコントローラ８０により行なわれる。
【００３３】
次に、上記実施形態の作用について、図７のフローチャートを参照しながら説明する。カメラ付き携帯電話機２のメインカメラ１６で撮影を行なう際には、モード切換えボタン２５を操作して通常撮影モードにセットする。図４に示すＣＰＵ３５は、メインカメラ１６によるスルー画撮影を開始する。メインカメラ１６で撮影されたスルー画像は、撮像信号処理回路４８によりメイン画像データに変換され、画像処理回路６３による画像処理後にＲＡＭ６２に記憶される。
【００３４】
また、ＣＰＵ３５は、フィルタ検出スイッチ３１の検出信号を確認し、この検出信号がオンのときにＩＲ−ＬＥＤ３７を点灯させ、サブカメラ７による撮影者の撮影を開始する。サブカメラ７で撮影された撮影者画像は、撮像信号処理回路５５によりサブ画像データに変換され、画像処理回路６３による画像処理後にＲＡＭ６２に記憶される。なお、フィルタ検出スイッチ３１の検出信号がオフのときには、ＬＣＤパネル３に警告メッセージを表示する。
【００３５】
撮影者は、ＬＣＤパネル３に表示されるスルー画像を見ながらカメラ付き携帯電話機２を動かし、撮影する構図を決定する。構図決定後、ＬＣＤパネル３に表示されているスルー画像の中から、ピントを合せたい主要な被写体を注視する。例えば、図５に示すＬＣＤパネル３の中で右側中央に主要被写体がある場合、撮影者は視線検出領域６８ｇを注視することになる。
【００３６】
ＲＡＭ６２に記憶されたサブ画像データには、赤外発光部８から照射された赤外光が撮影者の目１９の角膜での反射強度パターンが記憶されている。視線演算処理回路６７は、サブ画像データの反射強度パターンから撮影者の視線の向きを演算する。この演算により、撮影者がＬＣＤパネル３上のどの領域に視線を向けているかを判定する。以下では、例えば、ＬＣＤパネル３上の領域６８ｇに撮影者の視線が向けられているものと仮定して説明を行なう。
【００３７】
ＡＥ検出回路７６による被写体輝度の検出後、ＣＰＵ３５はＡＦ検出回路７１によるＡＦ制御を開始する。図６に示すように、ＡＦ検出回路７１は、ＲＡＭ６２に記憶されているメイン画像データ７２を視線検出領域６８ａ〜６８ｉに対応する測距領域７３ａ〜７３ｉに分割し、視線演算処理回路６７で特定された視線検出領域６８ｇに対応する測距領域７３ｇを特定し、この測距領域７３ｇの高周波成分の積分値を算出する。これと同時にＣＰＵ３５は、モータドライバ５０を制御して撮影レンズ４６を光軸方向で移動させ、積算値が最も大きくなる撮影レンズ４６の位置を特定し、撮影レンズ３４を停止させる。これにより、視線検出領域６８ｇにある主要被写体にピントが合う。
【００３８】
フォーカス調整後、決定ボタン２４を操作すると撮影が行なわれる。撮影された画像データは、圧縮伸長処理回路７９により圧縮されてメモリカード１２に記憶される。
【００３９】
なお、上記実施形態ではカメラ付き携帯電話機を例に説明したが、メインカメラ、撮影者を撮影するサブカメラ、スルー画像を表示する表示手段、メインカメラのＡＦ機構を有する装置であれば、携帯電話機以外の装置であっても本発明を実施することができる。
【図面の簡単な説明】
【００４０】
【図１】本発明のカメラ付き携帯電話機の外観形状を示す斜視図である。
【図２】カメラ付き携帯電話機による視線検出状態を示す模式図である。
【図３】赤外線カットフィルタの挿脱状態を示す正面図である。
【図４】カメラ付き携帯電話機の構成を示すブロック図である。
【図５】ＬＣＤパネルの視線検出領域を示す正面図である。
【図６】メイン画像データの測距領域を示す説明図である。
【図７】視線検出による撮影手順を示すフローチャートである。
【符号の説明】
【００４１】
２ カメラ付き携帯電話機
３ ＬＣＤパネル
４ 操作パネル
７ サブカメラ
８ 赤外線発光部
１１ フィルタ切換え部
１６ メインカメラ
３０ 赤外線カットフィルタ
３１ フィルタ検出スイッチ
３５ ＣＰＵ
３７ ＩＲ−ＬＥＤ
６７ 視線演算処理回路
６８ａ〜６８ｉ 視線検出領域
７１ ＡＦ検出回路
７３ａ〜７３ｉ 測距領域
【特許請求の範囲】
【請求項１】
被写体を撮像する第１撮像手段と、
前記第１撮像手段で撮像された画像が表示される表示手段と、
前記第１撮像手段で撮像中の画像をスルー画像として前記表示手段に表示させるスルー画像表示制御手段と、
撮影者の顔に向けて赤外光を照射する光源と、
前記撮影者の顔を撮像する第２撮像手段と、
前記表示手段を複数の視線検出領域に分割するとともに、前記第２撮像手段で撮像された画像に基づいて前記撮影者の視線位置を検出し、前記視線位置に該当する視線検出領域を特定する視線演算処理手段と、
前記第１撮像手段で撮像されたスルー画像を前記複数の視線検出領域に対応する複数の測距領域に分割し、前記視線演算処理手段で特定された視線検出領域に対応する測距領域に基づいて前記第１撮像手段のフォーカス調整を行なうフォーカス調整手段を備えることを特徴とする撮像装置。
【請求項２】
前記光源は、前記表示手段を挟んで前記第２撮像手段と反対側の位置に配されることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記第２撮像手段の光路内に配される赤外線カットフィルタと、
前記赤外線カットフィルタを前記第２撮像手段の光路内に挿脱する挿脱手段を備えることを特徴とする請求項１または２記載の撮像装置。
【請求項４】
前記請求項１〜３いずれか記載の撮像装置を備えることを特徴とするカメラ付き携帯電話機。
【請求項１】
被写体を撮像する第１撮像手段と、
前記第１撮像手段で撮像された画像が表示される表示手段と、
前記第１撮像手段で撮像中の画像をスルー画像として前記表示手段に表示させるスルー画像表示制御手段と、
撮影者の顔に向けて赤外光を照射する光源と、
前記撮影者の顔を撮像する第２撮像手段と、
前記表示手段を複数の視線検出領域に分割するとともに、前記第２撮像手段で撮像された画像に基づいて前記撮影者の視線位置を検出し、前記視線位置に該当する視線検出領域を特定する視線演算処理手段と、
前記第１撮像手段で撮像されたスルー画像を前記複数の視線検出領域に対応する複数の測距領域に分割し、前記視線演算処理手段で特定された視線検出領域に対応する測距領域に基づいて前記第１撮像手段のフォーカス調整を行なうフォーカス調整手段を備えることを特徴とする撮像装置。
【請求項２】
前記光源は、前記表示手段を挟んで前記第２撮像手段と反対側の位置に配されることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記第２撮像手段の光路内に配される赤外線カットフィルタと、
前記赤外線カットフィルタを前記第２撮像手段の光路内に挿脱する挿脱手段を備えることを特徴とする請求項１または２記載の撮像装置。
【請求項４】
前記請求項１〜３いずれか記載の撮像装置を備えることを特徴とするカメラ付き携帯電話機。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００８−３２８２８（Ｐ２００８−３２８２８Ａ）
【公開日】平成２０年２月１４日（２００８．２．１４）
【国際特許分類】
【出願番号】特願２００６−２０３４６９（Ｐ２００６−２０３４６９）
【出願日】平成１８年７月２６日（２００６．７．２６）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２０年２月１４日（２００８．２．１４）
【国際特許分類】
【出願日】平成１８年７月２６日（２００６．７．２６）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]