拡大鏡機能が使用可能な２台のカメラ付き電子機器および視認性制御方法
【課題】表情の変化という個人の特性を考慮して、拡大鏡機能使用時の視認性を向上させることができる２台のカメラ付き携帯電子機器を提供することである。
【解決手段】提案する２台のカメラ付き携帯電子機器は、一面に設けられた第１のカメラと、第１のカメラが設けられた面の裏面に設けられた第２のカメラと、第２のカメラが設けられた面に設けられたライト部と、第１のカメラを制御する第１のカメラ制御部と、を有する。第１のカメラ制御部は、拡大鏡機能の起動に連動して起動され、機器操作者の表情を読み取って、制御の対象となる制御情報（ライト、感度）に対し必要な指示を発行する。
【解決手段】提案する２台のカメラ付き携帯電子機器は、一面に設けられた第１のカメラと、第１のカメラが設けられた面の裏面に設けられた第２のカメラと、第２のカメラが設けられた面に設けられたライト部と、第１のカメラを制御する第１のカメラ制御部と、を有する。第１のカメラ制御部は、拡大鏡機能の起動に連動して起動され、機器操作者の表情を読み取って、制御の対象となる制御情報（ライト、感度）に対し必要な指示を発行する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２台のカメラとライト（照明）付きの携帯電子機器において、拡大鏡機能使用時（虫メガネのように使用するとき）における視認性制御技術に関する。
【背景技術】
【０００２】
携帯電話などの携帯電子機器は、対象物、他の人などを撮影するときに使用するカメラ（これを、メインカメラという）を備えているとともに、ディスプレー（表示画面、メイン液晶画面ともいう）も備えている。そこで、特許文献１などに示すように、カメラで表示した画像を表示画面に拡大して表示し、携帯電子機器を拡大鏡（虫眼鏡）として利用することが行なわれている。
【０００３】
このような携帯電話には、字が細かい印刷物など、字が小さくて見づらいものを見るために、メインカメラで撮影した画像を拡大してメイン液晶画面に表示する際に、周囲が暗く見づらい場合はライト（照明）を点灯して明るくしているが、現状では、ライトの点灯方法には以下の３つがある。
１．メインカメラの動作開始、もしくは拡大鏡機能開始と同時にライトを点灯する。
２．照度計を使用して周囲の明るさを測定し、明るさが閾値以下になったときにライトを点灯する。
３．携帯電話等の携帯電子機器の使用者がライト点灯ボタンを押下してライトを点灯する。
【０００４】
しかし、上記１．では、周囲の明るさに関係なく、明るくてもライトを点灯してしまい、点灯のタイミングが不適切であるという問題がある。
また、明るさに対する感じ方には個人差があるが、上記２．の方法ではこの個人差が考慮されていないという問題がある。例えば、使用者が暗く感じていなくてもライトが点灯されてしまったり、または、使用者が暗く感じていてもライトが点灯されない。
【０００５】
また、使用者がボタン押下によりライト点灯を行う上記３．の場合は、ライト点灯中に周囲が明るくなってライトを点灯する必要がなくなっても、使用者がライト消灯操作をしない限り点灯し続けてしまう。
【０００６】
上記いずれのケースでも、メイン液晶画面に表示する画像を利用者に見やすくするように担保することは行われていない。すなわち、従来の携帯電子機器において拡大鏡機能使用時に利用者（操作者）の視認性を向上させることは行なわれていない。
【０００７】
関連技術として、特許文献２には、周囲が暗いと自動的に照明を点灯する電子カメラが示されている。
しかし、特許文献２の技術では、ライト点灯制御を外部環境に従って行うのみであり、利用者の状態をライト点灯制御に使用していないため、個人差を考慮した運用を行うことができない。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００４−１５３４０７号公報
【特許文献２】特開２００８−２５８７３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、上記問題を解決するためになされたものであり、表情の変化という個人の特性を考慮して、拡大鏡機能使用時の視認性を向上させることができる２台のカメラ付き携帯電子機器および視認性制御方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
提案する拡大鏡機能が使用可能な２台のカメラ付き携帯電子機器は、一面に設けられた第１のカメラと、前記第１のカメラが設けられた面の裏面に設けられた第２のカメラと、前記第２のカメラが設けられた面に設けられたライト部と、前記第１のカメラを制御する第１のカメラ制御部と、を有する。
【００１１】
前記第１のカメラ制御部は、拡大鏡機能の起動に連動して、前記第１のカメラが撮影した画像から人の顔に該当する画像を検出する顔検出処理部と、前記顔検出処理部が検出した顔に該当する画像とその画像の制御情報と顔の基準特徴データとを有する表情情報を記憶した表情情報記憶部と、前記顔検出処理部が検出した顔に該当する画像が前記表情情報記憶部に記憶された顔に該当する画像に一致するかどうかを判定し、一致した場合に、前記表情情報記憶部の対応する顔の基準特徴データに対し、前記顔検出処理部が検出した顔に該当する画像の特徴データに変化があった場合に、前記第２のカメラが撮影する画像を見やすくする第１処理を行なう視認性情報設定部と、を有する。
【００１２】
そして、前記画像を見やすくする第１処理に連動して、前記顔検出処理部が検出した顔に該当する画像と、その画像の制御情報とを有する視認性情報を視認性情報記憶部に記憶する。
【００１３】
また、前記第１のカメラ制御部は、前記顔検出処理部が検出した顔に該当する画像が前記視認性情報記憶部に記憶された顔に該当する画像に一致するかどうかを判定する視認性情報設定有無判定部と、前記視認性情報設定有無判定部により一致すると判定された場合、そのときの前記第２のカメラが撮影する画像の制御情報と、前記ライト点灯情報記憶部の対応する画像の制御情報との比較結果に応じて、画像を見やすくする第２処理を行なう視認性向上部と、をさらに有する。
【００１４】
例えば、前記画像の制御情報とは、画像の明るさであり、前記視認性情報設定部が行なう前記第２のカメラが撮影する画像を見やすくする第１処理とは、前記ライト部を点灯させるライト点灯処理であり、該ライト点灯処理に連動して、前記顔検出処理部が検出した顔に該当する画像と、その画像の明るさとを有するライト点灯情報を視認性情報として前記視認性情報記憶部に記憶する。
【００１５】
そして、前記第１のカメラ制御部の視認性情報設定有無判定部は、前記顔検出処理部が検出した顔に該当する画像が前記ライト点灯情報記憶部に記憶された顔に該当する画像に一致するかどうかを判定し、前記視認性向上部は、前記視認性情報設定有無判定部により一致すると判定された場合、そのときの前記第２のカメラが撮影する画像の明るさが、前記ライト点灯情報記憶部の対応する画像の明るさより暗い場合に、ライト部を点灯する。
【００１６】
また、例えば、前記画像の制御情報とは、画像の感度であり、前記視認性情報設定部が行なう前記第２のカメラが撮影する画像を見やすくする第１処理とは、前記第２のカメラが撮影する画像の感度を上げる感度上げ処理であり、該感度上げ処理に連動して、前記顔検出処理部が検出した顔に該当する画像と、その画像の感度とを有する感度上げ情報を視認性情報として前記視認性情報記憶部に記憶する。
【００１７】
そして、前記第１のカメラ制御部の視認性情報設定有無判定部は、前記顔検出処理部が検出した顔に該当する画像が前記感度上げ情報記憶部に記憶された顔に該当する画像に一致するかどうかを判定し、前記視認性向上部は、前記視認性情報設定有無判定部により一致すると判定された場合、そのときの前記第２のカメラが撮影する画像の感度が、前記感度上げ情報記憶部の対応する画像の感度より下がっていた場合に、そのときの画像の感度を上げる。
【発明の効果】
【００１８】
提案する拡大鏡機能が使用可能な２台のカメラ付き携帯電子機器では、例えば、個人の表情の変化から視認性を推定し、ライトを点灯させる明るさの閾値を、明るさ情報として、個人識別情報（その人の顔に該当する画像）と関連付けてライト点灯情報記憶部に記憶している。そして、一旦その個人に対し、個人識別情報および明るさ情報をライト点灯情報記憶部に登録すると、視認性情報設定有無判定部により視認性情報設定有り（ライト点灯情報有り）とされ、視認性向上部により、そのときの前記第２のカメラが撮影する画像の明るさが、前記ライト点灯情報記憶部の対応する画像の明るさ（その個人固有の明るさの閾値）より暗い場合に、ライト部を点灯する。よって、表情の変化という個人の特性を考慮して、その個人固有の閾値に基づいてライトの点灯／消灯を行なうことができ、拡大鏡機能使用時の視認性を向上させることができる。
【００１９】
提案する拡大鏡機能が使用可能な２台のカメラ付き携帯電子機器では、例えば、個人の表情の変化から視認性を推定し、対象を撮影する前記第２のカメラの感度の閾値を、感度上げ情報として、個人識別情報（その人の顔に該当する画像）と関連付けて感度上げ情報記憶部に記憶している。そして、一旦その個人に対し、個人識別情報および感度上げ情報を感度上げ情報記憶部に登録すると、視認性情報設定有無判定部により視認性情報設定有り（感度上げ情報有り）とされ、視認性向上部により、そのときの前記第２のカメラの感度が、感度上げ情報記憶部の感度上げ情報（その操作者固有の閾値）以下のときに、メインカメラ３の感度を上げる感度上げ指示が発行される。よって、表情の変化という個人の特性を考慮して、その個人固有の閾値に基づいて感度を上げることができ、拡大鏡機能使用時の視認性を向上させることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態に係る携帯電子機器のハードウェア構成を示す図である。
【図２】本実施形態の携帯電子機器の機能ブロック図である。
【図３】メインカメラ処理のフローチャートである。
【図４】明るさチェック処理のフローチャートである。
【図５Ａ】サブカメラ処理のフローチャート（その１）である。
【図５Ｂ】サブカメラ処理のフローチャート（その２）である。
【図６】ライト制御処理のフローチャートである。
【図７】本実施形態の第１変形例の携帯電子機器の機能ブロック図である。
【図８】感度制御処理のフローチャートである。
【図９】本実施形態の第２変形例の携帯電子機器の機能ブロック図である。
【図１０】ズーム制御処理のフローチャートである。
【発明を実施するための形態】
【００２１】
以下、本発明に係る実施の形態について図面を参照して詳細に説明する。
携帯電話機などのように、テレビ電話による通話機能が付いている携帯電子機器がある。このような機器には、一面に自分自身（例えば、携帯電話機の操作者）を写すための第１のカメラ（以下、サブカメラということがある）があり、裏面には、テレビ電話とは関係なく、別途、対象物、他の人などを撮影するときに使用する第２のカメラ（以下、メインカメラということがある）が設けられている。
【００２２】
このように、２台のカメラを備えていることから、携帯電話機などの携帯電子機器には、拡大鏡機能が付いていることが多い。拡大鏡機能が起動されると、メインカメラで撮影した画像がメインカメラが設けられた面の裏面のメインディスプレーに拡大して表示され、携帯電話機などを虫メガネのように使用できる。本発明の要点は、携帯電子機器において、拡大鏡機能使用時に、サブカメラにより操作者の表情の変化を検出し、それを、メインカメラで撮影した画像の視認性向上に役立てようというものである。
【００２３】
図１は、本発明の一実施形態に係る携帯電子機器のハードウェアを示す図である。
本実施形態の携帯電子機器は、図１に示す通り、携帯電子機器の使用者（操作者）を撮影するサブカメラ１と、メインディスプレー２、とを有する面（メインディスプレー側）と、対象（人、物など）を撮影するメインカメラ３と、ライト（照明）４とを有する裏面（メインディスプレー反対側）とを有する。
【００２４】
携帯電子機器としては、携帯電話、スマートフォン、ＰＤＡ（Personal Digital Assistant ）等が考えられるが、二つ折りの形をした携帯電話では、メインディスプレー側の下部に、ボタン部があり、例えばそのボタン部の裏面に、メインカメラ３がある。図１には、携帯電話、スマートフォン、ＰＤＡに共通する構成が示されている。
【００２５】
図２は、本実施形態の携帯電子機器の機能ブロック図である。
図２に示すように、携帯電子機器は、メインカメラ処理部１１、サブカメラ処理部１２、顔検出処理部１３、明るさチェック処理部１４、ライト制御処理部１５、表情情報記憶部１６、ライト点灯情報記憶部１７、を有する。
【００２６】
メインカメラ処理部１１は、メインカメラ３が撮影した画像をメインディスプレー２に表示する処理を行う。また、拡大鏡機能利用開始指示があった場合は、更にサブカメラ１を起動し、拡大鏡機能の利用を開始する（携帯電子機器を虫メガネのように使う）。
【００２７】
サブカメラ処理部１２は、サブカメラ１が撮影した画像から、顔検出処理部１３を起動して、人の顔に該当する部分を検出し、検出した顔（目、瞳）の表情変化を判断し、必要に応じて、ライト点灯指示を発行する。
【００２８】
また、サブカメラ処理部１２は、サブカメラ１に現在写っている人の顔に該当する画像が、個人情報として、ライト点灯情報記憶部１７に記憶されていない場合、個人識別情報（そのとき、サブカメラ１に写っている人の顔）と、その写っている人の顔における、黒目／瞳孔面積比、顔／目面積比、そのときの画像の明るさとを関連付けて表情情報記憶部１６に記憶する。
【００２９】
顔検出処理部１３は、サブカメラ１が撮影した画像から、個人識別（その人の顔に該当する画像により、その人の個人識別情報、とする）を行う。また、顔部分の検出と、その顔部分の面積算出を行う。目の検出と、その目の部分の面積の算出を行う。黒目の検出と、その黒目部分の面積算出を行う。瞳孔の検出と、その瞳孔部分の面積算出を行う。そして、これらの情報（顔部分に該当する画像、その面積、目の部分に該当する画像、その面積、黒目の部分に該当する画像、その面積、瞳孔の部分に該当する画像、その面積）をメモリ（不図示）に記憶する。また、サブカメラ１が画像を取り込んだときの明るさ情報もメモリ（不図示）に記憶する。
【００３０】
なお、顔検出処理部１３は、サブカメラ処理部１２の一部として設けてもよいし、サブカメラ処理部１２とは独立に設けてもよい。
明るさチェック処理部１４は、一定時間毎にメインカメラ３が撮影した画像の明るさをチェックする（別途、照度計を設け、その照度計の明るさをチェックしてもよい）。明るさに変化があった場合、サブカメラ１を起動する。
【００３１】
ライト制御処理部１５は、ライト点灯指示、または、ライト消灯指示に従って、ライト４の点灯、消灯を制御する。サブカメラ１が人の顔に該当する画像を撮影している場合に、ライト点灯指示が発行された場合は、ライト制御処理部１５は、個人識別情報（そのとき、サブカメラ１に写っている人の顔）と、そのときの画像の明るさとを関連付けてライト点灯情報記憶部１７に記憶する。
【００３２】
図３は、メインカメラ処理のフローチャートである。
このフローチャートの処理は、図２のメインカメラ処理部１１により実行される。
携帯電話機器の使用者の操作（メインカメラ起動のためのボタンの押下等）により一連の処理が起動する。
【００３３】
図３のステップＳ１で、メインカメラ３の撮影結果の画像をメインディスプレー２に表示する。そして、続く、ステップＳ２で操作入力待ち状態となる。
このステップＳ２の状態において、何らかの指示が入力されると、ステップＳ３で、その入力された指示が拡大鏡機能開始指示であるかどうかが判定される。
【００３４】
ステップＳ３で入力された指示が拡大鏡機能開始指示でないと判定された場合（無効な入力などであった場合、ステップＳ３の判定結果がＮｏの場合）、ステップＳ２に戻る。
ステップＳ３で入力された指示が拡大鏡機能開始指示であると判定された場合（ステップＳ３の判定結果がＹｅｓの場合）、ステップＳ４で、サブカメラ１が起動され、図５Ａおよび図５Ｂで後述される処理が実行される。
【００３５】
続くステップＳ５では、拡大鏡機能が開始される。すなわち、メインカメラ３で撮像（撮影）した画像を拡大してメインディスプレー２に表示する動作モードになる。そして、ステップＳ２に戻る。
【００３６】
図４は、明るさチェック処理のフローチャートである。
このフローチャートの処理は、図２の明るさチェック処理部１４により実行される。
この明るさチェック処理は、メインカメラ３起動時に同時に起動するか、または、図３のメインカメラ処理のフローチャート内の１ステップとして起動する。どちらでもよい。
【００３７】
図４のステップＳ１１で、一定時間毎に、撮影対象の明るさ（情報）をチェックする。この明るさ情報はメインカメラ３から取得することを想定しているが、別途、照度計等を設け、そこから取得してもよい。なお、取得した明るさにつき、少なくとも最新のデータと、前回のデータの２つをメモリ（不図示）に保持しておくものとする。
【００３８】
続くステップＳ１２では、前回取得した明るさと比較して、今回取得した明るさに変化があったかどうかを判定する。
ステップＳ１２で明るさに変化がなかったと判定された場合（ステップＳ１２の判定結果がＮｏの場合）、ステップＳ１１に戻る。
【００３９】
ステップＳ１２で明るさに変化があったと判定された場合（ステップＳ１２の判定結果がＹｅｓの場合）、ステップＳ１３で、拡大鏡機能実行中かどうかを判定する。
ステップＳ１３で拡大鏡機能実行中ではないと判定された場合（ステップＳ１３の判定結果がＮｏの場合）、ステップＳ１１に戻る。
【００４０】
ステップＳ１３で拡大鏡機能実行中であると判定された場合（ステップＳ１３の判定結果がＹｅｓの場合）、ステップＳ１４で、サブカメラ１を起動中かどうかを判定する。
ステップＳ１４でサブカメラ１起動中であると判定された場合（ステップＳ１４の判定結果がＹｅｓの場合）、ステップＳ１１に戻る。
【００４１】
ステップＳ１４でサブカメラ１起動中でないと判定された場合（ステップＳ１４の判定結果がＮｏの場合）、ステップＳ１５で、サブカメラ１を起動し、ステップＳ１１に戻る。
【００４２】
図５Ａおよび図５Ｂは、サブカメラ処理のフローチャートである。
このフローチャートの処理は、図３のメインカメラ処理、あるいは、図４の明るさチェック処理から起動され、図２のサブカメラ処理部１２、顔検出処理部１３により実行される。
【００４３】
図５ＡのステップＳ２１で、サブカメラ処理部１２は、ライト４の点灯状態を検出して、ライト４が点灯済みであるかどうかを判定する。
ステップＳ２１でライト４が点灯済みであると判定された場合（ステップＳ２１の判定結果がＹｅｓの場合）、一連の処理を終了する。
【００４４】
ステップＳ２１でライト４が点灯済みでないと判定された場合（ステップＳ２１の判定結果がＮｏの場合）、ステップＳ２２で、メインカメラ３が検出したそのときの明るさをメモ（メモリ（不図示）に記憶）する。
【００４５】
続く、ステップＳ２３では、サブカメラ処理部１２は、十分に暗いかどうかを判定する。すなわち、ステップＳ２２で検出したそのときの明るさが、（個人差がない）十分に暗い明るさの閾値以下であるかを判定する。
【００４６】
ステップＳ２３で十分に暗いと判定された場合（ステップＳ２３の判定結果がＹｅｓの場合）、ステップＳ２４でライト点灯指示（１）を図２のライト制御処理部１５に対して発行し、一連の処理を終了する。
【００４７】
ステップＳ２３で十分に暗くはないと判定された場合（ステップＳ２３の判定結果がＮｏの場合）、ステップＳ２５で、サブカメラ１による撮影が開始される。ここで、メインカメラ３は撮影対象（他の人や者）に向けられているので、サブカメラ１は携帯電子機器の操作者の方を向くことになる。
【００４８】
サブカメラ１による撮影が開始されると、続く、ステップＳ２６で、顔検出処理部１３は、サブカメラ１が撮像（撮影）した画像から、人の顔を探す。具体的には、個人識別（その人の顔に該当する画像により、その人の個人識別情報、とする）を行う。また、顔部分の検出と、その顔部分の面積算出を行う。目の検出と、その目の部分の面積の算出を行う。黒目の検出と、その黒目部分の面積算出を行う。瞳孔の検出と、その瞳孔部分の面積算出を行う。そして、これらの情報（顔部分に該当する画像、その面積、目の部分に該当する画像、その面積、黒目の部分に該当する画像、その面積、瞳孔の部分に該当する画像、その面積）をメモリ（不図示）に記憶する。また、サブカメラ１が画像を取り込んだときの明るさ情報もメモリ（不図示）に記憶する。
【００４９】
続く、ステップＳ２７は、オプション処理を実行する。詳細は後述する（オプション処理を実行しない場合、このステップは省略される）。
ステップＳ２８では、顔検出処理部１３は、サブカメラ１が撮影した画像に人の顔があるかどうかを判定する。
【００５０】
ステップＳ２８でサブカメラ１が撮影した画像に人の顔がないと判定された場合（ステップＳ２８の判定結果がＮｏの場合）、ステップＳ２１に戻る。
ステップＳ２８でサブカメラ１が撮影した画像に人の顔があると判定された場合（ステップＳ２８の判定結果がＹｅｓの場合）、ステップＳ２９で、サブカメラ処理部１２は、検出された人の顔について、ライト点灯情報テーブルが既にメモされている（メモリ（ライト点灯情報記憶部１７）に記憶されている）かどうかを判定する。
【００５１】
ステップＳ２９で検出された人の顔について、ライト点灯情報テーブル（後述）が既にメモリに記憶されていると判定された場合（ステップＳ２９の判定結果がＹｅｓの場合）、ステップＳ３０で、そのときのメインカメラ３が撮影している画像の明るさをチェックする。そして、そのときの明るさが点灯を必要とする明るさであれば、ライト点灯指示（２）を発行する。そのときの明るさが点灯を必要とする明るさでなければ、ライト消灯指示（２）を発行する。そして、一連の処理を終了する。
【００５２】
ステップＳ２９で検出された人の顔について、ライト点灯情報テーブルがメモリに記憶されていないと判定された場合（ステップＳ２９の判定結果がＮｏの場合）、図５Ｂに移り、ステップＳ３１で、ステップＳ２６で顔検出処理部１３が検出した人の顔について、個人識別情報（その人の顔の画像）と関連付けて、目の面積と、顔の面積との比、黒目と瞳孔が検出されていれば、黒目（虹彩）の面積と、瞳孔の面積との比、を求めてメモリ（不図示）に記憶する（メモする）。なお、顔の面積を求めるとき、顔全体の面積である必要はない。例えば、目の上端から鼻まで、目の上端から口までの範囲をもって顔の面積としてもよい。この結果として、表情情報テーブル１８が表情情報記憶部１６に記憶されることになる。
【００５３】
この表情情報テーブル１８は、図５Ｂに示すように、その携帯電子機器のユーザ（操作者、利用者）毎に、個人識別情報（本データの持ち主を識別する情報、ここでは、サブカメラ１が撮影したその人の顔の画像）、黒目（虹彩）／瞳孔面積比、顔／目面積比、明るさ情報（ステップＳ２６で本データ取得時の明るさ）、を有する。これは、１台の携帯電子機器を複数のユーザが兼用で使用することを考えているためである。
【００５４】
続く、ステップＳ３２では、サブカメラ処理部１２は、表情情報テーブル１８中に、そのとき、サブカメラ１に写っている人の顔と、同じ人の情報があるかどうかを判定する。
ステップＳ３２で表情情報テーブル１８中に、そのときサブカメラ１に写っている人の顔と同じ人の情報がないと判定した場合（ステップＳ３２の判定結果がＮｏの場合）、ステップＳ２１に戻る。表情情報テーブル１８への初回登録時がこの場合に相当する。
【００５５】
ステップＳ３２で表情情報テーブル１８中に、そのときサブカメラ１に写っている人の顔と同じ人の情報があると判定した場合（ステップＳ３２の判定結果がＹｅｓの場合）、ステップＳ３３で、サブカメラ処理部１２は、そのときサブカメラ１に写っている人の瞳孔が大きくなったかどうか（そのときの黒目（虹彩）／瞳孔面積比が、表情情報テーブル１８中の、同じ人の黒目（虹彩）／瞳孔面積比以下であるかどうか）を判定する。
【００５６】
ステップＳ３３で瞳孔が大きくなったと判定された場合（そのときの黒目（虹彩）／瞳孔面積比が、登録された黒目（虹彩）／瞳孔面積比以下であった場合）、ステップＳ３４で、ライト点灯指示（２）を発行し、一連の処理を終了する。
【００５７】
ステップＳ３３で瞳孔が大きくなっていないと判定された場合（そのときの黒目（虹彩）／瞳孔面積比が、登録された黒目（虹彩）／瞳孔面積比より大きかった場合）、ステップＳ３５で、サブカメラ処理部１２は、そのときサブカメラ１に写っている人の目の大きさが変わったかどうか（そのときの顔／目面積比が、表情情報テーブル１８中の、同じ人の顔／目面積比と一致するかどうか）を判定する。
【００５８】
ステップＳ３５で目の大きさが変わっていないと判定された場合（そのときの顔／目面積比が、表情情報テーブル１８中の、同じ人の顔／目面積比と一致すると判定された場合）、ステップＳ２１に戻る。
【００５９】
ステップＳ３５で目の大きさが変わったと判定された場合（そのときの顔／目面積比が、表情情報テーブル１８中の、同じ人の顔／目面積比と一致しないと判定された場合）、ステップＳ３６で、目の大きさが変わる前後の明るさを比較し（そのときのメインカメラ３に写っている人の画像の明るさと、表情情報テーブル１８中の、同じ人の明るさ（情報）とを比較し）、暗くなっていたら、ライト点灯指示（２）を発行する。明るくなっていたら何もしない。そして、一連の処理を終了する。
【００６０】
図６は、ライト制御処理のフローチャートである。
このフローチャートの処理は、図２のライト制御処理部１５により実行される。
このライト制御処理は、メインカメラ３起動時に同時に起動するか、または、図３のメインカメラ処理のフローチャート内の１ステップとして起動する。どちらでもよい。
【００６１】
図６のステップＳ４１で、何らかの指示の入力待ち状態となる。ここでは、ライト点灯指示（１）、ライト点灯指示（２）、ライト消灯指示（２）、の３つを想定している。ライト点灯指示（１）は、メインカメラ３が撮影する画像の明るさが、（個人差がない）十分に暗い明るさの閾値以下であった場合に出される指示である。ライト点灯指示（２）は、メインカメラ３が撮影する画像の明るさが、（個人毎に設定された）明るさの閾値以下であった（暗かった）場合に出される指示である。ライト消灯指示（２）は、メインカメラ３が撮影する画像の明るさが、（個人毎に設定された）明るさの閾値より大きい（明るい）場合に出される指示である。
【００６２】
上記３つの指示のいずれかが入力されると、続く、ステップＳ４２で、ライト制御処理部１５は、入力された指示がライト点灯指示（１）かどうかを判定する。
ステップＳ４２で入力された指示がライト点灯指示（１）であると判定された場合（ステップＳ４２の判定結果がＹｅｓの場合）、ステップＳ４３で、ライト（照明）４を点灯し、ステップＳ４１に戻る。
【００６３】
ステップＳ４２で入力された指示がライト点灯指示（１）ではないと判定された場合（ステップＳ４２の判定結果がＮｏの場合）、ステップＳ４４で、ライト制御処理部１５は、入力された指示がライト点灯指示（２）かどうかを判定する。
【００６４】
ステップＳ４４で入力された指示がライト点灯指示（２）ではないと判定された場合（ステップＳ４２の判定結果がＮｏの場合）、ステップＳ４５で、ライト（照明）４を消灯し、ステップＳ４１に戻る。
【００６５】
ステップＳ４４で入力された指示がライト点灯指示（２）であると判定された場合（ステップＳ４４の判定結果がＹｅｓの場合）、ステップＳ４６で、ライト点灯情報テーブル１９に個人識別情報（その人の顔に該当する画像）と明るさ情報（そのときのメインカメラ３が撮影している画像の明るさ情報）とを関連付けてメモ（ライト点灯情報記憶部１７に記憶）する。そして、ステップＳ４１に戻る。
【００６６】
このように、個人の表情の変化から視認性を推定し、ライトを点灯させる明るさの閾値を、明るさ情報として、個人識別情報（その人の顔に該当する画像）と関連付けてライト点灯情報テーブル１９に記憶している。そして、一旦その個人に対し、個人識別情報および明るさ情報をライト点灯情報テーブル１９に登録すると、次回以降の処理では、図５ＡのステップＳ２９において、操作者に対するライト点灯情報テーブル１９がライト点灯情報記憶部１７に既に記憶されていると判定され、ステップＳ３０の処理が実行されて、そこで、その操作者固有の閾値（ライト点灯情報テーブル１９の明るさ情報）との比較でライト４を点灯するか消灯するかの指示が発行される。よって、表情の変化という個人の特性を考慮して、その個人固有の閾値に基づいてライトの点灯／消灯を行なうことができ、拡大鏡機能使用時の視認性を向上させることができる。
【００６７】
以上の説明では、個人の表情の変化に応じて、拡大鏡機能使用時のメインカメラ３が撮影する対象を照射するライト４の点灯／消灯を切り替えることで、拡大鏡機能使用時の視認性向上を行なっていたが、ライト点灯制御以外の方法を採用することもできる。
【００６８】
具体的には、ライト４の点灯を制御する代わりに、メインカメラ３の感度を上げる、メインカメラ３をズームする、という２つの方法が考えられる。
以下に、メインカメラ３の感度を上げる場合（本実施形態の第１変形例）について説明する。
【００６９】
図７は、本実施形態の第１変形例の携帯電子機器の機能ブロック図である。
図７の第１変形例の携帯電子機器では、図２の携帯電子機器と比較し、ライト制御処理部１５、ライト点灯情報記憶部１７の代わりに、感度制御処理部２１、感度上げ情報記憶部２２を有している。
【００７０】
感度制御処理部２１は、感度上げ指示に従って、メインカメラ３の感度を上げる制御を行なう。感度を上げるときには、そのときの（感度を上げる前の時点での）メインカメラ３の感度を、個人識別情報（そのときの、携帯電子機器の操作者の顔に該当する画像）に関連付けてメモする。すなわち、感度上げ情報記憶部２２に、個人識別情報と感度上げ情報（感度を上げる前の時点でのメインカメラ３の感度）を有する感度上げ情報テーブル２４を記憶する。
【００７１】
本実施形態の第１変形例では、図５Ａおよび図５Ｂのサブカメラ処理の以下の部分が変更される。
ステップＳ２２、Ｓ２３、Ｓ２４、Ｓ３５、Ｓ３６がなくなる。そして、ステップＳ２１では、ライト点灯済みかどうかを判定する代わりに、感度上げ済みかどうかを判定する。
【００７２】
また、ステップＳ２９において、検出された人の顔について、ライト点灯情報が既にメモされているかどうかを判定する代わりに、感度上げ情報が既にメモされているかどうかを判定する。そして、感度上げ情報が既にメモされていた場合は、ステップＳ３０において、現在メインカメラ３に対して設定されている感度をチェックし、それが、感度上げ情報テーブル２４の感度上げ情報に設定される閾値以下であった場合に、感度上げ指示を発行する。閾値より大きい場合は何もしない。
【００７３】
また、ステップＳ３３で、瞳孔が大きくなったと判定された場合は、ステップＳ３４で、ライト点灯指示（２）を発行する代わりに、感度上げ指示を発行する。
【００７４】
図８は、感度制御処理のフローチャートである。
このフローチャートの処理は、図７の感度制御処理部２１により実行される。
この感度制御処理は、メインカメラ３起動時に同時に起動するか、または、図３のメインカメラ処理のフローチャート内の１ステップとして起動する。どちらでもよい。
【００７５】
図８のステップＳ７１で、何らかの指示の入力待ち状態となる。ここでは、感度上げ指示が入力として想定されている。
感度上げ指示が入力されると、続く、ステップＳ７２で、感度制御処理部２１は、入力された指示が感度上げ指示かどうかを判定する。
【００７６】
ステップＳ７２で入力された指示が感度上げ指示ではないと判定された場合（ステップＳ７２の判定結果がＮｏ場合）、ステップＳ７１に戻る。
ステップＳ７２で入力された指示が感度上げ指示であると判定された場合（ステップＳ７２の判定結果がＹｅｓ場合）、ステップＳ７３で、感度制御処理部２１は、感度上げ情報記憶部２２に、個人識別情報と感度上げ情報（感度を上げる前の時点でのメインカメラ３の感度）を有する感度上げ情報テーブル２４を記憶し、その後、メインカメラ３の感度を上げる。そして、ステップＳ７１に戻る。
【００７７】
このように、本実施形態の第１変形例では、個人の表情の変化から視認性を推定し、対象を撮影するメインカメラ３の感度の閾値を、感度上げ情報として、個人識別情報（その人の顔に該当する画像）と関連付けて感度上げ情報テーブル２４に記憶している。そして、一旦その個人に対し、個人識別情報および感度上げ情報を感度上げ情報テーブル２４に登録すると、次回以降の処理では、図５ＡのステップＳ２９において、操作者に対する感度上げ情報テーブル２４が感度上げ情報記憶部２２に既に記憶されていると判定され、ステップＳ３０の処理が実行されて、そこで、その操作者固有の閾値（感度上げ情報テーブル２４の感度上げ情報）との比較でメインカメラ３の感度を上げる場合は感度上げ指示が発行される。よって、表情の変化という個人の特性を考慮して、その個人固有の閾値に基づいて感度を上げることができ、拡大鏡機能使用時の視認性を向上させることができる。
【００７８】
なお、この他に、ライト点灯制御と、メインカメラ３の感度制御とを組み合わせることで、メインカメラ３が撮影した画像を見やすくする（視認性を向上させる）ことも可能である。
【００７９】
この場合、図５ＢのステップＳ３４およびステップＳ３６において、メインカメラ３の感度を上げているかどうかを最初に判断するようにし、メインカメラ３の感度を上げていない場合は、ライト４の点灯を指示する代わりに、メインカメラ３の感度を上げる。メインカメラ３の感度が上がっている場合には、ライト４の点灯を指示する（ステップＳ３４）、あるいは、 ライト４の点灯を指示するための処理を行なう（ステップＳ３６）。
【００８０】
続いて、メインカメラ３をズームする、場合について説明する。
図９は、本実施形態の第２変形例の携帯電子機器の機能ブロック図である。
図９の第２変形例の携帯電子機器では、図２の携帯電子機器に対し、ズーム制御処理部２５、ズーム判断基準情報記憶部２６が追加されている。
【００８１】
ズーム制御処理部２５は、ズーム指示に従って、ズーム判断基準情報記憶部２６を用いて、メインカメラ３のズーム制御（ズームインまたはズームアウト）を行なう。
ズーム判断基準情報記憶部２６は、図１０に示すように、ズーム判断基準情報テーブル２８を記憶する。メインカメラ３が撮影した画像に文字が写っている場合に、この第２変形例の処理が有効となる。すなわち、画像内の文字数と文字サイズにそれぞれ閾値を設け、文字数と文字サイズの組み合わせでメインカメラ３のズームイン、ズームアウトを決める。
【００８２】
本実施形態の第２変形例では、図５Ａおよび図５Ｂのサブカメラ処理の以下の部分が追加される。
まず、図５Ａにおいて、ステップＳ２７のオプション処理が追加される。このステップＳ２７では、メインカメラ３が撮影した画像に文字が写っている場合に、その画像内の文字数と文字サイズ（平均値）をそれぞれ求める。そして、その求めた文字数と文字サイズの組み合わせとともに、ズーム指示をズーム制御処理部２５に発行する。
【００８３】
また、図５ＢのステップＳ３４およびステップＳ３６において、メインカメラ３をズームしているかどうかを最初に判断するようにし、メインカメラ３をズーム済みでない場合は、ライト４の点灯を指示する代わりに、メインカメラ３をズームする。メインカメラ３をズーム済みの場合には、ライト４の点灯を指示する（ステップＳ３４）、あるいは、 ライト４の点灯を指示するための処理を行なう（ステップＳ３６）。
【００８４】
図１０は、ズーム制御処理のフローチャートである。
このフローチャートの処理は、図９のズーム制御処理部２５により実行される。
このズーム制御処理は、メインカメラ３起動時に同時に起動するか、または、図３のメインカメラ処理のフローチャート内の１ステップとして起動する。どちらでもよい。
【００８５】
図１０のステップＳ１０１で、何らかの指示の入力待ち状態となる。ここでは、ズーム指示（求めた文字数と文字サイズの組み合わせ付き）が入力として想定されている。
ズーム指示（求めた文字数と文字サイズの組み合わせ付き）が入力されると、続く、ステップＳ１０２で、ズーム制御処理部２５は、入力された指示がズーム指示かどうかを判定する。
【００８６】
ステップＳ１０２で入力された指示がズーム指示ではないと判定された場合（ステップＳ１０２の判定結果がＮｏ場合）、ステップＳ１０１に戻る。
ステップＳ１０２で入力された指示がズーム指示であると判定された場合（ステップＳ１０２の判定結果がＹｅｓ場合）、ステップＳ１０３で、ズーム制御処理部２５は、ズーム指示とともに入力された文字数と文字サイズの組み合わせから、ズームインかズームアウトかを決定し、決定内容に従って、メインカメラ３をズームイン（またはズームアウト）する。そして、ステップＳ１０１に戻る。
【００８７】
このように、本実施形態の第２変形例では、拡大鏡機能使用時に、視認性制御に、ライトの点灯制御の他に、ズームも考慮しているので、一層きめ細かく視認性を向上させるための制御を行なうことができる。
【符号の説明】
【００８８】
１ サブカメラ
２ メインディスプレー
３ メインカメラ
４ ライト（照明）
１１ メインカメラ処理部
１２ サブカメラ処理部
１３ 顔検出処理部
１４ 明るさチェック処理部
１５ ライト制御処理部
１６ 表情情報記憶部
１７ ライト点灯情報記憶部
１８ 表情情報テーブル
１９ ライト点灯情報テーブル
２１ 感度制御処理部
２２ 感度上げ情報記憶部
２４ 感度上げ情報テーブル
２５ ズーム制御処理部
２６ ズーム判断基準情報記憶部
２８ ズーム判断基準情報テーブル
【技術分野】
【０００１】
本発明は、２台のカメラとライト（照明）付きの携帯電子機器において、拡大鏡機能使用時（虫メガネのように使用するとき）における視認性制御技術に関する。
【背景技術】
【０００２】
携帯電話などの携帯電子機器は、対象物、他の人などを撮影するときに使用するカメラ（これを、メインカメラという）を備えているとともに、ディスプレー（表示画面、メイン液晶画面ともいう）も備えている。そこで、特許文献１などに示すように、カメラで表示した画像を表示画面に拡大して表示し、携帯電子機器を拡大鏡（虫眼鏡）として利用することが行なわれている。
【０００３】
このような携帯電話には、字が細かい印刷物など、字が小さくて見づらいものを見るために、メインカメラで撮影した画像を拡大してメイン液晶画面に表示する際に、周囲が暗く見づらい場合はライト（照明）を点灯して明るくしているが、現状では、ライトの点灯方法には以下の３つがある。
１．メインカメラの動作開始、もしくは拡大鏡機能開始と同時にライトを点灯する。
２．照度計を使用して周囲の明るさを測定し、明るさが閾値以下になったときにライトを点灯する。
３．携帯電話等の携帯電子機器の使用者がライト点灯ボタンを押下してライトを点灯する。
【０００４】
しかし、上記１．では、周囲の明るさに関係なく、明るくてもライトを点灯してしまい、点灯のタイミングが不適切であるという問題がある。
また、明るさに対する感じ方には個人差があるが、上記２．の方法ではこの個人差が考慮されていないという問題がある。例えば、使用者が暗く感じていなくてもライトが点灯されてしまったり、または、使用者が暗く感じていてもライトが点灯されない。
【０００５】
また、使用者がボタン押下によりライト点灯を行う上記３．の場合は、ライト点灯中に周囲が明るくなってライトを点灯する必要がなくなっても、使用者がライト消灯操作をしない限り点灯し続けてしまう。
【０００６】
上記いずれのケースでも、メイン液晶画面に表示する画像を利用者に見やすくするように担保することは行われていない。すなわち、従来の携帯電子機器において拡大鏡機能使用時に利用者（操作者）の視認性を向上させることは行なわれていない。
【０００７】
関連技術として、特許文献２には、周囲が暗いと自動的に照明を点灯する電子カメラが示されている。
しかし、特許文献２の技術では、ライト点灯制御を外部環境に従って行うのみであり、利用者の状態をライト点灯制御に使用していないため、個人差を考慮した運用を行うことができない。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００４−１５３４０７号公報
【特許文献２】特開２００８−２５８７３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、上記問題を解決するためになされたものであり、表情の変化という個人の特性を考慮して、拡大鏡機能使用時の視認性を向上させることができる２台のカメラ付き携帯電子機器および視認性制御方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
提案する拡大鏡機能が使用可能な２台のカメラ付き携帯電子機器は、一面に設けられた第１のカメラと、前記第１のカメラが設けられた面の裏面に設けられた第２のカメラと、前記第２のカメラが設けられた面に設けられたライト部と、前記第１のカメラを制御する第１のカメラ制御部と、を有する。
【００１１】
前記第１のカメラ制御部は、拡大鏡機能の起動に連動して、前記第１のカメラが撮影した画像から人の顔に該当する画像を検出する顔検出処理部と、前記顔検出処理部が検出した顔に該当する画像とその画像の制御情報と顔の基準特徴データとを有する表情情報を記憶した表情情報記憶部と、前記顔検出処理部が検出した顔に該当する画像が前記表情情報記憶部に記憶された顔に該当する画像に一致するかどうかを判定し、一致した場合に、前記表情情報記憶部の対応する顔の基準特徴データに対し、前記顔検出処理部が検出した顔に該当する画像の特徴データに変化があった場合に、前記第２のカメラが撮影する画像を見やすくする第１処理を行なう視認性情報設定部と、を有する。
【００１２】
そして、前記画像を見やすくする第１処理に連動して、前記顔検出処理部が検出した顔に該当する画像と、その画像の制御情報とを有する視認性情報を視認性情報記憶部に記憶する。
【００１３】
また、前記第１のカメラ制御部は、前記顔検出処理部が検出した顔に該当する画像が前記視認性情報記憶部に記憶された顔に該当する画像に一致するかどうかを判定する視認性情報設定有無判定部と、前記視認性情報設定有無判定部により一致すると判定された場合、そのときの前記第２のカメラが撮影する画像の制御情報と、前記ライト点灯情報記憶部の対応する画像の制御情報との比較結果に応じて、画像を見やすくする第２処理を行なう視認性向上部と、をさらに有する。
【００１４】
例えば、前記画像の制御情報とは、画像の明るさであり、前記視認性情報設定部が行なう前記第２のカメラが撮影する画像を見やすくする第１処理とは、前記ライト部を点灯させるライト点灯処理であり、該ライト点灯処理に連動して、前記顔検出処理部が検出した顔に該当する画像と、その画像の明るさとを有するライト点灯情報を視認性情報として前記視認性情報記憶部に記憶する。
【００１５】
そして、前記第１のカメラ制御部の視認性情報設定有無判定部は、前記顔検出処理部が検出した顔に該当する画像が前記ライト点灯情報記憶部に記憶された顔に該当する画像に一致するかどうかを判定し、前記視認性向上部は、前記視認性情報設定有無判定部により一致すると判定された場合、そのときの前記第２のカメラが撮影する画像の明るさが、前記ライト点灯情報記憶部の対応する画像の明るさより暗い場合に、ライト部を点灯する。
【００１６】
また、例えば、前記画像の制御情報とは、画像の感度であり、前記視認性情報設定部が行なう前記第２のカメラが撮影する画像を見やすくする第１処理とは、前記第２のカメラが撮影する画像の感度を上げる感度上げ処理であり、該感度上げ処理に連動して、前記顔検出処理部が検出した顔に該当する画像と、その画像の感度とを有する感度上げ情報を視認性情報として前記視認性情報記憶部に記憶する。
【００１７】
そして、前記第１のカメラ制御部の視認性情報設定有無判定部は、前記顔検出処理部が検出した顔に該当する画像が前記感度上げ情報記憶部に記憶された顔に該当する画像に一致するかどうかを判定し、前記視認性向上部は、前記視認性情報設定有無判定部により一致すると判定された場合、そのときの前記第２のカメラが撮影する画像の感度が、前記感度上げ情報記憶部の対応する画像の感度より下がっていた場合に、そのときの画像の感度を上げる。
【発明の効果】
【００１８】
提案する拡大鏡機能が使用可能な２台のカメラ付き携帯電子機器では、例えば、個人の表情の変化から視認性を推定し、ライトを点灯させる明るさの閾値を、明るさ情報として、個人識別情報（その人の顔に該当する画像）と関連付けてライト点灯情報記憶部に記憶している。そして、一旦その個人に対し、個人識別情報および明るさ情報をライト点灯情報記憶部に登録すると、視認性情報設定有無判定部により視認性情報設定有り（ライト点灯情報有り）とされ、視認性向上部により、そのときの前記第２のカメラが撮影する画像の明るさが、前記ライト点灯情報記憶部の対応する画像の明るさ（その個人固有の明るさの閾値）より暗い場合に、ライト部を点灯する。よって、表情の変化という個人の特性を考慮して、その個人固有の閾値に基づいてライトの点灯／消灯を行なうことができ、拡大鏡機能使用時の視認性を向上させることができる。
【００１９】
提案する拡大鏡機能が使用可能な２台のカメラ付き携帯電子機器では、例えば、個人の表情の変化から視認性を推定し、対象を撮影する前記第２のカメラの感度の閾値を、感度上げ情報として、個人識別情報（その人の顔に該当する画像）と関連付けて感度上げ情報記憶部に記憶している。そして、一旦その個人に対し、個人識別情報および感度上げ情報を感度上げ情報記憶部に登録すると、視認性情報設定有無判定部により視認性情報設定有り（感度上げ情報有り）とされ、視認性向上部により、そのときの前記第２のカメラの感度が、感度上げ情報記憶部の感度上げ情報（その操作者固有の閾値）以下のときに、メインカメラ３の感度を上げる感度上げ指示が発行される。よって、表情の変化という個人の特性を考慮して、その個人固有の閾値に基づいて感度を上げることができ、拡大鏡機能使用時の視認性を向上させることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態に係る携帯電子機器のハードウェア構成を示す図である。
【図２】本実施形態の携帯電子機器の機能ブロック図である。
【図３】メインカメラ処理のフローチャートである。
【図４】明るさチェック処理のフローチャートである。
【図５Ａ】サブカメラ処理のフローチャート（その１）である。
【図５Ｂ】サブカメラ処理のフローチャート（その２）である。
【図６】ライト制御処理のフローチャートである。
【図７】本実施形態の第１変形例の携帯電子機器の機能ブロック図である。
【図８】感度制御処理のフローチャートである。
【図９】本実施形態の第２変形例の携帯電子機器の機能ブロック図である。
【図１０】ズーム制御処理のフローチャートである。
【発明を実施するための形態】
【００２１】
以下、本発明に係る実施の形態について図面を参照して詳細に説明する。
携帯電話機などのように、テレビ電話による通話機能が付いている携帯電子機器がある。このような機器には、一面に自分自身（例えば、携帯電話機の操作者）を写すための第１のカメラ（以下、サブカメラということがある）があり、裏面には、テレビ電話とは関係なく、別途、対象物、他の人などを撮影するときに使用する第２のカメラ（以下、メインカメラということがある）が設けられている。
【００２２】
このように、２台のカメラを備えていることから、携帯電話機などの携帯電子機器には、拡大鏡機能が付いていることが多い。拡大鏡機能が起動されると、メインカメラで撮影した画像がメインカメラが設けられた面の裏面のメインディスプレーに拡大して表示され、携帯電話機などを虫メガネのように使用できる。本発明の要点は、携帯電子機器において、拡大鏡機能使用時に、サブカメラにより操作者の表情の変化を検出し、それを、メインカメラで撮影した画像の視認性向上に役立てようというものである。
【００２３】
図１は、本発明の一実施形態に係る携帯電子機器のハードウェアを示す図である。
本実施形態の携帯電子機器は、図１に示す通り、携帯電子機器の使用者（操作者）を撮影するサブカメラ１と、メインディスプレー２、とを有する面（メインディスプレー側）と、対象（人、物など）を撮影するメインカメラ３と、ライト（照明）４とを有する裏面（メインディスプレー反対側）とを有する。
【００２４】
携帯電子機器としては、携帯電話、スマートフォン、ＰＤＡ（Personal Digital Assistant ）等が考えられるが、二つ折りの形をした携帯電話では、メインディスプレー側の下部に、ボタン部があり、例えばそのボタン部の裏面に、メインカメラ３がある。図１には、携帯電話、スマートフォン、ＰＤＡに共通する構成が示されている。
【００２５】
図２は、本実施形態の携帯電子機器の機能ブロック図である。
図２に示すように、携帯電子機器は、メインカメラ処理部１１、サブカメラ処理部１２、顔検出処理部１３、明るさチェック処理部１４、ライト制御処理部１５、表情情報記憶部１６、ライト点灯情報記憶部１７、を有する。
【００２６】
メインカメラ処理部１１は、メインカメラ３が撮影した画像をメインディスプレー２に表示する処理を行う。また、拡大鏡機能利用開始指示があった場合は、更にサブカメラ１を起動し、拡大鏡機能の利用を開始する（携帯電子機器を虫メガネのように使う）。
【００２７】
サブカメラ処理部１２は、サブカメラ１が撮影した画像から、顔検出処理部１３を起動して、人の顔に該当する部分を検出し、検出した顔（目、瞳）の表情変化を判断し、必要に応じて、ライト点灯指示を発行する。
【００２８】
また、サブカメラ処理部１２は、サブカメラ１に現在写っている人の顔に該当する画像が、個人情報として、ライト点灯情報記憶部１７に記憶されていない場合、個人識別情報（そのとき、サブカメラ１に写っている人の顔）と、その写っている人の顔における、黒目／瞳孔面積比、顔／目面積比、そのときの画像の明るさとを関連付けて表情情報記憶部１６に記憶する。
【００２９】
顔検出処理部１３は、サブカメラ１が撮影した画像から、個人識別（その人の顔に該当する画像により、その人の個人識別情報、とする）を行う。また、顔部分の検出と、その顔部分の面積算出を行う。目の検出と、その目の部分の面積の算出を行う。黒目の検出と、その黒目部分の面積算出を行う。瞳孔の検出と、その瞳孔部分の面積算出を行う。そして、これらの情報（顔部分に該当する画像、その面積、目の部分に該当する画像、その面積、黒目の部分に該当する画像、その面積、瞳孔の部分に該当する画像、その面積）をメモリ（不図示）に記憶する。また、サブカメラ１が画像を取り込んだときの明るさ情報もメモリ（不図示）に記憶する。
【００３０】
なお、顔検出処理部１３は、サブカメラ処理部１２の一部として設けてもよいし、サブカメラ処理部１２とは独立に設けてもよい。
明るさチェック処理部１４は、一定時間毎にメインカメラ３が撮影した画像の明るさをチェックする（別途、照度計を設け、その照度計の明るさをチェックしてもよい）。明るさに変化があった場合、サブカメラ１を起動する。
【００３１】
ライト制御処理部１５は、ライト点灯指示、または、ライト消灯指示に従って、ライト４の点灯、消灯を制御する。サブカメラ１が人の顔に該当する画像を撮影している場合に、ライト点灯指示が発行された場合は、ライト制御処理部１５は、個人識別情報（そのとき、サブカメラ１に写っている人の顔）と、そのときの画像の明るさとを関連付けてライト点灯情報記憶部１７に記憶する。
【００３２】
図３は、メインカメラ処理のフローチャートである。
このフローチャートの処理は、図２のメインカメラ処理部１１により実行される。
携帯電話機器の使用者の操作（メインカメラ起動のためのボタンの押下等）により一連の処理が起動する。
【００３３】
図３のステップＳ１で、メインカメラ３の撮影結果の画像をメインディスプレー２に表示する。そして、続く、ステップＳ２で操作入力待ち状態となる。
このステップＳ２の状態において、何らかの指示が入力されると、ステップＳ３で、その入力された指示が拡大鏡機能開始指示であるかどうかが判定される。
【００３４】
ステップＳ３で入力された指示が拡大鏡機能開始指示でないと判定された場合（無効な入力などであった場合、ステップＳ３の判定結果がＮｏの場合）、ステップＳ２に戻る。
ステップＳ３で入力された指示が拡大鏡機能開始指示であると判定された場合（ステップＳ３の判定結果がＹｅｓの場合）、ステップＳ４で、サブカメラ１が起動され、図５Ａおよび図５Ｂで後述される処理が実行される。
【００３５】
続くステップＳ５では、拡大鏡機能が開始される。すなわち、メインカメラ３で撮像（撮影）した画像を拡大してメインディスプレー２に表示する動作モードになる。そして、ステップＳ２に戻る。
【００３６】
図４は、明るさチェック処理のフローチャートである。
このフローチャートの処理は、図２の明るさチェック処理部１４により実行される。
この明るさチェック処理は、メインカメラ３起動時に同時に起動するか、または、図３のメインカメラ処理のフローチャート内の１ステップとして起動する。どちらでもよい。
【００３７】
図４のステップＳ１１で、一定時間毎に、撮影対象の明るさ（情報）をチェックする。この明るさ情報はメインカメラ３から取得することを想定しているが、別途、照度計等を設け、そこから取得してもよい。なお、取得した明るさにつき、少なくとも最新のデータと、前回のデータの２つをメモリ（不図示）に保持しておくものとする。
【００３８】
続くステップＳ１２では、前回取得した明るさと比較して、今回取得した明るさに変化があったかどうかを判定する。
ステップＳ１２で明るさに変化がなかったと判定された場合（ステップＳ１２の判定結果がＮｏの場合）、ステップＳ１１に戻る。
【００３９】
ステップＳ１２で明るさに変化があったと判定された場合（ステップＳ１２の判定結果がＹｅｓの場合）、ステップＳ１３で、拡大鏡機能実行中かどうかを判定する。
ステップＳ１３で拡大鏡機能実行中ではないと判定された場合（ステップＳ１３の判定結果がＮｏの場合）、ステップＳ１１に戻る。
【００４０】
ステップＳ１３で拡大鏡機能実行中であると判定された場合（ステップＳ１３の判定結果がＹｅｓの場合）、ステップＳ１４で、サブカメラ１を起動中かどうかを判定する。
ステップＳ１４でサブカメラ１起動中であると判定された場合（ステップＳ１４の判定結果がＹｅｓの場合）、ステップＳ１１に戻る。
【００４１】
ステップＳ１４でサブカメラ１起動中でないと判定された場合（ステップＳ１４の判定結果がＮｏの場合）、ステップＳ１５で、サブカメラ１を起動し、ステップＳ１１に戻る。
【００４２】
図５Ａおよび図５Ｂは、サブカメラ処理のフローチャートである。
このフローチャートの処理は、図３のメインカメラ処理、あるいは、図４の明るさチェック処理から起動され、図２のサブカメラ処理部１２、顔検出処理部１３により実行される。
【００４３】
図５ＡのステップＳ２１で、サブカメラ処理部１２は、ライト４の点灯状態を検出して、ライト４が点灯済みであるかどうかを判定する。
ステップＳ２１でライト４が点灯済みであると判定された場合（ステップＳ２１の判定結果がＹｅｓの場合）、一連の処理を終了する。
【００４４】
ステップＳ２１でライト４が点灯済みでないと判定された場合（ステップＳ２１の判定結果がＮｏの場合）、ステップＳ２２で、メインカメラ３が検出したそのときの明るさをメモ（メモリ（不図示）に記憶）する。
【００４５】
続く、ステップＳ２３では、サブカメラ処理部１２は、十分に暗いかどうかを判定する。すなわち、ステップＳ２２で検出したそのときの明るさが、（個人差がない）十分に暗い明るさの閾値以下であるかを判定する。
【００４６】
ステップＳ２３で十分に暗いと判定された場合（ステップＳ２３の判定結果がＹｅｓの場合）、ステップＳ２４でライト点灯指示（１）を図２のライト制御処理部１５に対して発行し、一連の処理を終了する。
【００４７】
ステップＳ２３で十分に暗くはないと判定された場合（ステップＳ２３の判定結果がＮｏの場合）、ステップＳ２５で、サブカメラ１による撮影が開始される。ここで、メインカメラ３は撮影対象（他の人や者）に向けられているので、サブカメラ１は携帯電子機器の操作者の方を向くことになる。
【００４８】
サブカメラ１による撮影が開始されると、続く、ステップＳ２６で、顔検出処理部１３は、サブカメラ１が撮像（撮影）した画像から、人の顔を探す。具体的には、個人識別（その人の顔に該当する画像により、その人の個人識別情報、とする）を行う。また、顔部分の検出と、その顔部分の面積算出を行う。目の検出と、その目の部分の面積の算出を行う。黒目の検出と、その黒目部分の面積算出を行う。瞳孔の検出と、その瞳孔部分の面積算出を行う。そして、これらの情報（顔部分に該当する画像、その面積、目の部分に該当する画像、その面積、黒目の部分に該当する画像、その面積、瞳孔の部分に該当する画像、その面積）をメモリ（不図示）に記憶する。また、サブカメラ１が画像を取り込んだときの明るさ情報もメモリ（不図示）に記憶する。
【００４９】
続く、ステップＳ２７は、オプション処理を実行する。詳細は後述する（オプション処理を実行しない場合、このステップは省略される）。
ステップＳ２８では、顔検出処理部１３は、サブカメラ１が撮影した画像に人の顔があるかどうかを判定する。
【００５０】
ステップＳ２８でサブカメラ１が撮影した画像に人の顔がないと判定された場合（ステップＳ２８の判定結果がＮｏの場合）、ステップＳ２１に戻る。
ステップＳ２８でサブカメラ１が撮影した画像に人の顔があると判定された場合（ステップＳ２８の判定結果がＹｅｓの場合）、ステップＳ２９で、サブカメラ処理部１２は、検出された人の顔について、ライト点灯情報テーブルが既にメモされている（メモリ（ライト点灯情報記憶部１７）に記憶されている）かどうかを判定する。
【００５１】
ステップＳ２９で検出された人の顔について、ライト点灯情報テーブル（後述）が既にメモリに記憶されていると判定された場合（ステップＳ２９の判定結果がＹｅｓの場合）、ステップＳ３０で、そのときのメインカメラ３が撮影している画像の明るさをチェックする。そして、そのときの明るさが点灯を必要とする明るさであれば、ライト点灯指示（２）を発行する。そのときの明るさが点灯を必要とする明るさでなければ、ライト消灯指示（２）を発行する。そして、一連の処理を終了する。
【００５２】
ステップＳ２９で検出された人の顔について、ライト点灯情報テーブルがメモリに記憶されていないと判定された場合（ステップＳ２９の判定結果がＮｏの場合）、図５Ｂに移り、ステップＳ３１で、ステップＳ２６で顔検出処理部１３が検出した人の顔について、個人識別情報（その人の顔の画像）と関連付けて、目の面積と、顔の面積との比、黒目と瞳孔が検出されていれば、黒目（虹彩）の面積と、瞳孔の面積との比、を求めてメモリ（不図示）に記憶する（メモする）。なお、顔の面積を求めるとき、顔全体の面積である必要はない。例えば、目の上端から鼻まで、目の上端から口までの範囲をもって顔の面積としてもよい。この結果として、表情情報テーブル１８が表情情報記憶部１６に記憶されることになる。
【００５３】
この表情情報テーブル１８は、図５Ｂに示すように、その携帯電子機器のユーザ（操作者、利用者）毎に、個人識別情報（本データの持ち主を識別する情報、ここでは、サブカメラ１が撮影したその人の顔の画像）、黒目（虹彩）／瞳孔面積比、顔／目面積比、明るさ情報（ステップＳ２６で本データ取得時の明るさ）、を有する。これは、１台の携帯電子機器を複数のユーザが兼用で使用することを考えているためである。
【００５４】
続く、ステップＳ３２では、サブカメラ処理部１２は、表情情報テーブル１８中に、そのとき、サブカメラ１に写っている人の顔と、同じ人の情報があるかどうかを判定する。
ステップＳ３２で表情情報テーブル１８中に、そのときサブカメラ１に写っている人の顔と同じ人の情報がないと判定した場合（ステップＳ３２の判定結果がＮｏの場合）、ステップＳ２１に戻る。表情情報テーブル１８への初回登録時がこの場合に相当する。
【００５５】
ステップＳ３２で表情情報テーブル１８中に、そのときサブカメラ１に写っている人の顔と同じ人の情報があると判定した場合（ステップＳ３２の判定結果がＹｅｓの場合）、ステップＳ３３で、サブカメラ処理部１２は、そのときサブカメラ１に写っている人の瞳孔が大きくなったかどうか（そのときの黒目（虹彩）／瞳孔面積比が、表情情報テーブル１８中の、同じ人の黒目（虹彩）／瞳孔面積比以下であるかどうか）を判定する。
【００５６】
ステップＳ３３で瞳孔が大きくなったと判定された場合（そのときの黒目（虹彩）／瞳孔面積比が、登録された黒目（虹彩）／瞳孔面積比以下であった場合）、ステップＳ３４で、ライト点灯指示（２）を発行し、一連の処理を終了する。
【００５７】
ステップＳ３３で瞳孔が大きくなっていないと判定された場合（そのときの黒目（虹彩）／瞳孔面積比が、登録された黒目（虹彩）／瞳孔面積比より大きかった場合）、ステップＳ３５で、サブカメラ処理部１２は、そのときサブカメラ１に写っている人の目の大きさが変わったかどうか（そのときの顔／目面積比が、表情情報テーブル１８中の、同じ人の顔／目面積比と一致するかどうか）を判定する。
【００５８】
ステップＳ３５で目の大きさが変わっていないと判定された場合（そのときの顔／目面積比が、表情情報テーブル１８中の、同じ人の顔／目面積比と一致すると判定された場合）、ステップＳ２１に戻る。
【００５９】
ステップＳ３５で目の大きさが変わったと判定された場合（そのときの顔／目面積比が、表情情報テーブル１８中の、同じ人の顔／目面積比と一致しないと判定された場合）、ステップＳ３６で、目の大きさが変わる前後の明るさを比較し（そのときのメインカメラ３に写っている人の画像の明るさと、表情情報テーブル１８中の、同じ人の明るさ（情報）とを比較し）、暗くなっていたら、ライト点灯指示（２）を発行する。明るくなっていたら何もしない。そして、一連の処理を終了する。
【００６０】
図６は、ライト制御処理のフローチャートである。
このフローチャートの処理は、図２のライト制御処理部１５により実行される。
このライト制御処理は、メインカメラ３起動時に同時に起動するか、または、図３のメインカメラ処理のフローチャート内の１ステップとして起動する。どちらでもよい。
【００６１】
図６のステップＳ４１で、何らかの指示の入力待ち状態となる。ここでは、ライト点灯指示（１）、ライト点灯指示（２）、ライト消灯指示（２）、の３つを想定している。ライト点灯指示（１）は、メインカメラ３が撮影する画像の明るさが、（個人差がない）十分に暗い明るさの閾値以下であった場合に出される指示である。ライト点灯指示（２）は、メインカメラ３が撮影する画像の明るさが、（個人毎に設定された）明るさの閾値以下であった（暗かった）場合に出される指示である。ライト消灯指示（２）は、メインカメラ３が撮影する画像の明るさが、（個人毎に設定された）明るさの閾値より大きい（明るい）場合に出される指示である。
【００６２】
上記３つの指示のいずれかが入力されると、続く、ステップＳ４２で、ライト制御処理部１５は、入力された指示がライト点灯指示（１）かどうかを判定する。
ステップＳ４２で入力された指示がライト点灯指示（１）であると判定された場合（ステップＳ４２の判定結果がＹｅｓの場合）、ステップＳ４３で、ライト（照明）４を点灯し、ステップＳ４１に戻る。
【００６３】
ステップＳ４２で入力された指示がライト点灯指示（１）ではないと判定された場合（ステップＳ４２の判定結果がＮｏの場合）、ステップＳ４４で、ライト制御処理部１５は、入力された指示がライト点灯指示（２）かどうかを判定する。
【００６４】
ステップＳ４４で入力された指示がライト点灯指示（２）ではないと判定された場合（ステップＳ４２の判定結果がＮｏの場合）、ステップＳ４５で、ライト（照明）４を消灯し、ステップＳ４１に戻る。
【００６５】
ステップＳ４４で入力された指示がライト点灯指示（２）であると判定された場合（ステップＳ４４の判定結果がＹｅｓの場合）、ステップＳ４６で、ライト点灯情報テーブル１９に個人識別情報（その人の顔に該当する画像）と明るさ情報（そのときのメインカメラ３が撮影している画像の明るさ情報）とを関連付けてメモ（ライト点灯情報記憶部１７に記憶）する。そして、ステップＳ４１に戻る。
【００６６】
このように、個人の表情の変化から視認性を推定し、ライトを点灯させる明るさの閾値を、明るさ情報として、個人識別情報（その人の顔に該当する画像）と関連付けてライト点灯情報テーブル１９に記憶している。そして、一旦その個人に対し、個人識別情報および明るさ情報をライト点灯情報テーブル１９に登録すると、次回以降の処理では、図５ＡのステップＳ２９において、操作者に対するライト点灯情報テーブル１９がライト点灯情報記憶部１７に既に記憶されていると判定され、ステップＳ３０の処理が実行されて、そこで、その操作者固有の閾値（ライト点灯情報テーブル１９の明るさ情報）との比較でライト４を点灯するか消灯するかの指示が発行される。よって、表情の変化という個人の特性を考慮して、その個人固有の閾値に基づいてライトの点灯／消灯を行なうことができ、拡大鏡機能使用時の視認性を向上させることができる。
【００６７】
以上の説明では、個人の表情の変化に応じて、拡大鏡機能使用時のメインカメラ３が撮影する対象を照射するライト４の点灯／消灯を切り替えることで、拡大鏡機能使用時の視認性向上を行なっていたが、ライト点灯制御以外の方法を採用することもできる。
【００６８】
具体的には、ライト４の点灯を制御する代わりに、メインカメラ３の感度を上げる、メインカメラ３をズームする、という２つの方法が考えられる。
以下に、メインカメラ３の感度を上げる場合（本実施形態の第１変形例）について説明する。
【００６９】
図７は、本実施形態の第１変形例の携帯電子機器の機能ブロック図である。
図７の第１変形例の携帯電子機器では、図２の携帯電子機器と比較し、ライト制御処理部１５、ライト点灯情報記憶部１７の代わりに、感度制御処理部２１、感度上げ情報記憶部２２を有している。
【００７０】
感度制御処理部２１は、感度上げ指示に従って、メインカメラ３の感度を上げる制御を行なう。感度を上げるときには、そのときの（感度を上げる前の時点での）メインカメラ３の感度を、個人識別情報（そのときの、携帯電子機器の操作者の顔に該当する画像）に関連付けてメモする。すなわち、感度上げ情報記憶部２２に、個人識別情報と感度上げ情報（感度を上げる前の時点でのメインカメラ３の感度）を有する感度上げ情報テーブル２４を記憶する。
【００７１】
本実施形態の第１変形例では、図５Ａおよび図５Ｂのサブカメラ処理の以下の部分が変更される。
ステップＳ２２、Ｓ２３、Ｓ２４、Ｓ３５、Ｓ３６がなくなる。そして、ステップＳ２１では、ライト点灯済みかどうかを判定する代わりに、感度上げ済みかどうかを判定する。
【００７２】
また、ステップＳ２９において、検出された人の顔について、ライト点灯情報が既にメモされているかどうかを判定する代わりに、感度上げ情報が既にメモされているかどうかを判定する。そして、感度上げ情報が既にメモされていた場合は、ステップＳ３０において、現在メインカメラ３に対して設定されている感度をチェックし、それが、感度上げ情報テーブル２４の感度上げ情報に設定される閾値以下であった場合に、感度上げ指示を発行する。閾値より大きい場合は何もしない。
【００７３】
また、ステップＳ３３で、瞳孔が大きくなったと判定された場合は、ステップＳ３４で、ライト点灯指示（２）を発行する代わりに、感度上げ指示を発行する。
【００７４】
図８は、感度制御処理のフローチャートである。
このフローチャートの処理は、図７の感度制御処理部２１により実行される。
この感度制御処理は、メインカメラ３起動時に同時に起動するか、または、図３のメインカメラ処理のフローチャート内の１ステップとして起動する。どちらでもよい。
【００７５】
図８のステップＳ７１で、何らかの指示の入力待ち状態となる。ここでは、感度上げ指示が入力として想定されている。
感度上げ指示が入力されると、続く、ステップＳ７２で、感度制御処理部２１は、入力された指示が感度上げ指示かどうかを判定する。
【００７６】
ステップＳ７２で入力された指示が感度上げ指示ではないと判定された場合（ステップＳ７２の判定結果がＮｏ場合）、ステップＳ７１に戻る。
ステップＳ７２で入力された指示が感度上げ指示であると判定された場合（ステップＳ７２の判定結果がＹｅｓ場合）、ステップＳ７３で、感度制御処理部２１は、感度上げ情報記憶部２２に、個人識別情報と感度上げ情報（感度を上げる前の時点でのメインカメラ３の感度）を有する感度上げ情報テーブル２４を記憶し、その後、メインカメラ３の感度を上げる。そして、ステップＳ７１に戻る。
【００７７】
このように、本実施形態の第１変形例では、個人の表情の変化から視認性を推定し、対象を撮影するメインカメラ３の感度の閾値を、感度上げ情報として、個人識別情報（その人の顔に該当する画像）と関連付けて感度上げ情報テーブル２４に記憶している。そして、一旦その個人に対し、個人識別情報および感度上げ情報を感度上げ情報テーブル２４に登録すると、次回以降の処理では、図５ＡのステップＳ２９において、操作者に対する感度上げ情報テーブル２４が感度上げ情報記憶部２２に既に記憶されていると判定され、ステップＳ３０の処理が実行されて、そこで、その操作者固有の閾値（感度上げ情報テーブル２４の感度上げ情報）との比較でメインカメラ３の感度を上げる場合は感度上げ指示が発行される。よって、表情の変化という個人の特性を考慮して、その個人固有の閾値に基づいて感度を上げることができ、拡大鏡機能使用時の視認性を向上させることができる。
【００７８】
なお、この他に、ライト点灯制御と、メインカメラ３の感度制御とを組み合わせることで、メインカメラ３が撮影した画像を見やすくする（視認性を向上させる）ことも可能である。
【００７９】
この場合、図５ＢのステップＳ３４およびステップＳ３６において、メインカメラ３の感度を上げているかどうかを最初に判断するようにし、メインカメラ３の感度を上げていない場合は、ライト４の点灯を指示する代わりに、メインカメラ３の感度を上げる。メインカメラ３の感度が上がっている場合には、ライト４の点灯を指示する（ステップＳ３４）、あるいは、 ライト４の点灯を指示するための処理を行なう（ステップＳ３６）。
【００８０】
続いて、メインカメラ３をズームする、場合について説明する。
図９は、本実施形態の第２変形例の携帯電子機器の機能ブロック図である。
図９の第２変形例の携帯電子機器では、図２の携帯電子機器に対し、ズーム制御処理部２５、ズーム判断基準情報記憶部２６が追加されている。
【００８１】
ズーム制御処理部２５は、ズーム指示に従って、ズーム判断基準情報記憶部２６を用いて、メインカメラ３のズーム制御（ズームインまたはズームアウト）を行なう。
ズーム判断基準情報記憶部２６は、図１０に示すように、ズーム判断基準情報テーブル２８を記憶する。メインカメラ３が撮影した画像に文字が写っている場合に、この第２変形例の処理が有効となる。すなわち、画像内の文字数と文字サイズにそれぞれ閾値を設け、文字数と文字サイズの組み合わせでメインカメラ３のズームイン、ズームアウトを決める。
【００８２】
本実施形態の第２変形例では、図５Ａおよび図５Ｂのサブカメラ処理の以下の部分が追加される。
まず、図５Ａにおいて、ステップＳ２７のオプション処理が追加される。このステップＳ２７では、メインカメラ３が撮影した画像に文字が写っている場合に、その画像内の文字数と文字サイズ（平均値）をそれぞれ求める。そして、その求めた文字数と文字サイズの組み合わせとともに、ズーム指示をズーム制御処理部２５に発行する。
【００８３】
また、図５ＢのステップＳ３４およびステップＳ３６において、メインカメラ３をズームしているかどうかを最初に判断するようにし、メインカメラ３をズーム済みでない場合は、ライト４の点灯を指示する代わりに、メインカメラ３をズームする。メインカメラ３をズーム済みの場合には、ライト４の点灯を指示する（ステップＳ３４）、あるいは、 ライト４の点灯を指示するための処理を行なう（ステップＳ３６）。
【００８４】
図１０は、ズーム制御処理のフローチャートである。
このフローチャートの処理は、図９のズーム制御処理部２５により実行される。
このズーム制御処理は、メインカメラ３起動時に同時に起動するか、または、図３のメインカメラ処理のフローチャート内の１ステップとして起動する。どちらでもよい。
【００８５】
図１０のステップＳ１０１で、何らかの指示の入力待ち状態となる。ここでは、ズーム指示（求めた文字数と文字サイズの組み合わせ付き）が入力として想定されている。
ズーム指示（求めた文字数と文字サイズの組み合わせ付き）が入力されると、続く、ステップＳ１０２で、ズーム制御処理部２５は、入力された指示がズーム指示かどうかを判定する。
【００８６】
ステップＳ１０２で入力された指示がズーム指示ではないと判定された場合（ステップＳ１０２の判定結果がＮｏ場合）、ステップＳ１０１に戻る。
ステップＳ１０２で入力された指示がズーム指示であると判定された場合（ステップＳ１０２の判定結果がＹｅｓ場合）、ステップＳ１０３で、ズーム制御処理部２５は、ズーム指示とともに入力された文字数と文字サイズの組み合わせから、ズームインかズームアウトかを決定し、決定内容に従って、メインカメラ３をズームイン（またはズームアウト）する。そして、ステップＳ１０１に戻る。
【００８７】
このように、本実施形態の第２変形例では、拡大鏡機能使用時に、視認性制御に、ライトの点灯制御の他に、ズームも考慮しているので、一層きめ細かく視認性を向上させるための制御を行なうことができる。
【符号の説明】
【００８８】
１ サブカメラ
２ メインディスプレー
３ メインカメラ
４ ライト（照明）
１１ メインカメラ処理部
１２ サブカメラ処理部
１３ 顔検出処理部
１４ 明るさチェック処理部
１５ ライト制御処理部
１６ 表情情報記憶部
１７ ライト点灯情報記憶部
１８ 表情情報テーブル
１９ ライト点灯情報テーブル
２１ 感度制御処理部
２２ 感度上げ情報記憶部
２４ 感度上げ情報テーブル
２５ ズーム制御処理部
２６ ズーム判断基準情報記憶部
２８ ズーム判断基準情報テーブル
【特許請求の範囲】
【請求項１】
一面に設けられた第１のカメラと、
前記第１のカメラが設けられた面の裏面に設けられた第２のカメラと、
前記第２のカメラが設けられた面に設けられたライト部と、
前記第１のカメラを制御する第１のカメラ制御部と、を有し、
前記第１のカメラ制御部は、
拡大鏡機能の起動に連動して、前記第１のカメラが撮影した画像から人の顔に該当する画像を検出する顔検出処理部と、
前記顔検出処理部が検出した顔に該当する画像とその画像の制御情報と顔の基準特徴データとを有する表情情報を記憶した表情情報記憶部と、
前記顔検出処理部が検出した顔に該当する画像が前記表情情報記憶部に記憶された顔に該当する画像に一致するかどうかを判定し、一致した場合に、前記表情情報記憶部の対応する顔の基準特徴データに対し、前記顔検出処理部が検出した顔に該当する画像の特徴データに変化があった場合に、前記第２のカメラが撮影する画像を見やすくする第１処理を行なう視認性情報設定部と、を有し、
前記画像を見やすくする第１処理に連動して、前記顔検出処理部が検出した顔に該当する画像と、その画像の制御情報とを有する視認性情報を視認性情報記憶部に記憶し、
前記第１のカメラ制御部は、
前記顔検出処理部が検出した顔に該当する画像が前記視認性情報記憶部に記憶された顔に該当する画像に一致するかどうかを判定する視認性情報設定有無判定部と、
前記視認性情報設定有無判定部により一致すると判定された場合、そのときの前記第２のカメラが撮影する画像の制御情報と、前記ライト点灯情報記憶部の対応する画像の制御情報との比較結果に応じて、画像を見やすくする第２処理を行なう視認性向上部と、をさらに有することを特徴とする拡大鏡機能が使用可能な２台のカメラ付き携帯電子機器。
【請求項２】
前記画像の制御情報とは、画像の明るさであり、
前記視認性情報設定部が行なう前記第２のカメラが撮影する画像を見やすくする第１処理とは、前記ライト部を点灯させるライト点灯処理であり、
該ライト点灯処理に連動して、前記顔検出処理部が検出した顔に該当する画像と、その画像の明るさとを有するライト点灯情報を視認性情報として前記視認性情報記憶部に記憶し、
前記第１のカメラ制御部の視認性情報設定有無判定部は、前記顔検出処理部が検出した顔に該当する画像が前記ライト点灯情報記憶部に記憶された顔に該当する画像に一致するかどうかを判定し、
前記視認性向上部は、前記視認性情報設定有無判定部により一致すると判定された場合、そのときの前記第２のカメラが撮影する画像の明るさが、前記ライト点灯情報記憶部の対応する画像の明るさより暗い場合に、ライト部を点灯する、ことを特徴とする請求項１記載の拡大鏡機能が使用可能な２台のカメラ付き携帯電子機器。
【請求項３】
前記画像の制御情報とは、画像の感度であり、
前記視認性情報設定部が行なう前記第２のカメラが撮影する画像を見やすくする第１処理とは、前記第２のカメラが撮影する画像の感度を上げる感度上げ処理であり、
該感度上げ処理に連動して、前記顔検出処理部が検出した顔に該当する画像と、その画像の感度とを有する感度上げ情報を視認性情報として前記視認性情報記憶部に記憶し、
前記第１のカメラ制御部の視認性情報設定有無判定部は、前記顔検出処理部が検出した顔に該当する画像が前記感度上げ情報記憶部に記憶された顔に該当する画像に一致するかどうかを判定し、
前記視認性向上部は、前記視認性情報設定有無判定部により一致すると判定された場合、そのときの前記第２のカメラが撮影する画像の感度が、前記感度上げ情報記憶部の対応する画像の感度より下がっていた場合に、そのときの画像の感度を上げる、ことを特徴とする請求項１記載の拡大鏡機能が使用可能な２台のカメラ付き携帯電子機器。
【請求項４】
一面に設けられた第１のカメラと、
前記第１のカメラが設けられた面の裏面に設けられた第２のカメラと、
前記第２のカメラが設けられた面に設けられたライト部と、
前記顔に該当する画像とその画像の制御情報と顔の基準特徴データとを有する表情情報を記憶した表情情報記憶部と、
前記第１のカメラを制御する第１のカメラ制御部と、を有する２台のカメラ付き携帯電子機器が拡大鏡機能実行時に実行する視認性制御方法において、
拡大鏡機能の起動に連動して、前記第１のカメラ制御部が、前記第１のカメラが撮影した画像から人の顔に該当する画像を検出する顔検出ステップと、
前記第１のカメラ制御部が、前記顔検出ステップで検出した顔に該当する画像が前記表情情報記憶部に記憶された顔に該当する画像に一致するかどうかを判定する判定ステップと、
前記第１のカメラ制御部が、前記判定ステップで一致すると判定された場合に、前記表情情報記憶部の対応する顔の基準特徴データに対し、前記顔検出ステップで検出した顔に該当する画像の特徴データに変化があった場合に、前記第２のカメラが撮影する画像を見やすくする第１処理を行なう視認性情報設定ステップと、
該視認性情報設定ステップにおいて、前記画像を見やすくする第１処理に連動して、前記顔検出処理部が検出した顔に該当する画像と、その画像の制御情報とを有する視認性情報を視認性情報記憶部に記憶するステップと、
前記顔検出処理部が検出した顔に該当する画像が前記視認性情報記憶部に記憶された顔に該当する画像に一致するかどうかを判定する視認性情報設定有無判定ステップと、
前記視認性情報設定有無判定ステップにおいて一致すると判定された場合、そのときの前記第２のカメラが撮影する画像の制御情報と、前記ライト点灯情報記憶部の対応する画像の制御情報との比較結果に応じて、画像を見やすくする第２処理を行なう視認性向上ステップと、を有することを特徴とする２台のカメラ付き携帯電子機器による視認性制御方法。
【請求項１】
一面に設けられた第１のカメラと、
前記第１のカメラが設けられた面の裏面に設けられた第２のカメラと、
前記第２のカメラが設けられた面に設けられたライト部と、
前記第１のカメラを制御する第１のカメラ制御部と、を有し、
前記第１のカメラ制御部は、
拡大鏡機能の起動に連動して、前記第１のカメラが撮影した画像から人の顔に該当する画像を検出する顔検出処理部と、
前記顔検出処理部が検出した顔に該当する画像とその画像の制御情報と顔の基準特徴データとを有する表情情報を記憶した表情情報記憶部と、
前記顔検出処理部が検出した顔に該当する画像が前記表情情報記憶部に記憶された顔に該当する画像に一致するかどうかを判定し、一致した場合に、前記表情情報記憶部の対応する顔の基準特徴データに対し、前記顔検出処理部が検出した顔に該当する画像の特徴データに変化があった場合に、前記第２のカメラが撮影する画像を見やすくする第１処理を行なう視認性情報設定部と、を有し、
前記画像を見やすくする第１処理に連動して、前記顔検出処理部が検出した顔に該当する画像と、その画像の制御情報とを有する視認性情報を視認性情報記憶部に記憶し、
前記第１のカメラ制御部は、
前記顔検出処理部が検出した顔に該当する画像が前記視認性情報記憶部に記憶された顔に該当する画像に一致するかどうかを判定する視認性情報設定有無判定部と、
前記視認性情報設定有無判定部により一致すると判定された場合、そのときの前記第２のカメラが撮影する画像の制御情報と、前記ライト点灯情報記憶部の対応する画像の制御情報との比較結果に応じて、画像を見やすくする第２処理を行なう視認性向上部と、をさらに有することを特徴とする拡大鏡機能が使用可能な２台のカメラ付き携帯電子機器。
【請求項２】
前記画像の制御情報とは、画像の明るさであり、
前記視認性情報設定部が行なう前記第２のカメラが撮影する画像を見やすくする第１処理とは、前記ライト部を点灯させるライト点灯処理であり、
該ライト点灯処理に連動して、前記顔検出処理部が検出した顔に該当する画像と、その画像の明るさとを有するライト点灯情報を視認性情報として前記視認性情報記憶部に記憶し、
前記第１のカメラ制御部の視認性情報設定有無判定部は、前記顔検出処理部が検出した顔に該当する画像が前記ライト点灯情報記憶部に記憶された顔に該当する画像に一致するかどうかを判定し、
前記視認性向上部は、前記視認性情報設定有無判定部により一致すると判定された場合、そのときの前記第２のカメラが撮影する画像の明るさが、前記ライト点灯情報記憶部の対応する画像の明るさより暗い場合に、ライト部を点灯する、ことを特徴とする請求項１記載の拡大鏡機能が使用可能な２台のカメラ付き携帯電子機器。
【請求項３】
前記画像の制御情報とは、画像の感度であり、
前記視認性情報設定部が行なう前記第２のカメラが撮影する画像を見やすくする第１処理とは、前記第２のカメラが撮影する画像の感度を上げる感度上げ処理であり、
該感度上げ処理に連動して、前記顔検出処理部が検出した顔に該当する画像と、その画像の感度とを有する感度上げ情報を視認性情報として前記視認性情報記憶部に記憶し、
前記第１のカメラ制御部の視認性情報設定有無判定部は、前記顔検出処理部が検出した顔に該当する画像が前記感度上げ情報記憶部に記憶された顔に該当する画像に一致するかどうかを判定し、
前記視認性向上部は、前記視認性情報設定有無判定部により一致すると判定された場合、そのときの前記第２のカメラが撮影する画像の感度が、前記感度上げ情報記憶部の対応する画像の感度より下がっていた場合に、そのときの画像の感度を上げる、ことを特徴とする請求項１記載の拡大鏡機能が使用可能な２台のカメラ付き携帯電子機器。
【請求項４】
一面に設けられた第１のカメラと、
前記第１のカメラが設けられた面の裏面に設けられた第２のカメラと、
前記第２のカメラが設けられた面に設けられたライト部と、
前記顔に該当する画像とその画像の制御情報と顔の基準特徴データとを有する表情情報を記憶した表情情報記憶部と、
前記第１のカメラを制御する第１のカメラ制御部と、を有する２台のカメラ付き携帯電子機器が拡大鏡機能実行時に実行する視認性制御方法において、
拡大鏡機能の起動に連動して、前記第１のカメラ制御部が、前記第１のカメラが撮影した画像から人の顔に該当する画像を検出する顔検出ステップと、
前記第１のカメラ制御部が、前記顔検出ステップで検出した顔に該当する画像が前記表情情報記憶部に記憶された顔に該当する画像に一致するかどうかを判定する判定ステップと、
前記第１のカメラ制御部が、前記判定ステップで一致すると判定された場合に、前記表情情報記憶部の対応する顔の基準特徴データに対し、前記顔検出ステップで検出した顔に該当する画像の特徴データに変化があった場合に、前記第２のカメラが撮影する画像を見やすくする第１処理を行なう視認性情報設定ステップと、
該視認性情報設定ステップにおいて、前記画像を見やすくする第１処理に連動して、前記顔検出処理部が検出した顔に該当する画像と、その画像の制御情報とを有する視認性情報を視認性情報記憶部に記憶するステップと、
前記顔検出処理部が検出した顔に該当する画像が前記視認性情報記憶部に記憶された顔に該当する画像に一致するかどうかを判定する視認性情報設定有無判定ステップと、
前記視認性情報設定有無判定ステップにおいて一致すると判定された場合、そのときの前記第２のカメラが撮影する画像の制御情報と、前記ライト点灯情報記憶部の対応する画像の制御情報との比較結果に応じて、画像を見やすくする第２処理を行なう視認性向上ステップと、を有することを特徴とする２台のカメラ付き携帯電子機器による視認性制御方法。
【図１】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−２１６９４９（Ｐ２０１２−２１６９４９Ａ）
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願番号】特願２０１１−８００４７（Ｐ２０１１−８００４７）
【出願日】平成２３年３月３１日（２０１１．３．３１）
【出願人】（０００２３７６３９）富士通フロンテック株式会社 (667)
【Ｆターム（参考）】
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願日】平成２３年３月３１日（２０１１．３．３１）
【出願人】（０００２３７６３９）富士通フロンテック株式会社 (667)
【Ｆターム（参考）】
[ Back to top ]