ガイド装置付きカメラおよびガイド付き撮影方法
【課題】 コミュニケーションをとる相手の使用言語が不明の場合であっても言語を判定することのできるガイド装置およびガイド方法を提供する。
【解決手段】 画像記録時に、時計情報や設定したキーワード情報等の関連情報を画像に関連付けを行なう。また表情等によりステップＳ４５において関連付けの候補を選択し、後述するステップＳ１７で選択したフレーズ等の言語情報の関連付けを行なう。次に、関連付けを行なう情報が言語情報か否かの判定を行なう（Ｓ７）。判定の結果、言語情報ではない場合には、スキップして次のステップＳ９に進み、言語情報の場合には、その言語を翻訳する（Ｓ８）。すなわち、被写体２０の使用言語でも関連付け情報が添付されるように翻訳を行なう。続いて、画像データの記録を行う（Ｓ９）。
【解決手段】 画像記録時に、時計情報や設定したキーワード情報等の関連情報を画像に関連付けを行なう。また表情等によりステップＳ４５において関連付けの候補を選択し、後述するステップＳ１７で選択したフレーズ等の言語情報の関連付けを行なう。次に、関連付けを行なう情報が言語情報か否かの判定を行なう（Ｓ７）。判定の結果、言語情報ではない場合には、スキップして次のステップＳ９に進み、言語情報の場合には、その言語を翻訳する（Ｓ８）。すなわち、被写体２０の使用言語でも関連付け情報が添付されるように翻訳を行なう。続いて、画像データの記録を行う（Ｓ９）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ガイド装置に関し、詳しくは、使用する言語が分からない相手に対しても適切な言語を選択してガイドを行なうことのできるガイド装置およびガイド方法に関する。
【背景技術】
【０００２】
近年、インターネットが普及し、世界中の人と簡単に即座に繋がるようになってきている。このように、インターネットを通じて、コミュニケーションできる環境になっているにもかかわらず、言葉の壁のために、インターナショナルな交流は困難である。しかし、文章でなく、画像であれば、言葉の壁を越えての交流を図りやすい。また、デジタル技術の普及によって、ネット上に画像をアップしやすくなっているので、この画像を利用することにより交流を深める可能性がある。
【０００３】
この意味で写真による画像の利用可能性は高いが、海外に行き、または海外から外国人が日本を訪れた際に、彼らとコミュニケーションをとり、また写真をとることは、やはり言語の壁があり簡単ではない。この言語の問題を解決するための翻訳等については、従来から種々提案がなされている。しかし、高性能の翻訳機が出現したとしても、言語の数は多く、複数の言語の中から、コミュニケーションの場で、対応する言語を選択しなければならない。
【０００４】
そこで、言語選択についても種々提案があり、例えば、特許文献１には、動画の記録時や再生時に言語認識を行ない、字幕スーパーを付すことのできる画像記録装置が開示されている。この画像記録装置においては、言語認識が自動設定の場合にはＵＩ言語（メニュー画面や各種設定画面での設定に使用する言語）で音声認識を行なうようにしている。
【特許文献１】特開２００６−３０８７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示の画像記録装置においては、音声自動認識はＵＩ言語として設定された１つの言語に限られる。コミュニケーションを取りたい相手の言語が不明の場合には、言語認識を行うことができない。また、特許文献１に開示の画像記録装置においては、手動で言語の選択を行なうことができるが、これではユーザーにモード設定に操作を強いるので、余計な操作が必要となり、音声機能等を利用したコミュニケーションは困難であった。
【０００６】
本願発明は、コミュニケーションをとる相手の表情に応じてメッセージを変えることのできるガイド装置付きカメラおよびガイド方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため第１の発明に係わるガイド装置付きカメラは、複数の言語情報を含むガイド情報を順次表示する表示部と、上記ガイド情報を観察する対象人物の表情をモニタする撮像部と、上記撮像部によってモニタされた対象人物の表情を判定する表情判定部と、上記ガイド情報の表示中に、上記表情判定部によって判定された上記対象人物の表情に応じて、上記撮像部で撮像される画像に関連づける情報を翻訳して、該画像と共に記録する記録部と、を具備することを特徴とする。
【０００８】
第２の発明に係わるガイド装置付きカメラは、上記第１の発明において、上記表示部が、視覚的または聴覚的に表示を行うことを特徴とする。
【０００９】
第３の発明に係わるガイド装置付きカメラは、上記記録部が、上記ガイド情報の表示中に、上記表情判定部によって判定された上記対象人物の表情に応じて、上記撮像部で撮像される画像に翻訳情報を関連付けることを特徴とする。
【００１０】
第４の発明に係わるガイド装置付きカメラは、上記関連付ける情報が、時計情報や設定したキーワード、または、選択したフレーズであることを特徴とする。
【００１１】
第５の発明に係わるガイド装置付きカメラは、上記表示制御部が、上記表情判定部による判定結果に応じて、上記撮影に先立って掛け声を発する音声発声部からなることを特徴とする。
【００１２】
第６の発明に係わるガイド装置付きカメラは、上記表情判定部は、笑顔度または肯定度を判定して行うことを特徴とする。
【００１３】
第７の発明に係わるガイド付き撮影方法は、複数の言語情報を含むガイド情報を順次表示し、上記ガイド情報を観察する対象人物の表情をモニタし、上記撮像部によってモニタされた対象人物の表情を判定し、上記ガイド情報の表示中に、上記表情判定部によって判定された上記対象人物の表情に応じて、上記撮像部で撮像される画像に関連づける情報を翻訳して、該画像と共に記録することを具備することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、コミュニケーションをとる相手の表情に応じてメッセージを変えることのできるガイド装置およびガイド方法を提供することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態に係わるカメラとその周辺のブロック図である。
【図２】本発明の一実施形態に係わるカメラの使用方法を示す図であり、（ａ）は被写体（相手方）の使用言語を判定する場面であり、（ｂ）は使用言語決定後に、撮影にあたっての掛け声を発生している場面の図である。
【図３】本発明の一実施形態に係るカメラの撮影方法を示す図であり、（ａ）は一緒撮影モードを示し、（ｂ）モデル撮影モードを示す。
【図４】本発明の一実施形態に係るカメラの外観を示す図であり、（ａ）は撮影時のスルー画もしくは再生画像時の表示を示している外観図であり、（ｂ）は関連するフレーズを併せて表示する状態の外観図である。
【図５】本発明の一実施形態に係るカメラの撮影レンズ２を透過する被写体像と撮像素子３の撮像面との関係を示す図である。
【図６】本発明の一実施形態において、被写体の笑顔と困った顔を比較する図であり、（ａ）は笑顔を示し、（ｂ）は困った顔を示す。
【図７】本発明の一実施形態に係るカメラにおける笑顔度を測定するためのフローチャートである。
【図８】本発明の一実施形態において、被写体が頷くときと否定するときの顔を比較する図であり、（ａ）は顔の正面図であり、（ｂ）は頷くときの顔であり、（ｃ）は否定するときの顔である。
【図９】本発明の一実施形態に係るカメラにおける肯定度を測定するためのフローチャートである。
【図１０】本発明の一実施形態において、言語を推定するときの各言語に対する笑顔度および肯定度の一例を示すグラフである。
【図１１】本発明の一実施形態に係るカメラにおけるカメラの制御動作を示すためのフローチャートである。
【図１２】本発明の一実施形態に係るカメラにおけるカメラの制御動作を示すためのフローチャートである。
【図１３】本発明の一実施形態に係るサーバーにおける画像管理の動作を示すためのフローチャートである。
【図１４】本発明の一実施形態に係るカメラの撮影レンズの変形例を示す断面図であり、（ａ）は複眼レンズとプリズムの組み合わせであり、（ｂ）は複眼レンズとプリズムの組み合わせであり、（ｃ）は凸面反射鏡を利用した変形例である。
【発明を実施するための形態】
【００１６】
以下、図面に従って本発明のガイド装置を適用したカメラを用いて好ましい実施形態について説明する。本実施形態においては、撮影に先立って、「日本語にしますか」「英語にしますか」・・と相手に言語を選んでもらう時の相手の表情に従って言語を決定するようにしている。そして決められた言語による案内を用いて、カメラ撮影を行なうことができるようにしている。これによって言葉が通じない外国の方と写真を通じてコミュニケーションすることができる。また、相手に余計な操作を強いることなく、一緒に撮影を行ったり、撮影画像にカメラ所有者の言語と相手の言語でコメントを付与し、両者が撮影された画像をネット上で検索できるようにしている。
【００１７】
図１は、本発明の一実施形態に係わるデジタルカメラとその周辺のブロック図である。このカメラ１００は平板型（図２参照）をしており、平板上に、魚眼レンズ等の広角レンズからなる撮影レンズ２を設け、広い範囲の撮影を可能としている。これは、撮影者自身をも撮影可能とするためである。ユーザーが使用するカメラ１００には、撮影レンズ２、ＡＦ（オートフォーカス）制御部２ａ、絞り２ｂ、絞り制御部２ｃ、撮像素子３、アナログフロントエンド（以下、ＡＦＥと略す）部４が設けられている。撮影レンズ２は、内部にフォーカスレンズを有し、入射した被写体２０の像を撮像素子３上に結像させる。
【００１８】
ＡＦ制御部２ａは、撮影レンズ２の合焦位置を、後述する画像処理部５内において画像処理を行い、いわゆる山登り法により検出し、フォーカスレンズを駆動して、合焦位置に移動させる。なお、山登り法は、撮影画像のコントラスト信号ピークから合焦位置（ピント位置）を検出する方式であるが、山登り法以外にも、例えば位相差法や三角測距法等公知の合焦方法に置き換えてもよい。ＡＦによって合焦位置に達すると、このときの撮影レンズ２を検出することにより、距離判定を行うことができる。この場合、撮影レンズ２がズームレンズのときには、ズーム位置等を加味して距離の判定を行う。
【００１９】
撮影レンズ２内または近傍に、シャッタや絞りの効果を奏する絞り２ｂが設けられる。絞り２ｂは、撮影時に所定の口径まで開き、露出が終了すると閉じて露光を終了させるものである。絞り制御部２ｃは、絞り２ｂを駆動して絞り径を設定する。この絞りを変えることによって、レンズの被写界深度が変化するので、背景のぼけ具合などを調整して、被写体を浮かび上がらせたり、背景をしっかりと描写したりするなど、表現の切り替えを行うことができる。撮像素子３は、多数の受光面（画素）からなるＣＣＤやＣＭＯＳセンサ等であり、撮影レンズ２を介して被写体２０からの像を受光しこれを画像信号に変換する。
【００２０】
アナログフロントエンド（ＡＦＥ）部４は、アナログデジタル（ＡＤ）変換手段を含み、撮像素子３からの信号をデジタル信号化する。そして、ＡＦＥ部４は、撮像素子３から出力される画像信号について各種処理を行う。また、ＡＦＥ部４には、撮像素子３のいくつかの画素をまとめて、一括して読み出す機能も設けられている。たとえば、４画素（２×２）や９画素（３×３）など、各画素の信号レベルが小さいときには、いくつかの画素信号を加算して、Ｓ／Ｎを向上させることができ、また、感度を上げることも出来る。
【００２１】
このような操作によって感度を上げることができ、シャッタスピードを速くする等、撮影上の工夫が可能となる。シャッタスピードが速いと、動いている被写体が止まっているように撮影することが可能となる。
【００２２】
また、ＡＦＥ部４は、撮像素子３の出力する信号を取捨選択する機能を有し、受光範囲の中から限られた範囲の画像データを抽出することが出来る。一般に撮像素子３の画素から間引いた画素信号を抽出する場合には、高速読出が可能となる。これにより構図確認用の画像信号を、画像処理部５によって高速処理し、表示制御部８ａを介して表示パネル８に表示することにより、フレーミングが可能となる。
【００２３】
ＡＦＥ部４の出力は、画像処理部５に接続されている。画像処理部５は、入力信号の色や階調やシャープネスを補正処理する。また、撮像素子３から得られた画像信号を所定のレベルに増幅して、正しい濃淡、正しい灰色レベルに設定する増感部を有している。これは、デジタル化された信号レベルが、所定レベルになるようにデジタル演算するものである。また、画像処理部５は、スルー画像（ライブ画像とも言う）をリアルタイムに表示部に表示できるように、撮像素子３からの信号を表示パネル８に表示できるようなサイズに加工するリサイズ部を有する。この働きによって、撮影に先立って撮像素子に入射する像を確認でき、これを見ながら撮影時のタイミングやシャッタチャンスを決定することが出来る。
【００２４】
また、この画像処理部５の信号を利用して、撮像素子３から入力されてくる画像の特徴などを判定する画像判定機能を有している。例えば、画像情報を加工して得られる輪郭情報から、撮像しているものの形状を検出する形状判定部５ａ、また、画像の特徴を調べて、主要被写体の位置を検出する顔検出手段５ｄなどが、このシステムには含まれている。これは、写真撮影時に、ユーザーがどのような写真を撮ろうとしているかを判定して、撮影制御を最適化するためのものである。
【００２５】
また、画像処理部５は、前述した画像のコントラストを判定する機能を有し、撮影レンズのピント合わせ手段との連動で、オートフォーカスの制御を行う。撮影レンズ２のピント合わせ時のレンズ位置の情報によって、被写体の距離や、背景の距離などが判定できる。
【００２６】
この撮影レンズ２は、魚眼レンズのような広角レンズであるので、図５に示すように、円形で示す広い領域の映像範囲５１に被写体像が結像し、撮影可能である。しかし、周辺部の撮影記録範囲５２の画像は、図示の如く扇型の大きな歪みを生じてしまう。そこで、画像処理部５内の歪み補正部５ｂにおいて、図示の如く歪のない矩形画像５３に補正する。本実施形態においては、撮影レンズ２で撮影し得る画像のすべてを記録するのではなく、このように、一部の画像（撮影記録範囲５２の画像）を取り出して記録し、他の画像部分は、別の操作時に利用している。また、この撮像結果を利用して、後述するように、顔の表情なども読み取る。なお、撮影レンズ２に代えて、後述する図１４に示すような複数のレンズやプリズムを利用して、広い範囲を撮影可能としてもよい。
【００２７】
また、画像処理部５には、撮像素子３によって得られた顔画像から、顔の表情を判定する表情判定部５ｃが接続されている。表情判定部５ｃによって、撮影以外の状況判定や被写体の意思までを判定することができる。すなわち、カメラ１００は、後述するように、多言語辞書のデータベース部１２を有しており、これから所定の会話フレーズを読み出して音声発生部１４で音声として順次、言語を変えながら出力したり、表示部８に順次表示したりして、それを見たときの顔の表情変化によって、どの言語が一番、通じる言葉であるかを判定できる。この言語の選択は、表情判定部５ｃの出力を用いて行なっている。また、言語情報を利用して、画像の適切な整理を行なえるようにしている。すなわち、撮影された人が外国の人である場合、日本語での画像検索は困難なので、撮影された人の使う言語で画像の整理を可能としている。
【００２８】
カメラ１００には、圧縮部６、記録部９ａ、記録メディア９、データ送受信部９ｃ、表示パネル８、表示制御部８ａ、辞書／カメラ表示切替部８ｂ、バックライト（ＢＬ）８ｃ、バックライト（ＢＬ）制御部８ｄ、多言語辞書部１２が設けられている。圧縮部６は、撮影時に画像処理部５から出力された信号を圧縮する。圧縮部６内には、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）４やＨ．２６４などの圧縮用コア部で構成される動画用の圧縮部及び ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）コア部など静止画像用の圧縮部が設けられる。また、圧縮部６は記録メディア９に記録されている画像を表示パネル８に再生する際には、画像伸張も行なう。
【００２９】
記録部９ａは、圧縮された画像信号を記録メディア９に記録する。記録メディア９はカメラに着脱可能な保存用の記録媒体である。なお、画像信号の記録にあたっては、前述の圧縮された画像データのほか、撮影時間等の付随データも併せて記録される。撮影時間情報は、後述するＭＰＵ１内の時計部１ｔによって計測されており、ＭＰＵ１は画像と関連付を行なう。
【００３０】
記録メディア９や記録部９aに記録された撮影画像データは、ＲＦＩＤのようなＩＣカードやワイヤレスＬＡＮなどの技術を利用した無線データ送受信部９ｃによって、インターネット３２経由で、他の機器、例えば、画像を管理するサーバー３４等の他の機器に転送することができる。サーバー３４に送信した画像は、第三者３１にすぐ見せることができ、画像を見ながらのコミュニケーションの促進が可能となっている。また、このインターネット３２には、翻訳サービスを行なう翻訳サービスサーバー３３が接続されている。
【００３１】
表示パネル８は、例えば液晶や有機ＥＬ等から構成され、この表示パネル８の裏面には白色ＬＥＤなどのバックライト８ｃが配置されており、このバックライト８ｃはバックライト（ＢＬ）制御部８ｄに接続され、これによって制御される。バックライト８ｃからの光を表示パネル８に照射することにより、表示パネル８の視認性を向上することができ、また、見えが悪い場合には、ユーザーの操作によりＢＬ制御部８ｄは明るさを増すように制御する。
【００３２】
また、後述するＭＰＵ１には多言語辞書のデータベース部１２が接続されており、この多言語辞書データベース１２は、旅行の際によく用いられる所定の会話フレーズ等を多言語に対応して記憶している。この多言語による会話フレーズ等は、表示パネル８に表示される。このため表示制御部８ａ内には、辞書／カメラ表示切替部８ｂが設けられている。この辞書／カメラ表示切替部８ｂは、後述するように各種設定状態に応じて、液晶パネル８における辞書表示とカメラ表示の切り替えを行なう。
【００３３】
したがって、表示パネル８は、撮影時には被写体観察用に被写体画像を表示し、再生時には伸張処理された撮影画像を表示し、また、辞書表示時には会話フレーズ等を表示する。なお、表示パネル８には、撮影して送信済み画像を一覧表示して、そこからサーバー３４が運営するブログサービスなどにアップする画像や、アップして、ブログに表示する時のレイアウトを選択できるようにしてもよい。
【００３４】
カメラ１００には、補助光発光部１１、ＭＰＵ（Micro Processing Unit）１、レリーズスイッチ１ａ（なお、１ａはレリーズ釦を意味することもある）、モード切替スイッチ１ｂ、他のスイッチ１ｃが設けられている。
【００３５】
補助光発光部１１は、白色ＬＥＤやＸｅ放電発光管を有し、電流量で光量が制御できるようになっている。状況に応じて被写体２０に光を照射して、明るさの不足や不均一な明るさを防止する。また、この補助光は、後述するように、被写体以外に対しても照明を行ない、モード切替の際の判定に使用する。また、ＭＰＵ１には、音声発生部１４が設けられており、多言語辞書データベース１２から読み出された会話フレーズに従って音声を発生するためのスピーカーが接続されている。
【００３６】
ＭＰＵ１は、カメラ全体の制御を司る制御手段である。レリーズスイッチ１ａ、モード切替スイッチ１ｂ、他のスイッチ１ｃおよびプログラム等を記憶したＲＯＭ(不図示)が、ＭＰＵ１に接続される。ＭＰＵ１内には、前述したように、日や時刻を検出するための時計部１ｔが設けられており、写真の撮影日時を検出し、撮影画像と関連付けを行う。なお、スイッチ１ｂ、１ｃは、スイッチを総称的に表示したものであって、実際には多数のスイッチ群から構成されている。
【００３７】
各スイッチ１ａ〜１ｃは、ユーザーの操作を検出して、その結果をマイクロコントローラからなる演算制御手段であるＭＰＵ１に通知する。ＭＰＵ１が、これらのスイッチの操作に従って動作を切り換える。これらのスイッチの操作に従って、撮影／再生のモード切替や撮影モードの切替、画像送信の設定、キーワード選択、会話フレーズ選択なども行えるようになっている。また、ＭＰＵ１は撮影時には、ＡＦ制御部２ａや絞り制御部２ｃ等の制御を行う撮影制御部として機能する。また、画像の再生機能、辞書機能等の各種機能の切り替えを行う。
【００３８】
次に、図２ないし図４を用いて、カメラ１００の外観構造と使用方法について説明する。まず、このカメラ１００の外観は、図３および図４の示すように、本体部１０の上面に、魚眼レンズで構成される撮影レンズ２と、表示用の表示パネル８と、レリーズボタン１ａが設けられている。また、本体部１０には、言語名や会話フレーズ等を音声合成で再生するスピーカー等からなる音声発生部１４が設けられている。本体部１０の側部側には、補助光発光部１１が設けられている。
【００３９】
撮影レンズ２は、図３（ａ）（ｂ）に示すように、表示パネル８の面に対して、ほぼ垂直方向が光軸となるように、カメラ１００の本体部１０に取り付けられている。この撮影レンズ２に対して、矢印１６はユーザー２１と本実施形態に係わるガイド装置によってコミュニケーションをとる被写体２０（相手方）の両者を一緒にとるときの撮影方向である。また、矢印１７は、被写体（相手方）２０をモデルとして撮影する場合の撮影方向である。また、矢印２３、２４は、表示パネル８のバックライト８ｃによるユーザー２１および相手方２０への照射光の方向を示している。矢印２５（図３（ｂ））は、補助発光部１１による照射方向を示している。
【００４０】
撮影レンズ２は魚眼レンズのような広角レンズによって構成されているので、撮影レンズ２によって、図５に示す映像範囲５１に相当する画像が結像される。この映像範囲に対して、撮像素子３は撮像範囲５４の画像について光電変換できる。撮影記録範囲５２は、前述したように光学的に歪んでいるが、画像処理部５内の歪み補正部によって矩形５３に補正される。また、撮影レンズ２に対して、モデルとしての被写体２０の撮影方向が矢印２５の場合には、モデル撮影範囲５６で画像が形成される。補助光発光部１１と表示パネル８のバックライト８ｃによる補助光範囲５５は、撮影記録範囲５２とモデル撮影範囲５６をカバーする領域である。
【００４１】
本実施形態においては、撮影レンズ２によって映像範囲５１の画像が得られるが、撮影に当たっては、画像の一部しか使わない。すなわち、ユーザー２１と被写体（相手方）２０が一緒に撮影する場合には、撮影記録範囲５２の画像を使用する。また、被写体（相手方）２０を撮影する場合には、モデル撮影範囲５６の画像を使用する。したがって、補助光の照射範囲は、撮影記録範囲５２＋α、またはモデル撮影範囲５６＋αの領域を照射できればよい。後述するように、図２のように、カメラ１００の近くにユーザー２１および被写体（相手方）２０が存在する場合には、表示パネル８のバックライト８ｃの光を利用すればよい。
【００４２】
このようなガイド装置を有するカメラ１００において、会話フレーズを使用する辞書モードとカメラモードを切り替える方法について説明する。図２は撮影に先立って、カメラ１００を利用してユーザー２１が、被写体２０とコミュニケーションを取っているところを示している。ユーザー２１のカメラ操作によって、音声発生部１４からは、順次、世界各国の代表的な言語で、「この言葉でいいですか」という内容の音声を再生する。撮影レンズ２は前述したように魚眼レンズ等の広角レンズで、モニタ範囲２２の像を捉えることができる。そして、この時の被写体の人物の表情は、撮影レンズ２を通して撮像素子３の撮像記録範囲５２から画像信号に基づいてモニタされている。なお、音声発生部１４から音声の代わりに、または音声と共に表示パネル８に、おなじ言葉を順次表示するようにしてもよい。
【００４３】
このように表情をモニタしていると、被写体（相手方）２０が分かる言語の再生時には、被写体２０の表情が変わる。この表情の変化を認識し、変化したときの言語が、その被写体２０が使用する使用言語であると判定する。使用言語が分かると、その使用言語を用いて、図２（ｂ）に示すように、撮影してよいかどうかの質問を行なうことができる。これによって、撮影の許可を得ることが出来る。
【００４４】
コミュニケーションをとるにあたっては、表情の変化だけでなく、仕草の変化等を検出するようにしてもよい。また、マイクを設け、被写体２０の返答の調子やタイミング等を補助的に用いて、被写体２０が使用している言語を推定するようにしてもよい。
【００４５】
図３（ａ）は、図２の状態からそのまま、一緒に撮影する場合を示している。なお、カメラ１００は側面方向から見た断面図として表示し、各機能の配置を分かりやすく示している。表示パネル８には、撮像結果を表示し（図４（ａ）参照）、表示パネル８を観察しながら、表情を決めて撮影を行う（「一緒撮影」と称す）。構図と表情がよければ、レリーズ釦１ａを操作し、撮影を行う。
【００４６】
周囲が暗い場合には、表示パネル８のバックライト８ｃを利用して、被写体２０を照明するようにしてもよい。照明を行なう時には、撮影のタイミングで表示パネル８の液晶を透過状態にすればよい。また、図２の状態で、そのままの位置で一緒撮影を行わずに、被写体２０を一人で撮影する場合には、図３（ｂ）に示すように、撮影レンズ２の広角レンズを利用し、異なる撮影方向１７からの像を表示パネル８に表示し、撮影するようにしてもよい。これを「モデル撮影」と称する。
【００４７】
このような広角レンズの撮影レンズ２から得られる画像における、一緒記録の範囲とモデル撮影の範囲は、前述したように、それぞれ撮影記録範囲５２とモデル撮影範囲５６である。広角レンズを使用することから取得画像は、かなり歪みの目立つものである。このため、矩形画像５３となるように、画像処理部５の歪み補正部５ｂによって画像の上の部分は縮めるような補正を行い、通常の写真のように四方形の画像に変換してから表示し、また記録メディア９等に記録を行う。
【００４８】
一緒記録の場合には、扇形の部分（撮影記録範囲５２）のみを切り出して使うので、撮像素子３は、点線の四方形の撮像範囲５４のみをカバーすればよい。また、補助光範囲５５も点線の楕円で示した領域をカバーすればよく、広角の全域をカバーする必要はない。
【００４９】
こうして撮影された画像には、キーワードをつけて整理するようにしておく。キーワード付けにあたっては、図４（ｂ）に示すように、表示パネル８に符号２３で示すように、撮影者（ユーザー）２１の国の言葉で決めたキーワードと、被写体２０の国の言葉に訳したもの（翻訳時には、先に判定した、被写体の使う言葉の判定結果を利用する）を表示する。これによって、被写体にとっても検索しやすいキーワードとなり、この撮影を行った後、別れてからも、インターネットで各自の日常語にて検索することが可能となり、簡単にこの画像を探すことができる。
【００５０】
図２において、被写体２０の表情の変化によって、いずれの言語を理解しているかを判定していた。この表情の変化の判定方法について図６を用いて、表情を数値Ｒに数値化する方法について説明する。図６は、言葉が理解できたときに、人が表す笑顔（ａ）と、理解できないときの困った顔（ｂ）を比較したものであり、両者を比較すると、眼と口元に特徴があることが分かる。
【００５１】
すなわち、眼を比較すると、両目の瞳の中心を結んだ線６１の上側に白目が多いと、笑顔に近いことが分かる。また、口元も、同様な考え方で判定できる。つまり、口の両端を結んだ線６２より、下側にある唇部の面積が広いと、笑顔の度合いも大きくなる。
【００５２】
図６で示した判定方法を利用して笑顔度Ｒを求める方法について、図７に示すフローチャートに基づいて説明する。まず、目部と口部の検出を行なう（Ｓ１５１）。これは、撮像素子３の出力に基づいて、顔検出部５ｄによって顔を検出し、その検出された顔の中から眼と、口の部分をパターン認識により抽出する。
【００５３】
続いて、ステップＳ１５２からＳ１５４において、眼の白目の面積から笑顔度を検出する。まず、両目の瞳を結ぶ線６１より上側の白目の面積を測定し、この値をＥＡとする（Ｓ１５２）。同様に、線６１より下側の白目の面積を測定し、この値をＥＢとする（Ｓ１５３）。次に、こうして得たＥＡ、ＥＢの差を、これらの和で正規化して、すなわち、（ＥＡ−ＥＢ）／（ＥＡ＋ＥＢ）を求め、数値ＲＥを得る（Ｓ１５４）。数値ＲＥは大きいほうが、笑顔度が高いと判定される。
【００５４】
次に、ステップＳ１５５からＳ１５７において、唇の面積から笑顔度を検出する。まず、口の両端を結ぶ線６２より上側の唇の面積を測定し、この値をＬＡとする（Ｓ１５５）。同様に、線６２より下側の唇の面積を測定し、この値をＬＢとする（Ｓ１５６）。こうして得たＬＡ、ＬＢの差を、これらの和で正規化して、すなわち、（ＬＢ−ＬＡ）／（ＬＡ＋ＬＢ）を求め、数値ＲＬを得る（Ｓ１５７）。数値ＲＬは大きいほうが、笑顔度が高いと判定される。
【００５５】
続いて、ステップＳ１５４とＳ１５７で得た値ＲＥとＲＬを加算して笑顔度Ｒを求める（Ｓ１５８）。値Ｒが大きいほど笑顔に近いことになる。さらに、笑顔度の判定の精度を高めるために、図６（ａ）の矢印６４付近の状態を判定する（Ｓ１５９）。すなわち、口の端部に影があり、歯が見えていれば、笑顔の確率が高いので、それを判定する。判定の結果、歯が見えており、かつ口端部に影があれば、笑顔度Ｒに１点、加算する（Ｓ１６０）。
【００５６】
ただし、眉間にしわがあると笑顔とは言えないので、ステップＳ１６１で判定する。すなわち、図６（ｂ）の矢印６５付近において眼の間の皺があるか否かの判定を行なう（Ｓ１６１）。判定の結果、眉間の間に皺を検出した場合は、笑顔度Ｒから１点、減点する（Ｓ１６２）。このように笑顔に近いほど高得点になる数値化（Ｒ）が可能となる。
なお、本実施形態においては、両目の瞳の中心を結んだ線より上側に白目が多いか否かで笑顔度を求めたが、これに限らず、上瞼の傾き等によって求めるようにしてもよい。すなわち、図６において、瞼の幅ＥＨに対し、瞼の一番高いところの位置ＥＴを求め、これの比、ＥＴ／ＥＨによっても笑顔度を求めることができる。ＥＴ／ＥＨが大きくなると笑顔に近くなり、また、この比が小さくなり、上瞼の傾きが大きくなると笑顔から遠ざかる傾向にある。
【００５７】
本実施形態においては、表情を数値化したので、常時、顔をモニタし、その表情の数値を記録しておき、理解できない言葉から、理解できる言葉になった時に表情が変化すると、笑顔度Ｒの値が大きくなったり、大きく変化するので、これを判定して、日常使用言語の判断を行うようにしている。
【００５８】
本実施形態においては、表情の変化の検出のために、笑顔度Ｒを測定しているが、これの変形例である肯定度Ａについて図８および図９を用いて説明する。肯定度Ａは、笑顔度Ｒに代えて、または笑顔度Ｒと一緒に用いることができる。図８は、顔が正面を向いているときと（図８（ａ））、下を向いたとき（図８（ｂ））、横を向いたとき（図８（ｃ））の様子を示す。すなわち、理解できる言葉を聴いたときには頷く（肯定）ので、図８（ｂ）に示すように、目の中心部からΔＹだけ、顔は下向きに動く。一方、理解できない言葉を聴いたときには、顔を振る（否定）ので、図８（ｃ）に示すように、目の中心部からΔＸだけ、顔は横を向く。このように、目の中心の移動を見て、肯定か否定かを判定することができる。
【００５９】
図９は、顔の中心が所定期間に横に動いた（否定方向）か、縦に動いた（肯定方向）かを検出し、被写体（相手方）２０の応答を判定するフローチャートである。顔が横に動いた回数、または頻度と縦に動いた回数、または頻度で、肯定の動きの方が目立つときは、肯定度Ａの値が大きくなるように設定してある。
【００６０】
図８で示した判定方法を利用して肯定度Ａを求める方法について、図９に示すフローチャートに基づいて説明する。まず、撮像素子３の出力から顔の像を検出し、所定のタイミングでスタートする（Ｓ２５１）。続いて、目部の中心座標６６を測定する（Ｓ２５２）。この後、所定時間経過するのを待つ（Ｓ２５３）。この所定時間は、顔の頷きや横向きの変化を検出するにあたってのサンプリング時間である。
【００６１】
所定時間が経過すると、再び目部の中心座標６６を測定する（Ｓ２５４）。所定時間を挟んで、２つのタイミングで目部の中心座標６６を測定したので、この２つのタイミングの間での目部中心座標のＹ方向の変化を求め、ΔＹとする（Ｓ２５５）。次に、目部中心座標のＸ方向の変化を求め、ΔＸとする（Ｓ２５６）。
【００６２】
次に、ΔＹが所定値より小さく、ΔＸが所定値より大きいか否かの判定を行なう（Ｓ２５７）。判定の結果、この判定条件を満たしている場合には、顔を横に振っている状態であるので、肯定度Ａの値を下げるべく、肯定度Ａから１点減点する（Ｓ２５８）。続いて、ΔＹが所定値より大きく、ΔＸが所定値より小さいか否かの判定を行なう（Ｓ２５９）。判定の結果、この判定条件を満たしている場合には、頷いている状態であるので、肯定度Ａの値を上げるべく、肯定度Ａに１点加点する（Ｓ２６０）。
【００６３】
上述の判定が終わると、次に、検出タイミングの終了かを判定する（Ｓ２６０）。すなわち、この肯定度Ａの測定は、所定の時間間隔で複数回繰り返し行うので、ステップＳ２６０において、この回数に達したかの判定を行なう。達していない場合には、ステップＳ２５３に戻り、繰り返し行なう。
【００６４】
笑顔度Ｒおよび肯定度Ａの測定は、図１０に示すように、言語を切り換えながら、顔の動きをモニタして行なう。図１０に示す例では、言語Ｃのときが笑顔度Ｒおよび肯定度Ａの値が最も高いことから、この被写体２０の使用言語は言語Ｃだと判断することができる。
【００６５】
次に、カメラ１００の制御について、図１１および図１２を用いて説明する。撮影に先立って、言語選択モード（電子辞書モード）とカメラモードの切替設定ができるようになっており、設定モードの判定を行なう（Ｓ１）。判定の結果、言語選択モードが設定されていた場合には、ステップＳ２１以下において、図２において説明したようにコミュニケーションをとりながら、言語選択を行なう。
【００６６】
言語選択モードに入ると、まず、被写体２０に対して撮影許可を得るか否かの判定を行なう（Ｓ２１）。この撮影許可は、前述したモデル撮影または一緒撮影（図３参照）の許可である。カメラ１００のスイッチ類の操作により、撮影許可を得るための設定モードに切り換えるので、このステップでは、撮影許可のための設定となっているか否かの判定を行なう。
【００６７】
ステップＳ２１における判定の結果、撮影許可を得る場合には、次に表情モニタを開始すし（Ｓ２２）、多言語による質問を、順次、言語を変えながら再生する（Ｓ２３）。質問は音声発生部１４のスピーカーによる音声再生、または表示パネル８に文字表示によって行なう。また、このときには、図７に示した笑顔度Ｒを求めるフローを行なう。また、これに代えて、または一緒に図９に示した肯定度Ａを求めるフローを行なってもよい。
【００６８】
次に、全ての言語について再生が終了したかを判定する（Ｓ２４）。判定の結果、終了していない場合には、ステップＳ２３に戻り、次の言語で再生を行なう。一方、判定の結果、終了の場合には、表情より言語の判定を行なう（Ｓ２５）。判定は、図１３に示したように、各言語ごとの笑顔度Ｒや肯定度Ａを比較し、最も笑顔度Ｒや肯定度Ａの高い言語を被写体２０の使用言語と推定する。
【００６９】
次に、推定した対応言語の確認を行なう（Ｓ２６）。確認は、音声発生部１４から、対応言語で確認の旨を音声表示し、また表示パネル８において対応言語の確認メッセージを表示することにより行なう。続いて、この対応言語の音声表示または視覚表示に対してＯＫか否かを判定する（Ｓ２７）。判定の結果、ＮＧの場合には、ステップＳ２３に戻り、適切な対応言語が見つかるまで、前述のステップを繰り返す。
【００７０】
ステップＳ２７における判定がＯＫであった場合には、次に、撮影をして良いかの確認、または依頼を行なうが、これは、そのときの被写体２０の表情によって対応をかえる。まず、その時の被写体２０となる人物の表情が笑顔であるか否かを判定する（Ｓ２８）。判定の結果、笑顔度Ｒが高い場合には、ステップＳ２６で確認した対応言語でもって、図３（ｂ）に示したようなモデル撮影の依頼を行なう（Ｓ３１）。一方、判定の結果、笑顔度Ｒが低い場合には、対応言語でもって図３（ａ）に示したような一緒撮影の依頼を行なう（Ｓ３２）。なお、ステップＳ３１およびＳ３２における依頼は、音声でも文字表示でも、いずれでもよい。
【００７１】
このように笑顔度Ｒで対応を変えているのは、モデル撮影の場合には被写体一人を撮影することから心理的に拒否され易いのに対して、一緒撮影は、図２に示したようにユーザー２１と被写体２０は一緒の体勢にあることから受け入れ易いと思われるからである。
【００７２】
ステップＳ２８〜Ｓ３２におけるような切替だけでなく、表情によって、笑顔なら説明なしだが、厳しい表情なら撮影したい理由を説明するなどの切替を行ってもよい。この理由は、一般的な、「ここに来た記念として」、「あとで送るから」といった一般的なものでもよく、また被写体２０の表情を判定して、「誰それに似ているから」とか、空の青さを判定して、「いいお天気だから」のように、画像を考慮して依頼の表示を変更するようにしてもよい。
【００７３】
ステップＳ３１またはＳ３２における撮影依頼が終わると、次に、関連付けフレーズの候補化を行なう（Ｓ４５）。これは、後日、撮影した画像を検索するときに画像に関連してフレーズが添付されていると、検索し易いことから、このためのフレーズの候補を抽出し、記憶しておく。このステップが終わると、前述のステップＳ１に戻る。
【００７４】
ステップＳ２１における判定の結果、撮影許可を得る場合ではないときには、次に、フレーズの選択を行なう（Ｓ４１）。このカメラ１００はコミュニケーション手段としても使用でき、ユーザー２１が被写体２０とコミュニケーションを図るに必要なフレーズが予め多言語辞書データベース１２に記憶されている。そこで、ユーザー２１は、ユーザー２１の使用言語でデータベース１２の中に記憶されているフレーズを選択する。
【００７５】
次に、対応言語情報が有るか否かの判定を行なう（Ｓ４２）。このステップを実行する前にステップＳ２１からステップＳ２７を実行し、被写体（相手方）２０の使用言語を特定している場合には、対応言語の情報があり、一方、このような使用言語の判定を行なっていない場合には、対応言語の情報がないことになる。
【００７６】
ステップＳ４２における判定の結果、対応言語情報が有る場合には、次に、ステップＳ４１で選択されたフレーズについて対応言語に翻訳を行なう（Ｓ４３）。翻訳結果は音声発生部１４のスピーカーから音声で表示してもよいし、また表示パネル８に文字情報として視覚的に表示してもよい。一方、判定の結果、対応言語情報がない場合には、各国語の一覧表示を行なう（Ｓ４４）。すなわち、多言語辞書データベース１２に記憶されている言語の一覧表を表示し、対応言語を選択してもらう（Ｓ４４）。対応言語が選択されれば、ステップＳ４１において選択されたフレーズについて、音声または視覚で表示を行なう。
【００７７】
このようにして、ユーザー２１と被写体（相手方）２０とのコミュニケーションが可能となる。相手の答が、Ｙｅｓ、Ｎｏで答えられるような質問にすれば、ある程度の意思疎通が可能となる。ここで、Ｙｅｓ、Ｎｏの判定も、画像で行ってもよい。また、マイクを接続し、音声認識によって翻訳を可能とするようにしてもよい。
【００７８】
ステップＳ４３またＳ４４の処理が終わると、次に、前述したように関連付けフレーズの候補化を行なう（Ｓ４５）。コミュニケーション時のフレーズや言語情報は、撮影した画像を検索するときに有効利用できるので、関連付けフレーズの候補として記録しておく。この結果に基づいて、後述するステップＳ１７においてフレーズの関連付けを行なってもよい。
【００７９】
ステップＳ１における判定の結果、言語選択モードではなかった場合には、撮影モードの選択を行なう（Ｓ２）。撮影モードの選択では、前述したモデル撮影か、一緒撮影のいずれかを選択する。モデル撮影では、図５の下側にある範囲内の扇形部（モデル撮影範囲５６）の画像を利用し、一緒撮影では、上側の扇型部（一緒撮影記録範囲５２）を利用する。続いて、撮影時の掛け声を音声発生部１４から行う（Ｓ３）。これは、被写体２０の使用言語がわかっている場合に行う。撮影時の掛け声に応じて、被写体がにっこり笑う等、表情が和むので、このタイミングを利用して撮影を行えばよい。
【００８０】
次に、撮影か否かの判定を行なう（Ｓ４）。撮影動作はレリーズ釦１ａの操作に応じて開始される。判定の結果、撮影であった場合には、撮影動作を行う（Ｓ５）。撮影動作は、撮影レンズ２を透過した被写体光に基づく被写体像を撮像素子３が光電変換し、ＡＦＥ４によって選択された画像範囲の画像データを、歪み補正等の画像処理を行なう。続いて、関連情報を画像に関連付けを行なう（Ｓ６）。画像記録時に、時計情報や設定したキーワード情報等の関連情報を画像に関連付けを行なう。また表情等によりステップＳ４５において関連付けの候補を選択し、後述するステップＳ１７で選択したフレーズ等の言語情報の関連付けを行なう。
【００８１】
次に、関連付けを行なう情報が言語情報か否かの判定を行なう（Ｓ７）。判定の結果、言語情報ではない場合には、スキップして次のステップＳ９に進み、言語情報の場合には、その言語を翻訳する（Ｓ８）。すなわち、被写体２０の使用言語でも関連付け情報が添付されるように翻訳を行なう。続いて、画像データの記録を行う（Ｓ９）。ここでは、画像処理された画像データを圧縮部６において圧縮処理し、また関連情報も添付した上で、記録メディア９に記録してから、リターンする。
【００８２】
ステップＳ４における撮影か否かの判定の結果、撮影ではない場合には、次に再生モードか否かの判定を行なう（Ｓ１１）。判定の結果、再生モードであった場合には、記録メディア９等に記録されている画像データ等を表示パネル８に表示する。続いて、再生画像を、インターネットを介して外部のサーバー３４にアップロードするか否かの処理に移る。まず、通信を行なうか否かの判定を行なう（Ｓ１３）。これは、選択した再生画像の外部のサーバー３４にアップロードする旨の操作を行なった否かの判定である。
【００８３】
ステップＳ１３の判定の結果、通信を行なう場合には、選択画像をアップロードするサーバー３４等の記録領域を指定する（Ｓ１４）。そして、この指定された記録領域のアドレスに選択画像の送信を行なう（Ｓ１５）。ステップＳ１３における判定の結果、通信ではない場合には、関連付けを行なうか否かの判定を行なう（Ｓ１６）。判定の結果、関連付けを行う場合には、選択フレーズ関連付けを行なう（Ｓ１７）。ステップＳ１２において再生表示を行なっており、このステップにおいて再生画像に対して選択フレーズの関連付けを行なう。
【００８４】
この画像関連情報は、撮影が終わった後、キーワードとなるフレーズ一覧を図２のようにユーザー２１と被写体２０の二人で見ながら、フレーズ２３（図４（ｂ））を決定してもよい。翻訳して順次候補を表示することができるので、これ見ながら二人で選ぶ。表示パネル８で見るのが見にくい場合には、音声発生部１４のスピーカーでこのフレーズやキーワードを翻訳したものを発声させてもよい。順次発音させている時に、被写体の表情をモニタしておき、図７に示した笑顔度Ｒを測定することにより、「これがよい」という表情を判定し、画像に関連付けられるようにしてもよいし、もちろん、スイッチの操作で選べるようにしてもよい。ステップＳ１７の選択フレーズの関連付けが終わるとリターンする。
【００８５】
次に、図１３に示すフローチャートを用いて、本実施形態におけるカメラ１００の画像を記録、管理するサーバー３４の動作を説明する。前述したように、カメラ１００は、ステップＳ１５において、画像を送信する。サーバー３４は、まず、画像等のコンテンツをインターネット経由で受信中であるか、すなわちコンテンツの記録を行うか否かの判定を行なう（Ｓ１０１）。判定の結果、コンテンツの記録を行う場合には、ステップＳ１０２において記録を行なう。この記録時には、画像に添付されているキーワードやフレーズ等の関連情報（記事）の記録も行う。
【００８６】
続いて、関連付け情報等に翻訳情報が有るか否かの判定を行なう（Ｓ１０３）。これは、撮影者（ユーザー）２１の国の言語のみならず、被写体（相手方）２０の国の言語もタグとして画像に添付し、後に検索でも利用できるようにするために、翻訳情報の有無を判定している。判定の結果、翻訳情報が存在している場合には、翻訳情報をタグ化する（Ｓ１０４）。このように翻訳情報をタグ化しておくことにより、撮影者（ユーザー）２１の国の言葉が分からなくとも、被写体（相手方）２０は、自身の写真をネット上で検索することが可能となる。
【００８７】
ステップＳ１０１における判定の結果、コンテンツ記録ではない場合には、検索を行なうか否かの判定を行なう（Ｓ１１１）。判定の結果、検索の場合には、検索者が打ち込んだ検索ワードに該当するタグを持つ画像の検索を行い（Ｓ１１２）、検索された画像を表示する（Ｓ１１３）。選択画像が表示されると、次に、この画像に関連する関連記事の表示を行なう（Ｓ１１４）。なお、関連記事は前述したようにステップＳ１０１において、コンテンツ記録時に一緒に記録されている。続いて、この関連記事に対して、翻訳要求があるか否かの判定を行なう（Ｓ１１５）。翻訳要求がない場合には、そのままリターンする。一方、翻訳要求があった場合には、翻訳サービスを行なうインターネット３２上の翻訳サービスサーバー３３と連携して、その記事の翻訳表示を行なう（Ｓ１１６）。
【００８８】
ステップＳ１１１における判定の結果、検索ではない場合には、次に、画像アクセスか否かを判定する（Ｓ１２１）。これは、インターネット３２に接続されたパーソナルコンピュータ等がサーバー３４にアクセスし、このサーバー３４に記録されている画像にアクセスしてきたか否かの判定である。判定の結果、アクセスが有る場合には、そのアドレスに対応する画像の表示を行ない（Ｓ１１３）、次いで、前述のステップＳ１１４以下に進み、関連記事の表示等を行い、リターンする。
【００８９】
次に、図１４を用いて、本実施形態における魚眼レンズのような広角レンズ等の光学系で構成された撮影レンズ２の変形例を説明する。本実施形態においては、前述したように魚眼レンズによって形成される映像の全域を利用してはいない。そこで、図１４（ａ）、（ｂ）のように、複眼レンズ６６やプリズム６７を利用して、図５に示した２つの部分、すなわち、一緒撮影記録範囲５２、モデル撮影範囲５６の２つの範囲をカバーするようにしてもよい。また、図１４（ｃ）のように凸面反射鏡６９を配置するようにしてもよい。
【００９０】
以上、述べたように本実施形態に係るカメラおいては、被写体の表情をモニタすることにより、被写体の理解し使用する言語を判定している。このため、被写体が理解できる言語が分からなくても、使用言語を推定することができ、ユーザーと被写体の間で言語を特定し、コミュニケーションを図ることができる。
【００９１】
また、本実施形態においては、使用言語を特定できると、その言語によるフレーズ等を用いてコミュニケーションを図ることができると共に、そのフレーズ等を画像に関連付けて記録するようにしているので、後から検索する場合に便利である。特に撮影者の言語と、被写体の言語の両方で記録し、これをサーバー等にアップロードしたときには、双方が簡単に検索し、画像を探すことができる。
【００９２】
さらに、本実施形態においては、被写体の表情に応じて撮影モード（モデル撮影モードと、一緒撮影モード）を変更している。使用言語が異なる場合には、言葉だけでは十分なコミュニケーションを図るのが困難な場合があるが、本実施形態においては、被写体の状態に応じて撮影モードを変更することができる。
【００９３】
さらに、本実施形態においては、撮影レンズとして魚眼レンズのような広角レンズを使用し、モデル撮影と一緒撮影を同一の状態で撮像し、ただ、撮像素子の出力から、それぞれの映像範囲に応じて画像を切り出している。このため、カメラはそのままの状態で撮影でき、言語の壁によりカメラアングルを決め難い状態でも、状況に応じた撮影ができる。
【００９４】
本発明の説明にあたって、カメラに適用した例で説明したが、表情をモニタすることにより、言語を特定する技術はカメラに限らず、例えば電子辞書、電子通訳装置等の種々のガイド装置に適用することができる。また、撮影した画像に関連情報を付加して記録する等の技術は、コンパクトカメラや一眼レフレックスカメラ等の種々のカメラに適用できることは勿論、携帯電話やＰＤＡ等の内蔵カメラにも適用することができる。
【符号の説明】
【００９５】
１・・・ＭＰＵ、１ａ・・・レリーズスイッチ、１ｂ・・・モード切替スイッチ、１ｃ・・・他のスイッチ、１ｔ・・・時計部、２・・・撮影レンズ、２ａ・・・ＡＦ(オートフォーカス)制御部、２ｂ・・・絞り、２ｃ・・・絞り制御部、３・・・撮像素子、４・・・アナログフロントエンド（ＡＦＥ）部、５・・・画像処理部、５ａ・・・形状判定部、５ｂ・・・歪み補正部、５ｃ・・・表情判定部、５ｄ・・・顔検出部、６・・・圧縮部、８・・・表示パネル、８ａ・・・表示制御部、８ｂ・・・辞書／カメラ表示切替部、８ｃ・・・バックライト（ＢＬ）、８ｄ・・・バックライト（ＢＬ）制御部、９・・・記録メディア、９ａ・・・記録部、９ｃ・・・データ送受信部、１０・・・本体部、１１・・・補助光発光部、１２・・・多言語辞書データベース、１４・・・音声発生部、１６・・・矢印（撮影方向）、１７・・・矢印（撮影方向）、２０・・・被写体（相手方）、２１・・・ユーザー（撮影者）、２２・・・モニタ範囲、２３・・・フレーズ、３１・・・他のユーザー、３２・・・インターネット、３３・・・翻訳サービスサーバー、３４・・・サーバー、５１・・・映像範囲（魚眼レンズから入る映像範囲）、５２・・・撮影記録範囲、５３・・・矩形画像（歪み補正済み）、５４・・・撮像範囲（撮像素子）、５５・・・補助光範囲、５６・・・モデル撮影範囲、６１・・・線（瞳を結ぶ線）、６４・・・矢印（口元）６５・・・矢印（眉間）、６６・・・目部中心、６７・・・複眼レンズ、６８・・・プリズム、６９・・・凸面反射鏡、１００・・・カメラ
【技術分野】
【０００１】
本発明は、ガイド装置に関し、詳しくは、使用する言語が分からない相手に対しても適切な言語を選択してガイドを行なうことのできるガイド装置およびガイド方法に関する。
【背景技術】
【０００２】
近年、インターネットが普及し、世界中の人と簡単に即座に繋がるようになってきている。このように、インターネットを通じて、コミュニケーションできる環境になっているにもかかわらず、言葉の壁のために、インターナショナルな交流は困難である。しかし、文章でなく、画像であれば、言葉の壁を越えての交流を図りやすい。また、デジタル技術の普及によって、ネット上に画像をアップしやすくなっているので、この画像を利用することにより交流を深める可能性がある。
【０００３】
この意味で写真による画像の利用可能性は高いが、海外に行き、または海外から外国人が日本を訪れた際に、彼らとコミュニケーションをとり、また写真をとることは、やはり言語の壁があり簡単ではない。この言語の問題を解決するための翻訳等については、従来から種々提案がなされている。しかし、高性能の翻訳機が出現したとしても、言語の数は多く、複数の言語の中から、コミュニケーションの場で、対応する言語を選択しなければならない。
【０００４】
そこで、言語選択についても種々提案があり、例えば、特許文献１には、動画の記録時や再生時に言語認識を行ない、字幕スーパーを付すことのできる画像記録装置が開示されている。この画像記録装置においては、言語認識が自動設定の場合にはＵＩ言語（メニュー画面や各種設定画面での設定に使用する言語）で音声認識を行なうようにしている。
【特許文献１】特開２００６−３０８７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示の画像記録装置においては、音声自動認識はＵＩ言語として設定された１つの言語に限られる。コミュニケーションを取りたい相手の言語が不明の場合には、言語認識を行うことができない。また、特許文献１に開示の画像記録装置においては、手動で言語の選択を行なうことができるが、これではユーザーにモード設定に操作を強いるので、余計な操作が必要となり、音声機能等を利用したコミュニケーションは困難であった。
【０００６】
本願発明は、コミュニケーションをとる相手の表情に応じてメッセージを変えることのできるガイド装置付きカメラおよびガイド方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため第１の発明に係わるガイド装置付きカメラは、複数の言語情報を含むガイド情報を順次表示する表示部と、上記ガイド情報を観察する対象人物の表情をモニタする撮像部と、上記撮像部によってモニタされた対象人物の表情を判定する表情判定部と、上記ガイド情報の表示中に、上記表情判定部によって判定された上記対象人物の表情に応じて、上記撮像部で撮像される画像に関連づける情報を翻訳して、該画像と共に記録する記録部と、を具備することを特徴とする。
【０００８】
第２の発明に係わるガイド装置付きカメラは、上記第１の発明において、上記表示部が、視覚的または聴覚的に表示を行うことを特徴とする。
【０００９】
第３の発明に係わるガイド装置付きカメラは、上記記録部が、上記ガイド情報の表示中に、上記表情判定部によって判定された上記対象人物の表情に応じて、上記撮像部で撮像される画像に翻訳情報を関連付けることを特徴とする。
【００１０】
第４の発明に係わるガイド装置付きカメラは、上記関連付ける情報が、時計情報や設定したキーワード、または、選択したフレーズであることを特徴とする。
【００１１】
第５の発明に係わるガイド装置付きカメラは、上記表示制御部が、上記表情判定部による判定結果に応じて、上記撮影に先立って掛け声を発する音声発声部からなることを特徴とする。
【００１２】
第６の発明に係わるガイド装置付きカメラは、上記表情判定部は、笑顔度または肯定度を判定して行うことを特徴とする。
【００１３】
第７の発明に係わるガイド付き撮影方法は、複数の言語情報を含むガイド情報を順次表示し、上記ガイド情報を観察する対象人物の表情をモニタし、上記撮像部によってモニタされた対象人物の表情を判定し、上記ガイド情報の表示中に、上記表情判定部によって判定された上記対象人物の表情に応じて、上記撮像部で撮像される画像に関連づける情報を翻訳して、該画像と共に記録することを具備することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、コミュニケーションをとる相手の表情に応じてメッセージを変えることのできるガイド装置およびガイド方法を提供することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態に係わるカメラとその周辺のブロック図である。
【図２】本発明の一実施形態に係わるカメラの使用方法を示す図であり、（ａ）は被写体（相手方）の使用言語を判定する場面であり、（ｂ）は使用言語決定後に、撮影にあたっての掛け声を発生している場面の図である。
【図３】本発明の一実施形態に係るカメラの撮影方法を示す図であり、（ａ）は一緒撮影モードを示し、（ｂ）モデル撮影モードを示す。
【図４】本発明の一実施形態に係るカメラの外観を示す図であり、（ａ）は撮影時のスルー画もしくは再生画像時の表示を示している外観図であり、（ｂ）は関連するフレーズを併せて表示する状態の外観図である。
【図５】本発明の一実施形態に係るカメラの撮影レンズ２を透過する被写体像と撮像素子３の撮像面との関係を示す図である。
【図６】本発明の一実施形態において、被写体の笑顔と困った顔を比較する図であり、（ａ）は笑顔を示し、（ｂ）は困った顔を示す。
【図７】本発明の一実施形態に係るカメラにおける笑顔度を測定するためのフローチャートである。
【図８】本発明の一実施形態において、被写体が頷くときと否定するときの顔を比較する図であり、（ａ）は顔の正面図であり、（ｂ）は頷くときの顔であり、（ｃ）は否定するときの顔である。
【図９】本発明の一実施形態に係るカメラにおける肯定度を測定するためのフローチャートである。
【図１０】本発明の一実施形態において、言語を推定するときの各言語に対する笑顔度および肯定度の一例を示すグラフである。
【図１１】本発明の一実施形態に係るカメラにおけるカメラの制御動作を示すためのフローチャートである。
【図１２】本発明の一実施形態に係るカメラにおけるカメラの制御動作を示すためのフローチャートである。
【図１３】本発明の一実施形態に係るサーバーにおける画像管理の動作を示すためのフローチャートである。
【図１４】本発明の一実施形態に係るカメラの撮影レンズの変形例を示す断面図であり、（ａ）は複眼レンズとプリズムの組み合わせであり、（ｂ）は複眼レンズとプリズムの組み合わせであり、（ｃ）は凸面反射鏡を利用した変形例である。
【発明を実施するための形態】
【００１６】
以下、図面に従って本発明のガイド装置を適用したカメラを用いて好ましい実施形態について説明する。本実施形態においては、撮影に先立って、「日本語にしますか」「英語にしますか」・・と相手に言語を選んでもらう時の相手の表情に従って言語を決定するようにしている。そして決められた言語による案内を用いて、カメラ撮影を行なうことができるようにしている。これによって言葉が通じない外国の方と写真を通じてコミュニケーションすることができる。また、相手に余計な操作を強いることなく、一緒に撮影を行ったり、撮影画像にカメラ所有者の言語と相手の言語でコメントを付与し、両者が撮影された画像をネット上で検索できるようにしている。
【００１７】
図１は、本発明の一実施形態に係わるデジタルカメラとその周辺のブロック図である。このカメラ１００は平板型（図２参照）をしており、平板上に、魚眼レンズ等の広角レンズからなる撮影レンズ２を設け、広い範囲の撮影を可能としている。これは、撮影者自身をも撮影可能とするためである。ユーザーが使用するカメラ１００には、撮影レンズ２、ＡＦ（オートフォーカス）制御部２ａ、絞り２ｂ、絞り制御部２ｃ、撮像素子３、アナログフロントエンド（以下、ＡＦＥと略す）部４が設けられている。撮影レンズ２は、内部にフォーカスレンズを有し、入射した被写体２０の像を撮像素子３上に結像させる。
【００１８】
ＡＦ制御部２ａは、撮影レンズ２の合焦位置を、後述する画像処理部５内において画像処理を行い、いわゆる山登り法により検出し、フォーカスレンズを駆動して、合焦位置に移動させる。なお、山登り法は、撮影画像のコントラスト信号ピークから合焦位置（ピント位置）を検出する方式であるが、山登り法以外にも、例えば位相差法や三角測距法等公知の合焦方法に置き換えてもよい。ＡＦによって合焦位置に達すると、このときの撮影レンズ２を検出することにより、距離判定を行うことができる。この場合、撮影レンズ２がズームレンズのときには、ズーム位置等を加味して距離の判定を行う。
【００１９】
撮影レンズ２内または近傍に、シャッタや絞りの効果を奏する絞り２ｂが設けられる。絞り２ｂは、撮影時に所定の口径まで開き、露出が終了すると閉じて露光を終了させるものである。絞り制御部２ｃは、絞り２ｂを駆動して絞り径を設定する。この絞りを変えることによって、レンズの被写界深度が変化するので、背景のぼけ具合などを調整して、被写体を浮かび上がらせたり、背景をしっかりと描写したりするなど、表現の切り替えを行うことができる。撮像素子３は、多数の受光面（画素）からなるＣＣＤやＣＭＯＳセンサ等であり、撮影レンズ２を介して被写体２０からの像を受光しこれを画像信号に変換する。
【００２０】
アナログフロントエンド（ＡＦＥ）部４は、アナログデジタル（ＡＤ）変換手段を含み、撮像素子３からの信号をデジタル信号化する。そして、ＡＦＥ部４は、撮像素子３から出力される画像信号について各種処理を行う。また、ＡＦＥ部４には、撮像素子３のいくつかの画素をまとめて、一括して読み出す機能も設けられている。たとえば、４画素（２×２）や９画素（３×３）など、各画素の信号レベルが小さいときには、いくつかの画素信号を加算して、Ｓ／Ｎを向上させることができ、また、感度を上げることも出来る。
【００２１】
このような操作によって感度を上げることができ、シャッタスピードを速くする等、撮影上の工夫が可能となる。シャッタスピードが速いと、動いている被写体が止まっているように撮影することが可能となる。
【００２２】
また、ＡＦＥ部４は、撮像素子３の出力する信号を取捨選択する機能を有し、受光範囲の中から限られた範囲の画像データを抽出することが出来る。一般に撮像素子３の画素から間引いた画素信号を抽出する場合には、高速読出が可能となる。これにより構図確認用の画像信号を、画像処理部５によって高速処理し、表示制御部８ａを介して表示パネル８に表示することにより、フレーミングが可能となる。
【００２３】
ＡＦＥ部４の出力は、画像処理部５に接続されている。画像処理部５は、入力信号の色や階調やシャープネスを補正処理する。また、撮像素子３から得られた画像信号を所定のレベルに増幅して、正しい濃淡、正しい灰色レベルに設定する増感部を有している。これは、デジタル化された信号レベルが、所定レベルになるようにデジタル演算するものである。また、画像処理部５は、スルー画像（ライブ画像とも言う）をリアルタイムに表示部に表示できるように、撮像素子３からの信号を表示パネル８に表示できるようなサイズに加工するリサイズ部を有する。この働きによって、撮影に先立って撮像素子に入射する像を確認でき、これを見ながら撮影時のタイミングやシャッタチャンスを決定することが出来る。
【００２４】
また、この画像処理部５の信号を利用して、撮像素子３から入力されてくる画像の特徴などを判定する画像判定機能を有している。例えば、画像情報を加工して得られる輪郭情報から、撮像しているものの形状を検出する形状判定部５ａ、また、画像の特徴を調べて、主要被写体の位置を検出する顔検出手段５ｄなどが、このシステムには含まれている。これは、写真撮影時に、ユーザーがどのような写真を撮ろうとしているかを判定して、撮影制御を最適化するためのものである。
【００２５】
また、画像処理部５は、前述した画像のコントラストを判定する機能を有し、撮影レンズのピント合わせ手段との連動で、オートフォーカスの制御を行う。撮影レンズ２のピント合わせ時のレンズ位置の情報によって、被写体の距離や、背景の距離などが判定できる。
【００２６】
この撮影レンズ２は、魚眼レンズのような広角レンズであるので、図５に示すように、円形で示す広い領域の映像範囲５１に被写体像が結像し、撮影可能である。しかし、周辺部の撮影記録範囲５２の画像は、図示の如く扇型の大きな歪みを生じてしまう。そこで、画像処理部５内の歪み補正部５ｂにおいて、図示の如く歪のない矩形画像５３に補正する。本実施形態においては、撮影レンズ２で撮影し得る画像のすべてを記録するのではなく、このように、一部の画像（撮影記録範囲５２の画像）を取り出して記録し、他の画像部分は、別の操作時に利用している。また、この撮像結果を利用して、後述するように、顔の表情なども読み取る。なお、撮影レンズ２に代えて、後述する図１４に示すような複数のレンズやプリズムを利用して、広い範囲を撮影可能としてもよい。
【００２７】
また、画像処理部５には、撮像素子３によって得られた顔画像から、顔の表情を判定する表情判定部５ｃが接続されている。表情判定部５ｃによって、撮影以外の状況判定や被写体の意思までを判定することができる。すなわち、カメラ１００は、後述するように、多言語辞書のデータベース部１２を有しており、これから所定の会話フレーズを読み出して音声発生部１４で音声として順次、言語を変えながら出力したり、表示部８に順次表示したりして、それを見たときの顔の表情変化によって、どの言語が一番、通じる言葉であるかを判定できる。この言語の選択は、表情判定部５ｃの出力を用いて行なっている。また、言語情報を利用して、画像の適切な整理を行なえるようにしている。すなわち、撮影された人が外国の人である場合、日本語での画像検索は困難なので、撮影された人の使う言語で画像の整理を可能としている。
【００２８】
カメラ１００には、圧縮部６、記録部９ａ、記録メディア９、データ送受信部９ｃ、表示パネル８、表示制御部８ａ、辞書／カメラ表示切替部８ｂ、バックライト（ＢＬ）８ｃ、バックライト（ＢＬ）制御部８ｄ、多言語辞書部１２が設けられている。圧縮部６は、撮影時に画像処理部５から出力された信号を圧縮する。圧縮部６内には、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）４やＨ．２６４などの圧縮用コア部で構成される動画用の圧縮部及び ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）コア部など静止画像用の圧縮部が設けられる。また、圧縮部６は記録メディア９に記録されている画像を表示パネル８に再生する際には、画像伸張も行なう。
【００２９】
記録部９ａは、圧縮された画像信号を記録メディア９に記録する。記録メディア９はカメラに着脱可能な保存用の記録媒体である。なお、画像信号の記録にあたっては、前述の圧縮された画像データのほか、撮影時間等の付随データも併せて記録される。撮影時間情報は、後述するＭＰＵ１内の時計部１ｔによって計測されており、ＭＰＵ１は画像と関連付を行なう。
【００３０】
記録メディア９や記録部９aに記録された撮影画像データは、ＲＦＩＤのようなＩＣカードやワイヤレスＬＡＮなどの技術を利用した無線データ送受信部９ｃによって、インターネット３２経由で、他の機器、例えば、画像を管理するサーバー３４等の他の機器に転送することができる。サーバー３４に送信した画像は、第三者３１にすぐ見せることができ、画像を見ながらのコミュニケーションの促進が可能となっている。また、このインターネット３２には、翻訳サービスを行なう翻訳サービスサーバー３３が接続されている。
【００３１】
表示パネル８は、例えば液晶や有機ＥＬ等から構成され、この表示パネル８の裏面には白色ＬＥＤなどのバックライト８ｃが配置されており、このバックライト８ｃはバックライト（ＢＬ）制御部８ｄに接続され、これによって制御される。バックライト８ｃからの光を表示パネル８に照射することにより、表示パネル８の視認性を向上することができ、また、見えが悪い場合には、ユーザーの操作によりＢＬ制御部８ｄは明るさを増すように制御する。
【００３２】
また、後述するＭＰＵ１には多言語辞書のデータベース部１２が接続されており、この多言語辞書データベース１２は、旅行の際によく用いられる所定の会話フレーズ等を多言語に対応して記憶している。この多言語による会話フレーズ等は、表示パネル８に表示される。このため表示制御部８ａ内には、辞書／カメラ表示切替部８ｂが設けられている。この辞書／カメラ表示切替部８ｂは、後述するように各種設定状態に応じて、液晶パネル８における辞書表示とカメラ表示の切り替えを行なう。
【００３３】
したがって、表示パネル８は、撮影時には被写体観察用に被写体画像を表示し、再生時には伸張処理された撮影画像を表示し、また、辞書表示時には会話フレーズ等を表示する。なお、表示パネル８には、撮影して送信済み画像を一覧表示して、そこからサーバー３４が運営するブログサービスなどにアップする画像や、アップして、ブログに表示する時のレイアウトを選択できるようにしてもよい。
【００３４】
カメラ１００には、補助光発光部１１、ＭＰＵ（Micro Processing Unit）１、レリーズスイッチ１ａ（なお、１ａはレリーズ釦を意味することもある）、モード切替スイッチ１ｂ、他のスイッチ１ｃが設けられている。
【００３５】
補助光発光部１１は、白色ＬＥＤやＸｅ放電発光管を有し、電流量で光量が制御できるようになっている。状況に応じて被写体２０に光を照射して、明るさの不足や不均一な明るさを防止する。また、この補助光は、後述するように、被写体以外に対しても照明を行ない、モード切替の際の判定に使用する。また、ＭＰＵ１には、音声発生部１４が設けられており、多言語辞書データベース１２から読み出された会話フレーズに従って音声を発生するためのスピーカーが接続されている。
【００３６】
ＭＰＵ１は、カメラ全体の制御を司る制御手段である。レリーズスイッチ１ａ、モード切替スイッチ１ｂ、他のスイッチ１ｃおよびプログラム等を記憶したＲＯＭ(不図示)が、ＭＰＵ１に接続される。ＭＰＵ１内には、前述したように、日や時刻を検出するための時計部１ｔが設けられており、写真の撮影日時を検出し、撮影画像と関連付けを行う。なお、スイッチ１ｂ、１ｃは、スイッチを総称的に表示したものであって、実際には多数のスイッチ群から構成されている。
【００３７】
各スイッチ１ａ〜１ｃは、ユーザーの操作を検出して、その結果をマイクロコントローラからなる演算制御手段であるＭＰＵ１に通知する。ＭＰＵ１が、これらのスイッチの操作に従って動作を切り換える。これらのスイッチの操作に従って、撮影／再生のモード切替や撮影モードの切替、画像送信の設定、キーワード選択、会話フレーズ選択なども行えるようになっている。また、ＭＰＵ１は撮影時には、ＡＦ制御部２ａや絞り制御部２ｃ等の制御を行う撮影制御部として機能する。また、画像の再生機能、辞書機能等の各種機能の切り替えを行う。
【００３８】
次に、図２ないし図４を用いて、カメラ１００の外観構造と使用方法について説明する。まず、このカメラ１００の外観は、図３および図４の示すように、本体部１０の上面に、魚眼レンズで構成される撮影レンズ２と、表示用の表示パネル８と、レリーズボタン１ａが設けられている。また、本体部１０には、言語名や会話フレーズ等を音声合成で再生するスピーカー等からなる音声発生部１４が設けられている。本体部１０の側部側には、補助光発光部１１が設けられている。
【００３９】
撮影レンズ２は、図３（ａ）（ｂ）に示すように、表示パネル８の面に対して、ほぼ垂直方向が光軸となるように、カメラ１００の本体部１０に取り付けられている。この撮影レンズ２に対して、矢印１６はユーザー２１と本実施形態に係わるガイド装置によってコミュニケーションをとる被写体２０（相手方）の両者を一緒にとるときの撮影方向である。また、矢印１７は、被写体（相手方）２０をモデルとして撮影する場合の撮影方向である。また、矢印２３、２４は、表示パネル８のバックライト８ｃによるユーザー２１および相手方２０への照射光の方向を示している。矢印２５（図３（ｂ））は、補助発光部１１による照射方向を示している。
【００４０】
撮影レンズ２は魚眼レンズのような広角レンズによって構成されているので、撮影レンズ２によって、図５に示す映像範囲５１に相当する画像が結像される。この映像範囲に対して、撮像素子３は撮像範囲５４の画像について光電変換できる。撮影記録範囲５２は、前述したように光学的に歪んでいるが、画像処理部５内の歪み補正部によって矩形５３に補正される。また、撮影レンズ２に対して、モデルとしての被写体２０の撮影方向が矢印２５の場合には、モデル撮影範囲５６で画像が形成される。補助光発光部１１と表示パネル８のバックライト８ｃによる補助光範囲５５は、撮影記録範囲５２とモデル撮影範囲５６をカバーする領域である。
【００４１】
本実施形態においては、撮影レンズ２によって映像範囲５１の画像が得られるが、撮影に当たっては、画像の一部しか使わない。すなわち、ユーザー２１と被写体（相手方）２０が一緒に撮影する場合には、撮影記録範囲５２の画像を使用する。また、被写体（相手方）２０を撮影する場合には、モデル撮影範囲５６の画像を使用する。したがって、補助光の照射範囲は、撮影記録範囲５２＋α、またはモデル撮影範囲５６＋αの領域を照射できればよい。後述するように、図２のように、カメラ１００の近くにユーザー２１および被写体（相手方）２０が存在する場合には、表示パネル８のバックライト８ｃの光を利用すればよい。
【００４２】
このようなガイド装置を有するカメラ１００において、会話フレーズを使用する辞書モードとカメラモードを切り替える方法について説明する。図２は撮影に先立って、カメラ１００を利用してユーザー２１が、被写体２０とコミュニケーションを取っているところを示している。ユーザー２１のカメラ操作によって、音声発生部１４からは、順次、世界各国の代表的な言語で、「この言葉でいいですか」という内容の音声を再生する。撮影レンズ２は前述したように魚眼レンズ等の広角レンズで、モニタ範囲２２の像を捉えることができる。そして、この時の被写体の人物の表情は、撮影レンズ２を通して撮像素子３の撮像記録範囲５２から画像信号に基づいてモニタされている。なお、音声発生部１４から音声の代わりに、または音声と共に表示パネル８に、おなじ言葉を順次表示するようにしてもよい。
【００４３】
このように表情をモニタしていると、被写体（相手方）２０が分かる言語の再生時には、被写体２０の表情が変わる。この表情の変化を認識し、変化したときの言語が、その被写体２０が使用する使用言語であると判定する。使用言語が分かると、その使用言語を用いて、図２（ｂ）に示すように、撮影してよいかどうかの質問を行なうことができる。これによって、撮影の許可を得ることが出来る。
【００４４】
コミュニケーションをとるにあたっては、表情の変化だけでなく、仕草の変化等を検出するようにしてもよい。また、マイクを設け、被写体２０の返答の調子やタイミング等を補助的に用いて、被写体２０が使用している言語を推定するようにしてもよい。
【００４５】
図３（ａ）は、図２の状態からそのまま、一緒に撮影する場合を示している。なお、カメラ１００は側面方向から見た断面図として表示し、各機能の配置を分かりやすく示している。表示パネル８には、撮像結果を表示し（図４（ａ）参照）、表示パネル８を観察しながら、表情を決めて撮影を行う（「一緒撮影」と称す）。構図と表情がよければ、レリーズ釦１ａを操作し、撮影を行う。
【００４６】
周囲が暗い場合には、表示パネル８のバックライト８ｃを利用して、被写体２０を照明するようにしてもよい。照明を行なう時には、撮影のタイミングで表示パネル８の液晶を透過状態にすればよい。また、図２の状態で、そのままの位置で一緒撮影を行わずに、被写体２０を一人で撮影する場合には、図３（ｂ）に示すように、撮影レンズ２の広角レンズを利用し、異なる撮影方向１７からの像を表示パネル８に表示し、撮影するようにしてもよい。これを「モデル撮影」と称する。
【００４７】
このような広角レンズの撮影レンズ２から得られる画像における、一緒記録の範囲とモデル撮影の範囲は、前述したように、それぞれ撮影記録範囲５２とモデル撮影範囲５６である。広角レンズを使用することから取得画像は、かなり歪みの目立つものである。このため、矩形画像５３となるように、画像処理部５の歪み補正部５ｂによって画像の上の部分は縮めるような補正を行い、通常の写真のように四方形の画像に変換してから表示し、また記録メディア９等に記録を行う。
【００４８】
一緒記録の場合には、扇形の部分（撮影記録範囲５２）のみを切り出して使うので、撮像素子３は、点線の四方形の撮像範囲５４のみをカバーすればよい。また、補助光範囲５５も点線の楕円で示した領域をカバーすればよく、広角の全域をカバーする必要はない。
【００４９】
こうして撮影された画像には、キーワードをつけて整理するようにしておく。キーワード付けにあたっては、図４（ｂ）に示すように、表示パネル８に符号２３で示すように、撮影者（ユーザー）２１の国の言葉で決めたキーワードと、被写体２０の国の言葉に訳したもの（翻訳時には、先に判定した、被写体の使う言葉の判定結果を利用する）を表示する。これによって、被写体にとっても検索しやすいキーワードとなり、この撮影を行った後、別れてからも、インターネットで各自の日常語にて検索することが可能となり、簡単にこの画像を探すことができる。
【００５０】
図２において、被写体２０の表情の変化によって、いずれの言語を理解しているかを判定していた。この表情の変化の判定方法について図６を用いて、表情を数値Ｒに数値化する方法について説明する。図６は、言葉が理解できたときに、人が表す笑顔（ａ）と、理解できないときの困った顔（ｂ）を比較したものであり、両者を比較すると、眼と口元に特徴があることが分かる。
【００５１】
すなわち、眼を比較すると、両目の瞳の中心を結んだ線６１の上側に白目が多いと、笑顔に近いことが分かる。また、口元も、同様な考え方で判定できる。つまり、口の両端を結んだ線６２より、下側にある唇部の面積が広いと、笑顔の度合いも大きくなる。
【００５２】
図６で示した判定方法を利用して笑顔度Ｒを求める方法について、図７に示すフローチャートに基づいて説明する。まず、目部と口部の検出を行なう（Ｓ１５１）。これは、撮像素子３の出力に基づいて、顔検出部５ｄによって顔を検出し、その検出された顔の中から眼と、口の部分をパターン認識により抽出する。
【００５３】
続いて、ステップＳ１５２からＳ１５４において、眼の白目の面積から笑顔度を検出する。まず、両目の瞳を結ぶ線６１より上側の白目の面積を測定し、この値をＥＡとする（Ｓ１５２）。同様に、線６１より下側の白目の面積を測定し、この値をＥＢとする（Ｓ１５３）。次に、こうして得たＥＡ、ＥＢの差を、これらの和で正規化して、すなわち、（ＥＡ−ＥＢ）／（ＥＡ＋ＥＢ）を求め、数値ＲＥを得る（Ｓ１５４）。数値ＲＥは大きいほうが、笑顔度が高いと判定される。
【００５４】
次に、ステップＳ１５５からＳ１５７において、唇の面積から笑顔度を検出する。まず、口の両端を結ぶ線６２より上側の唇の面積を測定し、この値をＬＡとする（Ｓ１５５）。同様に、線６２より下側の唇の面積を測定し、この値をＬＢとする（Ｓ１５６）。こうして得たＬＡ、ＬＢの差を、これらの和で正規化して、すなわち、（ＬＢ−ＬＡ）／（ＬＡ＋ＬＢ）を求め、数値ＲＬを得る（Ｓ１５７）。数値ＲＬは大きいほうが、笑顔度が高いと判定される。
【００５５】
続いて、ステップＳ１５４とＳ１５７で得た値ＲＥとＲＬを加算して笑顔度Ｒを求める（Ｓ１５８）。値Ｒが大きいほど笑顔に近いことになる。さらに、笑顔度の判定の精度を高めるために、図６（ａ）の矢印６４付近の状態を判定する（Ｓ１５９）。すなわち、口の端部に影があり、歯が見えていれば、笑顔の確率が高いので、それを判定する。判定の結果、歯が見えており、かつ口端部に影があれば、笑顔度Ｒに１点、加算する（Ｓ１６０）。
【００５６】
ただし、眉間にしわがあると笑顔とは言えないので、ステップＳ１６１で判定する。すなわち、図６（ｂ）の矢印６５付近において眼の間の皺があるか否かの判定を行なう（Ｓ１６１）。判定の結果、眉間の間に皺を検出した場合は、笑顔度Ｒから１点、減点する（Ｓ１６２）。このように笑顔に近いほど高得点になる数値化（Ｒ）が可能となる。
なお、本実施形態においては、両目の瞳の中心を結んだ線より上側に白目が多いか否かで笑顔度を求めたが、これに限らず、上瞼の傾き等によって求めるようにしてもよい。すなわち、図６において、瞼の幅ＥＨに対し、瞼の一番高いところの位置ＥＴを求め、これの比、ＥＴ／ＥＨによっても笑顔度を求めることができる。ＥＴ／ＥＨが大きくなると笑顔に近くなり、また、この比が小さくなり、上瞼の傾きが大きくなると笑顔から遠ざかる傾向にある。
【００５７】
本実施形態においては、表情を数値化したので、常時、顔をモニタし、その表情の数値を記録しておき、理解できない言葉から、理解できる言葉になった時に表情が変化すると、笑顔度Ｒの値が大きくなったり、大きく変化するので、これを判定して、日常使用言語の判断を行うようにしている。
【００５８】
本実施形態においては、表情の変化の検出のために、笑顔度Ｒを測定しているが、これの変形例である肯定度Ａについて図８および図９を用いて説明する。肯定度Ａは、笑顔度Ｒに代えて、または笑顔度Ｒと一緒に用いることができる。図８は、顔が正面を向いているときと（図８（ａ））、下を向いたとき（図８（ｂ））、横を向いたとき（図８（ｃ））の様子を示す。すなわち、理解できる言葉を聴いたときには頷く（肯定）ので、図８（ｂ）に示すように、目の中心部からΔＹだけ、顔は下向きに動く。一方、理解できない言葉を聴いたときには、顔を振る（否定）ので、図８（ｃ）に示すように、目の中心部からΔＸだけ、顔は横を向く。このように、目の中心の移動を見て、肯定か否定かを判定することができる。
【００５９】
図９は、顔の中心が所定期間に横に動いた（否定方向）か、縦に動いた（肯定方向）かを検出し、被写体（相手方）２０の応答を判定するフローチャートである。顔が横に動いた回数、または頻度と縦に動いた回数、または頻度で、肯定の動きの方が目立つときは、肯定度Ａの値が大きくなるように設定してある。
【００６０】
図８で示した判定方法を利用して肯定度Ａを求める方法について、図９に示すフローチャートに基づいて説明する。まず、撮像素子３の出力から顔の像を検出し、所定のタイミングでスタートする（Ｓ２５１）。続いて、目部の中心座標６６を測定する（Ｓ２５２）。この後、所定時間経過するのを待つ（Ｓ２５３）。この所定時間は、顔の頷きや横向きの変化を検出するにあたってのサンプリング時間である。
【００６１】
所定時間が経過すると、再び目部の中心座標６６を測定する（Ｓ２５４）。所定時間を挟んで、２つのタイミングで目部の中心座標６６を測定したので、この２つのタイミングの間での目部中心座標のＹ方向の変化を求め、ΔＹとする（Ｓ２５５）。次に、目部中心座標のＸ方向の変化を求め、ΔＸとする（Ｓ２５６）。
【００６２】
次に、ΔＹが所定値より小さく、ΔＸが所定値より大きいか否かの判定を行なう（Ｓ２５７）。判定の結果、この判定条件を満たしている場合には、顔を横に振っている状態であるので、肯定度Ａの値を下げるべく、肯定度Ａから１点減点する（Ｓ２５８）。続いて、ΔＹが所定値より大きく、ΔＸが所定値より小さいか否かの判定を行なう（Ｓ２５９）。判定の結果、この判定条件を満たしている場合には、頷いている状態であるので、肯定度Ａの値を上げるべく、肯定度Ａに１点加点する（Ｓ２６０）。
【００６３】
上述の判定が終わると、次に、検出タイミングの終了かを判定する（Ｓ２６０）。すなわち、この肯定度Ａの測定は、所定の時間間隔で複数回繰り返し行うので、ステップＳ２６０において、この回数に達したかの判定を行なう。達していない場合には、ステップＳ２５３に戻り、繰り返し行なう。
【００６４】
笑顔度Ｒおよび肯定度Ａの測定は、図１０に示すように、言語を切り換えながら、顔の動きをモニタして行なう。図１０に示す例では、言語Ｃのときが笑顔度Ｒおよび肯定度Ａの値が最も高いことから、この被写体２０の使用言語は言語Ｃだと判断することができる。
【００６５】
次に、カメラ１００の制御について、図１１および図１２を用いて説明する。撮影に先立って、言語選択モード（電子辞書モード）とカメラモードの切替設定ができるようになっており、設定モードの判定を行なう（Ｓ１）。判定の結果、言語選択モードが設定されていた場合には、ステップＳ２１以下において、図２において説明したようにコミュニケーションをとりながら、言語選択を行なう。
【００６６】
言語選択モードに入ると、まず、被写体２０に対して撮影許可を得るか否かの判定を行なう（Ｓ２１）。この撮影許可は、前述したモデル撮影または一緒撮影（図３参照）の許可である。カメラ１００のスイッチ類の操作により、撮影許可を得るための設定モードに切り換えるので、このステップでは、撮影許可のための設定となっているか否かの判定を行なう。
【００６７】
ステップＳ２１における判定の結果、撮影許可を得る場合には、次に表情モニタを開始すし（Ｓ２２）、多言語による質問を、順次、言語を変えながら再生する（Ｓ２３）。質問は音声発生部１４のスピーカーによる音声再生、または表示パネル８に文字表示によって行なう。また、このときには、図７に示した笑顔度Ｒを求めるフローを行なう。また、これに代えて、または一緒に図９に示した肯定度Ａを求めるフローを行なってもよい。
【００６８】
次に、全ての言語について再生が終了したかを判定する（Ｓ２４）。判定の結果、終了していない場合には、ステップＳ２３に戻り、次の言語で再生を行なう。一方、判定の結果、終了の場合には、表情より言語の判定を行なう（Ｓ２５）。判定は、図１３に示したように、各言語ごとの笑顔度Ｒや肯定度Ａを比較し、最も笑顔度Ｒや肯定度Ａの高い言語を被写体２０の使用言語と推定する。
【００６９】
次に、推定した対応言語の確認を行なう（Ｓ２６）。確認は、音声発生部１４から、対応言語で確認の旨を音声表示し、また表示パネル８において対応言語の確認メッセージを表示することにより行なう。続いて、この対応言語の音声表示または視覚表示に対してＯＫか否かを判定する（Ｓ２７）。判定の結果、ＮＧの場合には、ステップＳ２３に戻り、適切な対応言語が見つかるまで、前述のステップを繰り返す。
【００７０】
ステップＳ２７における判定がＯＫであった場合には、次に、撮影をして良いかの確認、または依頼を行なうが、これは、そのときの被写体２０の表情によって対応をかえる。まず、その時の被写体２０となる人物の表情が笑顔であるか否かを判定する（Ｓ２８）。判定の結果、笑顔度Ｒが高い場合には、ステップＳ２６で確認した対応言語でもって、図３（ｂ）に示したようなモデル撮影の依頼を行なう（Ｓ３１）。一方、判定の結果、笑顔度Ｒが低い場合には、対応言語でもって図３（ａ）に示したような一緒撮影の依頼を行なう（Ｓ３２）。なお、ステップＳ３１およびＳ３２における依頼は、音声でも文字表示でも、いずれでもよい。
【００７１】
このように笑顔度Ｒで対応を変えているのは、モデル撮影の場合には被写体一人を撮影することから心理的に拒否され易いのに対して、一緒撮影は、図２に示したようにユーザー２１と被写体２０は一緒の体勢にあることから受け入れ易いと思われるからである。
【００７２】
ステップＳ２８〜Ｓ３２におけるような切替だけでなく、表情によって、笑顔なら説明なしだが、厳しい表情なら撮影したい理由を説明するなどの切替を行ってもよい。この理由は、一般的な、「ここに来た記念として」、「あとで送るから」といった一般的なものでもよく、また被写体２０の表情を判定して、「誰それに似ているから」とか、空の青さを判定して、「いいお天気だから」のように、画像を考慮して依頼の表示を変更するようにしてもよい。
【００７３】
ステップＳ３１またはＳ３２における撮影依頼が終わると、次に、関連付けフレーズの候補化を行なう（Ｓ４５）。これは、後日、撮影した画像を検索するときに画像に関連してフレーズが添付されていると、検索し易いことから、このためのフレーズの候補を抽出し、記憶しておく。このステップが終わると、前述のステップＳ１に戻る。
【００７４】
ステップＳ２１における判定の結果、撮影許可を得る場合ではないときには、次に、フレーズの選択を行なう（Ｓ４１）。このカメラ１００はコミュニケーション手段としても使用でき、ユーザー２１が被写体２０とコミュニケーションを図るに必要なフレーズが予め多言語辞書データベース１２に記憶されている。そこで、ユーザー２１は、ユーザー２１の使用言語でデータベース１２の中に記憶されているフレーズを選択する。
【００７５】
次に、対応言語情報が有るか否かの判定を行なう（Ｓ４２）。このステップを実行する前にステップＳ２１からステップＳ２７を実行し、被写体（相手方）２０の使用言語を特定している場合には、対応言語の情報があり、一方、このような使用言語の判定を行なっていない場合には、対応言語の情報がないことになる。
【００７６】
ステップＳ４２における判定の結果、対応言語情報が有る場合には、次に、ステップＳ４１で選択されたフレーズについて対応言語に翻訳を行なう（Ｓ４３）。翻訳結果は音声発生部１４のスピーカーから音声で表示してもよいし、また表示パネル８に文字情報として視覚的に表示してもよい。一方、判定の結果、対応言語情報がない場合には、各国語の一覧表示を行なう（Ｓ４４）。すなわち、多言語辞書データベース１２に記憶されている言語の一覧表を表示し、対応言語を選択してもらう（Ｓ４４）。対応言語が選択されれば、ステップＳ４１において選択されたフレーズについて、音声または視覚で表示を行なう。
【００７７】
このようにして、ユーザー２１と被写体（相手方）２０とのコミュニケーションが可能となる。相手の答が、Ｙｅｓ、Ｎｏで答えられるような質問にすれば、ある程度の意思疎通が可能となる。ここで、Ｙｅｓ、Ｎｏの判定も、画像で行ってもよい。また、マイクを接続し、音声認識によって翻訳を可能とするようにしてもよい。
【００７８】
ステップＳ４３またＳ４４の処理が終わると、次に、前述したように関連付けフレーズの候補化を行なう（Ｓ４５）。コミュニケーション時のフレーズや言語情報は、撮影した画像を検索するときに有効利用できるので、関連付けフレーズの候補として記録しておく。この結果に基づいて、後述するステップＳ１７においてフレーズの関連付けを行なってもよい。
【００７９】
ステップＳ１における判定の結果、言語選択モードではなかった場合には、撮影モードの選択を行なう（Ｓ２）。撮影モードの選択では、前述したモデル撮影か、一緒撮影のいずれかを選択する。モデル撮影では、図５の下側にある範囲内の扇形部（モデル撮影範囲５６）の画像を利用し、一緒撮影では、上側の扇型部（一緒撮影記録範囲５２）を利用する。続いて、撮影時の掛け声を音声発生部１４から行う（Ｓ３）。これは、被写体２０の使用言語がわかっている場合に行う。撮影時の掛け声に応じて、被写体がにっこり笑う等、表情が和むので、このタイミングを利用して撮影を行えばよい。
【００８０】
次に、撮影か否かの判定を行なう（Ｓ４）。撮影動作はレリーズ釦１ａの操作に応じて開始される。判定の結果、撮影であった場合には、撮影動作を行う（Ｓ５）。撮影動作は、撮影レンズ２を透過した被写体光に基づく被写体像を撮像素子３が光電変換し、ＡＦＥ４によって選択された画像範囲の画像データを、歪み補正等の画像処理を行なう。続いて、関連情報を画像に関連付けを行なう（Ｓ６）。画像記録時に、時計情報や設定したキーワード情報等の関連情報を画像に関連付けを行なう。また表情等によりステップＳ４５において関連付けの候補を選択し、後述するステップＳ１７で選択したフレーズ等の言語情報の関連付けを行なう。
【００８１】
次に、関連付けを行なう情報が言語情報か否かの判定を行なう（Ｓ７）。判定の結果、言語情報ではない場合には、スキップして次のステップＳ９に進み、言語情報の場合には、その言語を翻訳する（Ｓ８）。すなわち、被写体２０の使用言語でも関連付け情報が添付されるように翻訳を行なう。続いて、画像データの記録を行う（Ｓ９）。ここでは、画像処理された画像データを圧縮部６において圧縮処理し、また関連情報も添付した上で、記録メディア９に記録してから、リターンする。
【００８２】
ステップＳ４における撮影か否かの判定の結果、撮影ではない場合には、次に再生モードか否かの判定を行なう（Ｓ１１）。判定の結果、再生モードであった場合には、記録メディア９等に記録されている画像データ等を表示パネル８に表示する。続いて、再生画像を、インターネットを介して外部のサーバー３４にアップロードするか否かの処理に移る。まず、通信を行なうか否かの判定を行なう（Ｓ１３）。これは、選択した再生画像の外部のサーバー３４にアップロードする旨の操作を行なった否かの判定である。
【００８３】
ステップＳ１３の判定の結果、通信を行なう場合には、選択画像をアップロードするサーバー３４等の記録領域を指定する（Ｓ１４）。そして、この指定された記録領域のアドレスに選択画像の送信を行なう（Ｓ１５）。ステップＳ１３における判定の結果、通信ではない場合には、関連付けを行なうか否かの判定を行なう（Ｓ１６）。判定の結果、関連付けを行う場合には、選択フレーズ関連付けを行なう（Ｓ１７）。ステップＳ１２において再生表示を行なっており、このステップにおいて再生画像に対して選択フレーズの関連付けを行なう。
【００８４】
この画像関連情報は、撮影が終わった後、キーワードとなるフレーズ一覧を図２のようにユーザー２１と被写体２０の二人で見ながら、フレーズ２３（図４（ｂ））を決定してもよい。翻訳して順次候補を表示することができるので、これ見ながら二人で選ぶ。表示パネル８で見るのが見にくい場合には、音声発生部１４のスピーカーでこのフレーズやキーワードを翻訳したものを発声させてもよい。順次発音させている時に、被写体の表情をモニタしておき、図７に示した笑顔度Ｒを測定することにより、「これがよい」という表情を判定し、画像に関連付けられるようにしてもよいし、もちろん、スイッチの操作で選べるようにしてもよい。ステップＳ１７の選択フレーズの関連付けが終わるとリターンする。
【００８５】
次に、図１３に示すフローチャートを用いて、本実施形態におけるカメラ１００の画像を記録、管理するサーバー３４の動作を説明する。前述したように、カメラ１００は、ステップＳ１５において、画像を送信する。サーバー３４は、まず、画像等のコンテンツをインターネット経由で受信中であるか、すなわちコンテンツの記録を行うか否かの判定を行なう（Ｓ１０１）。判定の結果、コンテンツの記録を行う場合には、ステップＳ１０２において記録を行なう。この記録時には、画像に添付されているキーワードやフレーズ等の関連情報（記事）の記録も行う。
【００８６】
続いて、関連付け情報等に翻訳情報が有るか否かの判定を行なう（Ｓ１０３）。これは、撮影者（ユーザー）２１の国の言語のみならず、被写体（相手方）２０の国の言語もタグとして画像に添付し、後に検索でも利用できるようにするために、翻訳情報の有無を判定している。判定の結果、翻訳情報が存在している場合には、翻訳情報をタグ化する（Ｓ１０４）。このように翻訳情報をタグ化しておくことにより、撮影者（ユーザー）２１の国の言葉が分からなくとも、被写体（相手方）２０は、自身の写真をネット上で検索することが可能となる。
【００８７】
ステップＳ１０１における判定の結果、コンテンツ記録ではない場合には、検索を行なうか否かの判定を行なう（Ｓ１１１）。判定の結果、検索の場合には、検索者が打ち込んだ検索ワードに該当するタグを持つ画像の検索を行い（Ｓ１１２）、検索された画像を表示する（Ｓ１１３）。選択画像が表示されると、次に、この画像に関連する関連記事の表示を行なう（Ｓ１１４）。なお、関連記事は前述したようにステップＳ１０１において、コンテンツ記録時に一緒に記録されている。続いて、この関連記事に対して、翻訳要求があるか否かの判定を行なう（Ｓ１１５）。翻訳要求がない場合には、そのままリターンする。一方、翻訳要求があった場合には、翻訳サービスを行なうインターネット３２上の翻訳サービスサーバー３３と連携して、その記事の翻訳表示を行なう（Ｓ１１６）。
【００８８】
ステップＳ１１１における判定の結果、検索ではない場合には、次に、画像アクセスか否かを判定する（Ｓ１２１）。これは、インターネット３２に接続されたパーソナルコンピュータ等がサーバー３４にアクセスし、このサーバー３４に記録されている画像にアクセスしてきたか否かの判定である。判定の結果、アクセスが有る場合には、そのアドレスに対応する画像の表示を行ない（Ｓ１１３）、次いで、前述のステップＳ１１４以下に進み、関連記事の表示等を行い、リターンする。
【００８９】
次に、図１４を用いて、本実施形態における魚眼レンズのような広角レンズ等の光学系で構成された撮影レンズ２の変形例を説明する。本実施形態においては、前述したように魚眼レンズによって形成される映像の全域を利用してはいない。そこで、図１４（ａ）、（ｂ）のように、複眼レンズ６６やプリズム６７を利用して、図５に示した２つの部分、すなわち、一緒撮影記録範囲５２、モデル撮影範囲５６の２つの範囲をカバーするようにしてもよい。また、図１４（ｃ）のように凸面反射鏡６９を配置するようにしてもよい。
【００９０】
以上、述べたように本実施形態に係るカメラおいては、被写体の表情をモニタすることにより、被写体の理解し使用する言語を判定している。このため、被写体が理解できる言語が分からなくても、使用言語を推定することができ、ユーザーと被写体の間で言語を特定し、コミュニケーションを図ることができる。
【００９１】
また、本実施形態においては、使用言語を特定できると、その言語によるフレーズ等を用いてコミュニケーションを図ることができると共に、そのフレーズ等を画像に関連付けて記録するようにしているので、後から検索する場合に便利である。特に撮影者の言語と、被写体の言語の両方で記録し、これをサーバー等にアップロードしたときには、双方が簡単に検索し、画像を探すことができる。
【００９２】
さらに、本実施形態においては、被写体の表情に応じて撮影モード（モデル撮影モードと、一緒撮影モード）を変更している。使用言語が異なる場合には、言葉だけでは十分なコミュニケーションを図るのが困難な場合があるが、本実施形態においては、被写体の状態に応じて撮影モードを変更することができる。
【００９３】
さらに、本実施形態においては、撮影レンズとして魚眼レンズのような広角レンズを使用し、モデル撮影と一緒撮影を同一の状態で撮像し、ただ、撮像素子の出力から、それぞれの映像範囲に応じて画像を切り出している。このため、カメラはそのままの状態で撮影でき、言語の壁によりカメラアングルを決め難い状態でも、状況に応じた撮影ができる。
【００９４】
本発明の説明にあたって、カメラに適用した例で説明したが、表情をモニタすることにより、言語を特定する技術はカメラに限らず、例えば電子辞書、電子通訳装置等の種々のガイド装置に適用することができる。また、撮影した画像に関連情報を付加して記録する等の技術は、コンパクトカメラや一眼レフレックスカメラ等の種々のカメラに適用できることは勿論、携帯電話やＰＤＡ等の内蔵カメラにも適用することができる。
【符号の説明】
【００９５】
１・・・ＭＰＵ、１ａ・・・レリーズスイッチ、１ｂ・・・モード切替スイッチ、１ｃ・・・他のスイッチ、１ｔ・・・時計部、２・・・撮影レンズ、２ａ・・・ＡＦ(オートフォーカス)制御部、２ｂ・・・絞り、２ｃ・・・絞り制御部、３・・・撮像素子、４・・・アナログフロントエンド（ＡＦＥ）部、５・・・画像処理部、５ａ・・・形状判定部、５ｂ・・・歪み補正部、５ｃ・・・表情判定部、５ｄ・・・顔検出部、６・・・圧縮部、８・・・表示パネル、８ａ・・・表示制御部、８ｂ・・・辞書／カメラ表示切替部、８ｃ・・・バックライト（ＢＬ）、８ｄ・・・バックライト（ＢＬ）制御部、９・・・記録メディア、９ａ・・・記録部、９ｃ・・・データ送受信部、１０・・・本体部、１１・・・補助光発光部、１２・・・多言語辞書データベース、１４・・・音声発生部、１６・・・矢印（撮影方向）、１７・・・矢印（撮影方向）、２０・・・被写体（相手方）、２１・・・ユーザー（撮影者）、２２・・・モニタ範囲、２３・・・フレーズ、３１・・・他のユーザー、３２・・・インターネット、３３・・・翻訳サービスサーバー、３４・・・サーバー、５１・・・映像範囲（魚眼レンズから入る映像範囲）、５２・・・撮影記録範囲、５３・・・矩形画像（歪み補正済み）、５４・・・撮像範囲（撮像素子）、５５・・・補助光範囲、５６・・・モデル撮影範囲、６１・・・線（瞳を結ぶ線）、６４・・・矢印（口元）６５・・・矢印（眉間）、６６・・・目部中心、６７・・・複眼レンズ、６８・・・プリズム、６９・・・凸面反射鏡、１００・・・カメラ
【特許請求の範囲】
【請求項１】
複数の言語情報を含むガイド情報を順次表示する表示部と、
上記ガイド情報を観察する対象人物の表情をモニタする撮像部と、
上記撮像部によってモニタされた対象人物の表情を判定する表情判定部と、
上記ガイド情報の表示中に、上記表情判定部によって判定された上記対象人物の表情に応じて、上記撮像部で撮像される画像に関連づける情報を翻訳して、該画像と共に記録する記録部と、
を具備することを特徴とするガイド装置付きカメラ。
【請求項２】
上記表示部は、視覚的または聴覚的に表示を行うことを特徴とする請求項１に記載のガイド装置付きカメラ。
【請求項３】
上記記録部は、上記ガイド情報の表示中に、上記表情判定部によって判定された上記対象人物の表情に応じて、上記撮像部で撮像される画像に翻訳情報を関連付けることを特徴とする請求項１に記載のガイド装置付きカメラ。
【請求項４】
上記関連付ける情報は、時計情報や設定したキーワード、または、選択したフレーズであることを特徴とする請求項１に記載のガイド装置付きカメラ。
【請求項５】
上記表示制御部は、上記表情判定部による判定結果に応じて、上記撮影に先立って掛け声を発する音声発声部からなることを特徴とする請求項１に記載のガイド装置付きカメラ。
【請求項６】
上記表情判定部は、笑顔度または肯定度を判定して行うことを特徴とする請求項１に記載のガイド装置付きカメラ。
【請求項７】
複数の言語情報を含むガイド情報を順次表示し、
上記ガイド情報を観察する対象人物の表情をモニタし、
上記撮像部によってモニタされた対象人物の表情を判定し、
上記ガイド情報の表示中に、上記表情判定部によって判定された上記対象人物の表情に応じて、上記撮像部で撮像される画像に関連づける情報を翻訳して、該画像と共に記録すること、
を具備することを特徴とするガイド付き撮影方法。
【請求項１】
複数の言語情報を含むガイド情報を順次表示する表示部と、
上記ガイド情報を観察する対象人物の表情をモニタする撮像部と、
上記撮像部によってモニタされた対象人物の表情を判定する表情判定部と、
上記ガイド情報の表示中に、上記表情判定部によって判定された上記対象人物の表情に応じて、上記撮像部で撮像される画像に関連づける情報を翻訳して、該画像と共に記録する記録部と、
を具備することを特徴とするガイド装置付きカメラ。
【請求項２】
上記表示部は、視覚的または聴覚的に表示を行うことを特徴とする請求項１に記載のガイド装置付きカメラ。
【請求項３】
上記記録部は、上記ガイド情報の表示中に、上記表情判定部によって判定された上記対象人物の表情に応じて、上記撮像部で撮像される画像に翻訳情報を関連付けることを特徴とする請求項１に記載のガイド装置付きカメラ。
【請求項４】
上記関連付ける情報は、時計情報や設定したキーワード、または、選択したフレーズであることを特徴とする請求項１に記載のガイド装置付きカメラ。
【請求項５】
上記表示制御部は、上記表情判定部による判定結果に応じて、上記撮影に先立って掛け声を発する音声発声部からなることを特徴とする請求項１に記載のガイド装置付きカメラ。
【請求項６】
上記表情判定部は、笑顔度または肯定度を判定して行うことを特徴とする請求項１に記載のガイド装置付きカメラ。
【請求項７】
複数の言語情報を含むガイド情報を順次表示し、
上記ガイド情報を観察する対象人物の表情をモニタし、
上記撮像部によってモニタされた対象人物の表情を判定し、
上記ガイド情報の表示中に、上記表情判定部によって判定された上記対象人物の表情に応じて、上記撮像部で撮像される画像に関連づける情報を翻訳して、該画像と共に記録すること、
を具備することを特徴とするガイド付き撮影方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−５１６８８（Ｐ２０１３−５１６８８Ａ）
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願番号】特願２０１２−２０６４１４（Ｐ２０１２−２０６４１４）
【出願日】平成２４年９月２０日（２０１２．９．２０）
【分割の表示】特願２０１１−２６３３９３（Ｐ２０１１−２６３３９３）の分割
【原出願日】平成１９年５月２２日（２００７．５．２２）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願日】平成２４年９月２０日（２０１２．９．２０）
【分割の表示】特願２０１１−２６３３９３（Ｐ２０１１−２６３３９３）の分割
【原出願日】平成１９年５月２２日（２００７．５．２２）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]