計測情報処理論システム科学領域日浦慎作この講義について  対象システム科学領域  社会システム数理領域  未来物質領域   基盤専門科目境界専門科目学際選択科目目的画像センサについてその原理や仕組みを理解する．  画像センサが持つ特性や限界を知ることで，より優れたパターン処理やロボット応用システムなどの構築に役立たせることを目指す．  講義について連絡先システム科学領域助教授日浦慎作 [email protected] 内線 6371 部屋番号 D552  単位について期末に試験予定  教科書特に指定しない．プリント，PowerPoint 等数式などは少ないため，講義を良く聴いて理解して欲しい．  講義の関連と位置づけ各種センサセンシング工学（音声，移動，etc.） B3 佐藤・井上複雑システム論 M佐藤複雑システム離散システム知的学習制御信号解析論信号処理パターン処理論 M溝口知能システム M飯國 M谷内田・岩井パターン認識計測情報処理論撮像技術画像処理 M 日浦 HI特論画像センサ画像圧縮 M西田画像システム論ヒューマンＩＦ M佐藤メディア工学  その他の関連分野：コンピュータ，CG, ロボット，制御工学，最適化等パターンとシンボルパターンシンボル情報処理 •均質な要素の配列 •各要素値の並びが重要 0 黒 1 赤 2 緑 3 黄 •不均質均質な要素の配列 •各要素が独立に意味を持つ画像の処理と認識・理解  画像処理・画像変換（パターン→パターン）     画質改善画像符号化・圧縮メディア変換（不可視情報の可視化）画像認識・画像理解（パターン→シンボル）    狭義の画像処理２次元パターン認識３次元画像計測・認識画像生成（シンボル→パターン）  コンピュータグラフィックス講義内容  画像センサそのものに関する講義画像センサ発達の歴史  画像センサに要求される性能とは？  画像センサの構成要素の理解  • • • • 光学系撮像素子映像信号処理知覚，計測，認識講義を通し解決できるようになって欲しい問題(1) 焦点距離 50mm のレンズをどれだけ繰り出せば，5m 先にピントが合うか  このときレンズのＦ値が２であれば，無限遠の物体はどの程度ボケるか  1m〜無限遠の範囲全てに事実上ピントがあったように見せるためには，レンズの設定をどのようにすればよいか  講義を通し解決できるようになって欲しい問題(2)  対象物体を斜めに捕らえるとき，全体にピントをあわせるにはどのようにすればよいか講義を通し解決できるようになって欲しい問題(3)  全方位カメラの球形風防の半径を20cm，厚みを 5mm とする．材質（ガラス）の屈折率を1.5としたとき，風防そのものの焦点距離はいくらか．また撮影される画像にはどのような影響が生じるか．コレ講義を通し解決できるようになって欲しい問題(4)  50mm 50mm ? 図のように半径 50mm のガラス半球を紙の上から 50mm 離して設置し観察したとき，紙は本来の位置よりどれぐらい深い位置に見えるか．ただしガラス半球の屈折率は 1.5 とする．（過去の試験問題の１つ）講義を通し理解して欲しい言葉(1) ガウス光学（近軸光学）  焦点距離，Ｆ値，分散  レンズ収差（コマ収差，色収差，etc..）  レンズティルトとシャインフリューク (Scheimflüg)の法則  被写界深度，焦点深度，過焦点距離，許容錯乱円径  解像力，ＭＴＦ，回折限界  口径蝕，cos4則  講義を通し理解して欲しい言葉(2) CCD, CMOS  フレーム・インターライントランスファ  スミア，ブルーミング，熱雑音  ベイヤ配列，３板式，光学ローパス  NTSC, カラーサブキャリア，ＹＣ分離  RGB表色系，XYZ表色系，L*a*b*表色系  条件等色，ｘｙ色度図，色空間  講義予定(1)  画像センサの概要  画像センサの歴史 • カメラ・写真の歴史 • 放送・映画・ビデオの歴史 • 電子化・デジタル化  画像センサの構成要素 • 光学系，撮像素子，信号系，キャプチャ  画像センサの近似的表現 • ピンホールカメラモデルとカメラの数理講義予定(2)  光学系の基礎  光学系の機能 • 幾何学的条件 • 測光学的条件  レンズの構成要素 • レンズ系，絞り，フォーカシング系  光学ガラスについて • 屈折率と分散，色消しレンズ • 二次分散講義予定(3)  レンズの基礎理想レンズとは  レンズの諸パラメータ  • 焦点距離・Ｆ値・開口数・口径  レンズの効果 • パースペクティブと像の大きさ • レンズのシフトとイメージサークル講義予定(4)  フォーカシングとデフォーカス  ニュートンの結像公式とデフォーカス • 被写界深度，許容錯乱円，過焦点距離  ニュートンの公式の利用 • 実際の問題とその演習  スイングと結像面のコントロール • レンズのあおり（スイング・ティルト） • シャインフリュークの法則講義予定(5)  レンズ系の設計と計算    ３次収差（ザイデルの５収差）について   レンズ系における焦点距離の計算近似と収差について球面収差，非点収差，コマ収差，像面湾曲，歪曲収差色収差について   倍率色収差，縦色収差色収差と分散・色消しレンズと異常分散ガラス講義予定(6)  レンズ性能の表現と評価    波動光学    Ｆ値と解像限界コヒーレント光結像とフーリエ変換    解像度 MTF/OTF デフォーカスの空間周波数応答波動光学的影響ぼけ現象の計測への応用講義予定(7)  その他のレンズの特性    ズームレンズについて付加的な光学系    周辺光量低下 cos4則・口径蝕と開口効率についてクローズアップレンズテレコンバータその他の光学系    望遠鏡・オペラグラス顕微鏡・双眼鏡・ルーペヘッドマウントディスプレイ等講義予定(8)  その他の撮影技法     パノラマカメラスリットカメラ着順判定カメラピントあわせの技術と発展   目視によるピント合わせ一眼レフ方式，距離計連動方式オートフォーカス方式パッシブ方式，アクティブ方式講義予定(9)  撮像素子銀塩写真の発展とカラー写真  電子撮像の発展と歴史  • 光量を電気信号に変換するには • 撮像管と固体撮像素子  固体撮像素子 • CCD と CMOS 講義予定(10)  CCD CCD の動作原理  CCD の種類と特徴  CCD のアーティファクト  • スミア・ブルーミング  CMOS CMOS の動作原理  CMOS の特徴と応用分野  講義予定(11)  映像信号白黒映像方式と放送方式  カラー方式について  • NTSC, PAL, SECAM  NTSC カラー方式 NTSC カラー方式の原理と問題点  ＹＣ分離の各方式  講義予定(12)  画像入力系  キャプチャカードの構造と動作原理 • ADコンバータの方式と構造 • YC分離のデジタル化等  その他の映像伝達・取り込み方式講義予定(13)  カラー撮影技術１板式と３板式について  １板式について  • • • •  カラーフィルタ（補色系と原色系）カラーフィルタの配置色の復元方法ローパスフィルタの効用３板式について • 構造と特徴 • レンズ系の制約など講義予定(14)  表色系について  人間の色知覚の測定と定量化 • 人間の色の知覚とその性質 • CIE1931 XYZ 色表系の考え方について  その他の表色系について • RGB, HSV, L*a*b* など  色の計測と表現 • 色域と gamut についてその他の内容  特殊な画像センサ遠赤外線，紫外線等  高速度カメラについて   距離画像センサ距離計測の各種原理と実際の構造  距離画像センサの現状  画像センサの性質と情報処理  画像センサの幾何的性質キャリブレーション  エピポーラ幾何  幾何学的不変量と射影幾何学   物理法則に基づく計測  Physics-based Vision