BerkeleyX: CS184.1x Foundations of Computer Graphics Homework 2: OpenGL 日本語訳（主要部のみ） https://courses.edx.org/courses/BerkeleyX/CS_184.1x/3T2014/courseware/Unit_2/Homework_2/ 文責：NAIST Computer Graphics 担当舩冨卓哉 2015.05.13  Transform.cpp: HW1 の Transform.cpp と似ているが，並進・スケール変換・透視投影の実装すべき関数が追加されている． Introduction  readfile.cpp: 入力ファイルを読むためのプログラムである．構文解析部はある程度実装されているが，いくつかのことをやらなければこの homework では，完全なシーンビューワをならない． OpenGL で構成する．(Course Updates タブの)  display.cpp: シーンを表示するためのプログハンドアウトにある OpenGL や GLSL の資料を参ラムである．照するとよい． homework 1 より発展的な課題に  shaders/light.frag.glsl: 実際の fragment なっているが 2 週間しか割り当てられていない．1 shader に相当する． Homework 2: OpenGL 日 2 日で終わるものではないので，早く取り掛かるように．課題の全てのページ，特に FAQ やヒントを最後まで読むこと．この課題では，カメラ，画像のサイズ，最大 10 個までの光源，物体の幾何形状（簡単のため球，ティーポット，立方体に限る），材質など，シーンに関する記述を入力として受け付けることを目標とする．プログラムは正しいカメラ位置・光源環境に従ってシーンをレンダリングしなければならない．また，前回の課題同様，カメラの視点位置を回転させるだけでなく，並進やスケール変換も実現する． Homework 2: Assignment Specification 2 つのシーンファイル hw1.txt と demo.txt があるが，前者は HW1 のシーンに対応し，後者は OpenGL プログラムのデモに（だいたい）対応する． OpenGL and GLM Limitations できるだけ非推奨の機能を使わず，新しい OpenGL でプログラムを作成すること，およびコンセプトを学ぶことが目標であるため，下記以外の OpenGL，GLM 関数は使ってはならない．   Assignment Overview 完全なスケルトンコードが提供されている． homework 1 よりも複雑であり，まずはこれらがどのように機能するかを把握することが最初の課題である．スケルトンコードにコメントされているように，下記 4 つのファイルを変更しなければならない．  homework 1 同様，OpenGL の低レベルな描画関数．これはバッファ，ウィンドウ管理，キーボードイベントに対する glut 関数に相当する．行列やベクトルの積算，正規化，転置，内積，外積といった基本的な GLM 関数．積算については，スケルトンコード内にいくつかの有用な処理が用意されている（例えば rightmultiply など）．ただし，GLM の行列積算をしっかり理解しているならば，この利用は必須ではない（OpenGL も GLM も column-major である）．最小限の OpenGL 行列スタック．特に， perspective, modelview, load a matrix といった OpenGL matrix mode は利用してよい．（GLM からは mat4 を用いればよい）．しかし，他の OpenGL の標準コマンドである pushing and popping transforms, translating, rotating, multiplying the matrix stack などは利用してはならない．また，GLM での等価な関数も同様である．この課題の目標の 1 つは，実際に新しい OpenGL で要求されているのと同じく，自分自身で行列スタックを管理することである．特に， OpenGL と GLM では，カメラの配置，透視投影，並進，回転，スケール変換などの関数が用意されている．この課題の目標は，この流れを理解し，再現することであるため，これらのコマンドを使用することは認められない．さらに，これらのほとんどは新しい OpenGL では推奨されておらず，利用すべきではない．析部のコアが含まれており，数カ所埋めるだけでよい．    Submission HW0/1 と同様，スクリーンショットの提出が求められる．現状では画像による評価しか行っていないが，homework 1 と同様，ソースコード（上記 4 ファイル）の提出も求められる． HW2 の回答を "demo.txt input.txt" を引数として実行する．1 つ目の引数ではシーンを指定し，2 つ目の引数では検証のためのコードである．2 つ目の引数は，検証画像を出力する場合にのみ必要である． Visual Studio のスケルトンでは，コマンドライン引数は既に設定されている (Project > Properties > Configuration Properties > Debugging > Command Arguments )．スケルトンには"input.txt"と "demo.txt"が正しい位置に含まれている． OSX/Linux では， ./transforms demo.txt input.txt を実行すればよい．プログラムを実行したら，i キーを入力すればよい．自動的に提出に必要な画像 ("demo.txt.input.txt.001.png"…) が出力される．＜本講義では，課題は edX 宛ではなく，指定された方法で提出すること．＞ File Format プログラムは 1 つの引数：シーンファイルを指定するだけでも実行できるはずである．（2 つ目の引数は評価のための画像を出力する時のみ使用される．）シーンファイルの各行は個別に扱われ，以下の形式に従っている．スケルトンコードは構文解 Blank line: 空行は（空白が含まれていても）無視せよ． # comment line: #で始まる行はコメントであり，無視せよ． command parameter1 parameter2 ...: 行の最初は必ずコマンドである（読みやすさのため，空白が行頭に含まれていることがある）．コマンドによっていくつかのパラメータを取る．もしパラメータ数がコマンドに合っていなかった場合，あるいはコマンドが不正であった場合，エラーメッセージを出力し，その行は無視する．一般的に，プログラムは入力内のエラーにきちんと対応しなければならないが，この課題では構文解析はポイントではないため，きちんとした入力のみを想定すればよい．プログラムが受け付けるべきコマンドは以下の通りである．まずは一般的なコマンドから述べる（これらのコマンドは入力ファイルの最初の方で使用されると仮定してよいが，必ずしもそうでなくても実行できるようにすべきである．いずれにせよ，スケルトンの構文解析部を利用すれば OK である）:   size width height シーンの幅と高さを指定する camera lookfromx lookfromy lookfromz lookatx lookaty lookatz upx upy upz fovy カメラを指定する．zmin と zmax はプログラム中で指定されている．これは透視投影変換 (アスペクト比 width/height と fovy で指定される) とモデルビュー変換の両方を規定する．次に，光源コマンドについて述べる．光源は最大 10 個までとし，光源コマンドをファイルに追加するだけで光源を追加できる．（光源コマンドが含まれなければ，光源なしの状態をレンダリングしなければならないが，スケルトンコードは既にこれにも対応している）:  light x y z w r g b a 8 つのパラメータを持ち，最初の 4 つは光源の同次座標である． w = 0 の時は平行光源で，それ以外の時は点光源である．これに光源色が続く．ただし，3 次元ベクトルではなく，4 次元ベクトルである（ここでは a，つまり alpha は 1 としてよい)．ユーザが 11 以上の光源を指定した場合，それ以降の指定を無視し，最初の 10 個のみを入力として受け付けるだけでよい．光源に対しても適用される．（つまり，OpenGL では光源もモデルビュー行列の影響を受ける）しかし，キーボードによって指定されるシーン全体の並進，カメラの回転やスケールは光源に対して影響を与えない．シーンファイル内に記述された変換のみが，幾何形状と光源の両方に適用される．ここでは幾何変換のほとんどすべてを実装する．シェーディングには材質の指定が必要である．この材質は物体によって異なる．プログラムは材質の指定状況を保持し（初期値は黒とする），その都度適切な材質パラメータを更新していく形を取る（ただし，ここでの状態保持は単に上書きされていくだけでよく，幾何変換の push/pop などのコマンドに対応する必要はない)．物体が追加されるとき，そのときの現状の材質を設定する．例えば，物体を複数追加する際，その間で diffuse コマンドによって拡散反射色のみを変更すれば，鏡面反射色はそれらの物体では同一とする．      ambient r g b a 環境光色を指定する diffuse r g b a 物体表面の拡散反射色を指定する specular r g b a 物体表面の鏡面反射色を指定する emission r g b a 物体表面の発光色を指定する shininess s 表面の光沢度を指定する次に，物体の幾何形状を指定するコマンドについて述べる．単純のため，物体の最大個数は仮定してよい（これは最低 10 とする，そんなに大量の物体を扱う必要はない）．ここでは glut のコマンドを使うため，コマンドは単に    teapot size 指定されたサイズでティーポットを生成する sphere size 指定されたサイズで球を生成する cube size 指定されたサイズで立方体を生成する球に対しては，glutSolidSphere 関数を用いる際にテッセレーション（面への分割数）を指定する必要があるが，ここでは 20 とする．各プリミティブ形状がどのように描画されるかはスケルトンコードを参照すればよいが，基本的には問題ない．最後に，上述の物体のコマンドが指定されたときに適用されるべき，幾何変換について述べる．ただし，標準的な OpenGL と同様，この幾何変換は    translate x y z 3 次元並進 rotate x y z θ x y z 軸周りの θ 度回転 scale x y z 非一様スケール変換ただし，例えば translation, rotation, translation, scale といったようにコマンドを並べることで幾何変換は連結することができるものとする．OpenGL の慣習に従い，幾何変換のコマンドは現在の変換に対して右から積算するものとする．コードの最後に記述された変換が最初に適用される変換となる（物体コマンドに最寄りの変換から適用される）ため，この慣習は紛らわしい．例えば，（従来の順番で言うところの）translation, rotation, scale の順にコマンドが与えられた場合，まずスケール変換を行い，次に回転，最後に並進となる．右からの積算については，スケルトンコードの補助関数を参照すれば，理解の助けになるかもしれない．シーンの階層的な定義を可能にするため，さらに以下を定める   pushTransform 現在の変換をスタックに "push"する（いくつか変換を適用したのち， pop することでもう一度この変換に復帰することができる） popTransform スタックから返還を"pop"する（つまり，現状の変換を破棄し，スタックの top 要素に戻る）プログラムは幾何変換のスタックに単位行列を初期設定しなければならない．明示的に幾何変換の初期値を単位行列や特定の行列に設定するコマンドは必要ない．要するに，例にあるように，各物体へのコマンドは pushTransform ... popTransform のブロック内にあるべきで，このブロックはネスト（入れ子にすること）もできるようになっている． User Interaction プログラムにシーンファイルを与えて実行すると，上述の通り解釈し，シーンを描画しなければならない．ユーザインタラクションのほとんどすべては既にスケルトンコードに実装されている．特に，プログラムは homework 1 と同じキー入力を受け付け (h, +,-,ESC)，さらに下記の通り拡張する:      g は前回と同様， glm::lookAt と自作関数とを切り替える．また今回は同様に glm::Perspective と自作関数とを切り替える．デフォルトでは自作関数を呼び出すようになっている． r は初期シーンへと幾何変換をリセットする．キーボード入力に対する幾何変換の量も同じくリセットする． v はカメラの回転に対応する動作に設定する（homework 1 でやったのと同じく，これがデフォルトの設定になっている）．ただし，カメラは原点を中心として描画し続ける必要はないが，原点を中心に動くとしてよい． t はシーンを並進する動作に設定する．この場合，矢印キーはシーンを x, y 方向に並進させる．移動量は 0.01 倍するものとする．（移動量の初期値は 5 とする．） s はシーンを x, y 方向にスケール変換する動作に設定する．同様に，変換量は 0.01 倍するものとする．t か v か s を入力することで，制御を並進，視点，スケール変換へ変更することができる．視点が変更され，続いて並進が変更された場合，システムは視点変更を保持しておかなければならず，初期視点に戻ってはならない． Homework 2: Basic Implementation Hints スケルトンコード，例，課題の仕様は以上である．続いて，この課題にどう取り組むかのヒントを 1 つずつ説明していく（2 つめと 3 つめはかなり独立しているのでどちらから取り組んでもよい）．この通りに進めることを強く勧めるが，この通りに進める必要はない．去の受講生 Kolega and hekimgil からのより詳細なヒントがある．1 Additional Transforms まずは homework 1 に追加の変換から実装せよ．スケルトンコードは基本的な機能を実装済みである；Transform クラスに並進とスケール変換を実現する適切な処理を追加すればよい．さらに透視投影変換を実装せよ．これらの実装はそんなに難しくない．homework 1 で，それ以外の変換は既に実装済みのはずである．（もし HW2 でティーポットが表示できなければ，代わりに HW1 のフレームワークを利用してデバッグせよ．後ほどデバッグ済みの Transform.cpp を HW2 で用いればよい．） Lighting 次は光源を実装せよ．まずは，light コマンドを処理できるよう構文解析部に追記せよ．重要なのは，fragment shader の開発である．homework 0 と homework 1 には既に点光源と平行光源を扱うのに必要な基本的な機能が実装されている．あとは，10 個のライト全てを保持できるよう uniform を用い，光源に対して繰返し処理を構成して，色を出力する部分を追加すればよい．スケルトンコードは fragment shader の大枠を既に実装してある． shader は材質についても uniform が必要である．実装すべきシェーディングの式は下記の通りである． I=A+E+∑iLi[Dmax(N⋅L,0)+Smax(N⋅H,0 )s] ここで，I は最終的な輝度，A は環境光の項，E は自己発光，拡散反射 D と鏡面反射 S は全光源 i に対する輝度 Li について挿話を取らなければならない．N は表面の法線，L は光源方向， H はハーフアングル，s は光沢度である．光源方向，ハーフアングルは自前で計算する必要がある．最後に，点光源の減衰についてはここでは考慮しなくてよい． Geometry and Transforms これは講師からの実装に対する基本的なアドバイスである．次章に，より参考になると思われる，過 1 本稿では割愛する最後に，シーンファイルの仕様を完全に実装しなければならない．scene と camera のコマンドはとても簡単に実装できる．ただ単に引数の値を設定し，初期化処理の部分でその値を処理すればよい．（ほとんどはスケルトンコードで既に実装されており，また追記が必要な部分も明確に記載されている．）ただし，カメラの up ベクトルは視点と中心を結ぶ方向に直交するとは限らないため，自分で完全な coordinate frame を構成する必要がある（この部分については既に Transform.cpp に補助関数が実装されている）．材質パラメータは，現状態を保持し，必要に応じてそれを更新していくように実装すればよい．自分で実現し，OpenGL 上に load せよ．最後に，幾何変換のコマンドに対しては，スタックの管理が必要である．C++ standard template library の利用を強く勧める（知らなければ，調べよ）．特に，スケルトンコードの中には下記がある． if ((str.find_first_not_of("\t\r\n") != string::npos) && (str[0] != '#')) stack <mat4> transfstack; transfstack.push(mat4(1.0)) ; これは mat4 のスタックを定義し，その初期値に単位行列を設定している．あとは，幾何変換が来た時に，対応する glm 行列を設定し，スタックに右から積算すればよい． mat4 & T = transfstack.top() ; T = T * M ; ここで，M は幾何変換の行列である．幾何変換の Push と pop は，スタックにそれらの処理を実行するだけである．スケルトンコードには既に実装されている．以上の全ては物体や光源が定義されるときに適切に設定されていなければならない．物体に対しては，この幾何変換と材質を配列に保持しなければならない．ただし，この幾何変換は camera コマンドによる変換を含んでいない．そのかわり，これは display() 関数内で処理されている．光源に対しては，単に変換行列を積算し，変換された光源を保持しておけばよい．最後に， display 処理は camera の look at 行列を読み出し，光源を設定し，これらを行列によって変換している．次に，各物体に対して，材質と正しい変換行列をシェーダに設定することを繰り返す．正しい変換行列を設定するためには，カメラ行列や物体への幾何変換はもちろん，（キーボードから入力された）並進，スケール変換もすべて考慮し，これらを正しく統合しなければならない．これを glutSolidCube, glutSolidSphere, glutSolidTeapot 関数を使って実際に描画することになる（描画自体は既にスケルトンコードに実装されている）．最後に残っているのは，スケルトンコードではすでに提供されている，シーンファイルの構文解析の部分である．この部分はどんな方法を用いてもよいが，本課題の重要な部分ではない．各行を C++ の string stream に変換し，下記コマンドで空行やコメント行を処理している．そして，stringstream s(str) ; s >> cmd ; を実行すれば，cmd にコマンドの文字列が格納される．これに if 文の羅列が続く．残りのパラメータを取り出すため，単に文字列から数値を取出し，失敗した場合にはエラーを返している． Homework 2: FAQ Below are some FAQs collected from previous iterations of the local Berkeley class and the Fall EdX class. Feedback System As in homework 1, the autograder is also intended for use as a feedback system, with the difference images it outputs helping you to pinpoint problems and debug. As with all the assignments, you can submit as many times as you want for feedback; only your final submission will count towards the grade. GLSL Function Restrictions The restrictions on OpenGL and GLM functions do not apply to the use of GLSL in GLSL shaders. There are currently no restrictions on using glsl functions in the fragment shader. Initial Skeleton Code Until you actually parse the input via readfile.cpp the program doesn't really know what to do, and may not show anything. If you can't yet get the teapot to display with the HW 2 framework, you may want to use the HW 1 framework instead for now so you can actually see it. glUniform with arrays Perpsective fovy Near and Far plane values The perspective fovy should be specified in degrees. The near and far plane values have been set for you to use in main.cpp as zNear=0.1 and zFar=99.0 Take a look at this. Passing Lights to Shader Initializing shader values There are two kinds of data being passed to shader program: uniforms and attributes. Attributes are things attached per vertex, whereas uniforms are more like a constant, so things like lights, modelview and projection transforms, or some switches you defined are uniforms. When you declare a uniform in shader program, to access them from the CPU program you need first get a handle = glGetUniformLocation, and then when you want to set values(mostly during display, especially if you have multiple objects whose model transforms are different), you use that handle to specify which variable in the shader program to work with using glUniform() Please initialize shader values, such as using: vec4 finalcolor = vec4(0,0,0,1); If you are experiencing issues with shaders on either your local machine or on the feedback server. How to Debug Debugging HW 2 can be a bit tricky. If you're having difficulties and don't know how to start debugging, our best advice to you is to proceed systematically . Here are some suggestions to get you started See this for documentation.  Directional vs point lights and w  For point lights, the homogeneous coordinate w will be non-zero (usually w = 1). For directional lights (infinitely far away), the w coordinate will be 0. This is how you can distinguish them in the input.   for loop issues  Some students have complained about for loops not working properly in shaders. Most likely you have a bug and are not passing uniforms properly from the main program to the shader. However, if problems persist and/or you get errors related to loop unrolling, you may need to explicitly loop over all 10 max possible lights, instead of only those that are in use (so the loop bounds are constant and known beforehand). First, debug your transformations using the HW 1 as much as possible. Try to draw one object at a time with minimal or no transforms and a simple shader (that only returns a constant color or a color calculated from normals only) Make sure the silhouette (overall shape) of the scene matches the feed back server Then slowly add more transformations and objects, again matching geometry before attempting to match the lighting Add the lighting. Try with one light first, then build up from there. Try to match the HW 1 scene first.