ブレインアシスト型遺伝的アルゴリズムの提案 The proposal of the Brain Assisted Genetic Algorithm 同志社大学大学院 工学研究科 知識工学専攻 2002年度704番 福永隆宏 修士論文諮問会:2004 研究背景1 インタラクティブ進化計算法 (Interactive Evolutionary Computation: IEC) 人間の主観的評価に基づいて進化的計算が対象問題を最適化 コンピュータシミュレーションによる確率的な探索に 人間の判断を介在させ,GAと人間のコラボレーションを実現 インタラクティブGA (Interactive GA: IGA) GAで得られた解候補の評価 Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 研究背景2 ブレインアシストシステム (Brain-Assisted System) (三木99) 高機能な知的人工物(システム)の設計指針 Lv.1: 人間にとって煩わしいことを行う Lv.2: 意思決定しやすいものを提示する(Decision Making) Lv.3: 共進化(人間とシステムが共に進化する) Lv.4: 人間の思考を理解し,最適なフィードバックを行う Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 研究目的 インタラクティブ進化計算法 とブレインアシストシステムの融合 ブレインアシスト型遺伝的アルゴリズム (Brain Assisted GA) の提案 GAによる探索方向の決定に人間の判断を介在させる 交叉,突然変異やその他遺伝的オペレータの操作 探索領域の指定(リスタート) 実数値GAをベースとしたアルゴリズム 対象問題の性質,探索傾向の把握による ユーザの最適化に対するアシストのレベルを向上させる グラフィカルなインタフェースを有するシステムの構築 「いつでも」 「どこでも」利用できるユーザインタフェースの利用 携帯電話を用いたクライアント/サーバ型システム Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 提案システム概要 特徴 ユーザインタフェースに携帯電話(NTT DoCoMo iAppli)を使用 Usability, Mobility, Ubiquitousness 端末の飛躍的な性能向上 仕様 900iシリーズ 2102Vシリーズ 505iシリーズ コンテンツサイズ(JAR) 100KB 30KB 30KB スクラッチパッド(記憶領 域) 400KB 200KB 200KB 交叉個体(複製選択個体)の選択 突然変異個体および変異遺伝子の選択 エリート個体情報の表示 任意の世代でアシストが可能 Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 システム構成 Visualizer: 個体情報の可視化・アシストの指示 Control Server: Visualizerへの情報送受信・ Optimizerの制御 Optimizer: 実数値GA(RCGA)による連続関数問題の最適化 Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 Control Server - Optimizer ① ② ① 毎世代,Control Serverへ個体情報を送信 ② 携帯電話からのアクセスがない場合, Optimizerへ従来のGA操作を指示 Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 Visualizer - Control Server ①③ ② ②③ ① Control-Serverに接続 ② Optimizerを停止し,個体情報をVisualizerに送信 個体情報 → 染色体を色で表現:[Min, Max] = [Blue, Red] ③ アシストの指示をControl-Serverを介して,Optimizerへ送信 Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 Visualizer 交叉個体アシストモード 1塊で1個体を表現 適合度順に表示(左上ほど適合度が高い) 個体にふられたIDを用いて,アシストを指示 エリート個体表示モード 染色体を色で表示(10次元) 色 : 青 - 紫 - 赤 定義域 : 低 - 中央 - 高 適合度0で最適解 Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 提案システムの適用例 シナリオ Schwefel関数(10次元)の最適化に提案システムを適用し, 探索の各段階における,ユーザの最適化計算のアシストを見ることで, 人間の判断が最適化にどのように影響しているか, 人間が最適化にどのようなアシストをしているのかについて確認する Schwefel関数 パラメータ パラメータ 多峰性関数 設計変数間に依存関係なし 最適解は境界付近に存在 個体数 次元数 交叉手法 世代交代モデル 交叉回数 UNDXパラメータ 突然変異率 値 100 10 UNDX MGG 100 α= 0.5, β= 0.35 0.0 Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 探索序盤 初期母集団 各設計変数値がランダム 個体は適合度順に並んでいる コンピュータシミュレートに委ねる 適合度が高い個体群において 赤色の遺伝子が増加 定義域の境界付近に最適解が 存在することが予測できる Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 探索中盤 進化的停滞 ある設計変数のみ青色で 表示されている 局所解の存在が確認できる 特定の遺伝子に対して集中的に 突然変異を適用し局所解からの 脱出を図る 母集団の個体群が類似 解の精度を向上させるための 局所的探索を実行 類似している個体に対して 集中的に交叉を適用する Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 探索終盤 探索終盤 適合度が限りなく0に近い ほぼ最適解に収束している コンピュータシミュレートに委ねる 適合度が0に到達 最適解に到達した 各設計変数値が420.969であるとき 最適解になることがわかる Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 適用例の結果 人間の判断を最適化に介在させることで・・・ 最適解が容易に求められない対象問題において, 良好な探索を実現する可能性 システムを繰り返し利用することで・・・ 対象問題の性質を把握できる可能性 「局所解が存在するかもしれない」 「最適解は○○にあるかもしれない」 最適化の方向性を決定できる可能性 「この個体同士を交叉させたい」 「この遺伝子を突然変異させたい」 Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 Demonstration ブレインアシスト システム Demonstration Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 まとめ ブレインアシストシステムの指針に基づくGAによる最適化ツールの構築 ブレインアシスト型遺伝的アルゴリズムの提案 GAによる最適化計算中に,遺伝的オペレータに対して 任意の段階で人間の判断を介在させる 人間とコンピュータの共同作業を実現するシステムの構築 任意の場所で,いつでも使える携帯電話をインタフェースに用いる 提案システムを繰り返す利用することで, ユーザが最適化計算の方向性を決定できるようになり, より効率的で,より精度の高い解を得ることが期待できる システムからの支援をもとに,ユーザの判断を反映できる (ブレインアシストシステムのLv.3の一部を達成) Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 今後の課題 提案システムの高レベル化 ユーザのアシストによるシステムからのフィードバック機能 過去の履歴によるシステム側からのフィードバック機能 探索傾向(ランドスケープ)が確認できる機能 アシスト項目の多様化 大規模問題への適用 携帯電話を最適化計算の補助的な計算資源として機能 複数人でのコラボレーション Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 参考資料 以下,参考資料 Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 実数値GA(Real-coded GA: RCGA) 連続関数最適化問題に特化したGA 実数ベクトルによる染色体のコーディング 形質遺伝に優れた交叉手法 多様性維持に優れた世代交代モデル 交叉手法:UNDX(小野) 世代交代モデル:MGG(佐藤) Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 iAppli開発における制約 通信上の制約 通信プロトコルはHTTP(HTTPS)のみ 接続先はiAppliのダウンロードもとのサーバに限る 送受信データの制約 受信データは最大10Kbyte 送信データは最大5Kbyte APIの制約 浮動小数点演算が使用できない 機種依存性 Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 設計変数値の色情報変換方法 RGBカラーモデル 黒(0, 0, 0) 白(255, 255, 255) (28)3 (約1600万)色を表現できる 適用する連続関数の設計空間は210の倍数 Rvalue = ( kxi + 29 ) Gvalue = 0 Bvalue = 28 - Rvalue / 100 (Rastrigin, R-Rastrigin) 22 1 (Schwefel, Greiwank) k= 250 (Rosenbrock) 8 (Ridge) 1.0E–02の精度で,22 / k 区間ごとに異なる色で表現する Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 研究背景 近年,GAの探索性能の向上に関しては, 多くの研究が行われている その中で本研究では,連続関数最適化問題を対象として, 1) 実数ベクトルによる遺伝子表現とその交叉法 2) 世代交代モデル 3) 母集団の分割化 の3種類のスキームに注目 Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 良好な解探索のためのGA設計の指針 目的関数の形状を考慮した探索 ユークリッド空間の連続性を考慮した交叉法 :実数値GA 初期収束を回避する探索 世代間での個体分布の差異を最小化 :Minimal Generation Gap(MGG) 多様性を維持した探索,解の高品質化 母集団分割モデル :分散GA Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 実数値GA 実数ベクトルによる染色体のコーディング 連続関数の最適化に適した交叉オペレータ Unimodal Normal Distribution Crossover(UNDX) Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 MGGと分散GA Minimal Generation Gap(MGG) 佐藤ら(97)によって考案された 世代交代モデル 局所的な世代交代 初期収束の回避 探索終盤での多様性維持 生成個体数(パラメータ) 分散GA 母集団をサブ母集団(島)に分割 一定世代で移住(移住率,移住間隔) 解探索性能の向上,解の高品質化 母集団分割による分散効果 Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 本研究の目的 UNDX + MGG モデル 小野らによって連続関数最適化問題に対して, 有効性は確認されている 分散GA 単一母集団GAよりも良好な解探索性能を有する 目的 それらを組み合わせた計算モデルを検討 分散GAにMGGを組み込み,より強力なGAの設計を目指す Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 計算モデルの概要 ・ 実数ベクトルによる染色体のコーディング ・ 各サブ母集団内は,MGGに基づいて世代交代 ・ 一定世代ごとに移住を行う ・ 突然変異は行わない Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 数値実験(1) パラメータ 総個体数 島数 Griewank関数(20次元) ※ 20試行平均 300 1, 2, 5, 10 生成個体数 交叉方法 200 UNDX (α=0.5,β=0.35) 突然変異率 0.0 移住率 0.5 移住間隔 5 結果 いずれのサブ母集団数においても,最適解に到達する 母集団分割による分散効果が確認できない 他の対象問題に関しても同様の結果 Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 分散GAに適用したMGGの問題点 ・更新された個体が,他のサブ母集団に反映されていない 各世代,更新個体は2個体のみ ・サブ母集団数の増加に伴う,評価計算回数の増加 【母集団全体の評価計算回数】 = 【各サブ母集団の生成個体数】 * 【サブ母集団数】 constant 本研究の検討事項 Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 分散GAに適用したMGGの問題点 ・サブ母集団数の増加に伴う,評価計算回数の増加 【母集団全体の評価計算回数】 = 【各サブ母集団の生成個体数】 * 【サブ母集団数】 constant Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 分散GAに適用したMGGの提案手法 サブ母集団数によらず各世代の生成個体数を統一 【母集団全体の生成個体数】 = 200 constant 【各サブ母集団の生成個体数】 = 200 / 【サブ母集団数】 ※ サブ母集団数1(単一母集団)のときの生成個体数を200個体 サブ母集団が増加すると, 各サブ母集団での生成個体数は減少 Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 数値実験(2) パラメータ 総個体数 サブ母集団数 生成個体数 交叉方法 Griewank関数(20次元) 300 1, 2, 5, 10 200 / サブ母集団数 UNDX (α=0.5,β=0.35) 突然変異率 0.0 移住率 0.5 移住間隔 ※ 20試行平均 5 結果 いずれのサブ母集団数において,最適解に到達する 母集団分割による分散効果が確認できた Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 数値実験(3) 他の関数においても同様の実験を行う 提案モデルにおけるコーディング法による比較実験 実数ベクトル,ビットストリング(グレイコード) パラメータ 総個体数 実数値GA ビット型GA 300(多峰性), 50(単峰性) サブ母集団数 生成個体数 1, 2, 5, 10 200 / サブ母集団数 30 1設計変数のビット数 交叉方法 UNDX (α=0.5, β=0.35) 2点交叉 (2X) 突然変異 0.0 0.0017 移住率 移住間隔 0.5 対象問題(20次元) Rastrigin関数 依存関係なし,多峰性 Griewank関数 依存関係あり,多峰性 Ridge関数 依存関係あり,単峰性 5 Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 Rastrigin関数の結果 検討項目 #OPT : 最適解到達回数(20試行中) AVG : 最適解到達試行における評価計算回数平均 Rastrigin関数(20次元) 母集団分割よる分散効果を確認 実数ベクトルの有効性を確認 実数ベクトルにおける 最適解到達回数の問題点 局所解を脱する 強力なアルゴリズムの構築の必要性 #OPT UNDX 17 18 17 19 2X 20 20 20 20 #OPT : Number of runs in which the algorithm succeeded in finding the global optimum Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 Griewank関数,Ridge関数の結果 Griewank関数(20次元) Ridge関数(20次元) #OPT #OPT UNDX 20 20 20 20 UNDX 20 20 20 20 2X 15 11 8 13 2X 0 0 0 0 両問題においても, 検討モデルの有効性を確認 母集団分割による,分散効果を確認 Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 結論(1) 連続関数最適化問題に対して, 実数ベクトル表現,MGG,母集団分割について,検討を行った MGGと実数ベクトル表現 設計変数間の依存関係の有無,多峰性 / 単峰性に関わらず, 良好な解探索性能を示した MGGとビットストリング表現 設計変数間に依存関係のない問題に対して,有効に機能した Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 結論(2) 母集団分割とMGG サブ母集団数が増加するごとに, サブ母集団内の生成個体数を減少させる 各サブ母集団での多様性はなくなるが, 母集団を分割することで,全体の多様性は維持できる 評価計算回数を軽減することができる 連続関数最適化問題において, 実数ベクトル表現,生成個体数を調節するMGGを 分散GAに組み込むことは,有効な手法といえる Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 ーーーーーーーーーーーー参考資料ーーーーーーーーーーーー Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 Rosenbrock,R-Rastriginの結果 Rosenbrock関数(20次元) Rotated-Rastrigin関数(20次元) #OPT #OPT UNDX 20 20 20 20 UNDX 19 20 20 19 2X 0 0 0 0 2X 0 0 0 0 両問題においても, 検討モデルの有効性を確認. 母集団分割による,分散効果を確認. Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 Proposed PMBGA Contour Line of OBJ Function Distribution of individuals Features –It is a Real-Coded GA –It can find the solution even in the problem where there is a strong correlation among the parameters. Proposed PMBGA’s steps (1) The elite individuals are chosen from the population. (2) These individuals are transferred by the PCA operation. (3) The new individuals are generated by the normal distribution. Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 PMBGAのパラメータ PMBGA UNDX+MGG Population Size 512 300 ,50 Number of Islands 32 1 Number of Design Variables Number of Design Variables Number of Elite Individuals/Island 1 1 Selection Method Extract Elite Individuals - Extraction Rate 0.25 Archive Size 100 Amplification Rate 2.0 α=0.5, β=0.35 Chromosome length Probabilistic Model, Crossover Mutation Rate Migration Interval Migration Rate Number of Trials Number of Crossover 100 1/ (10×Chromosome length) 0 5 - 0.0625 (1 individual) 20 Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 PMBGAとの比較(1) Rastrigin関数(20次元) Griewank関数(20次元) Rastrigin関数 検討モデルの10島がもっとも早く最適解に収束する PMBGAは局初解に陥らないため,信頼性が高い Griewank関数 PMBGAがもっとも早く最適解に収束する 両モデルにおいて,最適解到達率が100%である Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 PMBGAとの比較(2) Rosenbrock関数(20次元) Ridge関数(20次元) Rosenbrock関数 PMBGAがもっとも早く最適解に収束する 両モデルにおいて,最適解到達率が100%である Ridge関数 検討モデルの10島が,もっとも早く最適解に収束する 両モデルにおいて,最適解到達率が100%である Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 UNDX+sGAの分散効果(1) Rastrigin関数(20次元) Rota関数(20次元) Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 UNDX+sGAの分散効果(2) Rosenborck関数(20次元) Rotated Rastrigin関数(20次元) Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 実数値GAの問題点と今後の課題 実数ベクトルに特化した交叉法は統計的に子個体を生成 探索終盤に,設計空間の中央付近に個体が集まる傾向が高い 最適解が,設計空間の中央に存在しない問題に対して, その解探索性能は極端に低下してしまう. 最適解の位置にロバストなGAの設計が今後の課題 Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 数値実験(4) 最適解が中央にない問題への検討モデルの検討 対象問題:最適解が中央にある問題の最適解を移動した問題 Rastrigin_1 : 最適解 = (1, 1, 1, ・・・, 1) [-5.12, 5.12) Griewank_100 : 最適解 = (100, 100, 100, ・・・, 100) [-512, 512) Ridge_10 : 最適解 = (10, 10, 10, ・・・, 10) [-64, 64) Rotated Rastrigin_1 : 最適解 = (1, 1, 1, ・・・, 1) [-5.12, 5.12) Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 パラメータおよびSPX パラメータ 総個体数 サブ母集団数 生成個体数 交叉方法 1800 1, 2, 5, 10 200 / サブ母集団数 SPX (ε= 22) 突然変異率 0.0 移住率 0.5 移住間隔 5 Simplex Crossover : 樋口(01) 多数の親を用いる,実数ベクトルに特化した交叉法 一様乱数で子個体を生成 Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 数値実験結果(1) Rastrigin_1関数(20次元) Griewank_100関数(20次元) #OPT #OPT SPX 20 20 19 19 SPX 20 20 20 20 Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 数値実験結果(2) Ridge_10関数(20次元) Rotated Rastrigin_1関数(20次元) #OPT #OPT SPX 20 20 20 20 SPX 10 11 4 0 Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 Unimodal Normal Distribution Crossover (Ono 97) • 3つの親個体により定義される正規分布領域内に生成 • 設計変数間に依存関係のある問題に強い • 標準偏差を調節するパラメータ α,β • 最適解が設計空間の端に存在する問題に適用すると,性能が低下してしまう Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 世代交代モデル 複製選択と生存選択を規定 sGA(Simple GA) - Goldberg,89 MGG(Minimal Generation Gap) - 佐藤,97 Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 実数値GAの突然変異 ① 一様突然変異 (Uniform mutation) ② 境界突然変異 (Boundary mutation) Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 Toridal Search Space Conversion 染谷ら(01)によって提案された,制約外遺伝子の処理方法 最適解が設計空間の端に存在する問題に有効 Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 遺伝的アルゴリズム 生物の進化を模倣した 最適化アルゴリズム f (x1, x2) (2, 7) 候補解をビットストリングで表現 確率的な多点探索 エンコード デコード 遺伝オペレータ 交叉 染色体 個体・・・ 010111 x1 x2 突然変異 評価 選択 設計変数 Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 実数値遺伝的アルゴリズム 実数ベクトルによる 染色体のコーディング 実数値のための 遺伝オペレータ (交叉法:BLX-α,UNDX) 親個体の形質を 効率よく引き継ぐ 連続性を考慮した探索が可能 Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 分散遺伝的アルゴリズム サブ母集団(島)に分割 各島内で独立した遺伝操作 Distribute 島間で移住 解の高品質化が期待できる 島モデルによる分散効果 Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 SGA(1 / 3)の結果 Rastrigin Schwefel Model-1,3は設計変数間に依存関係のない問題に有効 Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 SGA(2 / 3)の結果 Griewank Rotated Rastrigin 設計変数間に依存関係のある問題には 探索性能に問題がある Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 SGA(3 / 3)の結果 Rosenbrock関数 設計変数間に依存関係のある問題には 探索性能に問題がある Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 MGG(1 / 3)の結果 Rastrigin Schwefel 島モデルが解探索に悪影響を与えている 突然変異をしない単一母集団が良好な結果 Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 MGG(2 / 3)の結果 Griewank Rotated Rastrigin 突然変異は探索に悪影響を与えている Model-6をRotated Rastrigin関数に適用したとき 島モデルによる分散効果を確認 Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 MGG(3 / 3)の結果 Rosenbrock関数 Model-8でのみ,最適解を得ることができる Intelligent Systems Design Lab. Doshisha Univ. 修士論文諮問会:2004 全モデルのまとめ 対象問題と分散効果 依存関係のない問題は分散効果が得やすい 依存関係のある問題は分散効果が得にくい 世代交代モデルの影響 SGAと突然変異の併用は分散効果が顕著に現れる MGGは遺伝オペレータに左右する Intelligent Systems Design Lab. Doshisha Univ.
© Copyright 2024 ExpyDoc