● 羽藤 ○ 古橋さんが似たことをやっている ● 古橋 ○ 物理モデルはどう入っているかがあんまわからなかった ○ 教師方策自体を学習しているわけではない? ○ 教師方策としての物理モデルがあれば最適な経路誘導はできるのでは? ● 伊藤 ○ 物理モデルは教師方策 ○ KLダイバージェンス項と報酬項の和のによる累積報酬の最大化 ○ 不確実性がある場合に物理モデルを修正していく ● 小川 ○ なぜKLダイバージェンスを使ったのか?クロスでもシャノンでもなく ○ シャノンエントロピーでやると多様性を考慮できなくなってしまうから ● 伊藤 ○ KLダイバージェンスがガウス分布を仮定している ● 大山 ○ 報酬と教師方策からずれないというトレードオフと探索と報酬最大化のトレードオフのバランスをどうとっていたのか気になる、実用上そのバランスを決めるのが難しそう ○ 教師pre-DSOがよければいいが、それが不確実な時にはどうするのか? ○ もし需要が不確実のときは、、 ○ 目的関数の中身のそれぞれの重みはどうなってる? ● 伊藤 ○ 不確実性パラメータの感度分析で見た限りはあまり変わらなそう ● 古橋 ○ Appendixに重みパラメータについては記述あり https://app.sli.do/event/pC64Lj153hCg6AyKBnQshn/live/questions ● ● 井料 ○ RLは計算時間長いときつい ● 大山 ○ 出力はSOの状態、どう使うか ○ 細かいところだと計算時間が気になる、本当にオンラインで使えるのか ● 伊藤&松永 ○ このモデルが本当に制御しているのかという質問に答えられなかった ○ 自分の研究にどう生かすか? ○ 卒論テーマでの土地の利用予測には時間制約がないので活用できるかも、遅い強化学習として