第23回WBA勉強会＆第4回WBAハッカソン説明会

テーマ：脳における強化学習

狙い：
NPO法人全脳アーキテクチャ・イニシアティブでは、脳に学んだより汎用的な人工知能の開発に向けて、毎年秋にハッカソンを行っています。今年は「AIにまなざしを」をスローガンとして、眼球運動をテーマとする ハッカソンを10月の6〜8日の3連休に開催 します。ここで各チームは、複数の視覚タスクを脳のように解く計算モデルの構築を目指します。
このハッカソンに先立ち、大脳基底核と強化学習に関わる勉強会を開催します。
サッケードという眼球運動においては、強化学習に対応づけられる大脳基底核と新皮質のループが大きな役割を果たします 。従来より脳の大脳基底核に関わる回路は、Actor−Critic 型の強化学習に関連付けられることが多くなっています。しかしながらそれが脳の神経回路との対応づけの点から見て最適とも限りません。そこで今回は、強化学習の源流にある、クラシファイアシステム、プロフィットシェアリングなどのアルゴリズムを振り返りながら、その脳との対応について検討する場として勉強会を企画しました。さらに発展的にはハッカソンで利用するサンプルプログラムとの関係について議論したいと思います。

参加枠について

• 勉強会のみ参加（先着順）： 前半の勉強会のみの参加枠となります。
• 勉強会＋説明会（ハッカソン参加者優先枠）： 10月6-8日のハッカソン 参加者向けの枠となります。ハッカソンに参加される方はこちらへの登録をおすすめします。
• ハッカソン説明会のみ参加： 10月6-8日のハッカソン 参加者向けの説明会のみ(17:00以降）のみの参加です。
• 【枠を追加しました】勉強会＋説明会（ハッカソン参加者優先枠）
  　直前ですが、枠を5名のみ追加いたしました。ハッカソン参加者向けの枠ですのでご注意ください（ハッカソン参加者以外はご遠慮ください）。

勉強会＆ハッカソン説明会 開催詳細

　　　　　――参加者の皆様へ――　　　　　

日　時：2018年8月19日（日） 勉強会 15:00-17:00、ハッカソン説明会 17:15-19:00
会　場： φカフェ 　東京メトロ・都営地下鉄「本郷三丁目」歩5分
　　　　休日はビル正面扉が施錠されるため、裏口にお回りください。
　　　　インターホンで「601+呼出し」を押していただきますと、係の者が解錠いたします。
主　催：NPO法人 全脳アーキテクチャ・イニシアティブ
共　催：強化学習アーキテクチャ勉強会
後　援：新学術領域人工知能と脳科学の対象と融合
　　　　文部科学省ポスト「京」萌芽的課題４「脳のビッグデータ解析、全脳シミュレーションと脳型人工知能アーキテクチャ」
　　　　株式会社ドワンゴ

(＊) 当日は写真・動画の撮影を行い、ウェブサイトやニコ生等で公開する可能性がありますのでご了承ください。

スケジュール(詳細は変更する場合があります)

勉強会15:00-17:00　ハッカソン説明会 17:15-19:00

前回（第三回）ハッカソンの動画
前々回（第二回）ハッカソンの動画
youtube の 全脳アーキテクチャ・イニシアティブのチャンネル には、もっと多数の動画があります！

ゲスト講演1：「強化学習 もう一つの源流：分類子システム」

講演者：荒井幸代 先生（千葉大学）
概要： 2017年 MIT の 10 Breakthrough Technologies の一つとして取り上げられた強化学習も，AI同様，過去にも盛り上がりがありました．強化学習が再ブレークした背景には，ご存知のとおり Deep Neural Network という強力な非線形近似器との連携による深層強化学習 (DRL) の成功があります．これまでの強化学習のボトルネックであった高次元の入力と行動空間をカバーするタスクへの応用成果が次々と報告されています．しかし，実世界は易々とその成功を許すことなく，以下の３つの課題が昔見た壁として立ちはだかっています
1） temporal credit assignment with long time horizons,
2） sparse rewards, lack of diverse exploration, and
3） brittle convergence properties.
本講演では，1）に焦点をあて，強化学習の源流の一つである Classifier System における Credit assignment 法と，Actor-Critic との親和性を議論するための話題を提供します．

ゲスト講演2：「脳における強化学習」

講演者：太田宏之 先生（防衛医科大学校）
概要： 大脳基底核は、人工知能研究の文脈において、状態や行動の価値を表現・更新する強化学習の座として知られています。その一方で、医学のなかの神経学においては、大脳基底核は運動行動の制御を行う部位として古くから捉えられてきました。ドーパミン=TD誤差によって行動や状態の価値を更新する系としての大脳基底核と、運動行動を開始し、停止させる系としての大脳基底核という2つの見方は、一見すると相容れません。ところが近年、神経系の計測制御技術の発展に伴って、この２つの視座のあいだを取り持つような萌芽的な実験データが出始めて来ています。本講演では、大脳基底核研究の最新の知見を紹介し、運動行動と価値に関する脳内表現にかんする新しい理解のかたちを探ります。

運営スタッフ

委員長 ： 山川宏
登壇者調整：高橋達二／山川宏
受付： 長谷川一郎 、WBAIサポーターズ
写真・動画撮影：門前 一馬
司会： 山川宏
connpass： 長谷川一郎、藤井烈尚
会場担当： （当日）岡本洋、（予約）長谷川一郎

全脳アーキテクチャ勉強会オーガナイザー

◎ 産業技術総合研究所 人工知能研究センター 一杉裕志

1990年東京工業大学大学院情報科学専攻修士課程修了。1993年東京大学大学院情報科学専攻博士課程修了。博士（理学）。同年電子技術総合研究所（2001年より産業技術総合研究所）入所。プログラミング言語、ソフトウエア工学の研究に従事。2005年より計算論的神経科学の研究に従事。 「全脳アーキテクチャ解明に向けて」

◎ 株式会社ドワンゴ人工知能研究所 所長 山川宏

1987年3月東京理科大学理学部卒業。1992年東京大学で神経回路による強化学習モデル研究で工学博士取得。同年（株）富士通研究所入社後、概念学習、認知アーキテクチャ、教育ゲーム、将棋プロジェクト等の研究に従事。フレーム問題（人工知能分野では最大の基本問題）を脳の計算機能を参考とした機械学習により解決することを目指している。 http://ailab.dwango.co.jp/

◎ 東京大学 准教授 松尾豊

東京大学で、ウェブと人工知能、ビジネスモデルの研究を行っています。 ウェブの意味的な処理を人工知能を使って高度化すること、人工知能のブレークスルーをウェブデータを通じて検証することを目指しています。 http://ymatsuo.com/japanese/

全脳アーキテクチャ・イニシアティブ創設賛助会員

全脳アーキテクチャ・イニシアティブ特別賛助会員

全脳アーキテクチャ・イニシアティブでは、賛助会員を募集しております。賛助会員に登録いただきますと、当サイトに貴団体ロゴとホームページへのリンク掲載や、各種イベントの優先参加など、さまざまな特典がございます。詳しくは、こちらをご覧ください。

これまでに開催された勉強会の内容

第22回 全脳アーキテクチャ勉強会 テーマ：「自律性と汎用性」

• 創発インタラクションの意義：機能分化に対する変分原理と数理モデル | 津田一郎（中部大学創発学術院）
• デザインされた行動から自律発達的な行動へ：インテリジェンスダイナミクスに関して | 藤田雅博（ソニー株式会社）
• 第22回 全脳アーキテクチャ勉強会 概要

第21回 全脳アーキテクチャ勉強会 テーマ：「推論」

• 【脳科学】前頭葉での推論 | 坂上雅道（玉川大学）
• 【認知科学】人の推論過程 | 服部雅史（立命館大）
• 【人工知能】ベイジアンネット | 植野真臣（電気通信大学）
• 勉強会概要と発表資料

第20回 全脳アーキテクチャ勉強会 ～ 海馬における文脈表現

• 海馬とエピソード記憶 ―脳は物語をいかに表現するか？―
• 全脳における海馬の計算論
• 第20回 全脳アーキテクチャ勉強会 ～ 海馬における文脈表現 まとめ (togetter)

第19回 全脳アーキテクチャ勉強会 ～ 脳・人工知能とアナログ計算・量子計算

• アナログ計算機と計算可能性
• 量子アニーリングのこれまでとこれから
• 第19回 全脳アーキテクチャ勉強会 ～ 脳・人工知能とアナログ計算・量子計算〜 まとめ (togetter)

第18回 全脳アーキテクチャ勉強会 ～ 全脳規模計算

• 全脳シミュレーション
• 時間領域アナログ方式で脳の演算効率に迫る
• 第18回 全脳アーキテクチャ勉強会 ～ 全脳規模計算 ～ まとめ (togetter)

第17回 全脳アーキテクチャ勉強会 ～ 失語症と発達性ディスレクシア ～

• 失語症と発達性ディスレクシア
• 脳内神経繊維連絡と失語症
• 発達性ディスレクシア - 生物学的原因から対応まで

第16回 全脳アーキテクチャ勉強会 ～ 人工知能は意味をどう獲得するのか ～

• ヒト大脳皮質における意味情報表現
• 画像キャプションの自動生成

第15回 全脳アーキテクチャ勉強会 ～ 知能における進化・発達・学習 ～

• ヒトの知性の進化
• 発達する知能　－ことばの学習を可能にする能力―
• 勉強会概要と発表資料

第14回 全脳アーキテクチャ勉強会 ～ 深層学習を越える新皮質計算モデル ～

• 大脳新皮質のマスターアルゴリズムの候補としての Hierarchical Temporal Memory (HTM) 理論
• サル高次視覚野における物体像の表現とそのダイナミクス
• 勉強会概要と発表資料

第13回 全脳アーキテクチャ勉強会 ～ コネクトームと人工知能 ～

• コネクトームの活用とその近未来
• 脳全体の機能に迫る
• 勉強会概要と発表資料

第12回 全脳アーキテクチャ勉強会 ～ 脳の学習アーキテクチャー ～

• 脳の学習アーキテクチャ
• パネルディスカッション「神経科学と全脳アーキテクチャ」
• 勉強会概要と発表資料

第11回 全脳アーキテクチャ勉強会 ～ Deep Learning の中身に迫る ～

• 深層学習の学習過程における相転移
• Deep Neural Networks の力学的解析
• SkymindのDeep Learning への取り組み
• 勉強会概要と発表資料

第10回 全脳アーキテクチャ勉強会 「全脳アーキテクチャのいま」～ 全脳アーキテクチャプロジェクトとそれをとりまく周辺の最新状況報告 ～

• 全脳アーキテクチャの全体像
• 人工知能の難問と表現学習
• 全脳アーキテクチャと大脳皮質モデル BESOM の実用化研究の構想
• 全脳アーキテクチャを支えるプラットフォーム
• 人工知能・ロボット次世代技術開発
• 汎用人工知能に向けた認知アーキテクチャが解決するべき知識の課題
• 感情モデルと対人サービス
• 若手の会の活動報告
• 勉強会概要と発表資料

第9回 全脳アーキテクチャ勉強会 ～ 実世界に接地する言語と記号 ～

• 脳内視覚情報処理における物体表現の理解を目指して ～ Deep neural network の利用とブレイン・マシン・インタフェースへの応用 ～
• 記号創発ロボティクス ～内部視点から見る記号系組織化への構成論的アプローチ～
• 脳科学から見た言語の計算原理
• 勉強会概要と発表資料

第8回 全脳アーキテクチャ勉強会 時系列データ ～ 脳と機械学習技術は時間をどう扱うのか ～

• 脳における時間順序判断の確率論的最適化
• 順序とタイミングの神経回路モデル
• 深層学習によるロボットの感覚運動ダイナミクスの学習
• 勉強会概要と発表資料

第7回 全脳アーキテクチャ勉強会 感情 ～ 我々の行動を支配する価値の理解にむけて ～

• 感情の進化 ～ サルとイヌに見られる感情機能 ～
• 情動の神経基盤 ～ 負情動という生物にとっての価値はどのように作られるか？ ～
• 感情の工学モデルについて ～ 音声感情認識及び情動の脳生理信号分析システムに関する研究 ～
• 勉強会概要と発表資料

第6回 全脳アーキテクチャ勉強会 統合アーキテクチャー ～ 神経科学分野と AI 分野の研究蓄積の活用に向けて ～

• 分散と集中：全脳ネットワーク分析が示唆する統合アーキテクチャ
• 脳の計算アーキテクチャ：汎用性を可能にする全体構造
• 認知機能実現のための認知アーキテクチャ
• 勉強会概要と発表資料

第5回 全脳アーキテクチャ勉強会 ～ 意思決定 深いゴール探索と深い強化学習の技術をヒントにして、前頭前野の機構の解明を目指す ～

• Deep Learning とベイジアンネットと強化学習を組み合わせた機構による、 前頭前野周辺の計算論的モデルの構想
• BDI ― モデル、アーキテクチャ、論理 ―
• 強化学習から見た意思決定の階層
• 勉強会概要と発表資料

第4回 全脳アーキテクチャ勉強会 ～ 機械学習と神経科学の融合の先に目指す超知能 ～

• 全脳アーキテクチャ主旨説明
• AI の未解決問題と Deep Learning
• 脳の主要な器官の機能とモデル
• 脳をガイドとして超脳知能に至る最速の道筋を探る
• 自然な知覚を支える脳情報表現の定量理解
• 脳型コンピュータの可能性
• 勉強会概要と発表資料

第3回 全脳アーキテクチャ勉強会 ～ 海馬：脳の自己位置推定と地図作成のアルゴリズム ～

• 「SLAM の現状と鼠の海馬を模倣した RatSLAM」
• 「海馬神経回路の機能ダイナミクス」
• 「人工知能 (AI) 観点から想定する海馬回路の機能仮説」
• 勉強会概要と発表資料

第2回 全脳アーキテクチャ勉強会 ～ 大脳皮質と Deep Learning ～

• 「大脳皮質と Deep Learning」
• 「視覚皮質の計算論的モデル ～ 形状知覚における図地分離と階層性 ～」
• 「Deep Learning 技術の今」
• WBA の実現に向けて： 大脳新皮質モデルの視点から
• 勉強会概要と発表資料

第1回 全脳アーキテクチャ勉強会 ～ 機械学習と神経科学の融合の先に目指す超知能 ～

• 勉強会開催の主旨説明
• AI の未解決問題と Deep Learning
• 脳の主要な器官の機能とモデル
• 脳を参考として人レベル AI を目指す最速の道筋
• 勉強会概要と発表資料

全脳アーキテクチャ勉強会の開始背景（2013年12月）

人間の脳全体構造における知的情報処理をカバーできる全脳型 AI アーキテクチャを工学的に実現できれば、人間レベル、さらにそれ以上の人工知能が実現可能になります。これは人類社会に対して、莫大な富と利益をもたらすことが予見されます。例えば、検索や広告、自動翻訳や対話技術、自動運転やロボット、そして金融や経済、政治や社会など、幅広い分野に大きな影響を与えるでしょう。 私達は、この目的のためには、神経科学や認知科学等の知見を参考としながら、機能的に分化した脳の各器官をできるだけ単純な機械学習器として解釈し、それら機械学習器を統合したアーキテクチャを構築することが近道であると考えています。 従来において、こうした試みは容易ではないと考えられてきましたが、状況は変わりつつあります。すでに、神経科学分野での知見の蓄積と、計算機速度の向上を背景に、様々な粒度により脳全体の情報処理を再現／理解しようとする動きが欧米を中心に本格化しています。 また Deep Learning などの機械学習技術のブレークスルー、大脳皮質ベイジアンネット仮説などの計算論的神経科学の進展、クラウドなどの計算機環境が充実してきています。 こうした背景を踏まえるならば、全脳型 AI アーキテクチャの開発は世界的に早々に激化してくる可能性さえあります。 そこで私達は、2020年台前半までに最速で本技術を実現できるロードマップを意識しながら、この研究の裾野を広げていく必要があると考えています。 そしてこのためには、情報処理技術だけでなく、ある程度のレベルにおいて神経科学等の関連分野の知見を幅広く理解しながら、情熱をもってこの研究に挑む多くの研究者やエンジニアの参入が必要と考えています。