OpenAI Gym/Baselines深層学習・強化学習 人工知能プログラミング実践入門 [単行本]

OpenAI Gym/Baselines深層学習・強化学習 人工知能プログラミング実践入門 の 商品概要

• 要旨（「BOOK」データベースより）

  「ＯｐｅｎＡＩ　Ｇｙｍ」の概要を理解し、そこに含まれるレトロゲーム攻略のための「Ａｔａｒｉ　環境」、メガドライブやスーパーファミコンなどの市販ゲームを攻略するための「Ｇｙｍ　Ｒｅｔｒｏ　環境」を使いながら、強化学習によるゲーム攻略のＡＩを基礎から手順を追って作成できます。強化学習アルゴリズムの実装セット「Ｓｔａｂｌｅ　Ｂａｓｅｌｉｎｅｓ」に含まれる、最新の研究成果を含む多数のアルゴリズムの特徴と利用方法を学べます。強化学習を効率よく進めるための肝となる「マルチプロセッシング」「前処理」「ハイパーパラメータの調整」「クラウド学習」について、詳しく解説。

• 目次

  1章　深層学習と開発環境の概要
  　1-1 人工知能と機械学習
  　1-2 教師あり学習と教師なし学習と強化学習
  　1-3 強化学習
  　1-4 開発環境と開発フレームワーク
  
  2章　Pythonの開発環境の準備
  　2-1 Anacondaの準備
  　2-2 Google Colabの準備
  　2-3 Pythonの文法
  
  3章　OpenAI Gymツールキットの概要と環境構築
  　3-1 OpenAI Gymの概要
  　3-2 OpenAI Gymのインストールと動作確認
  　3-3 Gymインタフェース
  　3-4 行動空間と状態空間
  
  4章　強化学習アルゴリズムStable Baselinesの概要と環境構築
  　4-1 Stable Baselinesの概要とインストール
  　4-2 強化学習アルゴリズムの分類と特徴
  　4-3 平均報酬と平均エピソード長の出力とMonitorの利用
  　4-4 モデルの保存と読み込み
  　4-5 TensorBoardとコールバックによる学習状況の監視
  　4-6 マルチプロセッシングの概要と実装
  　4-7 Stable Baselines Zooによる学習済みモデル実行
  
  5章　Atari環境の攻略
  　5-1 Atari環境の学習
  　5-2 前処理
  　5-3 ハイパーパラメータの調整
  　5-4 クラウド学習
  　5-5 模倣学習によるAtrai環境の学習
  
  6章　Gym Retro環境の攻略
  　6-1 Gym Retro環境の構築
  　6-2 Gym Retroの学習
  　6-3 ゲームインテグレーションの作成
  
  7章　ソニック環境の攻略
  　7-1 ソニック環境の準備
  　7-2 強化学習によるソニック環境の攻略
  　7-3 模倣学習によるソニック環境の攻略
  　7-4 ソニックのAIをさらに強化する試み
  
  8章　さまざまな強化学習環境
  　8-1 OpenAIのMuJoCo環境とRobotics環境
  　8-2 PyBullet 環境：オープンソースな3D物理シミュレーション環境
  　8-3 AnyTrading：トレーディングの強化学習環境
  　8-4 Unity ML-Agents：Unityの強化学習環境
  　8-5 Gymラッパー：Unity ML-Agents環境をGym環境に変換
  　8-6 MarLÖ：マインクラフトの模倣学習環境
  　8-7 PySC2：StarCraft IIの強化学習環境
  　8-8 そのほかの強化学習環境

• 出版社からのコメント

  AIで「ソニック」「レトロゲーム」「Unityゲーム」「マインクラフト」「スタークラフト2」「FX・株トレード」を攻略

• 内容紹介

  AIで「ソニック」「レトロゲーム」「Unityゲーム」「マインクラフト」「スタークラフト2」「ロボット制御」「FX・株トレード」を攻略
  
  人工知能によるゲームの攻略は、ゲーム開発者のみならず、機械学習を学びたい学生や研究者にとっても、最もホットな話題となっており、日々新たな攻略アルゴリズムが発表されています。そのなかでも、2015年12月に設立された非営利団体「OpenAI」は、その中心的な存在となっています。
  
  「OpenAI」は、誰でも自由に使える強化学習ツールキット「OpenAI Gym」を公開しており、このなかにはAtraiのゲーム環境やロボット制御の環境などの学習用の環境が多数含まれています。本書では、この「OpenAI Gym」を使って、ゲームを攻略するAIを作るための手法を手順を追って解説しています。
  
  「OpenAI Gym」では、さまざまな強化学習アルゴリズムがまとめられた「Stable Baselines」を組み合わせて学習を行うため、本書でも「Stable Baselines」の概要から各アルゴリズムの詳細、学習状況の監視の方法などをサンプルを作りながら紹介しています。
  
  Atraiのゲーム環境には、AIで攻略するための無償のゲームが数多く含まれていますが、「OpenAI Gym」の「Gym Retro」環境は、より高度な市販ゲームを攻略するためのもので、本書では実際に有償の「ソニック・ザ・ヘッジホッグ」（セガ／メガドライブ版）のゲームを入手して攻略していきます。
  
  「OpenAI Gym」は、レトロゲーム以外にも「マインクラフト」「スタークラフトII」といった最新ゲームを攻略するための環境、Unityゲームを攻略するためのGymラッパー、ロボット制御の強化学習、FX・株の値動きを予測する環境など、多数の環境が接続でき、本書の最後ではさまざまなバリエーションの学習の概要も取り上げます。

• 著者紹介（「BOOK著者紹介情報」より）（本データはこの書籍が刊行された当時に掲載されていたものです）

  布留川 英一(フルカワ ヒデカズ)
  １９７５年生まれ。群馬県出身。会津大学コンピュータ理工学部コンピュータソフトウェア学科卒。１９９９年、「ＪＡＶＡ　ＰＲＥＳＳ」（技術評論社）にて、携帯アプリの開発方法の連載を開始。２００１年、株式会社ドワンゴにて、世界初のＪａｖａ搭載携帯電話「５０３ｉ」のローンチタイトル「サムライロマネスク」の開発に携わる。以後、携帯電話・スマートフォン・ロボットなど新ハードの新機能を活用したアプリを作りつつ、技術書を書き続け、２０年で４０冊ほど。現在はギリア株式会社にて、ヒトとＡＩの共生環境の実現を目指して、人工知能の研究開発に取り組んでいる

• 著者について

  布留川 英一 (フルカワヒデカズ)
  1975年生まれ。群馬県出身。会津大学コンピュータ理工学部コンピュータソフトウェア学科卒。
  2000年より株式会社ドワンゴにて、携帯アプリの研究開発に携わる。2005年より株式会社UEIにて、スマートフォン、二足歩行ロボット向けのアプリを開発。2013年、ハイパーテキストタブレット端末「enchantMOON」の開発に参加。2017年よりGHELIAにて、人工知能、VR、ARの研究開発に従事。
  「AlphaZero 深層学習・強化学習・探索 人工知能プログラミング実践入門」（ボーンデジタル／2019年刊）、「iPhone／Androidアプリ開発者のための機械学習・深層学習 実践入門」（ボーンデジタル／2019年刊）、「Unityではじめる機械学習・強化学習 Unity ML-Agents実践ゲームプログラミング」（ボーンデジタル／2018年刊）、「Unity ゲーム プログラミング・バイブル」（共著、ボーンデジタル／2018年刊）など、プログラミング関連を中心に著書多数。

OpenAI Gym/Baselines深層学習・強化学習 人工知能プログラミング実践入門 の商品スペック