Reinforcement Learning, second edition: An Introduction (Adaptive Computation and Machine Learning series)

・ドラフト版（2018年2月ぐらいのもの）のパート2までほとんど読み切っていたので購入しました（最後のパート3はほとんどが神経科学や応用のお話です）．ざっと見てはドラフト版と大きくは変わっていないようです． ・基本的な方針・雰囲気は初版と同じで図と文章での説明が中心ですが，数式が若干増えたかもしれません．適格度トレースの説明は若干分かりにくくなったかも． ・英語は若干まどろっこしい感じがあって，コード本ほどスラスラとは読めない感じがしました． ・数式の展開・擬似コードの記述は初版と同じく丁寧で分かりやすいと思います． ・タイトルの通り，深層強化学習について直接触れているわけではありません，が，関数近似のパートを読むと，何故近年の深層強化学習においてベルマン方程式に基づくTDバックアップが直接は行われず，SGDを用いているかについて知見が得られるなど，近年の研究のモチベーションを理解するのに役立ちます（他には，ツリーバックアップを見れば，TRPOのVineに対して自然に理解できるようになります）．また，n-stepバックアップ（A3Cで使用）・適格度トレース（PPOで使用されていたような…）についてやさしく説明している本が他にあまり見当たらないのでそこも貴重です． ・TD学習の収束性の証明について，一応触れられているものの一箇所論文任せになっています． ・方策ベースの方法，特にアクタークリティックに関してはもう少し詳しく説明があっても良かったかも．また，方策勾配定理の証明は割引率γ=1のケースのみですが，Webで探せば一般的なケースのものも見つかります． ・個人的に，初版でイマイチ歯切れが悪かったように感じた箇所はかなりカットされています．

本書の内容に沿ってPython Simulatorを作成しながら、また、関連の最近の論文も読みながら読んでいるが、説明の内容は現在の技術動向、研究動向に照らし合わせても適切な内容に見える。強化学習を効率的に理解するのに役に立つ。従来から研究している進化的方法との比較、融合などを、本書も参考にしながら行う予定。

新品の本を買ったはずがボコボコの中古本が届いた。 新品と取替えて欲しい。 内容に関してはこれから読むのでレビューできません。

I have received the book in great shape. The content inside is great!

"Reinforcement Learning, Second Edition: An Introduction" is an exceptional and comprehensive guide to the captivating field of reinforcement learning. With a perfect balance of theory and practical applications, this book caters to beginners and professionals alike. The clear explanations, illustrative examples, and thought-provoking exercises make it easy to grasp complex concepts. Whether you're new to the subject or seeking to deepen your understanding, it is an invaluable resource that will empower you to excel in the realm of reinforcement learning.

Una bibbia per gli studenti/appassionati di Reinforcement learning. Non si può lavorare su questa materia senza averlo letto. Sutton e Barto luminari e ottimi insegnanti

I have read one third so far. Compared to other machine learning materials I have read or watched or listened, this is very well written and they put effort to help you understand. I am data scientist and machine learning engineer. Book might be hard for those who are not familiar with the field. My book has no physical quality problems that many have had. The opposite. Physical quality is greatly above average.

Top, ça peut être lu comme un livre de chevet tant les explications sont claires et les exemples bien choisis. :) Super cool de pouvoir se tester sur des exercices aussi !

Sin duda alguna, el pilar fundamental para construir cualquier base de conocimientos sobre el reinforcement learning. Aunque tuve algún problema para decepcionar el envío, diría que fue más bien provocado por el repartidor.