21 Lessons for the 21st Centuryを読んだ。瞑想は良いらしいぞ。【読書メモ】

サピエンス全史や，最近日本語版が発売になったホモデウスの作者であるユヴァルノアハラリ氏の最新作を読んだのでメモ。

サピエンス全史が人類の過去，ホモデウスが人類の未来をテーマとしていたのに対し，今作のテーマは人類の今。全21章で構成されており，各章で現代社会のさまざまな問題を取り上げ，考察している。

前半は理系寄りの話題で読みやすい。AIに仕事が奪われるとか，アルゴリズムが権力を持つだとか，そういった話が展開されている。

ハラリ氏は，今後起こるいわゆるAI革命が，かつてイギリスで起こった産業革命とは構造が全く異なるものだと指摘する。具体的には，産業革命においては，機械が人間の肉体的な機能を凌駕したいわば身体的革命だったのに対し，AI革命は機械が人間の知能面での機能を凌駕する，認知的革命であるということ。

この変革の大きさは，産業革命のそれとは比べものにならず，遥か昔に起きた農業革命ほどのインパクトがあるという。

普通にかなり未来の話をしてるな，と思っちゃったけど，これはそうだと思う。人間を人間たらしめるアイデンティティは，肉体ではなくて知性や認知能力の方にあるので，（肉体ならゾウさんがつよいし）ここにメスが入って，機械さんが投入されるとそりゃあ大革命が起こるんではないですかという話。

まあ，ただほんの少し機械学習なりを学んだ身としては，現在のAIの技術は，あくまでビッグデータのある領域で，達成したい目的に対して人間がウンウン唸っていわゆるAI技術をどう適応しようか考えるっていう段階で，いわゆる汎用的な人工知能には程遠い状況だと思っているので，さあ未来はどうかしらっていう感じ。

そして認知能力だけじゃなくて，肉体にもメスが入るよ，といっている。具体的には遺伝子操作技術だったり，サイボーグ技術の話。例えば遺伝子操作技術が確立されたとしても，それはきっと誰にでも手が届くものではなくて，世界の一部の富を持てる人のみが使用することができる。そうして生まれたいわゆる改良人間はさらに富をかき集めて・・・という無限ループ。

ここら辺は，倫理問題がどうたらでそう簡単に行くものでもないと思うけど，10年20年の話じゃなくて，50年100年のスパンで見たらかなり大きな問題になりそう。

そこから文系チックな話題にどんどん転換していって，宗教・神・正義とどんどん進んでいくんだけど，英語でのそういう用語に慣れてないもんで飛ばし飛ばし読んでいった。

教育の章がなかなか興味深くて，特にこの一節は真理だなと思った。

In such a world, the last thing a teacher needs to give her pupils is more infomation. They already have far too much of it. Instead, people need the ability to make sense of infomation, to tell the difference between what is important and what is unimportant, and above all to combine many bits of information into a broad picture of the world. (p261)

前後の流れとともに軽く訳すと，要するにこの情報過多の時代に，先生が子供に情報を与えようとする必要なんかなくて，むしろその扱い方，情報にどんな意味を見出すのか，断片的な情報からどう世界を構築するのかっていう能力が必要よ。っていう。

これってなかなか，現代の学校教育にグッサリと突き刺さるよね。言ってみれば，教科書の内容を解説するんじゃなくて，教科書の読み方を教えなさいっていう話だから。でもこれは，相当に難しい話だよね。

ハラリさんはそれが新しい時代の学び方だ，っつって，親すらもあまり頼ることは出来ないとバッサリ言ってしまっている。なぜなら親の時代は，これからくる時代とはまったく異なっているからと。

これからくる変化の激しい時代においては，常に自分自身が変化し続けて，学び続ける必要があるっていう。でも，人間はふつう変化に対して非常にストレスを抱くし，そんな芸当ができる人はほんの一握りでしょう。

と，いうふうに現代の諸問題を取り上げて，これからやべーよやべーよという流れできたのだが，最後の21章で，じゃあ人間はどうやって己の精神を，健康を保てばいいの？という問いに対して「まあ，瞑想しようぜ」という答えを出している。これにはかなりビックリした。そうか，瞑想か。

もちろん，すべての人に勧められるわけではない，向き不向きがあるとことわった上で，ハラリ氏の個人的な瞑想体験を書き連ねている。なんと1日2時間も瞑想するらしい。すげえ。

理屈としては，結局ストレスやいらだち，不安といった感情はすべて己の体の内部から出てくるものであるから，不安定な外に目を向けるのではなく，己の内側に意識を集中させて精神を安定させよう，というもの。

ハラリさんも，最初は疑心暗鬼だったけど，友達に勧められて10日間コースに行ってみたらビックリしたとのこと。1日2時間もやってるんだからそりゃすごいビックリがあったのだろう・・・。

と，読んでから結構時間が経って書き始めたので，詳細をやや忘れているけれど，ところどころになるほど！ポイントが結構あって楽しめた。一番最後のインパクトが強すぎて前半が薄れてる感はあるけど。

あとは単純に，ようそんないろんなこと知ってますねっていう。巻末の参考文献の量が半端ない。凄く小さい文字で書いてあるのに20p分くらいある。さすが世界的ベストセラーになるだけありますね。

21 Lessons for the 21st Century

人生の隠しパラメータにいかに気付けるか

人生の要素には、細かい隠しパラメータが多い。そこに気付くのには、かなりの観察眼を必要とし、更にそのパラメータを調整しようとするにはかなりのエネルギーが必要となる。

具体例として，英語の勉強を例にとってみよう。すなわち，英語を上達させるためにどうすればいいのか？という問題に隠されたパラメータをいかに読み取ることが出来るか，である。

英語を上達させるために英単語や英文法の習得は不可欠であるのは間違いない。問題はここから更に隠されたパラメータを掘り起こすことが出来るかどうかだ。

英単語にしろ英文法にしろ、脳みそに記憶させるという点では同じであるから、その根底には【記憶力】というパラメータが大きく絡んでいることになる。

だから、【記憶力】というパラメータに気付くことができ、そのパラメータから調節し始めることが出来れば、そうでない人よりもかなり優位に学習が進められる。具体的には，英単語を効率的に覚えられるような記憶の方法を探ることだったり，根本となる記憶のメカニズムについて知る，ということだったりする。

さらに観察眼を持って注意深く見ると，そういった記憶力を改善するための勉強，英単語を覚える勉強をするために根本的に必要になる【モチベーション】というパラメータが浮かび上がってくる。

ここでも，【モチベーション】というパラメータに気づき，あらかじめ【モチベーション】というパラメータをチューニングすることで，その上にある行動，ここでいう記憶力を向上させる，英単語を覚えるなどといった行動全てに変化がおこる。より具体的に言えば，モチベーションとはなんなのか，モチベーションを維持させるためにはどうすればよいのかという問題そのものに焦点を当てて情報を集め，考えるという営みだ。

さらにさらに注意深く見てみると，【モチベーション】というパラメータには【健康】というパラメータが大きく関わっていることに気づくかも知れないし，【自分の興味・性格】というパラメータが関わっていることにも気づくかも知れない。

健康でなければ，当然勉強なんてできるはずもないし，自分の本当にやりたいこと・興味と結びついていなければ，モチベーションを獲得するのは難しい。どれも本当に基本的で当たり前なことだが，だからこそ一番重要なことだ。 

「うん、いろいろな要素がほじくり返せたのは分かったが、それが何なんだよ？何が言いたいんだ？」

ここで自分が言いたいことは、パラメータが基本的であればあるほど、パラメータの値の少しの違いがその人の行動、思想、人生に非常に大きな影響を及ぼすということだ。

これは、木の根や幹の太さに例えると分かりやすい。

(ここでいう、幹や根は隠しパラメータのことで、枝や葉は具体的な英語学習のこと)

つまり丈夫な根っこと、太い幹を持った（隠しパラメータをしっかり育てた）木は、その上に大量の太い枝と立派な葉っぱ（具体的なスキル・知識）を付けることが出来る。

 

逆に、根っこも短く、幹も細い（隠しパラメータに気づいていない，育てられていない）木では、細い幹から細い枝しか伸ばせず、葉っぱ（具体的なスキル・知識）も十分に茂らせることが出来ない。

 

つまり、隠しパラメータの値が低ければ、伸ばせる枝や葉っぱの質が劣るだけでなく、量も完全に負けることになる。

どちらが多くの枝や葉っぱをつけられるか？となったら、それは根っこや幹が太い方に決まっている。

葉や枝の根元でどうあがいても、自分より太い幹を持っている人に敵うわけがないのだ。

結局、人生における知識の習得、学習、経験といった全ての活動で、隠しパラメータの値が低い人が、隠しパラメータの値が非常に高い人に勝つことは不可能であり、その差はどんどん開く一方になってしまう。

世の中に，信じられないほど多くのことを成し遂げる人がいるのは，こういうわけなのである。

ちなみに，武井壮さんのスポーツ理論はまさにこのことである。幹の太さが【自分の体を思った通りに動かす能力】，枝や葉っぱが【各スポーツのスキル】に相当する。

「武井壮　スポーツ理論」で検索するといろいろ出てくる。

また，このような考え方を扱った本には，抽象的なところでは「知的複眼思考法」。やや実践的な部分では「エンジニアの知的生産術」といった本がある。

知的複眼思考法 誰でも持っている創造力のスイッチ (講談社+α文庫)

エンジニアの知的生産術 ──効率的に学び、整理し、アウトプットする (WEB+DB PRESS plusシリーズ)

karia68.hatenablog.com

karia68.hatenablog.com

karia68.hatenablog.com

行動経済学とはなんだろうか？ 読書メモ

 やや気になっていた分野なので，以下の本でほんのさわりだけさわった。

行動経済学入門 (日経文庫)

従来の新古典派経済学

超合理的・超利己的・超自制的な人間を仮定する。それによってモデルの構築を容易にし，数学的な分析を可能にする。言い換えれば，数学という強力なツールを使うために扱いやすいモデルを構築する。また，それによって発生しうる個人の行動様式の現実との誤差は，経済全体として考えれば修正されうるだろうという考え。

しかしながら・・・

• 現実の人の行動様式を完全に捉えきれているとは言い難い
• モデルの簡便さと，現実の人間の詳細な実証はトレードオフである

そこのニーズに合わせて，人間の複雑な行動様式を説明しようとする新たなモデルが生まれる。

行動経済学や経済心理学の登場

従来の経済学では捉えきれていない人間の行動様式を，心理学や認知科学といった他の学問分野の研究結果を活用することによって，説明しようとする，説明能力を補強しようとする試み。

ベイズ・ルールは人間の感覚・認識と上手く整合しているか？

必ずしも一致していない（近道選び，少数の法則，ギャンブラーの過ち，バイアス，自信過剰，係留効果，認知的不協和）

ゲーム理論ーゲームのプレイヤーは極端に合理的になりうるのか？

• 現実には，人間は合理性や利益のみでは動かないだろう（限定合理性）
• 合理的な手段を考えるのにもコストがかかる（最適化コスト，堂々巡りの問題）
• 情報の非対称性による均衡の破綻（勝者の呪い）
• 少数の非合理的プレーヤーの存在がゲームを狂わせる（ノイズ・トレーダー・モデル，行動ファイナンス）

プロスペクト理論とはなにか？

従来の経済学において，不確実性下における人間の行動モデルは期待効用仮説で表されていた。しかしながら，期待効用仮説では説明できない状況が多い（アレのパラドックス）。プロスペクト理論とは，期待効用仮説に代わり得る，リスクがある中での人間の行動様式を表すモデル。

• 人は，同じ規模ならば利益よりも損失の方を重要視する（損失回避性）
• 実際にはわずかな可能性を，額面よりも大きく受け止める（確率ウェート関数）
• 様々な応用例（現状バイアス，大穴バイアス，過剰な保険加入，選挙との関連）
• 先払い，定額制，貯蓄場所によるお金の消費の変化など，合理性と心理の関連（心の家計簿）

標準的な動学モデル（人の消費傾向を時間の経過と共に表すモデル）は現実に即しているのか？

• 必ずしも即していない（消費者は，途中で計画を変更することのない超自制的な人間として仮定される）
• 時間の経過と共に人の好みは代わりうる（選好の逆転）
• （指数的割引モデル→双極的割引モデル）
• さらなる説明要素（限定合理性，習慣形成，本能の作用）

行動経済学の今後の立ち位置

人間の行動様式を複雑なモデルで構成するということは，説明能力を強化することが出来るのと同時に，数学的に扱いにくくなるということにもつながる。すなわち，現実の詳細な記述とモデルの簡潔さはトレードオフであるということ。

それゆえに，行動経済学の登場によって従来の経済学の立場がゆらぐということはなく，むしろ古典的な経済モデルと心理学的な人間の振る舞いとのせめぎ合いから，どれだけ正確で扱いやすいモデルを構築することができるのかという挑戦になる。

人類の知的遺産シリーズがおもしろい話【読書メモ】

最近，偶然図書館で出会った講談社の人類の知的遺産というシリーズ（全80巻）に感動している。内容としては，古今東西大昔から現在まであらゆる有名人の生涯，そしてその著作などを概説したもの。自分みたいな世界のことを全く知らない人間にとっては凄く良いシリーズだなと思ったので，ちょくちょく借りては読んでいる。

以下，全シリーズをまとめました↓

1. 古代イスラエルの思想家
2. ウパニシャッドの哲人
3. ブッダ
4. 孔子
5. 老子・荘子
6. 墨子
7. プラトン
8. アリストテレス
9. 孟子
10. ヘレニズムの思想家
11. 韓非子
12. キリスト
13. ナーガールジュナ
14. ヴァスバンドゥ
15. アウグスティヌス
16. ダルマ
17. マホメット
18. 善導
19. 朱子
20. トマス・アクィナス
21. マイスター・エックハルト
22. イブン＝ハルドゥーン
23. エラスムス
24. マキアヴェッリ
25. 王陽明
26. ルター
27. イグナティウス・デ・ロヨラ
28. カルヴァン
29. モンテーニュ
30. ベーコン
31. ガリレオ
32. デカルト
33. 黄宗義
34. パスカル
35. スピノザ
36. ロック
37. ニュートン
38. ライプニッツ
39. モンテスキュー
40. ルソー
41. ディドロ
42. アダム・スミス
43. カント
44. ベンサム
45. ゲーテ
46. ヘーゲル
47. ダーウィン
48. キルケゴール
49. パクーニン
50. マルクス
51. ドストエフスキー
52. トルストイ
53. ラーマクリシュナ
54. ニーチェ
55. ケア・ハーディ
56. フロイト
57. デュルケーム
58. フッサール
59. ベルクソン
60. デューイ
61. タゴール
62. マックス・ウェーバー
63. 孫文
64. ガンディー
65. レーニン
66. ラッセル
67. トロツキー
68. アインシュタイン
69. 魯迅
70. ケインズ
71. ヤスパース
72. バルト
73. ヴィトゲンシュタイン
74. トインピー
75. ハイデッガー
76. 毛沢東
77. サルトル
78. フランツ・ファノン
79. 現代の社会科学者
80. 現代の自然科学者

まずはじめは読みやすいものから行こうと思って，アインシュタインから読み始めたのだけどすごくよかった。偉人と言われる人であってもその生い立ちを詳しく知れば共感できるところもとても多くて，いい刺激をもらえた。

アインシュタインの話で言えば，どうでもいいことかもしれないけど，アインシュタインもしっかりと大学受験を頑張って*1いたんだなあとか，しっかりと大学4年間通っていたんだなあとか。あとは幼い頃，ドイツの中学高校のようなところで，現代でいう詰め込み型教育を受けてしまって，それに対して大きな不満を抱いていたらしいとか。例の4つの大論文を出した時っていうのは，特許局で働きながら趣味的に書いていたらしいとか（？）

僕は，どんな人であっても，いわゆる”天才”だとかそういうラベルを貼って自分自身から無意識的に遠ざけることはしたくない人間なので，そういう細かなエピソードはとっても励みになるというか，いいね！っていう感じ。結局はその人も人間なのでね，しっかりと背景を見ていきたい。しかしこのアインシュタインに関して，自分が神経科学を学びつつ読んだ感想としては，やっぱ幼少児の教育が一番大事よね・・・というありふれたところへ帰着したけど。子供の頃に幾何学にメッチャハマったとかね。

そんなこんなでスゲー面白い本あんじゃんと思って，最近読んでいたのが中国哲学系の有名人。孔子孟子だとか老子荘子，あと墨子や韓非子といった方々。

こういう人たちって，名前は聞いたことあるけど具体的にどんな人だったんだろうっていう情報が自分の中にまったくなかったんで，新鮮な気持ちで読んでいる。同時並行で同じ時代の違う世界線を見ようと思ってアリストテレスも少し読んでみたけど，やっぱり横文字は消化不良を起こしやすい。。。アリストテレスさんはすごく分類をしたかったんだねっていうことは伝わってきた。たぶんシリーズの中で読みやすいものと読みにくいものはあって，アリストテレスの場合は序文のところで，「本書の後半は学術論文並みの内容をそのまま載せてある」とかほざいておった言ってらっしゃったので，そら難しいわなっていう。しかし，人文系の論文っていうようなものにはじめて触れることができたので良きかな。

なんかこのシリーズ，小学館のまんがの伝記をより大人向けに詳しく書いたって感じでスゲー良いんだよね。もっと有名になってもいいんじゃないかなと思ったんだけど。なかなか本屋には置いてなさそうだね。。。各巻，その人物を専門的に研究している人だったり，ゆかりのある人が初学者向けに分かりやすく書いていて，次に進みやすいように文献もしっかり示してくれてるし。

ついでに似たようなシリーズで世界の名著っていうのもあって，これはそういう世界の有名人の著作そのものを載せてあるものなんだけど，より分厚くて難しそう。難易度的にも分厚さ的にも，人類の知的遺産シリーズ，体系的に世界を知るのにいいと思うんだけど，図書館ってイイもん埋まってんね。欲を言えば，英語で読む訓練もしたいと思っているところなので，英語でこういうのないかなァ〜〜〜〜。

*1:一度は落ちてしまったものの，数学の成績をしっかりと見てくれていた人がいて，お世話になったとか

英語力向上・TOEFLのために洋書を読み続ける

自分は、英語力を根本から向上させるためには大量に読書をするしかないと考えています。それを実行するために、なんとか不自由なく洋書が読めるレベルまでに、語彙力なりを向上させようと頑張っておりました。

例えばこのTOEFL3800の暗記とか、

karia68.hatenablog.com

英検１級のパス単に取り組んでみたりとか

karia68.hatenablog.com

もちろんどちらも、完璧にやり通したというには程遠い達成度だけど。これらをある程度さらったおかげで、全く見たことない！っていう単語は減少してきています。

それでも大部分を忘れてしまっているので、しばらくしたらまた再開しようかなと思ってます。とくにTOEFL3800はね。

それで、ようやく洋書をまともに情報を得られるレベルで読めるようになってきたので、日本語の本を制限して洋書Only運動をしてみてます。

なんでそんなことするのかというと、英語力の向上はもちろんなんだけど、もう一つ別の考え方として、もう日本語十分なんじゃねっていう思いがあるんですね。

 それは、日本語の本をもう読まないとかそんなアホゥなことを言っているわけではなくて。

大学生になるまでずっと日本という環境にいて、日本語にずっと触れ続けているので、もうそろそろ日本語の修練は十分なんじゃないの？、、だとか

本を読むのが、情報を手に入れるためという目的であったとしたら、それなら同時に英語で読書をする練習をすることで、新たな世界を広げて行ったほうがなんかよりオトクなんじゃないの？っていうような感覚。

だって情報を手に入れるためなら、日本語である必要もないものね。そして既に日本語はネイティブなんだから。

（もちろん日本の文学を日本語で楽しむためとかだったら、それはまた別の話になってきますけども。）

情報を手に入れるために英語は必須のツールであると思っているので、そういうところに行き着いたわけです。

そして現在、洋書運動は3冊目に入りました。

1冊目はサピエンス全史の続編である『Homo Deus』 

Homo Deus: A Brief History of Tomorrow

2冊目は睡眠に関する『Why We Sleep』

Why We Sleep: The New Science of Sleep and Dreams

 3冊目の現在は、なんと『サピエンス全史』。（続編を先に読んでしまいました。）

Sapiens: A Brief History of Humankind

1冊目からド級の450ページの本に突っ込んでしまったのは少し無謀だったかもしれないけど、おかげで長文への耐性がついたように思います。見た目と違って意外と英語は簡単めだし、このシリーズ。

2冊目は、シンプルにタイトルが気になったので購入。英語はHomo Deusよりは少し難しく感じたけど、おもろかったのですぐ読了。これはブログにも書きました。

karia68.hatenablog.com

そして3冊目は現在読み進めておりますサピエンス全史ですね。これは日本語バージョンもめっちょ有名なんだけど、地味に読んでいなかったので手に入れました。Homo Deus読んでこっち読まないのも変だしな。。そんで内容はとても面白いです。まだ最初の70ページくらいしか読んでないですが、今のところだと、ネアンデルタール、ホモエレクトス、ホモなんたら...、など様々な類人猿の中で、なぜホモ・サピエンスは勝ち残ったのか？というところへの考察がめちゃオモロといった感じです。

というわけで、結局まだ読んだのはたったの2冊ですが、それでも長ったらしい英語への耐性はかなり向上しているような気がします。

ちなみに今のところの自分の目標は、こちらのサイトで紹介されている

英語学習における「読書」の有効性とは | バイリンガルへの道 英語4技能対策・英語勉強法サイト

イェール大学で学んでいる学生の例を見てみましょう。彼女の海外滞在歴は 5 歳から 8 歳までと比較的短いのですが、アメリカの TOP スクールに合格しています。聞くと彼女は帰国した時から、お母様と英語の本の読書に取り組み、1 年間に自分の背の高さくらいになる位の英語の本を読んでいたそうです。それを毎年 10 年間続けてきたわけですから、途方もない量のように感じます。しかし、本人は楽しみながら読んでいたので少しも苦にはならなかったそうです。この読書のお陰でネイティブに負けない英語力を身につけたと語っていました。英語力が高い人は、英語の本を読む楽しさを知っている人たちなのです。 

 「1 年間に自分の背の高さくらいになる位の英語の本」　くらいですかねo(^o^)o

＊しかしながら、フィクションは全然読める気がしません。やっぱ難しくないですか、フィクション。。。

僕たちは、人生の1/3を占める睡眠について、何も知らない。 【読書メモ】

 『Why We Sleep』 by Matthew Walker

カリフォルニア大学バークレー校の神経科学、心理学の教授であるMatthew Walker氏による、タイトル通りの睡眠に関する本。

すごく面白かった。途中気になったところに折り目を付けながら読んだので、その部分をまとめつつご紹介。本の前半部分は折り目を付けていなかったのでまた読み直してまとめなおすかも。付録の、12の睡眠のための習慣も面白かったので、今度まとめようと思います。

Why We Sleep: The New Science of Sleep and Dreams

Part 1 This Thing Called Sleep

Chapter 1    To sleep

Chapter 2    Caffeine, Jet Lag, Melatonin: Losing and Gaining Control of Your Sleep      Rhythm

Chapter 3    Defining and Generating Sleep: Time Dilation and What We Learned from a   Baby in 1952

Chapter 4    Ape Beds, Dinosaurs, and Napping with Half a Brain: Who sleeps, How Do We Sleep, and How Much

Chapter 5    Changes in Sleep Across the Life Span

Part 2 Why Should You Sleep

Chapter 6    Your Mother and Shakespeare Knew: The Benefits of Sleep for the Brain

Chapter 7    Too Extreme for the Guinness Book of World Records: Sleep Deprivation and the Brain

Chapter 8    Cancer, Heart Attacks, and a Shorter Life: Sleep Deprivation and the Body

Part 3 How and Why We Dream

Chapter 9    Routinely Psychotic: REM-Sleep Dreaming

Chapter 10  Dreaming as Overnight Therapy

Chapter 11 Dream Creativity and Dream Control

Part 4 From Sleeping Pills to Society Transformed

Chapter 12 Things That Do Bump in the Night: Sleep Disorders and Death Caused by No Sleep

Chapter 13 iPads, Factory Whistles, and Nightcaps: What's Stopping You from Sleeping?

Chapter 14 Hurting and Helping Your Sleep: Pills vs Therapy

Chapter 15 Sleep and Society: What's Google and NASA Are Doing Right

Chapter 16 A New Vision for Sleep in the Twenty-First Century

Conclusion: To Sleep or Not to Sleep

Appendix: Twelve Tips for Healthy Sleep

ノンレム睡眠とレム睡眠が交互に訪れる理由

１つの有力な説は、脳の莫大な記憶の整理するためのもの。ノンレム睡眠は、脳の重要でない古い記憶を間引く役割を持ち、レム睡眠は新しい記憶をつなげ、強化する役割がある。このように考えると、ノンレム睡眠とレム睡眠の一連のサイクルは、はじめにノンレム睡眠でいらない記憶を消去し、次にレム睡眠でそのスペースに新しい記憶を作成する、というアクションの繰り返しであると理解できる。

とすれば、睡眠時間を考えなしに減らしたり、増やしたりすることは、脳の回復に大きな変化をもたらす可能性がある。すなわち、ノンレム睡眠とレム睡眠のバランスがうまく取れなければ、効果的な睡眠が取れない可能性があるということだ。むやみに睡眠時間を増やせばよいということではない。その逆も然りで、少しの睡眠時間の減少が睡眠の質に大きな影響を及ぼす可能性がある。

昼寝をしなければ、命が短くなる

本来人間は、夜の数時間の長い睡眠と、昼の数十分の短い睡眠を１サイクルの睡眠としていた。

ギリシャには、シエスタという昼寝の習慣があることをご存知だろうか。産業の発展により、現在は都市部ではほとんど見られない習慣となってしまっているが。ハーバード大が23000人のギリシャ人に対して行った調査によれば、シエスタの習慣を残している人に比べ、シエスタの習慣を失ってしまった人は37%もの心臓病のリスクの増加があったという。働く女性はとりわけその影響が大きく、昼寝の習慣を維持している人に比べ、そのリスクは優に60％を超えたという。

逆に、ギリシャのIkariaという島では、今でもシエスタの習慣は固く守られており、Ikariaに住む男性はアメリカの男性よりも4倍近く高い可能性で90歳まで生きることが分かっている。

このような調査から、我々の寿命に昼寝が大きく関わっていることは明らかである。昼寝は、単なる快適なものではなく、DNAレベルで我々にコードされている習慣なのだ。

睡眠の欲求は、２つの要素で決まる

睡眠の欲求は、睡眠からの経過時間と、概日周期で決まる。すなわち、睡眠の欠乏によって徐々に蓄積する”睡眠負債”と、概日周期の差が、睡眠欲求として表れる。概日周期とは、約24時間の、生体内に備わる内在的な周期のことである。人間の概日周期は24時間より少し長いことが知られている。

 

（Macbookのトラックパッドで描いた。人差し指が攣りそうだった。ほめてください。）

寝る前に電子機器を使うのは、夜の到来を3時間遅らせるのに等しい

iPadと紙の本を用いて、健康的な大人に対して2週間の間ある実験が行われた。１週目は、被験者は寝る前に紙の本を数時間読んでから眠りについた。２週目、被験者は寝る前に数時間の間iPadで本を読んだりしてから眠りについた。その結果、iPadを寝る前に使用した場合、メラトニンの分泌量が50％以上も抑制されることが分かった。すなわち、紙の本を読む場合に比べて夜の到来が3時間ほど遅くなったということだ。

ブルーライトが睡眠に大きな影響を与える理由

その答えは、我々の遠い遠い祖先にまで遡る。人間も含め、地上のすべての生物は、海から生まれている。海の色が青いのは、赤色や黄色などの暖色系の長い波長を持つ光線が海に吸収され、結果として青色の光が水中に残るためである。古くから海の生物は青い光を受け続けているために、青色の光に反応しやすくなっている。その進化の過程が遠く離れた人間にも残っており、ブルーライトの影響を受けやすくなっているのだ。

睡眠に適した気温は、18.3℃である

多くの人が、少し寒すぎるのでは？と驚くかもしれない。もちろん個人によって最適な温度は多少異なるが。さらに言えば、気温が12.5℃を下回らなければ、睡眠の際に特に問題はないそうだ。なぜそのような低い温度が睡眠に適しているのだろうか？

その答えは深部体温を下げることにある。体の深部体温を2,3℃下げると、脳の視床下部がその体温変化を検知し、メラトニンを大量に放出し始める。

寝る前にお風呂に入ったり、シャワーを浴びたりすることは、一旦体温を上昇させて眠りにつきやすくするという誤解はよくされるが、その真の目的は、実は体表面の血管を膨張させることにある。体の表面の血管の表面積を増やすことによって、血液を効率的に冷やし、冷やされた血液が体の内部を循環することによって、深部体温を効果的に低下させるはたらきをする。

睡眠薬は、死の危険を倍増、いや3〜5倍にもする

10000人を対象に、2年半にわたって行われた調査結果によれば、睡眠薬を使用している人は、平均して使用していない人よりも4.6倍死亡率が高いことが分かった。服用頻度別に見ると、年間132錠以上服用している人は、5.3倍。年間18~132錠服用している人は、4.6倍。最後に、一番驚くべき結果として、年間に18錠（たった！）程度服用している人でも、その死亡率は3.6倍に増加していた。

我々は、睡眠に関して何も教えられていない？

著者のMatthew Walker氏は、自身が大学で長年教えている中で、様々な国から来た多様な人々に対してある質問をした。

「あなたは過去、睡眠に関する何らかの教育を受けたことがありますか？」

その答えは、今のところ0％。すべての人から、睡眠に関する教育を受けたことがないという答えが返ってきたそうだ。

最後に、

睡眠は、我々の人生の1/3を占めている。しかしながら、我々は睡眠についてほとんど何も知らない。

機械学習と神経科学、ロボティクスの融合、コレ最高。 メカ屋のための脳科学入門 脳をリバースエンジニアリングする 高橋宏和 【読書メモ】

この本は、東京大学工学部機械系学科と同大学院情報理工学系研究科および工学系研究科で筆者が開講している工学系のための脳科学の講義録である。

メカ屋のための脳科学入門-脳をリバースエンジニアリングする-

第１編　イントロダクション　ーエンジニアのための脳科学とは？

第1講　脳の構造から機能を探る

第2講　ハードウェアとしての耳　ー耳の構造と人工内耳の発明

第3講　脳の予測機能　ーー22個の電極が3万本の聴神経を代替できる理由

第２編　神経細胞編

第4講　神経細胞とネットワーク　ーなぜ脳には”シワ”があるのか

第5講　神経信号の正体　ー神経細胞が電気で情報を伝える仕組み

第6講　神経細胞の情報処理メカニズムと神経インターフェイス　ー人間に五感をもたらす仕組み

第３編　運動編

第7講　筋肉と骨格　ー生物の運動を作り出す機構と制御

第8講　筋肉の制御回路　ー運動ニューロンによる身体の動作制御

第9講　脊髄　ー運動パターン生成器

第10講　大脳皮質の運動関連領野　ー階層的な運動制御

第11講　小脳　ーフィードバック誤差学習による身体モデル構築

第４編　知覚編

第12講　おばあさん細胞仮説　ー脳の階層性がもたらす”概念”の形成

第13講　神経細胞の情報処理メカニズムと分散表現　ー神経細胞のチームプレーを可能にする脳内クロック

第14講　機能マップと神経ダーウィニズム　ー脳による学習のメカニズム

第15講　脳の省エネ戦略　ー自己組織化マップと深層学習による効率的な情報表現

第16講　脳をリバース・エンジニアリングしてみよう　ー脳の仕組みを、機能に結びつける

第５編　芸術編

第17講　脳と芸術　ー脳は分布に反応する

第18講　好き嫌いの法則性　ーヒトの”好み”に作用する進化の淘汰圧とドーパミン報酬信号

第19講　芸術の法則性と芸術家の芸風　ー芸術のエッセンスは脳への訴求力

このブログをご覧になってくれている方ならご存知の通り、機械学習や神経科学に魅せられてCourseraを使って独学で学んでいた自分にとって、まさに、まさにコレであるという1冊であった。どの話題も自分の興味にドンピシャリで、これほど思った通りの本に出会ったのは初めてかもしれない。

karia68.hatenablog.com

これから様々な工学分野が発展していく中で、機械系の人材が生物学に通じているというのはもはや当然のことになるのではないかと見ている。なぜなら今現在最も複雑なハードウェアは生物であり、我々が複雑な機械を作ろうと考えれば構造が自然と生物に似通っていくと考えているからだ。もちろん特定の機能（車、飛行機など）を考えれば、生物の構造が必ずしも最適ではないことは明らかだが、親和性という観点から見て、人間とロボットの共存する未来における工学の生物への理解は必須と言えるだろう。

筆者が機械系の出身であるということから、脳を生物学者の視点からではなくエンジニアの視点から捉え、面白く解説している。その手始めとして第１編では、耳をハードウェアとして捉えて、そこに隠された複雑な機構を設計論的な考え方から観察している。

途中の、脳は必ずしも最適設計ではなく、進化を経てつぎはぎに機能を追加していったのだという視点は新鮮で面白かった。神経信号あたりの話題は少し難解で、すぐには理解できなかったので何度も読み返していきたいと思う。しかし数学に化学に物理にと、そして神経科学は生物で、やっぱりなんでも必要なんじゃんという実感が増す。

第３編の運動編は、まさにロボティクスじゃんと思った。ウェアラブルな人口筋肉などが続々出ている中で、こういった神経科学の知見はやっぱりちゃんとロボットに生かされているんだなあと感じた。そして学ばなければ、学びたいという思いも増した。

機械学習を少しかじった身として、とりわけ面白かったのが第４編の知覚編である。ここでは個々の神経細胞がチームプレイをすることによって、高度な学習をする様子が解説されている。Courseraで学んだ、ニューラルネットワークの次元削減の手法が、脳内のニューロンでも行われているということを知り、ワオとなった。脳の情報処理のしくみを学ぶことで、Deep Learningをはじめとする様々な機械学習の技術にあらためて期待を持った。

また、最後の第５編芸術編も非常に面白い。実は水のテカテカとした光沢感は、ほんの少しの輝度の分布の違いによって生み出されていることや、日本人と欧米人の美的感覚の違い、音楽の1/fのゆらぎの嗜好性などを、脳科学的な観点から解説している。

結論として、まだまだ知識が足りないことも実感させられたので、何度も読み返してインスピレーションを得たいと思える本だった。

ちなみに、続編も出ており、コレも読んでいきたい。

続 メカ屋のための脳科学入門-記憶・学習/意識 編-

しかしまずはCourseraのNeuroscienceのコースを進めなければ。

karia68.hatenablog.com

経済と歴史を絡めて、過去から学び現在に繋げる 池上彰の経済学講義1 歴史編 戦後70年世界経済の歩み 【読書メモ】

池上彰の「経済学」講義1 歴史編 戦後70年 世界経済の歩み (角川文庫)

プロローグ　経済学を学ぶという事

Lecture1 経済、そして経済学とはそもそも何か

Lecture2 廃墟から立ち上がった日本

Lecture3 東西冷戦の中の日本

Column 東西冷戦終結の象徴　ベルリンの壁はどうして崩壊したのか

Lecture4 日本はなぜ高度経済成長を実現できたのか

Lecture5 高度経済成長の歪み　ー公害問題が噴出した

Lecture6 バブルが生まれ、はじけた

Lecture7 社会主義の失敗と教訓　ーソ連、東欧、北朝鮮

Lecture8 中国の失敗と発展

この本は、池上彰氏が2014年春から愛知学院大学で行なった経済学の全15回の特別講義の内容を2冊に分けて収録したものだ。

学部の文系教養科目で経済学を受講しており、せっかくなのでその美味しさを知ろうと思って読んでみた。ゴリゴリの専門書ではなくて、現実の状況も含めた経済というものを知るために最適な１冊ではないかと思う。

内容は、経済学の用語などを解説するのではなく、第二次世界大戦からの日本の発展、世界の発展をテーマに、それぞれの歴史を経済学的な側面から見ていくというものだ。非常に面白い、というより自分は知らないことが多すぎるなあということを新たに痛感した1冊であった。現在の社会情勢は毎日のようにテレビやインターネットで把握することができるが、その流れが一体どこからきているのか、昔はどうだったのか、なぜそのような出来事が起きているのかについて自分が体系的な知識をほとんど持っていなかったことに気付かされた。中国やロシア、北朝鮮など今世界を騒がせている国々が、ほんのつい最近まで（３０〜４０年前）、現在では信じられないような状況であったこと。その流れは今も世界各地で続いていること。そのような流れが今の経済、国民の価値観、その他あらゆることに繋がっていること。これからを生きて行く上で、過去の歴史を学ぶ重要性に改めて気付かされた。

そんな反省から、日本史や世界史も学び返そうと思って日本史の本を読んでみたりしているが、同時に経済学も絡めて学ぶことでその理解が一層深められるということを感じた。あらためて、あらゆる分野はつながっているんだなあということを実感する。そして、過去の中国や北朝鮮、ソ連などの歴史を知り、学ぶということは個人的な意味でも社会的な意味でも、非常に重要なことであると強く再認識することができた。2冊目も読んでいきたい。

同時に、過去を知らずに未来について唱えるのはとても愚かなことだと思った。工学部に身を置き、未来の様々な技術に触れていきたいと考えている自分にとっても、世界最先端の技術の上澄みだけをさらうのではなく、しっかりとその根本から、技術の生まれた背景、歴史などをしっかりと学ぶことが重要であると感じた。基礎の重要さはいつでもどこの分野でも言われていることであるが、それがどのくらい大切なことなのかということを認識できている人は少ないように思う。戦後日本が発展を遂げたのはあらゆる面で基礎の重要性を認識し、固めてきたからだということをしっかりと認識して、自分自身の生活にも生かしていきたい。

クソリプの生まれる理由 〜言葉のしくみ 認知言語学のはなし（高橋英光） 〜【読書メモ】

言葉のしくみ―認知言語学のはなし (北大文学研究科ライブラリ) (北大文学研究科ライブラリ 1)

ふと目についてパラパラと読んでみたら面白かった。

認知言語学とは、1980年代に誕生した新しい言語学であり、Cognitive Linguisticsの日本語訳。言葉と言葉を扱うときの頭の働きに着目した学問であり、認知心理学、脳科学などの成果を重視し、心理学的な実在性の高い言語研究を目指す学問である。硬い説明だが、要するに言語を無味乾燥に分類する従来の言語学と異なり、人間の意識をも分析対象にした新しい言語学というところなのだろうか。

１章　言語についての神話

世界には言語がいくつあるのか/ 日本語は非論理的か/ 文法のない言語はあるのか/ 早口の言語はあるのか/等

２章　記号を使う生物

言語は記号の一種/ 恣意的な記号と図象的な記号/ 言語はどのような記号か/ 語彙と文法の図象性と恣意性/ 図象性と恣意性の助け合い/等

３章　意味とはどこにあるのか

伝統的言語学の意味論/ 認知言語学の意味論/ 経験基盤的意味論/ 英語の前置詞inの不思議/等

４章　「明けの明星」と「宵の明星」と「金星」ー認知能力のいろいろー

具体性の度合い/ 記号を背景の中で理解する/ 意味の焦点とフレーム/ 際立ち/ 視点とスキャニング/等

５章　カテゴリー

カテゴリーとは何か/ 言葉はカテゴリーを表す/ カテゴリーのタテとヨコ/ 典型の見分け方/等

６章　メタファー

メタファーとは何か/ 認知言語学のメタファー分析/ メタファーの二方向性/ メタファーの構造/なぜヒトはメタファーを使うのか/等

７章　メトニミーとシネクドキー

メトニミーとは何か/ メトニミーとシネクドキー/ メトニミーとシネクドキーの制約/ ことわざの中のシネクドキー/ 

８章　動詞（だけ）の絵は描けないー品詞とは何かー

日本語と英語の品詞の違い/ 品詞の違いは認知の違い/ 名詞と動詞/品詞は転換する/等

９章　文は舞台である。主語、目的語は役者である。

主語や目的語の「省略」/ 主語の明示法/ 主語についての従来の考え方と認知言語学の考え方の違い/ 主語の選択と共感の階層/等

１０章　語順と文法

文法はジャンルに中立的/ 文法の意味はイメージ・スキーマである/ 文法は生得的か後天的かという議論の落とし穴/ 日本語（SOV）も英語（SVO）ももっとも標準的な語順の言語である/ 非規範的語順に課される制約/ 等

１１章　談話の首尾一貫性

談話と首尾一貫性/ 記憶と推論の働き/等

そもそも言語学というものをあまり知らなかったので、新鮮で面白かった。

巷で言われる、日本語は非論理的な言語である。という思い込みについてしっかりと答えてくれている。言語に論理的も非論理的もなく、それは書き方、伝え方の問題だということ。考えてみればそれは当然なんだけど。

言語には、他人とのコミュニケーションをするという側面と、世界の物事、抽象的な概念を認識するという2つの側面が存在する。面白かったのが、人は身の回りの物事、考え方を分割し、整理し、解釈する”カテゴリー化”という作業を行い、他人と世界の認識を共有してからでないと、コミュニケーションは出来ないという考えである。

これはその通りで、例えば我々純日本人とアメリカ生まれアメリカ育ちの人とでは、お互いの共有できる認識の範囲でしかコミュニケーションを取る事ができないだろう。アメリカの子供に人気なテレビ番組であったり、アメリカの小学校の文化、地域との交流の仕方などといった片方にしか認識出来ていない話題でお互いが盛り上がるというのはおそらく不可能だ。ただこれは、お互いに話題が”共有できないだろう”ということが事前に分かるので特に問題ないような気もする。

問題なのはむしろ、同じ日本人同士であったとしても、あるテーマに対するお互いの認識が微妙に食い違っていて、そこにお互いが気付かずにコミュニケーションが破綻する場合である。これはよくある話なのではないか。（某Twitterなどでは毎日見られる光景だが。。。）たった140字の中でも、クソリパーの頭の中では、文脈の指し示す意図、文章を書いた主の背景などの”認識”が共有されていない可能性もあれば、文中のたった一つの単語に対する解釈が根本から異なっている可能性もある。

同じ日本語という言語を話しているのに、コミュニケーションが取れない理由、それはお互いの世界に対する認識が異なっているからなのだ。人にリプライを送る前に、相手のTweetの内容をよく吟味して、この単語の意味するところは何か、主の伝えたいことは何か、そのツイートが生み出された背景は何か、などきちんと確認する事、考える事が出来ているだろうか。あなたもいつでもクソリパーになる可能性があるのだ。

NewsPicks Magazine創刊号を読んだ。全ての人が読むべき一冊。

　かねてよりNewsPicksという存在には非常に興味を持っており、関連する書籍もかなり読んでいた。そんなNewsPicksが雑誌を創刊したということで、これは買わずにはいられないと思い、本屋で少し立ち読みをしてから即レジへ向かった。

　ページをめくると、落合陽一氏から始まり、今をときめく才能溢れる世界中のタレントたちの紹介、インタビューがズドドドっと続く、圧巻のボリュームである。小泉進次郎氏、ZOZOTOWNの前澤氏、サッカーの本田圭佑選手、SHOWROOMの前田裕二氏、TeslaやSpaceXのイーロンマスク氏、DeepMindのデミスハサビス氏、サピエンス全史のユヴァル・ノア・ハラリ氏、ONE OK ROCK、大谷翔平選手、ホリエモン、Googleのラリーペイジ氏、Facebookのザッカーバーグ氏・・・・・誰を挙げても第一線で活躍中の超一流の人材ばかりである。

　どのページを開いても、度肝を抜かれるような、深い感銘を受けるような情報がギッシリと詰まっている。大学に入学したばかりの自分としては、刺激が強すぎるくらいの一冊だ。あっという間に読み終わってしまい、凄まじいエネルギーを貰えた。

　この雑誌を最大限に活用するには、それぞれの人物を掘り下げて、関連する分野を自分で調べ尽くすのがいいだろう。親切にも、もっと知りたい読者のためにページの右下に関連する記事のQRコードを載せてくれている。

　自分としては、サピエンス全史の著者として有名なユヴァル・ノア・ハラリ氏の以下の発言がグサッと刺さった。コンピュータ、人工知能の台頭により未来の仕事について考えている文面で、

「若者についても問題があります。彼らが年を取った時に必要なスキルが予測できないため、今教えるべきスキルが何か分からないからです。30年後の労働市場は不透明なため、大学で何を教えるか誰もわからないのです。今、我々が子供達に教えているほとんどのことは、彼らが40歳になる頃には役立たずになっているでしょう。でも、代替手段がわからないのです」

　今まさに大学で教育を受けている身として、非常に考えさせられる言葉だった。今自分が何を学ぶべきなのか、どんな情報を取り入れればいいのか、何について考えればいいのか、その答えを見つけるのは非常に難しいように思う。　

　今は、自分があまりに世界のことを何も知らなさすぎるので、オンラインコースや本、インターネットを活用して様々な情報に可能な限り触れて、自分の芯を作りたいと考えている。しかしながら、知識を受け取るという受動的な活動では不十分で、自分で何かしらの行動を起こしたいと思っているのも確かである。このブログはそんな気持ちが現れた形の一部とも言えるが、まだまだ自分の中では全然足りてはいない。

　この本の素晴らしさは、あらゆる年齢層、あらゆるフィールドの人物を載せているところだと思う。スポーツ関連、芸能人、ミュージシャン、自然科学、社会科学、人文科学、スタートアップ、大企業の社長、エンターテイメント界隈、などなど。

　それはつまり、この本を読めば、全ての人がどこかしらに共感、親和性を感じることができるということだ。多くのインタビューの中で、ほんの一部分でも読者の琴線に触れるものがあれば、結果としてその1冊の評価が非常に高くなることは想像に難くない。創刊号であるということも考えて、NewsPicksの編集者はあらゆる世代に届くように配慮をしたのだろう。

　実際、工学系の学部1年の自分には、Tech系、企業系の人々の話題が見事に刺さっており、このような記事を書かせてしまっている。

　雑誌でありながら（創刊号ということもあるかもしれないが）、非常に完成度が高く、何度も読み返して、何度もエネルギーを補充したいと思える本であった。しばらくの間手元に置いて、活力が不足した時はこの本を読んでエネルギーを満タンにしていきたい。

NewsPicksマガジン 2018年 08 月号 [雑誌]

１ヶ月くらいかけてCourseraで機械学習について学んだまとめ。【学習まとめ】

（煽りタイトルかつ何番煎じか分かりませんが、まとめてみました。）

　大学に入学して間もない学部1年（工学部）が、Courseraというスタンフォード大学による無料のオンライン講義サービスを利用して、AI（機械学習）について0から学んでみた。そのまとめ。 初めの方はすごい硬い語り口調だけどだんだんゆるくなっていきます。

　非常にモチベが高く暇だったので１ヶ月もしないうちに終わらせた。ただ、講座としての期間は３ヶ月くらいなのでゆったりやるのも可能。

モチベーション

• AIの実態を把握したい
• 英語で何かを学んでみたい
• AIの知識を今後に生かしたい（というか人工知能で遊びたい）

AIについて、知りたい　

　今も、そしてこれからもAIの技術が至るところで活用されていくのは間違いないだろう。将棋のPonanzaや囲碁のAlphaGoは記憶に新しい。さらに今後、自動運転技術*1やロボット、その他あらゆる場面でAIは活用されていくだろう。そんな中で私は、AIとはなんなのか、世の中において具体的にどのような場面で、どういう手法で活用されているのかという事を把握したいと思った。そんでもって願わくば自分もそこに関わりたい。

英語で何かを学んでみたい

　Courseraの講義は基本的に全て英語で行われている。人気の講義に対しては、英語以外にも字幕が用意されていたりする。私が受けた機械学習のコースは非常に人気が高いので、日本語の字幕も用意されている。だが、講義のテキストや課題、そして受講者が互いに質問をしあって学習を助けあうフォーラムでの議論は全て英語なので、やはり英語で学ぶのが一番良いと思う。このCourseraというサービスについて、詳しくは後ほど述べる。

　自分は英語がある程度得意な方*2だったので、受験が終わって英語の能力をこのまま風化させていくのは非常にもったいないと感じていた。そんな中で、自分に興味が持てる分野を英語で学ぶこと、つまり英語のための英語ではない英語の使い方を望んでいたので（ややこしい）、自分の現状に非常にマッチしていると感じた。

AIの知識を今後に生かしたい（というか人工知能で遊びたい）

　自分の学生（工学部）としての興味の繋がり。大学の授業で教授が自らの研究を語ってくれる場が何度かあり、その話の中でもRobotics、つまりロボットに非常に興味を持った。Youtubeなどでボストンダイナミクスのロボット、Atlas（軽快に走ったり、宙返りをしたりする）などを見たことがある人もいるかもしれない。今や、ロボットは高度なソフトウェアを搭載するのが当たり前となっており、当然そこにAI（機械学習など）といったものも含まれてくる。なので、AIについて学ぶことは自分の将来にもきっと役に立つと思っている。（もっとも、AIという言葉はなんとも曖昧でアレだけれど）

　っていうのは表面的な説明で、根源的に自分の中で人工知能というテーマで遊びたい欲が非常につよい。自動運転やロボティクス、脳の解明、音声認識、言語処理、その他諸々。。ああ知能。ああAI。ああBrain。

Courseraとはなにか、（＋講義の内容）

　Coursera（https://www.coursera.org）とは、スタンフォード大が提供するいわゆるMOOC（Massive Open Online Courses）の一つで、その名の通り沢山の講義をインターネット上で、無料（もしくは有料）で公開しているサービスである。同様のサービスとして、edX, Khan academy, Udacity, Alison, Udemy・・・など様々存在する。 

　自分が受講したのはCourseraのAndrew Ng先生によるMachine Learningの講座だ。学習量としては、WEEK1からWEEK11までの11週間。1WEEKあたりにかかる時間はおおよ3〜6時間といった印象だろうか。

　動画による講義と、その直後のテキストによる動画の内容のまとめの1セットで講座が進んでいく。新しい概念に対して動画で丁寧に解説をしてくれて、その直後にテキストのまとめで理解を深めていくという感じだ。 

　WEEKの最後には、そのWEEKの内容の簡単なクイズと、実際にプログラミングでシステムを実装をする課題が用意されている。クイズは5問で、3度連続で正答率が8割を切ると、ペナルティとして数時間の間クイズの受け直しが出来ないようになっている。とはいっても講座の内容を理解していれば特に問題なく解けるので、心配はいらない。しかし、プログラミング課題の方は少し根性が必要かもしれない（後述）。

学習に取り組む上で必要な要素

• 簡単な行列の計算（特に行列の掛け算）
• 高校程度の数学の知識（高いレベルの知識は全く必要ない）
• 英語のある程度のリスニング、リーディング能力
• 興味
• パソコン

数学の知識

　行列のある程度の計算は出来た方が望ましい。とはいっても、講座のWEEK1の中で学習の補助として大量に行列やベクトルに関する講義が用意されているので、そんなに心配することはないかもしれない。実際、講義では数学的な背景を深追いせずにひとまず自分でシステムを組み立ててみることを目標としているので、数学に関する深い知識がなくても全く問題はない。ただ具体的に言うのならば、logやΣといったものの意味くらいは分かっておいた方がいい。（Σは出現率激高）

（ちなみに行列と高校数学を別として扱ったのは、現行の課程に行列が含まれていないため。この課程はコロコロ変わっているので要チェックだ。）

英語のレベル

　英語の能力は、ある程度必要なのは間違いない。Andrew先生の英語は非常に明快で、かつ平易な語彙で喋ってくれるので、学習ハードルがめちゃくちゃに高い、というわけでもないと思う。しかしながら、サイトも、テキストも、動画も、フォーラムも全て英語なので、英語に対する嫌悪感が強い人にはオススメは出来ない。ただ、絶望する前に一旦どの程度のレベルなのか見てみるとよいと思う。

　これから日本語対応していくということも考えられるので、（現時点でも動画の字幕には日本語がある）待ってみるのもいいかもしれない。現時点で英語が苦手だけどAIに興味があるという人がいるとするならば、この講義で英語に対するモチベーションも同時に上げるっていうのが一番いいことなのだろうけど・・・。

　実際研究の最前線で使用される言語は英語なので、学んでおくにこしたことはないと思う。（もちろんGoogle翻訳等を使いまくれば学習は十分可能だろう。機械学習の講義で機械学習のシステムをフル活用するというのも面白い）

　最後に、当然ながらAIへの興味がないと学習は続かないだろう。このサービスは、無料で受けられるとはいうものの、"講義"なので11週間は続く。（もちろん自分で学習を進めて早期に終了することは可能）無料なので別にいつ始めていつやめても構わないのだが、やる気がなければ受けたってしょうがないじゃん、というところはある。

（※プログラミング課題を行うためにPCは必須です）

プログラミング課題 

　プログラミング課題は、Octaveという言語で行う。その週に習った内容を、実際に自分の手を動かして自分のコンピュータで動かすことになる。Octaveを触ったことがなくても心配はいらない*3。講座の中でOctaveの導入方法およびその使用方法を丁寧に解説してくれている。プログラミング課題は少し難しいけれど、この講座における最も良い点の一つであると思う。

　プログラミングの経験については、ほとんど必要ないのではないかなと思う。自分は軽くPythonを触ったことがある（本当に触っただけ）だけで、特に深い知識もないけれど、課題は計算がメインなのでそんなに難しいことは必要ない。けれど、機械学習を学ぶ上では最終的にはゴリゴリとプログラミングすることは確実だと思うので、同時にプログラミング学習にも取り組んでみることをオススメする。私はまったくの知識ゼロの状態から、独学プログラマーという本を使って学習をスタートした。

karia68.hatenablog.com

　プログラミング課題は、以下のような感じで進めていく。まず講座のページからファイルをダウンロードし、その中に含まれているPDFとテキストを参照しながら、自分でコードを実際に書いていく。分からないところがあったり途中で躓いた場合は、講義を見直してみたりフォーラムを調べ回る。ここでこの課題の大きなGOODポイントとして、具体的なコード例が一切示されないというところにある。つまり、こういう入力が来るので授業内で扱ったこういう計算をして、こういう出力を返しなさい、と、言葉による指示があるのみで、こういうコードを書けば正解だよ、という具体的な指示は一切なされない。これがプログラミング課題を難しくしている一番の要因でありつつ、この講座における最も良い点だと思う。自分の頭で考え、何回も何回も成功するまで試行錯誤を重ね続けなければならない。

  　ここからは、自分自身の学習した内容の総まとめ。WEEK1からWEEK11まで順に軽くさらっていきたい。*4これから学習する人の参考になれば幸い。（間違いがあれば教えて下さると嬉しいです。）（炎上ラーニング）

用語集

Machine Learning（機械学習）, Supervised Learning（教師あり学習）, Unsupervised Learning（教師なし学習）, Regression Problem（回帰問題）,Classification   Problem（分類問題）, Cost Function（損失関数）,  Linear Regression（線形回帰）, Logistic Regression（ロジスティック回帰）, Mean Squared Error（平均二乗和誤差）, Feature Scalling, Mean Normalization, Gradient Descent（勾配降下法）,  Sigmoid Function（シグモイド関数）, Normal Equation（正規方程式）, Decision Boundary（決定境界）, Overfitting（過学習）, Regularization（正則化）, Neural Network（ニューラルネットワーク）, Activation Function（活性化関数）, Deep Learning（深層学習）,  Backpropagation（誤差逆伝播法）, Gradient Checking, Random Initialization, Bias/Variance, Precision/Recall, Support Vector Machine（サポートベクターマシン）, Kernels（カーネル法）, Clustering（クラスタリング）, Dimensionality Reduction（次元削減）, Principal Component Analysis, PCA（主成分分析）, Gaussian Distribution（正規分布）, Anomaly Detection（異常検知）, Stochastic Gradient Descent （確率的勾配降下法）, Mini-Batch Gradient Descent（ミニバッチ勾配降下法）, Online Learning（オンライン学習）, Map Reduce, Data Parallelism, Pipeline, Ceiling Analysis

WEEK1 

WEEK1は導入部分。

Machine Learning（機械学習）

　コンピュータに、状況に応じた人の手による細かなプログラミングを行わずに学習能力を与えること。主にSupervised Learning（教師あり学習）とUnsupervised Learning（教師なし学習）の２種類に分類される。 

Supervised Learning（教師あり学習）

　与えられた入力データ（X)に対して既に目標とする出力データ（Y)を持っており、入力データと出力データの間になんらかの関係があることを予想できる機械学習。後述するUnsupervides Learning（教師なし学習）では、入力データXがあるのみ。

この中にも主に２つの種類、Regression Problem（回帰問題）とClassification Problem（分類問題）がある。

Regression Problem（回帰問題）

　入力されたデータに対して連続した量を返すモノ。例えば、マンションの値段を予測するプログラムが考えられる。

まずはじめに、マンションの駅からの近さと部屋の広さ（X)とマンションの値段（Y)というデータセットを与える。学習を繰り返すことによって、新たに”マンションの駅からの近さと広さ”という情報を与えられた時に、連続した量として予測されるマンションの値段を返す。 

これだけでは連続ってどういうこっちゃねんてなるけど、次のClassification Problem(分類問題)と比べることでよく理解できる。

この問題に対しては主にLinear Regression（線形回帰）という手法を用いて学習を行う。

Classification Problem（分類問題）

　入力されたデータ（X)に対して、離散的な値（Y)を返すモノ。

例えば、ある患者さんの腫瘍の大きさ（X)からそれが良性なのか悪性なのか（Y）を判断するプログラムが考えられる。 腫瘍が悪性か良性のどちらかであるというのは、0か1かという表現で表すことができる。（離散的な値）

まずはじめに、大量の腫瘍の大きさ（X)とそれぞれ良性なのか悪性なのか（Y)というデータセットを与える。学習を繰り返すことで、”新たに腫瘍の大きさが与えられた時”にそれが悪性であるか良性であるかという判断を返す。

この問題に対してはLogistic Regression（ロジスティック回帰）と呼ばれる手法を用いる。

Linear Regression（線形回帰）

　考え方：入力データ（X）に対して、あるパラメータ（θ）を用いることで出力データ（Y)と入力データ（X）の関係をうまいこと見つけ出すのが目標。（ここで、出力データであるYは連続した量であるということに注意。つまり腫瘍が悪性か良性か、のような0 or 1、Yes or Noで表されるような量ではない） 

具体的には、入力データ（X）のそれぞれにθを掛け合わせた仮の関数（以下h(θ)と呼ぼう）を用意して、その関数の値と出力データ（Y)の値の差を比較する。言い換えれば入力データ（X）にθというパラメータを掛け合わせることで出力データ（Y）との関係を探る。そしてその2つの値の差がなるべく小さくなるような美味しいパラメータを見つけ出すのが目標。

ここでそのh(θ)とYの誤差を表す関数を、Cost Function（損失関数）*5と呼ぶ。以下h(θ)に加えて、損失関数をJ(θ）と表そう。

損失関数には様々な種類の関数が存在する。ここでは一番簡単なMean Squared Error（平均二乗誤差）と呼ばれる式を使って評価する。つまり最終目標は、平均二乗誤差（すなわちJ(θ)のこと）が限りなく0に近づくようなθを見つけること！それも自動的に。 

ここで注意すべきなのは、J(θ)はθというパラメータにより変動する関数であるということ。なぜなら、J(θ)の中に登場して来るXとYとθのうち、XとYはもう入力済みの決まった量（定数）だから。上で言ったようにJ(θ）が最小となるようなθを上手いこと見つけられればOK。

ではそんな美味しいθをどう求めればいいのだろうか。端的に言えば、その答えはJ(θ)をθで微分することだ。つまりθが変化する時にJ(θ)がそれにつられてどう動いていくのかという様子を見る。Gradient Descent（勾配降下法）

 １階微分の値（接線の傾き）が負になる方向へ進めばJ(θ)が減少する方向に移動することが出来るよねという話。（それを繰り返す）

勾配降下法を用いて計算を繰り返し、θの値をどんどん最適化することによって美味しいθを作ることが出来れば、学習完了となる。

WEEK2

WEEK1の続き。どんどん行く。

Feature Normalization

　勾配降下法など、機械学習において不可欠な計算処理を出来るだけ軽くするために行うデータの前処理のこと。この講座ではFeature ScalingとMean Normalizationを紹介している。

特に難しい話ではないので、省略。（実際に処理を行う上ではとても重要なようだ）

 Polynominal Regression

　具体的に数式を示していなかったので説明が難しいが、いままでの仮関数h(θ)では入力データ（X）の1つに対してそれぞれ1つだけの項を与えていた。この状態のh(θ)は線形なので、単純なモデルにしか上手くフィットさせることができない。しかしながら、無理やり項を増やすことによって非線形の複雑なモデルにも対応できるようにしよう、というのがこのPolynominal Regressionである。

具体的には、Xという入力データにたいしてXだけでなくX^2やX^3なども無理やり組み合わせてしまって、非線形のモデルを表現できるようにしよう、ということ。

しかし、後述するようにこのモデルはデータが増えるごとに計算量が激増し、大量のデータを処理するには現実的ではない手法である。

Normal Equation（正規方程式）

使用目的として、勾配降下法はθを求めるのに繰り返し計算を必要とするのに比べてこの正規方程式は一度でθを求めることができる。しかしながらデータが大きくなると有効ではなくなる。 

数学的なバックグラウンド、まだわからん。（線形代数べんきょうします）講義の中でAndrew先生は数学的なお話は省略しておられたので、あとでしっかりキャッチアップしたいと思う。

そしてここで初めてのプログラミング課題到来。Octaveのチュートリアルもこの週です。なんやかんやで最初が一番手間取ったような気がする。

WEEK3

 ロジスティック回帰がここで登場。

 Logistic Regression（ロジスティック回帰） 

　考え方：入力データ（X）に対して、あるパラメータ（θ）を用いることで出力データ（Y)と入力データ（X）の関係をうまいこと見つけ出すことが目標。（ここで、出力データであるYは離散的な値であるということに注意。つまり腫瘍が悪性か良性かのような0 or 1で表されるような量である（コピペ））

本質的には上の線形回帰とやることは同じ。だけれどそのまま行うと、Yの値が離散的であるということから1つ問題が発生する。

 上の線形回帰では答え（Y）がそれぞれバラバラな値を取っていた。しかしながら今回はYの値は0か1の2通りしかない。（腫瘍が悪性なのか良性なのか）今ここで知りたい情報は、腫瘍が良性か悪性のどちらであるか、ということである。なのでロジスティック回帰のモチベーションとしては、この問題をどうにか確率として扱えないだろうかというものだ。

それではどうするのかというと、具体的には先ほど用意したh(θ)（Xとθを掛け合わせたもの）を"ある関数"に通すことによってその結果を圧縮し、確率の問題へと変える。その関数のことをSigmoid Function（シグモイド関数）という。

補足すると、シグモイド関数というのは値域が0≦Y≦1という特徴を持っている関数。だから確率の問題として扱うことができる。こうすることによって腫瘍の大きさが与えられた時にそれが悪性なのか良性なのか、ということへの答えを確率として表してくれるようになった。 

後は同様に、このロジスティック回帰も線形回帰と同じ方法に帰着できる。損失関数J(θ)により誤差を測定し、微分してθをどんどん更新していくことによって美味しいθを作ることが出来れば、学習完了。

 （ただし、J(θ）に平均二乗誤差とは異なる式を使うことに注意）

このあたりの数学的な話はCourseraのコースでも詳しく扱っておらず、統計学をキチンと学ばないとダメそう。このコースやり終えたらまたしっかり学びたいと思っている。

 Decision Boundary（決定境界）

　上のロジスティック回帰において、Yが離散的な値なのでそれに対応してh(θ)も形を変えようという話。具体的には、h(θ)>>0.5 ならばY=1、h(θ)<<0.5 ならばY=0とする。ここでその閾値は本当に0.5でいいのかっていう疑問が湧くんだけど、あとからそこについての説明もしてくれている。

そしてこの閾値が、Y=1とY=0、すなわち腫瘍が良性なのか悪性なのかの決定の境目である。これをDesicion Boundary（決定境界）という。

Overfitting（過学習）

過学習とは、与えられたデータセットに過度に適応してしまった状態。言ってみればそのモデルには柔軟性（一般性、普遍性）が無く、新しくデータが入力された時に見当はずれの値を出力してしまう。

この問題は、入力データの種類が多かったり、データセットの数が少なかったりすると起こりやすい。ちなみに、Underfitting（学習不足）はこれの逆。

対処法としては、データの種類を減らす、データセットをたくさん用意する、Regularization（正則化）という手法を用いる、などが考えられる。

Regularization（正則化）

上の過学習への対処法の１つ。 データの種類を減らしたくない時に非常に有効。

具体的にどうするかというと、Cost function J(θ)にlambda*Θ^2を足し算する。lambdaはregularization parameterと呼ばれるもの。上のΘはベクトル。

lambdaを適当に大きな値に調節することによって、お邪魔なθを取り消すことが目的。過度に学習してしまっている項を間引くようなイメージ。

WEEK4

ついにニューラルネットのご登場です。

Neural Network（ニューラルネットワーク）

ニューラルネットワークとは、人間の脳を模倣したアルゴリズム（計算方法）のこと。 

ニューラルネットワークと以前までの線形回帰モデルやロジスティック回帰モデルの違いは、層の厚さ。入力データ（X)と出力データ（Y）を直接結びつけるのではなく、その間に更に隠れ層（hidden layer）を挟み込む。以下、より具体的に。 

隠れ層が２つあるとすれば、全体の層は（X層）,（a1層）,（a2層）,（Y層）となる。そしてそのそれぞれを以前までと同様にパラメータΘ、シグモイド関数を用いて関係付ける。つまり

 z1 ＝　Θ1*X, a1 = sigmoid(z1)

 z2 = Θ2*a1（=Θ2*Θ1*X）, a2 = sigmoid(z2)

 Y   = Θ3*a2（=Θ3*Θ2*a1=Θ3*Θ2*Θ1*X）

のようになる。

層を移る度に、以前の層の値にパラメータΘを掛け合わせ、その値を活性化関数に入れる。（Activation Function）ここではその活性化関数はシグモイド関数になっている。活性化関数から出てきた値にまたパラメータΘを適用して、シグモイド関数に通して、最後の出力層に伝えている。活性化関数という名前は、ニューラルネットワークにおける特別な名称。やっていることは線形回帰やロジスティック回帰と同じ。ただθの数がべらぼうに多くなる。

こうすることによって、より複雑なデータを処理することが可能となる。

（大量のデータに対し、以前までのモデルで対処をしようとすると、計算量が膨大になってしまう。すなわち非線形のモデルを1層で表現しようとすると、仮関数の中に多次元の項を大量に用意することになってしまい、データの量が多くなってくると計算量が現実的ではなくなってしまう。これはWEEK2あたりで触れたPolynomial Regressionと同じ問題。コンピュータの性能や計算手法が洗練される以前は、隠れ層を多く重ねることが出来ず複雑な処理を行うことが出来ていなかった。）

 とはいえもちろんニューラルネットワークにも、大きな計算量が要求される。ニューラルネットワークという考え方自体は古くから存在していたが、コンピュータの性能の問題からなかなか発展（多数の層を計算）はしなかった。しかしながら、技術の発展と共に近年様々な分野で活用されている。

一般的に隠れ層が何層にも連なるニューラルネットワークによる機械学習を深層学習（Deep Learning ）と言う。

WEEK5

一番の山場。誤差逆伝播法の中身はまだよく理解していない。

Backpropagation（誤差逆伝播法）

誤差逆伝播法とは、ニューラルネットワークに於いて入力データと出力データの差（誤差）つまりJ(θ)を最小にするために良く用いられる計算手法。

このCourseraのコースでは理論的な話は省いて、実際の計算方法とプログラムの実行例を真似てみるというスタンスで講義が行われていたので正直内容の中身をあまり理解できていない。

イメージとしては、出力データとその一つ前の層のデータの誤差を比較して、そこからどんどんモリモリ差をとって微分して層をさかのぼっていく。そして、それぞれの要素ごとに誤差をチェックして修正する。具体的な隠れ層の様子は分からなかったとしても、微分することによってその増減の差くらいは分かるよ〜っていう話。（なにも理解してなさそう）

実際なにもわかってないので、コレから学んでゆこう。

Gradient Checking

数値微分をすることで、実際に誤差逆伝播法を用いたモデルが正常に機能しているかどうかを確かめる。

 つまり、普通の数学で習うような微分の定義式でシンプルに計算してみて、誤差逆伝播法ってなんやら複雑でよくわからんけどちゃんとできてんの？っていう疑問に対処する。

 あくまでも確認なので、実際に作動させるときにはこの手法は採用しない。この方法はシンプルな故に間違いにくいが、その分計算コストが非常に高いので一度確かめたらそれ以降はより効率的な誤差逆伝播法を用いて計算を行う。

 Random Initialization

Θの初期値はランダムにしてあげなければなりません。例えばΘの初期値を全部０にしてはいけません。なぜならそのとき、誤差逆伝播法においてΘが全て同じ値に更新されてしまうからです。層を積み重ねる意味がなくなってしまいます。（棒）

だんだん雑になっていっているような気がしなくもないけれど、週を通して根本的にやっていることはだいたい同じなので、新しい概念だけに注目してまとめている。

WEEK6

 この週は一風変わって、実際に機械学習を構築する上でどう行動すべきか？というようなテーマで講義が進んでいく。

次に何を試すべきか？

　仮関数h(θ)になんらかの予期せぬエラーが認められた時、その次にあなたが取るべき行動はなんだろうか？ここでは5つの選択肢が説明されている。

• より多くのデータを収集する
• 入力データ（X)の種類を少なくする
• 入力データ（X)の種類を増やす
• Polynomial featureを導入してみる
• λの値を調節する

一番やってはいけないことは、上の5つからランダムに対処法を決めることである。それは多くの場合無駄に時間を浪費することとなる。

その代わりに、我々は仮関数の評価をすることでこの問題に対処する。

モデルセレクション

では、どうすれば仮関数の評価ができるのだろうか？

（注意、以下はまだ間違い）具体的には、データセットをトレーニングセットとテストセットの2つに分割する。つまり仮想的に教師データと現実のデータを設定して、それぞれ評価しようということだ。

（　元のデータ100%　＝　トレーニングセット80%　＋　テストセット20%　）

そして、トレーニングセットを使用して、さまざまなPolynomial Featuresを試して、それぞれにおいて最適なパラメータθを見つける。次にテストセットを使用して、トレーニングセットで見つけたθを用いて、どんな形の仮関数を使えば一番誤差が小さくなるのか調べる。そして一番誤差の小さい形（モデル）を採用する。

そして最後に、同じテストセットで、先ほど検証したモデルを用いて一般化した場合の誤差を調べる。

しかし、これは本当に有効だろうか？ 否、有効ではない。なぜならせっかくデータを分割したのに結局テストセットで仮関数の形を調節してしまっているからだ。これではこのモデルを一般に適用させた時にそれがちゃんと作動するかが分からない。

-------------------------------------------

（コレが正解）なので単純に今度は3つに分ける。具体的には、データセットをトレーニングセットとバリデーションセット、テストセットの3つに分ける。

（　元のデータ100%　＝　トレーニングセット60%　＋　バリデーションセット20%　＋　テストセット20%　）

そして、先ほどと同様トレーニングセットを用いてパラメータθを求め、バリデーションセットを用いて仮関数のモデルを決定する。最後にその効果をテストセットで検証するというわけだ。こうすることによって、テストセットで一般化した場合の効果を調べることができる。めでたしめでたし。

つまるところここでの問題意識は、データセットを用いて仮関数を作ってみたはいいけれども、現実のデータに適用した時に、それは本当に期待通りに作動するのだろうか？ということ。それを検証するために、意図的にデータセットを仮のデータセットと仮の現実のデータとに分割したわけだ。

Diagnosing Bias vs Variance

（これは訳語がよくわからなかった。そのままバイアスと分散でいいのか）

ここで行われるのは、仮関数の性能が悪い時、その原因を分類して分析してみようというお話。具体的には、過学習と不足学習の分類。 

先ほどと同様、トレーニングセットとバリデーションセットを考えてみよう。

まず、我々がすることはトレーニングセットにおける仮関数h(θ)の精度をあげることだ。一般に、Polynomial Degreeを増やすことで、誤差を減らすことができる。それはつまり、項を増やしてh(θ)を複雑な関数にすることで、より非線形な形でデータにフィットさせることが出来るということだ。なるほど、ならば誤差を減らすためにPolynomial Degreeを増やしまくれば良さそうに思える。しかし、もちろんそれは過学習につながってしまうからよくない。 

そこで、我々は過学習をしているかどうかを判別するために、バリデーションセットを検証に使うというわけだ。Polynomial Degreeを増やすことによって、トレーニングセットにおける誤差は減少していっているかもしれない。しかしながらそのときバリデーションセットにおける誤差が上昇していたとしたら？それはまさに過学習をしてしまっているということだ。トレーニングセットに過度に適応してしまっている状態と言える。

つまり、トレーニングセットの誤差がうまく減少しつつ、かつバリデーションセットの誤差が一番少ないところのPolynomial Degreeを採用すればよいという話になる。

トレーニングセットの誤差が大きく、かつバリデーションセットの誤差が大きい状態をHigh Bias、トレーニングセットの誤差が小さく、しかしバリデーションセットの誤差が大きい状態をHigh Varianceと呼ぶ。

Reguralization Bias/Variance

今度は、Polynomial Degreeではなく正則化におけるパラメータλを増減させてBiasとVarianceの状態を見る。上とほとんど同じ話でそれをλに置き換えただけなので、すぐに理解できると思う。なのでサボろ。

Learning Curves

High Bias,High Varianceの状態をグラフに図示して、どう対処すればよいのかを分析する。 

High Biasのとき（不足学習のとき）

• 　現状を改善するためにより大量のデータセットを用意するのは、適当ではない。なぜなら、High Biasとは仮関数の表現能力が乏しい状態なので、いくらデータを持ってきてもそれに最適化をすることが望めない。
• 　データの種類を増やすことは、不足学習の改善に繋がるので、有効。
• 　λを減らすことは、不足学習の改善に繋がるので、有効。

High Varianceのとき（過学習の時）

• 　現状を改善するためにより大量のデータセットを用意するのは、良い結果をもたらす可能性が高い。なぜなら、High Varianceとは仮関数の表現が豊か（複雑な非線形）という状態なので、データを多く用意することでよりうまく最適化を進められう可能性がある。
• データの種類を減らすことは、過学習の改善に繋がるので、有効。　
• λを増やすことは、不足学習の改善に繋がるので、有効。

Error Metrics for Skewed Classes

　ある特定のデータを分類する時に、そのエラーを検証するのが難しいことがある。例えば、ある患者さんが癌であるか否か、ということを分析する場合である。多くの場合、患者さんは健康で、癌である可能性はそんなに高くはないだろう。

ここで、患者さんのサンプルデータのうち99.5%の人は健康で、残りの0.5%の人のみ癌であった場合を考えるとする。はじめ、我々の作った機械学習のシステムの正答率は99%だった。しかし、このときもしもシステムを書き換えて、患者さんの症状に関わらず全ての人が健康である、と機械学習に答えさせたとしたらどうなるだろう？

そう、この場合正答率が99.5%に上昇してしまうのである。しかしながら、これは本当に精度が上昇したと言えるのだろうか？

この問題を解決するために、Presicion/Recallという考え方を用いる。

 Presicion/Recall

Presicionとは、以下の割り算である。 

　Presicion ＝（予測と結果が一致した癌患者の数）÷　（予測では癌患者だが、実際には癌患者でなかった人の数　＋　予測と結果が一致した癌患者の数） 

Recallとは、 

　Recall ＝（予測と結果が一致した癌患者の数）÷ （予測では健康だが、実際には癌患者だった人の数　＋　予測と結果が一致した癌患者の数）

 少し長ったらしくなって分かりづらいが、実際に計算してみるとうまく指標として機能するのがわかると思う。これを用いれば、上の例も精度が上昇しているわけではないとわかる。  

WEEK7

　ついにSVM（Support Vector Machine）のご登場。はじめに言い訳しておきますが、これらの数学的背景についての自分の知識はチンパンジー以下ですのでご容赦を*6。上っ面と名前だけをさらって、プログラミング課題で一応そういう計算式を書いてみた、というだけであります。

Support Vector Machine（サポートベクターマシン）

　サポートベクターマシン（SVM)は、より強力な機械学習のアルゴリズムである。その特徴は、なるべく個々のデータから離れるようにDecision Boundary（決定境界）を選ぶ。つまり、個々のデータからの余白（マージン）が広く、誤った結果を出力する可能性が低くなる。ロジスティック回帰よりも信頼できる予測を行える可能性が高まる。ここでは計算は省略とする。（まあできないからね）

Kernels（カーネル法）

　サポートベクターマシンと一緒によく使われる手法。一般に分類することが非常に難しい非線形のモデルを線形としてうま〜く扱って分類できるようにするという感じ。これもこの講座外でいろいろ調べてみたけど、あなたはこんなところを見る前にまず数学を勉強してくださいという感じになっているので辛い。 

　こう見るとサポートベクターマシンは万能ちゃんのように見えるが、実際にはいろいろ使い分けてうまいことやるようだ。（諦観）

これから統計学やるから、まっててね、SVM！カーネル！

WEEK8

 Unsupervised Learning（教師なし学習）

　今までの教師あり学習では、データセットでXとYがすでに区別してあった。（ラベルがついていた）しかしながらこの教師なし学習では、ただの雑然としたデータの集まりがあるのみで、X,Yなどのラベルはついていない。そこで、Clustering（クラスタリング）という手法を用いて、雑然としたデータたちを分類うまい具合にラベル付けして分類することを考える。

K-means（K平均法）

  Clustering（クラスタリング）における最も一般的な手法。データセットに（分類したい数だけ）centroidsというモノを新たに導入して、それによってうまい事グループ分けしていく。もちろん分類したい数すら分からないという場合もある。そのときはelbow methodと呼ばれる手法を用いたりする。もしくは頑張る。

　K-meansの順序としては

1. 初めのcentroidsを決める（複数）
2. 1つ1つのデータを、それぞれのcentroidsに一番近いデータごとに分類する。データ君の気持ちから考えると、あたりを見回して、一番近いcentroidsさんのところに所属する、という感じ
3. 今度はcentoroidsが、自分のチームに所属するデータくんたちの平均値のところへ移動する
4. 2と3を繰り返して、分類を完了させる。

　K-meansは市場の分析や、SNSのクラスタ分類、コンピュータのクラスタ分類、天文学のデータの分類などに使われていたりする。

Dimensionality Reduction（次元削減）

　データセットが大量にあるとき、その次元を減らしてもっと手軽に扱えるようにしたい、というモチベーション。それによりメモリの占有率を減らしたり、計算をスピードアップさせる。

Principal Component analysis, PCA（主成分分析）

　こちらも数学的なお話は省略。データの次元を落とすときに使われる手法。2次元から1次元に落とすときの話はわかりやすい。X1とX2のデータを関連づけてその位置を影として投影することで次元を落とす。3次元から2次元も同じ感じで面として影を落とす事で次元を削減している。そんなかんじ。。。

WEEKが後半になるにつれて、ふ〜んそうなのねとしか言えなくなってきた。まとめるのにも疲れが出てきた模様。だがもう少しなのでがんばりマウス。

WEEK9

 Gaussian Distribution（正規分布）Normal Distributionとも

　確率論における連続的な変数に関する確率分布。様々な場面で複雑な現象を簡単に表すことのできるモデルとして使われている。グラフ的には左右対称のお山のような形。真ん中が平均値μで、標準偏差σが変わることでお山の形のなめらかさ、激しさが決まる。

Anomaly Detection（異常検知）

　正規分布を用いて、入力されたデータが正常なのか異常なのかを判断する。これのポイントは、どんな状態が異常であるのかということを前もって知らなくてもよいということ。事前に集めた正常なデータを使って正規分布をつくることによって、自動的に大きく平均値から外れているものを弾くシステム。Supervised Learningとごっちゃになりそうだが、Anomaly Detectionの目的は大きな外れ値を示すものを弾くことなので、異常データが少なくても（究極的にはなくても）作動させることができる。けれど教師あり学習の方は、入力データと出力データの間の関係（パラメータΘ）を見つけ出すのが目的なので、この2つはちがうものですよ。と。

Choosing What Features To Use

　 異常検知をするために、ガウス分布のグラフを作りたいのだが、そううまく世の中のデータは正規分布に従うようにはなっていない。なので、そんなデータを無理やり正規分布の形に変換してしまおうという試み。元のデータをlogに入れてみたり、0.5乗とかしてみたりすると、正規分布の形に変換できるようだ。 

Recommender System, Collaborative Filtering

　世の中でバリバリバリバリ使われている、オススメ表示システムの紹介。NetflixやAmazon、Youtube、至る所で使われているこのシステム。ここではNetflixに代表されるような、映画サービスを例に出して説明している。基本的には線形回帰を用いてやるので新しい概念はとくに登場しない。ただ、ひとつだけ。映画を観た後に、こんな映画もおすすめですよ、とやるには、ユーザーの映画の好みのジャンルと、映画それ自体のジャンル分けが必要だ。そこで、その2つの作業を別々にやるのではなく、ユーザーからの評価と、映画のジャンル分けを同時に更新していく（Collaborative Filtering）という手法を用いている。

　まだ映画を１本も観てないユーザーは？出たばっかりの映画はどう振り分けるの？などという疑問が生まれる。それに対しては、ユーザの評価を平均化して振り分けたり、ユーザーの好みから逆推定して映画のジャンルを決めたり、などをしているようだ。

　こうやって文字で書くと、ふ〜んなにやらすごそうとなる。しかし実際には数式でスパーンと表現されているので、え、本当にこれだけでいいんすか？ってなってしまうところはある。

ふ〜。

WEEK10

Stochastic Gradient Descent （確率的勾配降下法）SGD

　データの量が大規模になると、今までのように全てのデータに対して勾配を計算するのは時間がかかることが多い。より計算量を少なくするために、確率的勾配降下法（SGD)を用いる。従来の方法は、全ての組を同時に計算していたので、計算量が膨大であった。SGDは、1組のデータのみから勾配を計算する。よって非常に高速に学習することが可能。

Mini-Batch Gradient Descent（ミニバッチ勾配降下法）

　SGDと同じ考え方で、こちらは1組だけではなく、もう少し大きな単位のデータを用いて学習を行う。一般的には2から100程度の組のデータを同時に計算する。こちらの手法も、表記としてSGDと表されることがあるようだ。これによってより高速に計算を行うことが出来る。

　学習率（パラメータα）を計算回数の増加とともに減少させることによって、最適解に上手く収束するのを狙う。

Online Learning（オンライン学習）

　連続的に流れ込んでくるデータに対して、それぞれについて学習を行い、常に最適化を行い続ける学習。すでに集めたデータの塊に対して機械学習を行うのではなく、個々の（最新の）データそれぞれに機械学習を行い、更新し続ける。その特性から、応用範囲が広く、様々なところで使われている、使われていくだろう。

Map Reduce and Data Parallelism

　データを分割し、複数のコンピュータで並行して学習を行うことにより、効率的に機械学習を行う。線形回帰でもロジスティック回帰でもニューラルネットワーク でも大丈夫。役割を分担して計算し、最後にマスターサーバーに集めて集計する。

WEEK11

　PhotoOCRを例に用いてPipelineとCeiling Analysisの説明。そして最後にまとめと感謝のメッセージ。

Pipeline（パイプライン処理）

　実際に機械学習を設計する上で、 どのような流れで、どんなステップを踏むことで目標を達成するのか、ということを図式化する。

　PhotoOCRは、画像の中のテキストのみを読み込み、そのテキストの内容を認識するというシステム。ここではPhotoOCRにおいてどうやったらこのシステムを実装することができるのかというところを部分部分で細かく見ていく。まず、テキストと思われる部分を画像から切り取る。2つ目にテキストを1文字ごとに分割する。そして最後にそれぞれの文字をAからZの26通りからロジスティック回帰問題として分類する。しっかりとPipelineとしてシステムの仕組みを図式化することで、その問題にどう取り組むか、同人数配分をするのかというところを明確にする、

Ceiling Analysis

　PhotoOCRのシステムの正解率を効率よく上昇させるためには、どこに重点を置いて改良するべきなのか。その分析を行うことがCeiling Analysis。まずはシステム全体の正答率を把握する。次にパイプラインの1つ1つの工程を意図的に100％正解となるようにして、それによるシステム全体の正答率の上がり幅を見る。上がり幅が大きくなった工程ほど、効率的にシステムの改善を見込める部分であるということ。

　工程1を100％正解するようにしたのに、全体としての正答率が1％しか上昇しなかった。しかし工程2を同じようにしたところ、全体として正答率が20％上昇した。ならば工程2に、人員と時間を割いた方が効率がよいのは明らかである。

最後のありがとうビデオ

　とても感動した。なんやかんやで1ヶ月の間かなりの頻度でAndrew先生の顔を見ていたことになるので、先生の方から、この講義のために時間を割いてくれて、一生懸命取り組んでくれてありがとうと言われるとジーンときてしまう。Andrew先生、本当にありがとうございました。このありがとうヴィデオ、何度も見返したいと思います。

まとめ　

　記事、とても、ながい。同じく機械学習を学ぼうとしている方や、実際にCourseraで講義を受けている方の参考になれば嬉しい。私はこれからこの技術の背景にある数学（や理論）をしっかりまなび、OctaveだけでなくPythonやRなどで実装のれんすうをしていきたいと思う。Kaggleに取り組んでみるのもよいかもしれない。そしていずれは、現実のデータで機械学習の設計に取り組んでみたいと思っている。自動運転も面白そうだしTech系の会社でゴリゴリデータ扱うのもよさそうだし研究色の濃いロボットとの組み合わせで遊ぶのも面白そうだし脳科学を学んでそのあたりから攻めるのも面白そうだしウウンウンン。

  というか人口知能に関する研究がしたい。DeepMind社あたりがやっていることがやりたくてたまらん。たまらんすぎてDeepMind社の求人ページをブックマークしている。しかしひとまずはTwitterで鬼のように関係者をフォローするに留めている。

たかくんの奮闘（成長）は続く。。。

神経科学（デミスハサビスの真似）はじめました。

karia68.hatenablog.com

*1:つい最近発売した岩波新書の鶴原吉郎『EVと自動運転』だったり日経ビジネスのEV特集を読んで感DOした。

*2:これは罠で、そうでもない。入学後にはせっせと語彙の増強に励んでいた。

*3:とは言いつつも私はプログラミング課題においてほとんどの時間をOctaveの挙動を調べるのに費やした。あと行列の型チェック！

*4:WEEK5あたりから、学習を進めながら順次書いていた。出来れば数式を使って表現したかったけれど、そうすると凄く進行が遅くなってしまうのでひとまずは掴んだイメージをまとめる感じにした。Texも使えるようになりたい。

*5:Loss Function、Error Functionは同義語

*6:現在は、米アマゾンのベストセラーになってる A introduction to statistical learningとかいう統計の教科書を読み漁っている。コレ無料で公開されてて、なんでそんなことが出来るのか、、という気持ち。ただPDFを眺め続けるのは目が痛いのでキツい。。

【読書メモ】「読書論」小泉信三著 を読んだ。

1. 本の内容
2. 何故読んだのか
3. 内容についてのアレコレ

読書論 (岩波新書)

1.本の内容について

この本はいわゆる読書論を取り扱ったものであり、全１０章で構成されている。初版は１９５０年で、著者の小泉信三さん（１８８８〜１９６６）は慶應義塾大学政治学科卒業、同学科教授を経て塾長となった方である。（らしい）

2.なぜこの本を読もうと思ったのかについて。

大学生となってある程度時間の余裕も出来たので、（ありがちな）本をたくさん読もう！と思い立ち、いわゆる名著と言われているものを（例えばマルクスの資本論であるとか）本屋で手に取ってみたものの、文章の量も多く、内容も非常に難解で、コレはきっと途中ですぐ挫折するに違いないと悟った。ので、そこからそもそもの何のために本を読むのかというところに疑問を抱いたからである。（あいまいだ）もちろん実利的な（読めばすぐ効果が出るという）意味で、読書に意味は大いにあるとというのは分かる。例えば受験生という立場から言えば数学の勉強の仕方という本を読めばそれはそのままお受験の点数に結びつくだろうし、料理本を買ってその通りに料理を作ればまず間違いなく美味しく料理を作れるだろう。（それはそう）なのでそういう近視眼的な考え方からすれば、読書には利点がイッパイ〜。なのは間違いない。

だがそこで、例えば古典的な名著（さっきもいった資本論であるとかシェークスピアのなんたらだとかアダムスミスの国富論であったりとか）を読んだとして、それも非常に苦労して読んだとして、それでどうなるのだ？という非常に素朴な疑問が湧いてきた。そもそもの読書について知りたくなったのである。（ふ〜ん）

3.内容についてのアレコレ

第１章は「何を読むべきか」というタイトルになっている。

ここで著者は、読書の方針は自ら見いだすことが大切だと言った上で一般方針として古典的名著を読むことを勧めている。（へえ）そしてその次の段落で、古典といってもそれは古い書物という意味に限らず、第一流の標準的な物という意味でも使われていると説明している。ここでの古典的の意味は後者の方であるとも。

つまり古典的名著を読め、とは第一流の標準的な書物を読めということになる。（ほう）

そして次に、読書の利益について触れている。（キタ）ここではボクが上で書いたように、すぐに役立つ本と（さっきの料理本とか）すぐには役に立たない本（古典など）に分けて考察している。

そんで、読み進めているウチに、どんな分野どんな世界でも通じる至言を見つけた。著者は工学博士谷村豊太郎氏のその発言を引用して、読書論に絡めている。その言葉が、コレ。

「すぐ役に立つ人間はすぐ役に立たなくなる人間だ」

この章はまだしばらく続きがあるが、この一文を見つけただけでごっそさんです。という気持ちになれた。この言葉は読書に限らず現代のあらゆる場面に通じるところがあると思う。特にAIが暴れまわる今の時代においては。

ただやはり目先の利益につられてしまうところはある、そもそもそういう意識が無ければ素直に本屋で分厚い古典を買っていたハズだからだ。Aの本を読んで習得すればすぐに（ありふれた）知識が手に入る、Bの本を読んでも特に目に見えるものは得られない（しかも特大ボリュームで内容は小難しい）。となるとやっぱり常にAを選びたくなってしまう。

だが一度もBの類の本を読まずに語るのも（食わず嫌いする）おかしい話だと思うので、一度は読もうと思っている。（ん〜〜でもな〜〜〜〜、、、という気分）

第３章の語学力という章は今現在英語を頑張ろうとしている自分にとっては面白い章だった。

この章で著者は、読書を存分に楽しむためにはぜひとも一つでも外国語をものにしておきたい、なぜならそれは長い一生から見ると多くの利益と、楽しみを開く鍵をもたらすからである。というような感じのことを述べている。

で、す、よ、ね〜〜〜〜という感じで嬉しい。そして１９５０年の本だけれども、外国語習得において精読と多読の２つの方法の併用を勧めている。（すごい）やっぱり今も昔もやることは変わらないのですねと言う感じ。

ちょっと書くのに疲れてきたので一旦ここで。大学生はじめに読書についての本を読んでおいたのはその後の読書体験に良い影響を与えてくれるのではないかなと思う。（希望）あとは１章ずつ感想を書こうとしたけどそれは多すぎるので諦めた。

ブログになんか文字を書こうとすると、２０００文字あたりで一旦限界がくる気がする。自分の場合は。

ちなみにボクの読書についての考え方はというと。

本というのはただの情報を書き連ねた紙ぐらいに思っている。でもきっとそれは本質で、例えば学校の体育館で凄く話の面白い人が講演にきてくれたとして、その人の話を皆が食い入るように聞いていたとして、その人のお話一言一句をメモした紙が用意してあったとして。そういう状況があればきっと皆がそのメモを欲しがると思うのだけれど、でも本を習慣的に読むって言う人は少ない。

けれど本質的にはそのメモと本って何も違いはなくて、むしろメモの方は１時間講演したとしても数十ページもあるかどうかだろうけど本は数百ページは当然ある。そして本の方が内容も精査されているしより正確だろう。

 だとするなら講演を食い入るように聞いていた人たちが本（ただの情報の塊）を読まない理由はない。だってそれくらい面白い情報がもっとたくさん詰まっているのだから。もちろん講演を興味ねーやという人たちはそれには当てはまらないけど。

なにがいいたいかよくわからないけど、本っていっぱい情報つまってて、オトクだよね。

さらにちなみにこうやって読んだ本の感想を書くのはより深く内容を頭に入れるためです。（こんな文章でも２５００文字くらいあります。たいへん。）

『AI vs 教科書が読めない子どもたち』科学的なデータとして示されてしまった現実。

実はひと月以上前に購入して読んでいたのだが、

www.asahi.com

この記事を読んで、実感とともに思い出したのだった。

記事中の問題となる一文がコレ

数学は正答率が２・０％、４・７％、８・４％と全問が１割未満で、無解答率が４６・５～５７・０％だった。

https://www.asahi.com/articles/ASL3P366RL3PUTIL007.html

この数字

（そして『AI vs 教科書が読めない子どもたち』の本文中で示されている様々な残酷な、いえリアルな）を見てまず最初に思ったことは、

そりゃそうだよね

ということだ。

自分自身ちょっと前まで高校生（一地方の公立高校生）をやっていたので、（もちろんデータを取ったわけでもなんでもないが）このデータはそんな実感と完全にマッチしている。完全に。

現代文の授業、教科書を音読する時に意味としてありえないところで区切って読む生徒、そもそもスムーズに読めない生徒。

数学の授業中、先生からの質問に対してまったくの違う方向から答える（質問の意図を理解していない）生徒、、などさまざまだ。

そして本書を読んでみて、正直なところ

まだそんなところで消耗してるの？？？

とすら感じてしまった。

というのはこの本が２０１８年の２月に発売されたということ、しかもこの本の内容はまだ研究段階であるということ（つまり全国的にその事実が知れ渡っているとは全く言い難い）。

もちろんここでのニュアンスはその研究を否定することでは全くなく、この調査が広まっていく　ということはとても素晴らしいと思う。

（むしろ素晴らしくかつ重要であると思うからこそ、この最近の最近までそういう事実がデータとして集められず、研究されていなかったという事実に驚いている）

そして私はここに結構深い問題があるのではないだろうか、と思う。

上に書いたように、私はそんな状況（今回データとして示された状況）を実際に、かなり最近の事として（ここが重要）体験している。

だがおそらく、こういう記事を読まなければ、こういう本を読まなかったら、そういう体験についてほとんど思い出すことはなかっただろう。

時が経てばたつほどさらに。

なぜそういう「事実」、多くの人が若い頃に体験するであろう「事実」を長い間省みることができなかったのか？

それはやはりその事実を集積し、分析し、教育に還元していくような立場の人間は「読解力」に困ったことがないからだろう。（つまり社会に出て読解力がある人達は読解力がない人達の世界を振り返ることが、ない）（エリートがエリートの住みやすい世界を作っている、とはよく言われるが、根本的で一番重要な「教育」という分野でそれが行われている）（ここではその住みやすい、ではないような気もするが）

なので、きっとこういう事実、体験をすぐに忘れる。（そもそも小学校や中学校から読解力の高い人たちに囲まれていたとしたら、その事実を体験することすらないだろう）

そして教育行政に関わる文部科学省のお偉い方々や大学の学長さんたちは前提として「教科書の文章は当然理解できるはず」という認識を持っているようだ。（本書によれば）

もちろんそんな前提があるのならば、読解力についての調査など行うハズもない。

だがそんな人達が現在のようにセンター試験の制度改正や英語教育の推進（？）を推し進めているというのが現状だ。（この改正には疑問点も非常に多い）

そんな折、東ロボくんの開発に携わり、AIの言語処理の研究から中高生の読解力に危機感を持った新井紀子さんが実態を調査した結果、（デデドン）

あ、実際はこんな感じだったんだ。

となってしまったわけだ。

そりゃそうだよね。（デデドン）

そして一番重要な問題は、ここがまだスタートラインであるということ。

今はまだこのデータによって、今までよく見えていなかった現状が「見えた」だけ。（やや失礼な表現でごめんなさい）

これからこの先どうすればいいのか、筆者はまだ読解力を解明する科学的な研究（処方箋）は存在していない述べている。

同時に適当に読解力養成講座（科学的根拠の無い）を開けば大金を稼げたかもしれない、それは絶対しないけどとも言っている。（コレは皮肉でしょう）（じゃあお役所の方々は、、、？と勘繰ってしまうケド）

私は、この事実を広げる、広めることが現在出来る一番の処方箋なのではないかと思う。（のでこの駄文を書き連ねている）

センター試験の改正にしろ、英語の外部試験導入にせよ、

まずそういった現状を知らない人、忘れてしまっている人、体感してはいるが言語化出来ていない人、そしてそれを問題視していない人

が多い、気がする。（一般的にだけでなくそれを導入しようとするお上の方々にしても）

ので、あなたもぜひこの本を手に取り、現状を把握しましょう。そしてそういう現実であるということを認識しましょう。それがまずはじめの一歩です。（ステマではありません）

内容が豊富なのでほんの一部分にしか触れられておりません。

あー長かった。