他チームとの争点とは①ーAWS DeepRacer－
世界一になることを目標にチームを発足してから、はや2ヶ月。
DeepRacerで優勝するために僕が担当するReinforcement Learning（強化学習）チームは、「コースを外れずに最大限早く走れるようにする」ことをミッションに動いてきた。
現時点では、DeepRacerで他チームと差がうまれる点を把握し、車体への学習を進めている。自動運転に興味がある人はさらっと読んでほしい。
- 他チームと差がうまれる点
「コースを外れずに最大限早く走れるようにする」を達成するために、まずは現状把握に取り組んでいた。
具体的には、①DeepRacerに参加するチームが操作できるものは何か、②他のチームと差がつくのはどこか、の2点を把握することに努めた。
①DeepRacerに参加するチームが操作できるものは何か
実は本大会で我々が操作できるものは限られている。一般的に自動運転に必要なソフトウェアは、
- 画像認識（周囲の把握）
- 強化学習（次に取る行動を決定する）
- 深層学習（行動の方策（戦略）を更新する）
の3つが必要である。
本大会で操作できるのは、2と3である。AWSが大会を主催する目的を考えれば妥当な結果かもしれない。
2と3は具体的に何をするのか。
②他のチームと差がつくのはどこか
ここから他のチームと差がつく内容になる。
2に関しては、報酬関数の組み方が他チームとの差が生まれる点になると想定している。いや、報酬関数ってなんだよっていう方もいらっしゃると思うので、簡単に報酬関数含め強化学習の仕組みを説明する。
強化学習とは図1のように、機械学習の1つに分類されており、教師あり学習と教師なし学習に並ぶ手法である。教師あり学習、教師なし学習は基本的に人間は目的変数（方程式でいうy）に影響を及ぼす独立変数（方程式でいうx）を仮説ベースで考え、モデルに投入する。一方で、強化学習は機械が目的変数に影響を及ぼす独立変数を特定し、優先順位を付けていく。
強化学習の仕組みを説明するときに、図2が登場する。それぞれの単語について自動運転で例を挙げると下記のようになる。
- エージェント⇒車体
- 環境⇒運転する人が見ている世界
- 行動⇒アクセルを踏む、ブレーキを踏む、ハンドルを切る
- 状態⇒環境をデータ化したもの
- 報酬⇒行動したことによって得た環境に点数を付けたもの
エージェントが環境（St）を把握し、行動をとることで、世界が新しい環境（St+1）になり、新しい環境が目的に対してどの程度評価できるかを報酬としてエージェントに与える。これを繰り返すことで、エージェントは目的を達するためにどんな行動をとるべきかを学習していくのである。
強化学習の仕組みをざーーーーっくりと理解した上で本論に戻ると、本大会で他チームと差が生まれる点の1つは、報酬関数の組み方である。どのような環境になったら負の報酬を与えるのか、どのように報酬の傾斜をつけるのか、これらを設計しコードに落とし込むことができるかどうかが学習の精度・スピードに差を生むことになる。
ちなみに、DeepRacerで与えられている報酬関数のパラメータは図2、3の通りである。
これらを調整するのがRLチームの最も力をいれることであり、他チームと差が生まれる点である。
この調整を試行錯誤するには開発シュミレータ環境が必要だが、実はまだAWSはDeepRacerというサービスをローンチできておらず、試行錯誤できない状態である。。。（走りながら大会開催を発表するあたりはさすがAmazon）
とはいえ、いつローンチされるかわからないものを待っていても時間が無駄なため、図4のような開発シュミレータ環境を自分たちで構築した。
図にあるラジコンにコースを走らせ（無論、最初はコースから外れて明後日の方向に進んでしまう）、最終的に白線のラインを外れずにコースを走り切る報酬関数の組み方を試行錯誤している。
そして、序盤で提示した下記の3に関して。
- 画像認識（周囲の把握）
- 強化学習（次に取る行動を決定する）
- 深層学習（行動の方策（戦略）を更新する）
3では、深層学習のハイパーパラメータの調整とアルゴリズムのカスタマイズで他チームと差がつくと想定している。
3については次の記事で書きます。
（深層学習の説明の仕方を考えていたら疲れてきたので。。。）
いざ世界大会へ
昨今、GAFAと呼ばれている4つの巨大企業が世界を席巻している。
去年は特にAmazonの発表に驚きとときめきを隠すことができなかった。
〇Amazonが発表した世界大会
Amazonは毎年、エンジニア向けの「AWS re:invent」というイベントを開催している。スティーブジョブズがAppleの新製品の発表をするイベントのようなものである。
このイベントでAmazonは「DeepRacer」という世界大会を2019年に開催することを発表した。
この大会は何か？
小型のラジコン（カメラとCPUが内蔵されている）を人が操作することなく、レース場をいかに早く走り切るかを勝負する世界大会である。
なんと自分が構築した自動運転の機械学習アルゴリズムを世界で試すことができる大会なのである！（一台3万円の小型ラジコンを買うという制約はあるが）
〇大会に参加したい理由と日本チーム参画の経緯
この発表を見た僕はすぐに参加すると決意した。
なぜそう思ったか。
僕は生粋のおじいちゃん・おばあちゃん子である。小さいころから毎日家にいて、友達の家に行くときもおじいちゃんの車で送り迎えをしてもらっていた。
歩く時間を考えると車の方が圧倒的につく時間が早いし、友達と遊ぶ時間を少しでも増やしたかったからだ。
運転をしてくれたおじいちゃんは僕にとってヒーロー的な存在だった。
それから約10年後、おじいちゃんはアクセルとブレーキを踏み間違えることが増え、家族は度々運転に危険を感じるようになり、ついにおじいちゃんは車を手放してしまった。
その結果、行動範囲が狭くなり家に居座ることが増え、急激に衰弱していっている。
おじいちゃんのような人を自分の意思で自由に行動できるような世界にしたい。
そう思うようになっていた。その想いを持っていた中でのAmazonの発表。これにときめきを感じないわけがなかった。とはいえ、機械学習はやっているものの自動運転なんて畑違いであるため、1人でできる自信がなかった。
そこでネットでひたすら検索。
僕は毎日NewsPicksというアプリでニュースを見て、コメントを残している。（最高位のバッジを維持したいからである）
今回のAmazonの発表もNewsPicksは取り上げていた。
NewsPicksは経済の記事とオリジナルの記事を中心にしたアプリであるが、特徴としてどのユーザも記事にコメントすることができ、誰でもコメントを見ることができる。
そしてなんと、そのコメント欄にDeepRacerの日本チームを集めている人がいたのだ。
その方は大手外資車メーカーで働いている方だった。
兎に角、チームメンバーになりたかったので、この方が書いている自動車業界のすべて記事に目を通して、TwitterでDMを送った。
（許可をもらってるので名前も出しちゃいます）
結果、是非とも参加してくれ、というお言葉をいただきDeepRacerの日本チームの一員になった。（ちなみにほりえもんもチームを作りたいとNewsPicksにコメント書いていた）
〇自分がチームで何をやるのか
最終的に集まったメンバーは10人。外資車メーカー、海外のベンチャー、大学院生などそれぞれ専門を持った方々である。
もちろん目標は世界一である。
その高い目標と各々専門を持ったメンバーの中で僕は何をやるのか。
自動運転をするには、下記の2つを車に教えなければならない。
①車が見えている世界はどんな状況か
②状況に対し、どういう行動をすればよいのか（アクセルを踏むのかハンドルを右に傾けるのか）
上記2つを教え込んで、コースを脱線せずにラジコンを走らせることが僕の役割である。
つまり、
①カメラが補足した画像を、機械が分かるようにデータ化し、どれが白線なのか、どれが人なのかをわかるような画像認識の機械学習を構築する
②車が置かれた状況において、ハンドルを左に曲げるのが良いのか、はたまたブレーキを踏むのが良いのかを判断させる強化学習を構築する
のである。
しかも、上記の2つを担うチームのリーダーになってしまった。
初めてのことだらけだが、勉強しながらメンバーに実装方針のたたき台を提示しつつ、実装に向けて動いているところである。
興味ある方向けに参考書籍と論文を貼っておく。
・参考書籍
・論文
深層強化学習で自動運転を実装した論文：
https://arxiv.org/pdf/1807.00412.pdf
自動運転の画像認識に関する論文：
https://arxiv.org/pdf/1604.07316.pdf
〇みなさんににお願いしたいこと
最後に、数ある記事の中から僕の記事を読んでくださっているみなさんに2点お願いです。
①自動運転に詳しい方・実装経験がある方を知っていたら紹介してください。
勉強しながら進めてはいるものの、既に詳しい方から助言をいただくことで世界一という目標に近づけると思っているので、詳しい方はご連絡お願いします。
②今年中にクラウトファンディングを行うので、日本チームの世界一を見たい方はぜひ応援をお願いします。
自動運転は機械に学習させることが必要です。その学習時にGPUが必須になってきます。（一台10万円以上します。。。）このGPUをどれだけ集めることができ、どれだけ学習させることができるか、が勝負のカギといっても過言ではありません。もちろん、今後僕含めたメンバーがブログを通して、経過を発信するのでそれを見て決めてください！
いざ世界大会へ
今後も定期的にDeepRacerシリーズは書いていきまーす。
---------------------------------------------------
★若手社会人のさぼり場（※ブログのテーマとは関係なしに、最近の近況を書きます）
・最近、タピオカを食べたいときに食べれる状況を作りたく、Amazonで3kgのタピオカを買いました。
画像は食べれる状態になったタピオカ
バズワードになりつつある機械学習ってなんだ？
企業が新規事業を始める時、既存のサービスを変える時、企業は何を以って意思決定するのか。
変革を起こそうとしている社内の人は業務に詳しいものの、何をどう変えたら目的に近づくのか漠然とイメージしている。
しかし、僕らのような職種（コンサルタント）の人間がしばしば求められ、変革のご支援させていただく。（社内では変革を主導する工数がある人材がおらず、単に人を雇いたいだけなのかもしれない、、、）
そこでふと思う。
なぜ、社内の業務を全く知らない僕らに仕事を頼むのか。
その理由は、「変革するにあたって自社内では対応・判断できない業務があるから」が大半ではないか。
では、お客さんが僕らに求めていることはなにか。
それはデジタル※1orシステム導入※2で事業を変革することだ。（デジタルだと風呂敷が広がりすぎて、当ブログでは綺麗に畳めないので、今回はデータ分析に話を絞る）
※1デジタルでの変革を推進している企業：
https://japan.zdnet.com/article/35125825/
※2SalesForce、SAP、Oracleなどを指す
これからお話しするデータ分析というデジタルのスキルはコンサルタントのみならずビジネスマンとして必須だと思うので、気が向いたら是非全部読んでくださいな。
データ分析と聞くと何を思い浮かべるだろうか。まずは、どんな属性（男性女性・年齢）を持った人がユーザかを把握する平均・合計などの基礎集計を思い浮かべるかもしれない。さらに、計量経済を学んだ人は、ガウス分布を前提にした回帰を中心とした統計的推定を思い浮かべるかもしれない。
もちろん上記の内容もクライアントから求められることはしばしばある。しかし、最近もっと求められている内容は機械学習でデータから示唆を出すことだ。
機械学習ってそもそもなんぞや？という話は別の回で書こうと思うが、どんなことができるかをイメージづけるために、1つの例を紹介する。
衛生で撮影した工場の画像をもとに、生産体制・売上を予測する、ということが気概学習では可能になるのである。
https://www.sbbit.jp/article/cont1/35465
機械学習を用いた分析をすることで今までお客さんが解決できなかった課題を解決することができ、今も常に求められている。
では、上記の内容を実現できる人材が求めらる理由は2つある。
①自社内に実現できる人材がいないため。（めっちゃ単純）
②数値として結果がわかるため、クライアントが意思決定をしやすいため
機械学習を実装するには、3つの能力が必要になってくると言われている。
①ビジネススキル
⇒業務を理解しており、課題設定・課題に対する施策を考えることができるスキル
②エンジニアリング
⇒プログラミングやデータ基盤構築を理解・実装できるスキル
⇒モデル作成時に何をやっているのか理解するスキル
上記スキルのうち、データを扱う人は2パターンに分かれてきていると言われている。それは、②と③である。①はそこら辺のコンサルタントであればだれでもできるからだ。
とはいえ、②と③のどちらかを身につけるだけでもかなりの労力が必要になる。高校時代から数学を避けていたもしくは、苦手意識を持つ人が多いということもあるのかもしれない。（僕も高校数学から苦手意識が芽生えた）
結論、機械学習で課題を解決することが日本企業で普及しており、実際に解決することが多い。しかし、自社内に実装できる人材がいないため、自社内で意思決定をして、何かしらの変化を起こすために、外部のコンサル会社や分析専門のベンダー会社に依頼するのである。
ここまでデータ分析というデータで裏付けて意見を主張する手法について、概要どれだけ求められているのかをざっくりと書いてきた。しかし、似たようなデータであれば、ほぼデータから裏付けられた主張はどの企業でも同じものになってしまう。
つまり、差別化されない。
ではどうするのか。
次のブログで書こうと思う。
有給びとの遊び場
--------------
ASMRにはまりすぎて不眠症になりそう。。。。
今年中に動画を出すほうに回ろうと思っていたんだけど、達成できなそう。
機材が高いし、部屋のスペースを取るし日常生活にあまりいいことはないけど、来年度までには一回はやる！
最近TVを家に置かないが増えてスマホで動画を見る人が半分ぐらいにまで来ているが、見すぎると不眠症になり、朝5時くらいまでPCを触りだすから気を付けて。。。w
【第1回】本のレビュー
最近読んだ本のレビュー第1回目！
※登場人物：自分、上司1、上司2
最近読んだ本以下の3つ。
①誰もが嘘をついている～ビッグデータ分析が暴く人間のやばい本性～
②戦略不全の論理
③SUPER BOSS
我ながらテーマがバラバラで笑えるが、一応今回の本たちを読む目的があった。
①今後、データ分析を自分の得意領域にして案件を主導していきたく、データの収集・解釈をする上で必要な考えを認識したかったため。（上司1のおすすめ）
②案件発掘時にお客さんとなりたい像を描いて、解決案を提示するときに必要となる引き出し（事例）を増やしたかったから
③上司1や上司2（一番最初に直属の上司だった人）に対して持っていた感覚がなんなのかわからず、言語化したかったから。
③に関しては文章だけ見ると「おっさんずラブ」的な要素が入ってそうだけど違う、はず。。。
ではでは、それぞれの本の感想をまったりと書いていく！
①誰もが嘘をついている～ビッグデータ分析が暴く人間のやばい本性～
データは何でもよいわけではない、少なくても良いから正しくデータ化されていることが重要であるということが事例を交えてつらつらと書かれている。
企業がデータとして持っている情報は、人々の欲望や行動を反映できているのかという疑問を持っている。反映できていない事例として、米国大統領選挙が挙げられている。
大統領選挙中の支持率調査で人々はトランプを指示していないと嘘をついていたのだ。実際はトランプを支持していたが、それを表明することに気後れし、投票候補を決めていないと報告していたのだ。
では、正しく人々の動きをデータ化できているものは何か。
それは、Googleの検索エンジンである。Googleだったら他人に言えないことでも、文字にして検索できるためである。
分析する上では、企業内で認識している人々の欲望・行動をデータとして正しく反映できているのだろうか。企業の認識通りかどうか考える必要があるかもしれない。
そして、大量のデータを集めるのではなく、正しいデータを集めるような仕組みを設計しなければならないなぁと痛感した。
しょうがないとは思うが、本で出てくる事例の大半が下ネタだからこの著者は変態だと認定したw
![[ã»ã¹ã»ã¹ãã£ã¼ã´ã³ãºï¼ãã´ã£ãã¦ã£ãã]ã®èª°ããåãã¤ãã¦ããï½ããã°ãã¼ã¿åæãæ´ã人éã®ã¤ããæ¬æ§ï½](https://images-fe.ssl-images-amazon.com/images/I/41g3Yh9xSUL.jpg)
②戦略不全の論理
戦後、米国企業と比べて日本企業の競争力（時価総額）がなぜ落ちてしまったのかを事例を交えて定性的に（とはいえ納得感がある）明らかにしている。
日本企業は本当に競争力が落ちているいるのか。
売上高と利益を日米比較すると、売上は日本が高く、戦後継続して伸ばしてきたのに対し、利益は米国が高く、継続的に伸ばしてきている。すなわち、売上規模を追求してしているが、利益があげられていない事業がばかりになってきているのだ。
なぜか。
大局観がなく未来志向ではないから。
少し具体的に言うと、こうあるべきだというミッションがなく、多くの事業に手を出し、勝ち筋が見えたものに対してだけカネ・ヒトを投下しているからだ。
確かに日本企業の多くは減収減益が立て続けに起こると、すぐに投資規模を削減しそう。。。（もしくはわけのわからない事業に執着しすぎて手に負えなくなるか）
神戸大の三品先生は、その原因が企業にミッションがないからだと主張するが、それに加えて原因がもう1つあると思う。それは意思決定者が過去の経験からとか何とか言って、定性的に企業を動かしているからだ。
実際に社会人になって、統計の基礎知識がない人が意外と多いのだなと感じるし、何より定量的に意思決定ができるようになる仕組みを作ることが求められるからだ。
もっと定量的に判断することができれば、多少の売上のぶれなど気にならずに自社が成し遂げたいこといわゆるミッション実現に邁進できるのではないかと思う。
逆に上記の動きができていれば、景気の変動も予想して対処ができるはず！
③SUPER BOSS
なぜ有能な人のもとには有能な部下が登場するのか、また登場し続けるのかをざっくりとかいてある本。（啓発本みたいな感じで、炭水化物のようなもの）
自分の職場に非常に口が悪く、周りに気を遣わずにぐさぐさと話す上司1がいる。その上司は正論を言っているのだが、言い方が悪いせいか部下がブーブー言うことが多々ある。（しかし、対面でブーブー言っているのを見るのは稀中の稀）
しかし、僕は全く嫌だとは思わない。その感覚の違いが不思議だった。なぜだろうと考えて考え続けると、、、、
結論、その上司はスーパーボスだったのだ。正直まだよくわからないことがあるが、その上司が僕の仕事ぶりに期待してくれるのであれば、サービス残業であろうが徹夜であろうがなんでも大丈夫という気持ちになるのである。
自分の仕事の進め方や成果物に対し、ぐさぐさと言われても受け入れて仕事に猛突進できる。
なぜその状態になるのか。その状態になる人とならない人の違いはなにか。
それは、スーパーボスの期待に応えるまで周りに目もくれず働いたことがあるかどうかだ。その経験の後に、この上司はスーパーボスだったんだとわかると思う。
だらだらと書いてしまったが、
①なぜ有能な人のもとに有能な部下が登場するのか、
という問いに答えるのであれば、「人間の自己保存の本能を操る力」と「期待に応えた後の手のひらを返したかのような対応」を使えるからだと思う。
そして、
②なぜ有能な人のもとに有能な部下が継続的に登場するのか
という問いに対しては、その上司のもとを飛び立っていった部下が上司同様に活躍し、ルーツをたどられて、上司のもとに熱意のある人が集まるからだ。
※自分は有能な部下になれるように継続的に努力する必要有
![[ã·ããã¼ã»ãã£ã³ã±ã«ã·ã¥ã¿ã¤ã³]ã®SUPER BOSSï¼ã¹ã¼ãã¼ãã¹ï¼](https://images-fe.ssl-images-amazon.com/images/I/41T2ZNGsPRL.jpg)
興味のある方はぜひ読んでください！
お付き合いありがとうございました。
Y.E
【祝】2017年卒業＋ブログ開設
初ブログ！初投稿！
「若手社会人の日々有給」というブログ名は置いといて、初めてブログを開始した。
新年となり、今年の抱負をSNSで挙げる人が多い中私はブログを開設することにした。正直どれぐらい続くかわからないが、、、
このブログを開設した目的は3つある。
- 仕事でどんなことをしてきたか残しておくため
- 自分の言語化能力を高めるため（先輩にしばしばいじられる）
- 日ごろ日記として書いていた内容を発信したいため（日常で感じた違和感がメイン）
とりあえず、開設日の文章はこれぐらいにして後日2018年の抱負を書こうと思う。
