【自作UAV】TensorKartのプログラム自体を少し勉強してみるかぁ～データ集める前に(笑)【VRCをシミュレータに】

VRC面白いので、操縦して遊んでしまいます(笑)
TensorKartのコードを読んでみる
利用ライブラリ関係
コード
record.py
Utils.py
train.py
Play.py
さて・・
いいね:
関連

VRC面白いので、操縦して遊んでしまいます(笑)

VRCなかなかよく出来てます(笑)　ってそっちじゃない。。　こやつを動かすとラジコンしたくなるぅ～～　僕のラジコン機材古いので、新しいの誰か安く譲って(笑)ってまたラジコンするのか？(笑)

で・・前回は、NvidiaのDNNを読んでやってることを、あらかた理解したつもりになってます。でも、こういうのってすぐ忘れちゃうんだよなぁ～　だからブログに記憶させているんですが(笑)

TensorKartのコードを読んでみる

全体をまずは、ざっくり・・Pythonで書かれています。

コード	中身
play.py	マリオカートを動かす時に使うみたいですね。学習済みのニューラルネットワークで自動運転するというプログラムのようです。
record.py	学習データを作るために、マリオカートエミュレータの画面とジョイスティックの動きを記録するためのプログラムのようです。
train.py	これが学習させるプログラムのようです。モデルは、TensorFlowで作られているって書いてあるけど、中身は、Kerasフレームワークですね。
utils.py	640×480のゲーム画面を200×66に変換するのと、教師信号を見たり、画像を見たりするユーティリティプログラムですね

ちゃんと中身見ないで、書いています。あとで間違いあれば、修正するかもです。

利用ライブラリ関係

Pythonライブラリの依存関係は、requirement.textに書かれています。Pythonも実はあんまり知らないので、こやつらも注釈入れておこう。

- inputs==0.1
+ KeybordやJoystickの入力ライブラリのようです。
- wxPython==4.0.0a1
- matplotlib==1.5.2
- numpy==1.10.1
- scikit-image==0.12.3
- termcolor==1.1.0
- keras==2.0.3
- h5py==2.7.0
- tensorflow-gpu==1.0.1
- Pillow==4.1.0

う・・・これ全部勉強してたら・・・おじさんは、もう人生終わってしまいます(笑)　だから、このリンクを作っておいています。。

コード

さて・・どれから読むか？(笑)

こういう時は、使う順番から読んでいくことに限りますね。。

使う順番は、record.py, utils.py, train.py, play.py おっぱい。。　の順番です＜おぃ

record.py

220行のコードだから、一行一行注釈入れておこうかと思ったけど、めんどくさくなった(笑)

画像を映しながら・・ジョイスティックの動作をグラフ化して動いているのを見せるのと、マリオカートの動画をスナップショットして、同期させてバイナリーで保存しているだけのようですね。

ここは、作らないといけないですね(^^;

作るのに必要そうなところだけ抜粋しておこうっと

 def take_screenshot(self):
 screen = wx.ScreenDC()
 bmp = wx.Bitmap(Screenshot.IMG_W, Screenshot.IMG_H)
 mem = wx.MemoryDC(bmp)
 mem.Blit(0, 0, Screenshot.IMG_W, Screenshot.IMG_H, screen, Screenshot.OFFSET_X, Screenshot.OFFSET_Y)
 return bmp

def save_data(self):
 image_file = self.outputDir+'/'+'img_'+str(self.t)+'.png'
 self.bmp.SaveFile(image_file, wx.BITMAP_TYPE_PNG)

# make / open outfile
 outfile = open(self.outputDir+'/'+'data.csv', 'a')

# write line
 outfile.write( image_file + ',' + ','.join(map(str, self.controller_data)) + '\n' )
 outfile.close()

self.t += 1

PNGで保存しているんですね。ジョイスティックは、data.csvで入れてる。

Utils.py

load_sample(sample)　という関数で、record.pyで作ったデータを読み込んで、

ｘには画像を、リサイズして入れ、ｙにはジョイスティックのデータを入れて一つのファイルにしている模様。。

やっぱり、これ、データ自体を作った方が早そうかな？

record.pyとutils.pyを見ると、ジョイスティックのデータ構造が割と複雑(^^;

あとで、もう一度考えよう。。

train.py

NvidiaのモデルをKerasで表現すると、こうなるってのが書いてありますね。

def create_model(keep_prob = 0.8):
 model = Sequential()

# NVIDIA's model
 model.add(Conv2D(24, kernel_size=(5, 5), strides=(2, 2), activation='relu', input_shape= INPUT_SHAPE))
 model.add(Conv2D(36, kernel_size=(5, 5), strides=(2, 2), activation='relu'))
 model.add(Conv2D(48, kernel_size=(5, 5), strides=(2, 2), activation='relu'))
 model.add(Conv2D(64, kernel_size=(3, 3), activation='relu'))
 model.add(Conv2D(64, kernel_size=(3, 3), activation='relu'))
 model.add(Flatten())
 model.add(Dense(1164, activation='relu'))
 drop_out = 1 - keep_prob
 model.add(Dropout(drop_out))
 model.add(Dense(100, activation='relu'))
 model.add(Dropout(drop_out))
 model.add(Dense(50, activation='relu'))
 model.add(Dropout(drop_out))
 model.add(Dense(10, activation='relu'))
 model.add(Dropout(drop_out))
 model.add(Dense(OUT_SHAPE, activation='softsign'))

return model

でも・・・こりゃ。。Kerasを読まなきゃ無理だわ(笑)

学習させているところは、これだけ・・

 # Training loop variables
 epochs = 100
 batch_size = 50

 model = create_model()
 model.compile(loss=customized_loss, optimizer=optimizers.adam())
 model.fit(x_train, y_train, batch_size=batch_size, epochs=epochs, shuffle=True, validation_split=0.1)

 model.save_weights('model_weights.h5')

KerasのSequencialモデルのチュートリアル

を見ながら、ちょっと勉強しないと、このコード分からないですね(笑)

Play.py

これもKerasが分からないと、なんともなんですが・・・

モデルを読み込み、重みを読み込み、画像を読み込んで、リサイズして、DNNに喰わせて、ジョイスティックの動きを、予測して、マリオカート６４エミュレータに入れるってことをやっていますね。

さて・・

KerasでMINSTの画像認識を動かすか？こやつをVMで動かすか？　どっちにせよ動かさないとだめですね。

なんなくだけど、ジョイスティックの動きを、Square Meanで誤差にして返しているけど、これ、ステアリングとスロットルを、ひとつにしているんですよね。それでも学習できているのでいいのかもしれないけど、もともとのモデルが、ステアリングだけなので、ステアリングとスロットル別々にOutputするようなモデルにした方が良さそうに思うけど。。どうなんだろう？？　連動する方がいいのかな？

モデルを変えないとしても・・Train.pyだけが使えそうで、あとは、作らないといけなさそうですね。そりゃそうだけど(笑)

Record.pyのようなやつをやっぱり先に作るか・・

でも、Pythonだったら、Windows10のJoystickも簡単に読めそうだけど、どうなんだろ？