機械学習のパラメータチューニングなど（ポエム感強し）

機械学習のパラメータチューニングをするには、
各パラメータのことを知らないといけない。
そのためには、その機械学習のアルゴリズムをわかっていないといけない。

（当たり前なんだけど、パッケージに頼ると、スクラッチで書く人よりその辺りの意識が弱いと思う。）

探索は、for文などで行うことができる。
もしくは、sklearnのGridSearchCV()で行うことができる。

ランダムサーチでサンプリングする方法もある。
ランダムサーチの実装方法としては、sklearnのRandomizedSearchCV()がある。

XGBoost,LightGBM,CatBoostなどは、sklearn傘下のものではないけれど、
GridSearchCV()、RandomizedSearchCV()は使える。
（sklearnの cross_validationがsklearn以外でも使えるようなものだ。）

使い方としては、以下参照。

ポイントだと思うことを書く。

GridSearchCV()使うときは、GridSearchCV()のパラメータを使う（当たり前）。

RandomizedSearchCV()使うときは、RandomizedSearchCV()のパラメータを使う（当たり前）。

じゃ、各アルゴリズム特有のパラメータは何処に入れるかというと、

GridSearchCV()のときは、GridSearchCV()のパラメータparam_grid に入れる（辞書型または、辞書のリスト）。

RandomizedSearchCV()のときは、RandomizedSearchCV()のパラメータparam_distributionsに入れる（辞書型）。

あとは、末尾にCVと付いてるように、交差検証もやれる。グリッドサーチもランダムサーチもcvというパラメータを持っている。特に指定しないと、3-fold CVになるらしい。

入れ子になった交差検証はこの辺を見ればいいと思う。

あとは、評価方法ですね。

混同行列：　TP（真陽性）,　TN（真陰性）,　FP(偽陽性),　FN（偽陰性）

精度 = $\displaystyle \frac{TP+TN}{TP+TN+FP+FN}$

適合率 = $\displaystyle \frac{TP}{TP+FP}$

再現率 = $\displaystyle \frac{TP}{TP+FN}$

F値 = $\displaystyle \frac{2\times適合率\times再現率}{　　　適合率＋再現率　　　}$ = $\displaystyle \frac{2TP}{2TP+FP+FN}$

AUC

＜参考文献＞