主に自分のメモ用途。

自分のためのメモ帳です。

kaggleコンペのタイトル取得(追記:他のデータも取得するようにした。)

kaggleコンペについての参加者の取り組み(コメントとか、機械学習関係のコードとか)を調査研究しようと思い、 ひとまず、コンペのタイトルを取得するコードを書いた。 このページの下部にも記載したし、以下のGitHubにも記載している。 Python_code/code t…

jumanpp のインストール

日本語の形態素解析をするにあたり、 MeCabよりも、Juman++がいいことを知り、インストールすることに。 やり方をここにメモっておく。 Releases ここで、最新版のtar.xz ファイルをダウンロード。 適当なディレクトリを作成し、そこに上記のtar.xz ファイル…

os.nice(increment)

複数人でサーバーを使うときに並列処理をする場合、 他の人のことを考慮して並列数を指定するというのは当然やるのだが、 それだけでなく、 サーバーの負荷が大きくなってきたら自分が身を引くように、自分の優先度を低くしておくというのもやっておくべき。…

kaggleはじめました。

kaggleはじめました。 データ容量が大きいものが多いので、通常のPCではやれないものも多い。 なので、どこかしらのハイパワーなサーバーでやることになる。 その際に、以下が参考になった。 Container of the Week – kaggle/python | Elegant Infrastructur…

【PythonとStanで学ぶ】仕組みが分かるベイズ統計学入門  がいいよ、って話。

いろいろとベイズ統計学の教材(本やネットなど)を使って勉強してたけど、 以下の動画講座が個人的には一番良かった。 【PythonとStanで学ぶ】仕組みが分かるベイズ統計学入門 | Udemy これまで理解できてなくてモヤモヤしてたことがすっきりした。 しかも…

(メモ)Mantel-Haenszel 検定

層別抽出で母集団と比べて歪んでいる場合の検定には、 Mantel-Haenszel 検定を使う。

論文の読み方

いしたーさんがツイッターで論文の読み方の以下のリンクを貼ってた。 高速で論文がバリバリ読める落合先生のフォーマットがいい感じだったのでメモ - 書架とラフレンツェ その上記のページには、文献管理ツールという以下のサイトのリンクがあったんだけど、…

ベイズ更新について速習したければ、これを読め。

ベイズ更新について速習したければ、 「道具としてのベイズ統計」のpp.90-95 を読め。 以上。

お役立ちリンク集

雑多な内容になっていくと思うけど、書き残しておきたいものをここにメモしていく。 (ブックマークでは把握しきれなくなってきたもので。) 【Mac】Python3(Anaconda)でTensorFlow環境を構築してみる conda install -c conda-forge tensorflow ↓Anaconda…

blavaanを実行するときに出たエラーの対処方法

R

blavaanというBSEMのRのパッケージを使ったときにエラーが出たのでメモ。 無料でベイジアン構造方程式モデル|京極真の研究室 のコードを動かそうとしたのだが、 blavannはrjagsを使っていて、そのrjagsの実行のときにエラーが出てた。 で、原因は、どうもJAG…

多変量時系列分析の教材まとめ

世にある時系列分析関係の資料は、単変量時系列分析についてはたくさん書かれている。しかし、多変量時系列分析についてはあまりないみたい。 ここでは、その多変量時系列分析関係の資料をまとめた。多変量時系列分析で登場するグレンジャー因果性検定につい…

PyAutoGUIをちょっと使ってみた。

「退屈なことはPythonにやらせよう」という本を読んでいて、 PyAutoGUIの存在を知る。 いろいろ自動化して行く中で、特にマウス操作などのGUI関係は扱いに困ってしまい、自動化のネックなることが経験上よくあったのだが、このPyAutoGUIを使えば、いろいろ壁…

機械学習のパラメータチューニングなど(ポエム感強し)

機械学習のパラメータチューニングをするには、各パラメータのことを知らないといけない。そのためには、その機械学習のアルゴリズムをわかっていないといけない。 (当たり前なんだけど、パッケージに頼ると、スクラッチで書く人よりその辺りの意識が弱いと…

savファイルをRとPythonで開く。

savファイルというSPSS由来の形式のデータを (有料の)SPSSではなく、(無料の)RかPythonで開きたいなと思った。 R まずは、Rで開く方法を示す。 開く対象であるサンプルデータ(savファイル)は、以下。 NECO data このページにある、6areaeng.savを開く…

xgboost installation on mac

macosx Anaconda(Python3.6) にインストールしようとして、いろいろ苦労したので、メモ。 conda install -c conda-forge xgboost https://anaconda.org/conda-forge/xgboost

Pandas DataFrame の groupbyについて

pandas DataFrame のgroupby メソッドの理解が不十分だと感じていたのでメモすることにした。 まずは、題材となるデータフレームとその処理コードを書く。 import pandas as pd, numpy as np df = DataFrame({"a":["A","A","B","B","C"],"b":[1,2,3,3,2],"c"…

検定の概念の整理をしていたら、階層ベイズモデルまでたどり着くことになった。

いやもう、ほんと、この記事は自分用のメモ。 なんでこんなものを書くことにしたかというと、 放送大学の講義「身近な統計」の第11回を見てて、講義のスライド(30分経過時点の「2群の平均の比較(2標本検定)」というスライド)に誤記(t値の分母が割…

完全数と友愛数

NHKのドラマ「この声をきみに」を見た。 とある数学者が朗読と出会い、その魅力にとりつかれるドラマだ。 そのドラマを見てて、親和数(友愛数ともいう)が出てきた。 親和数とは、異なる 2 つの自然数の組で、自分自身を除いた約数の和が、互いに他方と等し…

バッチファイルで、プログラムほぼ同時実行

<背景(具体的なケースで書いてみた)>PRG1.bat: DBにアクセスしてデータを抽出してローカルで各種処理PRG2.bat: DB更新用アカウントが入ってきたら、こちら側をDBログアウトさせる上記のいずれもバッチファイルであり、(pythonで作った)プログラムを操…

R のソースをコマンドラインから実行する方法

R

R --slave --vanilla < script.R または Rscript --slave --vanilla script.R このページに載ってました。 Rバッチモード |

wxpython on macosxのエラー対処法

macosx & python3で wxpythonでGUIプログラミングをしようと。 ハマったところがあったので、メモ。 (ちなみに、windowsならハマることはなかった。) pip install wxpython ここまではOK。問題は次。 import wxapplication = wx.App() 上記のコードの2行…

OpenCV on mac(Yosemite) でハマったこと & 対処法

インストールはすんなり。 pip install opencv ただ、実行時にはまった。 import cv2 と打つと、 エラーが出た。 hdf5 が古い、みたいなこと言ってる。 以下のページにあるように、 conda update hdf5 で解決した。 Hi, I had the same problem and reached …

分析を生業とする

これまで、より高度な分析技術を習得することに注力していた。 だけど、もっと大事なことがあると気づいた。 それは、「そもそもなんで分析やってんの?」ってこと。 分析して可視化した時に、歓声をあげたくなるほど感動することがあるけども、それは分析の…

pythonでカレンダー表示

import calendarprint(calendar.month(2017,7)) 参考サイト(python2) www.lifewithpython.com

word2vecをmacosXで使った時のメモ

word2vecのインストールからcos類似度出すところまでのメモ。 例えば、以下のページを参考に。https://nzigen.com/ysawa/word2vec-install/ word2vecをインストールしてmakegit clone https://github.com/svn2github/word2vec.git 上記のページ(https://nzig…

始めます。気楽に。気負わずに。

始めます。気楽に。気負わずに。