うまい寿司が食いたい。

うまい寿司が遠慮なく食べれるようになるまで,進捗とか垂れ流すブログ

pythonで標準出力を取得する。

f = io.StringIO() with redirect_stdout(f): help(pow) s = f.getvalue() 公式ドキュメント 終わり! とするのは味気ないのでなぜこんなことを調べたのか補足。 生存時間解析のライブラリの[lifelines] (https://lifelines.readthedocs.io/en/latest/index.…

pythonの相対インポートがわからなくなったメモ

たまにわからなくなるので、メモ書きです。 pytorchのgithubを読んでいると、次のような相対importが出てきます。 from .module import Module https://github.com/pytorch/pytorch/blob/master/torch/nn/modules/conv.pyのLine 10とか。 これを参考に、自分…

pytorchでpretrained modelの最終層だけlrを変更する。

torchvisionで呼び出した最終層だけlrを変えるやり方がわからなかったので調べてみました。 pytorchの公式ドキュメントに記載があるので,そちらを参照して頂いたほうが正しい情報になると思います。 まず適当なmodelを呼び出します。 from torchvision impo…

PILで取り込んだ画像をnumpyに変換してmaskと重ねる

普段,私は画像はPIL(Pillow)で取り込んでいます。 色々あって,semantic segmentationを取り組んでいるのですが,やっぱりmaskデータと重ねて描写してみたくなります。 いまいちやり方がわからなかったので,自分なりにググってやってみたことを書いておき…

ベイズ線形回帰

動機 MCMCで計算をすると,カルマンフィルタを実装したときは実感できたベイズ更新の部分がよくわからないという僕の気持ちの問題がありました。 そこで,須山さんの「ベイズ推論による機械学習入門」 機械学習スタートアップシリーズ ベイズ推論による機械…

StanとRでベイズ統計モデリング, 4章の計算をしてみた

概要 StanとRでベイズ統計モデリングの4章のベイズ信頼区間と予測区間をpythonを自分で実装してみました。 github.com 実験したコードはこちらです。 動機 ベイズ統計を実務で使うためにStanとRでベイズ統計モデリングを読んでいます。 StanとRでベイズ統計…

reについて

正規表現についていつもわからなくなるので調べた関数について記録ついでに一つ一つ書きます。 正規表現の使い方を今の所よく把握していないのですが,それは追々身につけるとして,今は関数だけおっていきます。 re.sub() note.nkmk.me re.sub()は,第一引…

Autler-Townes効果について

この記事は数理物理アドベントカレンダー adventar.org の20日の記事です。 動機 日本語でのAutler-Townes効果についての記事が殆ど見当たらなかったため,記載することにしました。 数理物理というより物理の話なので,大変申し訳無いのですが数学はありま…

Dask メモリにのらない大規模なcsvデータの取扱について

Dask? 大規模なデータセットの並列処理用のライブラリ なんで必要? この記事を書いている時点(2018/11/11)で,kaggleのkernelのメモリが17.2Gしかないので,10Gぐらいあるcsvを読み込もうとすると,メモリエラーが起きます。 これを回避する方法として,pan…

pandasの前処理で使っているもの自分用まとめ

どんな記事? pandasの前処理で使ったことのあるmethodの書いているウェブページなどをまとめていく記事。 用途は自分用。 どんどん追加していく(予定) 基本的に 前処理大全[データ分析のためのSQL/R/Python実践テクニック]作者: 本橋智光出版社/メーカー:…

画像の読み込みライブラリ

動機 先日までkaggleのTGS Salt Identification Challengeに参加していました。 あまりよろしくない結果だったので,内容については割愛します。 人のコードのコピペばかりだったので,そもそも画像をどのように読み込むのかよくわかっていませんでした。 さ…

CUDAのインストール〜Jupyter Notebookへのリモートアクセスまで

本稿は記憶の定着のための覚え書きです。 GPUが入っているUbuntuマシンが与えられたため,リモートでアクセスして機械学習を行う環境を構築しようとしています。 dockerで構築することも考えたのですが,とりあえずはLinuxの環境に慣れるために一度はマシン…

ABC111で学んだこと。

昨日(2018/9/29)行われた,ABC111に参加した。 ただ,集中力が散漫でレートが落ちてしまったので,きっちり復習したいと思います。 AtCoder Beginner Contest 111 - AtCoder 以下,学んだことをまとめます。 A問題 猫のすぬけは文字を書く練習をしています。…

ニンジンのポタージュ

概要 スープが好きなので,よくポタージュを作っています。 今回は初めて人参のポタージュを作ってみたので,それの作り方を置いておきます。 リンク先のブレンダーが便利すぎたので,その紹介です。 ティファール ハンドミキサー スティックミキサー クリッ…

google cloud platform はじめました。with 競馬のデータセット取得

動機・概要 手元のマシンスペックがあまり良くないため(下図),計算などを行うとフィンが大変なことになります。 先日twitterでそのことをボヤいていたら,「クラウドは使わないのか?」「クラウドを使うべきだ」と言われたので,とりあえず使ってみました…

【備忘録】機械学習の環境構築のためのDockerの記事たち

概要 Dockerで機械学習の環境を構築して記事にしようと思ったんですが,私が書くよりも素晴らしい解説記事がたくさんあったので,今後参考にできそうなものをまとめました。 Dockerそのもの,DockerfileやDocker-composeについて とりあえず公式 docs.docker…

入力信号を正弦波にしたときのカルマンフィルタによる予測

カルマンフィルタって何? 一言でまとめると,正規分布した観測ノイズを乗った情報から,ノイズを除去し状態の真値を推定する方法です。 応用例はいろいろあるのですが, カーナビ ロケットの軌道推定 なんかに使われているようです。 この記事は何でないの…

FORM -first order reliability method- 近似的に公差解析を行う方法 ① 導入 FORMって何?

公差解析の方法の一つFORM (First Order Reliability Method)について記載します。 FORMは公差解析なのですが,使う数学が機械学習の最急降下法に似ています。 また,FORMについては日本語の記事をほとんど見つけられなかったので,自分の勉強を兼ねてまとめ…