satopoooonのブログ

自分向けの備忘録

python

jupyternote book でグラフが外部表示されない。

jupyternote book でグラフが外部表示されない。 %matplotlib inlineではなくて、 %matplotlib と明示してあげると外部出力できた。

pycharmショートカット覚書

pycharmショートカット覚書 少しずつ追加していきます。 よく使うショートカット https://pleiades.io/sites/willbrains.jp/keymap/pdf/shortcut_pycharm_mac.pdf

pythonサブクラスのコンストラクタ定義時の注意点(親クラスのコンストラクタが上書きしないように)

サブクラスのコンストラクタ定義時の注意点 サブクラスでコンストラクタを定義する際、 親クラスのコンストラクタをオーバーライドしないように注意しましょう。 class B: """ 親クラス """ def __init__(self) -> None: self.x = 10 class D(B): """ サブク…

pythonでGUIプログラム

下記サイトを参考にしました。 memopy.hatenadiary.jp qiita.com qiita.com

TensorFlowでimage recognition(Inception‐v3 転移学習) 

tensorflowのチュートリアルでImage recognitionがありますが、 これを使って自分で分類機を作成してみました。 参考サイトは以下です。 blog.ch3cooh.jp 今回、新たに自分が用意した画像で学習させますが、 このときに転移学習という技術を利用しています。…

multi_index のclumn名について

multi_indexの場合、 df.columnsだとmulti_indexで取得してします。 →df.columns.set_level_values(0)でmulti_indexの第1層目を取得可能

複数のグラフを一度に書く

seabornのグラフを一度に複数書く、 あるパラメータで層別して、複数のグラフを一度に描きたいです。 seabornのfacetgridを使います。 参考サイトは以下です。 Python でデータ可視化 - "Facet"で属性別グラフを一気に描く方法が便利すぎる - Qiit…

sns.displot,sns.kdeplot でエラー(slice indices must be integers or None or have an __index__ method)

よくわからないエラーがでました。 statsmodelsを再インストールしたら治りました。 以下、参考サイト https://qiita.com/currypurin/items/44ce22102af4eda45622

deming regression 回帰直線を引くときに、横軸にも誤差がある場合はdeming regressionという方法で 回帰直線をひく必要があります。 deming regressionとタイトルにありますが、 別名で直行回帰(Orthogonal distance regression)ともいうらしいです。 scipy…

ファイルを読み込む際に空行を飛ばす

ファイルを読み込む 空行があるファイルを読み込むときに、 ちょっとつまずいたのでメモります。 まずファイルの読み方ですが、以下を参考に、、、 Python: テキストファイルの読み込み - read()、readlines()、readline()メソッド | Yukun's Blogテキストフ…

pythonで波形処理プログラム-ガウスフィット-

ガウスフィット pythonでガウスフィットさせてその面積を求めるプログラムを作りたいです。 GUIで作りたい。ひとまず、必要な機能は、 ・matplotlibのグラフ上から、ポインタ情報を引っこ抜く ・ガウスフィットさせる あたりです。以下のサイトを参考にしま…

jsonファイルと辞書型

JSONファイル JSONファイルって何? 調べればすぐに出てきますけど(以下等参考)、 プログラムと人の両方が理解できる形式ってイメージです。 【Python入門】JSON形式データの扱い方 - Qiita 同じようなものにXMLとかあるけど、それよりも見やすい気がします…

pythonで動的に変数を作成したい(for文でloopまわして作成)

動的に変数を作成 pythonでつまずいたことがあったのでメモfor文でloopさせて、動的に変数作成をしたかったんですよ。 その際に、引数もfor文で作成的なやつです。間違った例↓ for n in dataframe.colums "data_{}".format(n) = dateframe[n] これはダメでし…

kaggleに挑戦その5 過学習、学習不足の可視化

学習曲線 データセットに対してモデルが複雑すぎる場合、過学習する傾向があり汎化性能が落ちてしまう。 トレーニングデータをさらに集めると、過学習は抑えることができるが、データをさらに集めることはコストが非常に高い。 また、実はこれ以上データを集…

pythonスクリプトをexe形式にする

pythonスクリプトをexeにしたい pythonで作ったプログラムを他人に渡すときに、exeで渡したいんですよね。 インタプリタのインストールを強要したくないので。ちなみに、 自分のPCはOS Xで、渡す先はwindows 10という条件です。 monoをインストール exe化す…

kaggleに挑戦その4 k分割交差検証(k-fold cross-validation)及びグリッドサーチ

k分割交差検証 前回までで、ランダムフォレストでモデル予測を実施しました。 今回は、k分割交差検証、グリッドサーチを用いてモデル性能の評価及びハイパーパラメータの修正を行います。 これにより、バイアス高、バリアンス高のバランスをとることができま…

kaggleに挑戦その3 ランダムフォレストを可視化

決定木の可視化 決定木の利点としては、意味解釈可能性があります。 ランダムフォレストで作成された決定木を可視化して、その意味を解釈しようと思います。scikit-learnには、決定木を.dotファイルとしてエクスポートする機能があります。 その前に、.dotフ…

kaggleに挑戦 その2 ランダムフォレスト

はじめに ランダムフォレストを使って、タイタニック号のデータをモデル化します。 ランダムフォレストって何? ランダムフォレストは、複数の決定木を組み合わせて、 各決定木における予想結果の多数決により、結果を得ます。アルゴリズムとしては、 1.ラン…

kaggleに挑戦 その1 決定木を使う

はじめに 機会学習のスキルを身に付けたく、kaggleに挑戦中です。 タイタニック号のデータを、ランダムフォレストでモデル化しました。 今回は、ランダムフォレストの基本となる決定木について書こうと思います。 簡単に自己紹介すると、僕は材料系メーカー…

pycharm インストール

よく使う言語は、VB(A)、C#、python、Rとか。 学生の時は、Fortran,Cとか使ってた。 流行りだからpythonのスキルを上げたい。 IDEはvisual studioを使ってたけど、 pycharmに乗り換えて(python限定だけど)みる。 visual studioは重い気がして好きになれない…

pythonでexcel,csvファイルを読み込む

excel,csvファイルの読み込み pandasのread_excelを使うと簡単、 エクセルデータを読み込んで、データフレーム にしてくれる。 やりたいこと あるディレクトリにある大量のエクセル(もしくはcsv)ファイルすべてから、 n行m列からk列までのデータを引っ張っ…