t検定,プールした分散

統計学

対応がない場合のt検定参考文献は以下、 http://www012.upp.so-net.ne.jp/doi/biostat/CT39/ttest.pdf 二つのグループをt検定する。まず前提として、二つのグループ等分散、母分散は不明であるとする。等分散じゃないと、t検定が使えない。二つのグルー…

2018-05-20

SQLで文字列を置換する方法

SQL

以下で可能、 REPLACE(column名,"置換前の文字列","置換後の文字列") 条件が複数の場合は、 REPLACE(REPLACE(column名,"置換前の文字列","置換後の文字列"),"置換前の文字列","置換後の文字列") というように入れ子にする。上記の方法だと、いちいちcolumn…

2018-05-14

C#、VB.NETでエクセル操作

C#

#エクセルを操作C#でエクセル操作をする. 開発環境は、Visual studio2017です。エクセル操作のためのdllがあるんですが、それはつかいませんでした。今回は、NPOIというモジュール(？)を使います。以下参考サイトです。【C#】NPOIを使ってExcelファイル…

2018-05-13

Sourcetree,Bitbucketの環境構築

Git

ソースコードのver管理をどうする？以下、Sourcetree、Bitbucketの環境構築および使い方についてのメモです。参考サイトは以下です。【連載Git入門第2回】SourceTreeでGitを始めよう！まずは試しに使ってみよう！ | naichilab - Android iOSアプリ開発メ…

2018-04-16

複数のグラフを一度に書く

python

seabornのグラフを一度に複数書く、あるパラメータで層別して、複数のグラフを一度に描きたいです。 seabornのfacetgridを使います。参考サイトは以下です。 Python でデータ可視化 - "Facet"で属性別グラフを一気に描く方法が便利すぎる - Qiit…

2018-04-16

sns.displot,sns.kdeplot でエラー(slice indices must be integers or None or have an index method)

python

よくわからないエラーがでました。 statsmodelsを再インストールしたら治りました。以下、参考サイト https://qiita.com/currypurin/items/44ce22102af4eda45622

2018-03-26

■

python

deming regression 回帰直線を引くときに、横軸にも誤差がある場合はdeming regressionという方法で回帰直線をひく必要があります。 deming regressionとタイトルにありますが、別名で直行回帰(Orthogonal distance regression)ともいうらしいです。 scipy…

2018-01-30

ファイルを読み込む際に空行を飛ばす

python

ファイルを読み込む空行があるファイルを読み込むときに、ちょっとつまずいたのでメモります。まずファイルの読み方ですが、以下を参考に、、、 Python: テキストファイルの読み込み - read()、readlines()、readline()メソッド | Yukun's Blogテキストフ…

2018-01-29

pythonで波形処理プログラム-ガウスフィット-

python

ガウスフィット pythonでガウスフィットさせてその面積を求めるプログラムを作りたいです。 GUIで作りたい。ひとまず、必要な機能は、・matplotlibのグラフ上から、ポインタ情報を引っこ抜く・ガウスフィットさせるあたりです。以下のサイトを参考にしま…

2018-01-26

jsonファイルと辞書型

python

JSONファイル JSONファイルって何？調べればすぐに出てきますけど(以下等参考)、プログラムと人の両方が理解できる形式ってイメージです。【Python入門】JSON形式データの扱い方 - Qiita 同じようなものにXMLとかあるけど、それよりも見やすい気がします…

2018-01-22

pythonで動的に変数を作成したい(for文でloopまわして作成)

python

動的に変数を作成 pythonでつまずいたことがあったのでメモfor文でloopさせて、動的に変数作成をしたかったんですよ。その際に、引数もfor文で作成的なやつです。間違った例↓ for n in dataframe.colums "data_{}".format(n) = dateframe[n] これはダメでし…

2018-01-21

visual studio code のインテリセンスを自分好みに

visual studio

はじめに自分好みの補完機能が欲しくてVSCodeのインテリセンス機能を編集しました。下記サイトを参考にしました。vscode-doc-jp.github.io実際にやったことは、 VSCodeをSQLエディタとして使う際、テーブル名とカラム名の保管機能を追加しました。VScode…

2018-01-07

仮想通貨のお勉強その2 APIから情報を引っ張ってくる

仮想通貨

APIからティッカー情報を引っ張ってくる下記サイトを参考にして(というかそのまま)、さわりだけ勉強、 https://qiita.com/ti-ginkgo/items/7e15bdac6618c07534berequestsってライブラリは初めて使いました。何するライブラリなの？下記サイトを参考にさせ…

2018-01-07

仮想通貨のお勉強

仮想通貨

仮想通貨世の中流行ってますね。冬休みでまとまった時間があったので勉強してみました。色んなブログやら書籍やらありますが、主に下記を読みました。結構ボリュームがあるので、大枠しか読んでませんが、、、わからないことは、いろいろググりながら読…

2017-12-26

kaggleに挑戦その5 過学習、学習不足の可視化

python 機械学習統計学

学習曲線データセットに対してモデルが複雑すぎる場合、過学習する傾向があり汎化性能が落ちてしまう。トレーニングデータをさらに集めると、過学習は抑えることができるが、データをさらに集めることはコストが非常に高い。また、実はこれ以上データを集…

2017-12-25

pythonスクリプトをexe形式にする

python

pythonスクリプトをexeにしたい pythonで作ったプログラムを他人に渡すときに、exeで渡したいんですよね。インタプリタのインストールを強要したくないので。ちなみに、自分のPCはOS Xで、渡す先はwindows 10という条件です。 monoをインストール exe化す…

2017-12-24

kaggleに挑戦その4 k分割交差検証(k-fold cross-validation)及びグリッドサーチ

機械学習統計学 python

k分割交差検証前回までで、ランダムフォレストでモデル予測を実施しました。今回は、k分割交差検証、グリッドサーチを用いてモデル性能の評価及びハイパーパラメータの修正を行います。これにより、バイアス高、バリアンス高のバランスをとることができま…

2017-12-19

kaggleに挑戦その3 ランダムフォレストを可視化

機械学習統計学 python

決定木の可視化決定木の利点としては、意味解釈可能性があります。ランダムフォレストで作成された決定木を可視化して、その意味を解釈しようと思います。scikit-learnには、決定木を.dotファイルとしてエクスポートする機能があります。その前に、.dotフ…

2017-12-17

kaggleに挑戦その2 ランダムフォレスト

機械学習統計学 python

はじめにランダムフォレストを使って、タイタニック号のデータをモデル化します。ランダムフォレストって何？ランダムフォレストは、複数の決定木を組み合わせて、各決定木における予想結果の多数決により、結果を得ます。アルゴリズムとしては、 1.ラン…

2017-12-03

kaggleに挑戦その1 決定木を使う

機械学習統計学 python

はじめに機会学習のスキルを身に付けたく、kaggleに挑戦中です。タイタニック号のデータを、ランダムフォレストでモデル化しました。今回は、ランダムフォレストの基本となる決定木について書こうと思います。簡単に自己紹介すると、僕は材料系メーカー…

2017-03-05

pycharm インストール

python

よく使う言語は、VB(A)、C#、python、Rとか。学生の時は、Fortran,Cとか使ってた。流行りだからpythonのスキルを上げたい。 IDEはvisual studioを使ってたけど、 pycharmに乗り換えて(python限定だけど)みる。 visual studioは重い気がして好きになれない…