４、５年前くらいに自然言語処理コミュニティで流行ったword2vecというものがある。 「同じ文章にある単語同士は近しい」という仮定のもと、様々な文章を計算することによって１００〜２００次元（調整次第）の空間に各単語を「ベクトル」で表せるというもの…

前回の続き。（100日ぶり） kzkohashi.hatenablog.com ３章：確率質量関数 PMF 確率質量関数のことは英語でPMF(probability mass function)という。 各値ごとに確率が計算され、紐づけられている状態。高校の頃、あるサイコロの目がどの確率でるか・・とやっ…

自然言語の処理をする際に、JupyterNotebookと言われるノートブック形式のWebツールを使っている。 jupyter.org 以下のようにPythonのコードを書きながらメモもとれ分析の実行結果（勿論グラフも）もみれるというすぐれものだ。このツールが最初に出たかはわ…

最近、自社のプロダクトで自然言語処理がよく使われるようになってきたので、勉強も兼ねてまとめてみる。 TF-IDFとは？ tf-idfは、文書中に含まれる単語の重要度を評価する手法の1つであり、主に情報検索やトピック分析などの分野で用いられている。 tf-idf…

前回、文章を単語分割するためにMeCabをインストースルしたが、大元となるデータ（コーパス）も欲しい。Wikipediaでは全文データをダウンロードすることができるので、それを利用する方法について書いていきたいと思う。 kzkohashi.hatenablog.com コーパス…

日本語の自然言語処理をやっていく上で、よく使われているであろうMeCabのインストールを行う。 そもそも前処理はなんぞやというと、いい例があったので引用させていただく。 引用:自然言語処理における前処理の種類とその威力 初心者の自分にとってはこんな…

僕がブログを始めた理由は、去年の9月ごろカック（カカカック）氏と渋谷のゴールドラッシュでハンバーグを食べなら相談したところから始まる。 これがカック（カカカック）氏だ。 twitter.com 当時はまだ社員４人で、エンジニア一人というなかなか刺激的な会…