2011-11-19

https://github.com/FLCLjp/iPhone-libmecab
こちらに上げられている mecab を用いて形態素解析を行うサンプルアプリで、どういう結果がでるのか試してみました。

入力文1:ゴルフに行ってきた

入力文2:ゴルフ行ってきた

うーん、微妙だ。。

キーワード抽出的な使い方ができればと思ったのですが、助詞を抜いただけで「ゴルフ行」となるのでは精度的に厳しいものがあります。

どっかパラメータいじって調整の余地はあるのか、他にも使えそうな情報がとれるのか、調べてみました。

こちらの本家のページによると、mecabから形態素解析結果として得られる mecab_node_t 構造体の中身は、以下のようになっています。

struct mecab_node_t  *prev;  // 一つ前の形態素へのポインタ
struct mecab_node_t  *next;  // 一つ先の形態素へのポインタ

struct mecab_node_t  *enext; // 同じ位置で終わる形態素へのポインタ
struct mecab_node_t  *bnext; // 同じ開始位置で始まる形態素へのポインタ

char  *surface;             // 形態素の文字列情報
                            // NULL terminateされていません. 文字列として取り出すには
	      // strncpy(buf, node->feature, node->length) とする必要があります

char  *feature;             // CSV で表記された素性情報
unsigned int   length;      // 形態素の長さ
unsigned int   rlength;     // 形態素の長さ(先頭のスペースを含む)
unsigned int   id;          // 形態素に付与される ユニークID
unsigned short rcAttr;      // 右文脈 id
unsigned short lcAttr;      // 左文脈 id
unsigned short posid;       // 形態素 ID
unsigned char  char_type;   // 文字種情報
unsigned char  stat;        // 形態素の種類: 以下のマクロの値
                            // #define MECAB_NOR_NODE  0
                            // #define MECAB_UNK_NODE  1
                            // #define MECAB_BOS_NODE  2
                            // #define MECAB_EOS_NODE  3
unsigned char  isbest;      // ベスト解の場合 1, それ以外 0

float          alpha;       // forward backward の foward log 確率
float          beta;        // forward backward の backward log 確率
float          prob;        // 周辺確率
                            // alpha, beta, prob は -l 2 オプションを指定した時に定義されます

short          wcost;       // 単語生起コスト
long           cost;        // 累積コスト

この中でfeature、surface以外に使えそうな値は、char_type（文字種情報）、stat（形態素の種類）、isbest（ベスト解の場合 1, それ以外 0）、prob（周辺確率）あたりでしょうか。
char_typeやstatは品詞の手がかりになるかもしれませんし、isbestやprobは精度の低い結果をリジェクトするのに使えるかもしれません。

が、usr/include/mecab.h を見ると、

#if 1 /* MECAB_APPLE_ENHANCEMENT */
#else  /* original */
  unsigned char         isbest;
  unsigned int          sentence_length; /* it is avaialbe only when BOS node */
  float                 alpha;
  float                 beta;
  float                 prob;
#endif

こんな感じで、iPhoneにビルトインされたmecabではprobやisbestは使えなくされているようでした・・・

で、とりあえずchar_type（文字種情報）、stat（形態素の種類）を出力してみた結果

入力文1:ゴルフに行ってきた

surface:ゴルフ, feature:補助, stat:1, char_type:0
surface:に, feature:煮, stat:0, char_type:5
surface:行, feature:補助, stat:1, char_type:0
surface:って, feature:って, stat:0, char_type:5
surface:きた, feature:北, stat:0, char_type:5