staslova における「単語」

「単語」を切り出すため何を区切りとするかはユーザ(研究者)が行えるようになって います。 staslova では統計・検索全般に区切り文字の定義が影響します。 staslova での単語の定義や可能な指定について述べます。

• 単語：区切り文字で区切られたもの。区切り文字は含まない。
• 区切り文字：固定区切り文字または定義区切り文字のいずれか。
• 固定区切り文字：以下のいずれか。変更はできない。
  • 対象テキストファイルの先端及び終端
  • 空白文字(スペース) (ASCII コード16進表示 x``20'')
  • ヌル文字、改行文字その他制御コード (x``00'' から x``1F''まで) ただし、エスケープ文字(x``1B'')は含まない。
• 定義区切り文字：実行定義ファイルでユーザが指定した区切り文字。 現状以下が定義できる。 それぞれ日本語、ロシア語、ラテン文字を個別に指定する。 日本語は漢字を直接記述する方法と JIS コード 16 進数による指定と 2 とおりが可能。 16 進数指定の場合 ``0〜9,a〜f,A〜F'' 以外の文字を指定するとエラーとなる。
  • 一般区切り文字：かならず語を区切るもの。 日本語の場合は範囲指定が可能。 範囲指定記号 ``:'' をはさんで ``文字A:文字B'' のように記述し、 文字コードが A 以上で B 以下の場合区切りとみなすことを指示する。 ひらがな全部を区切りとしたいときなどに利用する。
    

            例：. ! ? ; : " { } ( ) [ ]...
            例：ぁ:ん 2121:212c 〜 ...

  • 連続区切り文字：2個以上連続して出現したとき区切りとなるもの。
            例：- =...
        ``-'' は ``-'' が 1 個なので単語の一部とみなされるのに対し、 `` -- '' では ``-'' が連続しているので区切りとみなされ2語に分割される。

  • セット区切り文字：通常は区切り文字ではないが区切り文字と隣接して 出現したとき区切り文字となるもの。 この場合の区切り文字はセット区切り文字も含まれ 再帰的にチェックを行う。
            例：` '...
        ``sister's'' は ``'''が通常文字と出現しているのでこれで1語となる。
        これに対し、``sister's'''--''では、 まず``--''が連続区切りとみなされ、次に後方3つの最後の ``'''がセット区切りとみなされ、 再帰的に``'''--'' 全体が区切りとなって、``sister's'' で切り出されることになる。

この定義の種別で足りない、気に入らないときや別の原理を導入したい場合は プログラムを修正しなければなりません。 たとえば、欧米語のようにもともと単語を空白で区切って記述する言語は 比較的扱いやすいのですが、日本語などの膠着語はこのような区切り文字ではなく もっと高度な原理 -- たとえば助詞などの文法規則やパターン辞書 -- を導入する 必要があるかもしれません。

奈良先端科学技術大学院大学 松本研究室によって開発された日本語形態素解析システムである 《茶筌》を利用することにより、 文法と辞書に基づいて日本語の単語の切り出しを行い、 その結果を staslova で処理させることが可能です。 以下は、日本語テキストの EUC コード変換、《茶筌》見出し語抽出、 Compound Text 変換、及び staslova 単語統計実行を、パイプで連結して実行し見出し語の統計結果を取得する例です。

% nkf -e < 日本語テキスト | \
  chasen -j -F '%M ' | \
  coco -v '*euc-japan*' '*ctext*' | \
  staslova -s > 統計結果