1. はじめに
2. インストール（設置）
3. 利用方法
4. 構築例・フォームの利用
5. 配布ファイル一覧
6. バグ・レポートその他

はじめに

1. 概要・特長

   Usconcord ロシア語テキスト・コンコーダンス・パッケージは Web プラットフォームにおいてロシア語テキストのコンコーダンス作成を支援するための Web サーバ・ソフトウェアです．単語の切り出し，統計処理は，筆者の書いた文書単語統計・検索支援プログラム Staslova を用いています．

   Usconcord は，ユーザが解析したいロシア語テキストファイルをサーバにアップロードし，その後解析条件を与えてコンコーダンス解析を指示する，そういう利用形態を支援します．使用可能なロシア語エンコーディングは, KOI8-R, ISO 8859-5, Windows CP1251, DOS CP866 (ALT), X11 Ctext, UTF-8 です. 単語解析エンジンであるプログラム Staslova が X11 Ctext テキスト入力を前提にしており，システムは，入力コーパスが Ctext の場合，コード変換をスキップする分，その他エンコーディングの場合よりも高速に動作します. X11 Ctext (X Window System Compound Text) は ISO 2022 国際標準に基づく, X Window System の多言語テキスト形式であり, Emacs, Mule, Meadow といったエディタがサポートしています．ただし, Usconcord が前提とする Ctext は, ISO 8859-5 Latin/Cyrillic alphabet (1988) キリル国際標準文字コードセットが ISO 2022 のキリル・エスケープシーケンス "ESC 02/13 04/12" (十六進表示 "1b2d4c") によって導かれる形式であるものとします．

   ISO 8859-5 キリル文字をベースに単語解析を行うので，コーパスはロシア語以外にも，ウクライナ語，セルビア語，ブルガリア語，ベラルーシ語，マケドニア語でも可能です．さらに Ctext で切替えられる文字コードとして, ISO 8859-1, ISO 8859-2 (それぞれ Latin alpabet No.1: エスケープシーケンス ESC 02/13 04/1 及び No.2: エスケープシーケンス ESC 02/13 04/2) をもサポートしているので，これらの文字集合で記述できる西欧・北欧・東欧のラテンアルファベット言語 (英語，ドイツ語，フランス語，イタリア語，スペイン語，オランダ語，スウェーデン語，ノルウェー語，フィンランド語，チェコ語，ポーランド語，ハンガリー語，ルーマニア語等) のコーパス処理が可能であり，実質的にヨーロッパ多国語対応になっています．もちろん多国語分析をする場合，コーパスのエンコーディングを UTF-8 もしくは Ctext で準備する必要があります．

   Ctext 形式, ISO 2022 符号拡張方式, ISO 8859 国際標準文字集合の詳細については，次の文献を参照してください: 錦見美貴子，高橋直人，戸村哲，半田剣一，桑理聖二，向川信一，吉田智子 共著『マルチリンガル環境の実現 --- X Window / Wnn / Mule / WWW ブラウザでの多国語環境』プレンティスホール，1996 年．

   単語条件式を指示すると，条件に合致する単語の出現回数とコンテキストを KWIC 形式で得ることができます．単語条件式はズバリ指定した文字列 (単語綴り) に完全一致する指定が基本ですが，文字列，不定文字 ("*", "."), 論理演算子 ("*", "+", "#"), 括弧 ("(", ")") を組み合わせて，複雑な多項式による条件指定をすることもできます．その仕様・例は項「構築例・フォームの利用」を参照ください．

   パッケージ・アーカイブ最新版は，本サイトのダウンロードサービスから入手できます．

   アーカイブは以下のファイルを含んでいます．

   1. 文書単語統計・検索支援プログラム Staslova

   2. Web コンコーダンス作成支援 CGI

   3. 同上 HTML，テンプレート，シェルスクリプト，Emacs Lisp

2. 動作環境／前提条件

   本パッケージをインストールし動作させるためには, UNIX プラットフォーム以外にも以下の環境が必要です. Linux その他の UNIX またはそのクローンでも動作するとは思います．筆者は, FreeBSD 4-RELEASE 以降で確認しており，かつ配布 CD-ROM パッケージに必要なものがすべて含まれていますので FreeBSD を推奨します．

   1. Perl 5.8 (CGI.pm, File::Basename.pm モジュールを利用しています．これらは Perl5 標準提供のモジュールです)

   2. C/C++ コンパイラ

   3. CGI の動作する httpd (Apache を推奨)

   4. Iconv コード変換パッケージ

   5. Mule 付属 Coco コード変換プログラム

   6. GNU Emacs 20, 21 + Mule-UCS パッケージ，または GNU Emacs 22

   GNU Emacs は UTF-8 (Unicode) 関連の手続きのために必要です. Emacs 22 を推奨します. Emacs 20 / 21 では Mule-UCS も別途組み込んでおく必要があります. Usconcord はテキストを内部的にいったん X11 Ctext に変換しており，この際 UTF-8 → Ctext 変換の適当なコード変換プログラムが見当たらないため，苦肉の策で Emacs をバッチでコールする方式をとっています．

   Usconcord がインストールされると，コンコーダンス作成は当該サーバにアクセスできる Web ブラウザから指示することができます．筆者は Windows Internet Exploler 5.5 / 6.0, FreeBSD Mozilla 1.7, Mac OS X Panther / Tiger Safari 1.3 / 2.0 で確認しています．

   転送するコーパスのファイル名は漢字が含まれていてもコンコーダンス解析は可能ですが，ファイル名の表示が化けてしまうかも知れません. UNIX で扱うことのできる英数字だけからなるファイル名にすることを推奨します．

3. 制限事項

   本プログラム及びドキュメントはすべて自由に利用できますが，その運用結果についてはいかなるものであれ作者及びその関係機関・関係者は責任を負いません．またいかなる保証もいたしません．内容に誤りがあればご指摘いただければできるかぎり修正の努力をいたしますが，保証はできません．あらかじめご了承ください．

   再配布・改変は，筆者にメールでご連絡くだされば，自由に行っていただだいて結構です．ただし，上記利用条件を明記願います．

インストール（設置）

説明のためシェル・コマンドライン・プロンプトを "%" または "#" (スーパユーザの場合) で表現しています．

1. パッケージの展開

   % tar zxvf usconcord-1.6.tar.gz
   % cd usconcord-1.6
   			  

2. Makefile の修正

   パッケージを展開したディレクトリの直下にある Makefile の先頭において，本パッケージの動作環境を定義しています．利用者の都合に合わせて変更したい場合はマクロ定義の右辺を書き換えてください．当然ながら Makefile の記述文法に則る必要があります．

   FreeBSD なら提供 Makefile を修正しなくても問題ないのではないかと思います．

   変更可能なパラメータとその説明を以下に示します．

   ---

   # install dir prefix                               (* 1)
   prefix  = /usr/local
   # staslova, emacs, etc. bin dir                    (* 2)
   bindir  = $(prefix)/bin
   # ../docroot                                       (* 3)
   webdir  = $(prefix)/www/apache22
   # html install dir                                 (* 4)
   htmldir = $(webdir)/data/usconcord
   # style sheet relative path                        (* 5)
   cssd    = css
   # style sheet absolute path                        (* 6)
   cssdir  = $(webdir)/data/$(cssd)
   # CGI install dir                                  (* 7)
   cgidir  = $(webdir)/cgi-bin
   # concordance tools dir                            (* 8)
   usdir   = $(prefix)/share/usconcord
   # Emacs Mule-UCS dir                               (* 9)
   ucsdir  = $(prefix)/share/emacs/site-lisp
   # Emacs Version                                    (*10)
   emacsver= 22
   # Perl5 install path                               (*11)
   perl5   = /usr/bin/perl
   # work dir                                         (*12)
   ustmp   = /tmp/usconcord
   # log file name                                    (*13)
   uslog   = /var/log/usconcord.log
   # upload file delete check interval                (*14)
   amin    = 60
   # upload max size                                  (*15)
   fmax    = 2000000
   # page title, coded in UTF-8                       (*16)
   pgtitle = Конкорданс к пепеданному тексту
   # www user                                         (*17)
   wwwu    = www
   # www group                                        (*18)
   wwwg    = www
   # system cron file                                 (*19)
   crontab = /etc/crontab
   # crontab backup file                              (*20)
   cronbak = crontab.bak
   # crontab entry                                    (*21)
   cronln  = * */1 * * * root /usr/bin/find $(ustmp) \
             -type f -amin +$(amin) | /usr/bin/xargs rm -f
   # site URL: top
   top      = http://host/                            (*22)
   # site URL: concordance home
   conchome = $(top)concordance/                      (*23)
   # site URL: user concordance index
   usindex  = $(top)usconcord/                        (*24)
   	   

   ---

   (* 1)	prefix	諸々のインストール・ディレクトリのプレフィックス
   (* 2)	bindir	Staslova, Emacs, COCO などのプログラムを格納するディレクトリ
   (* 3)	webdir	httpd のトップディレクトリ
   (* 4)	htmldir	コンコーダンスプログラムを利用するための HTML コンテンツを格納するディレクトリ
   (* 5)	cssd	提供プログラムが出力する HTML が利用するスタイルシートを格納するディレクトリ．ドキュメントルートからの相対パスを指定する．例えば Web サーバの設定でドキュメントルートを "/usr/local/www/data" としたとき，スタイルシートをディレクトリ "/usr/local/www/data/css" 下にインストールする場合 "css" と指定する．
   (* 6)	cssdir	提供プログラムが出力する HTML が利用するスタイルシートを格納するディレクトリ．絶対パスを指定する．$(cssd) と矛盾がないように指定する．
   (* 7)	cgidir	提供 CGI プログラムを格納するディレクトリ．絶対パスを指定する．
   (* 8)	usdir	提供シェルスクリプトなどのツール類を格納するディレクトリ．
   (* 9)	ucsdir	UTF-8 のコーパスを取り扱うために必要な Mule-UCS パッケージの Emacs-Lisp 群が格納されているディレクトリ．詳細は Mule-UCS パッケージの説明書を参照．Emacs 22 の場合は site-lisp のパスを指定する．
   (*10)	emacsver	GNU Emacs のバージョン (20, 21 or 22)
   (*11)	perl5	perl5 の実行ファイルがインストールされているディレクトリ．
   (*12)	ustmp	コンコーダンス処理中に一時的なデータを格納するディレクトリ．ユーザからのアップロードファイルはここで指定したディレクトリに一時的に蓄積される．
   (*13)	uslog	コンコーダンス処理実行ログファイルの絶対パス．
   (*14)	amin	ユーザがアップロードしたファイルは放置される場合があり，これが蓄積されるとディスク資源を圧迫する．このため, UNIX の cron と find ユティリティを利用して，一定時間以上アクセスがなされていないファイルを消去する．この監視時間を分単位で指定する．既定値は 60 分．
   (*15)	fmax	ユーザのアップロード可能なコーパスのサイズ最大値．バイト単位で指定する．
   (*16)	pgtitle	提供プログラムが出力する HTML の先頭に記述されるタイトル．提供の Makefile では UTF-8 コードによるロシア語が記述されている. ASCII もしくは UTF-8 で記述すること．
   (*17)	wwwu	Web CGI の実効ユーザ名．
   (*18)	wwwg	Web CGI の実効グループ名．
   (*19)	crontab	(*12) 説明にある cron の crontab ファイル
   (*20)	cronbak	crontab を書き換える前に取得するバックアップのファイル名
   (*21)	cronln	crontab に登録する実行レシピ．提供コードでは 1 時間毎にチェックする設定になっている．
   (*22)	top	top ディレクトリ URL
   (*23)	conchome	第二ディレクトリ URL
   (*24)	usindex	第三ディレクトリ URL

3. Staslova コンパイル

   GNU make が必要です．

   % make
   		 

   筆者は FreeBSD GNU C/C++ コンパイラ (2.95, 3.4, 4.2.1) で確認しています．その他の UNIX プラットフォームでうまくコンパイルできるかわかりませんが，もしエラーがでたら頑張ってソースを直してリトライしてください．

4. インストール

   # make install
   		 

5. 環境設定

   ログやワークディレクトリの設定が必要です．以下を実行します．

   # make environ
   		 

   $(uslog) で指定したファイルはコンコーダンス処理実行ログですが，ここで初期作成されます．定期的にバックアップし，クリア (/dev/null をコピー) することをおすすめします．

6. Cron 設定

   ユーザがアップロードしたファイルの放置監視のための実行コマンドを crontab ファイルに登録します．その内容は $(cronln) で指定したものとなります．これは必ずしも実行する必要はありませんが，アップロード・ファイルでディスクが溢れることを抑止できます．登録は以下を実行します．

   # make cron
   		 

利用方法

1. 最初の一歩

   Web ブラウザで $(htmldir)/usupload.html にアクセスしてください．

   あとはフォームの指示に従ってコーパスを Web サーバにアップロードし，コンコーダンス作成を行います．

2. ロシア語の入力

   Microsoft Windows 95 以降であれば，多言語サポート機能をセットアップすればロシア語が入力できるはずです．

   ロシア語キーボードが利用できない方も，マウスでロシア文字が入力ができるツールをビルトインしてあります．キーボード配列もロシアで一般的なものとラテン配列の２種類をサポートしています．

3. Staslovaについて

   コンコーダンス作成の中核のソフトウェアです. Staslova については Web ページを参照ください．

4. カスタマイズ

   $(usdir) 下に設置された 3 つの HTML テンプレート・ファイル tmpl_forma.html, tmpl_header.html, tmpl_footer.html 及びアップロード用 HTML $(htmldir)/usupload.html を利用者の好みに応じてカスタマイズします．テンプレート・ファイルは名称を変更せずに中身を書き換えてください．特に tmpl_header.html 及び tmpl_footer.html はそれぞれ Web ページのヘッダとフッタで，提供ファイルは筆者の都合に合わせていますので，メールアドレス等々利用者の環境に応じて修正ください．これらのファイルは UTF-8 エンコードで保存する必要があります．ロシア語と同時に日本語も記述できるはずです. UTF-8 が扱えるエディタ (Emacs, Mule, Meadow など) を利用するか，もしくはコード変換プログラムで UTF-8 に変換してください．

構築例・フォームの利用

筆者のサイト「Опыт динамического составления конкордации к переданному тексту (Oct. 8 2001)」で説明します．

1. コンコーダンス初期画面

   図 1. はコンコーダンス初期画面です．下部の "Форма передачи файла конкорданса" は HTML テンプレート・ファイル tmpl_forma.html です．

   
   図 1. コンコーダンス初期画面

2. コーパスの準備

   解析したいコーパス・テキストファイルを準備します．テキストのエンコーディングは KOI8-R, ISO 8859-5, Windows CP1251, DOS CP866 (ALT), X11 Ctext，UTF-8 から選択します. UTF-8 または X11 Ctext ならばロシア語とフランス語，ドイツ語などの西欧語，ポーランド語，ハンガリー語などの東欧語とを混在させたコーパスを解析することができます．エディタがサポートしているエンコーディングで作成してください．図 2. は GNU Emacs でのコーパス編集のスクリーンショットです．

   
   図 2. コーパスの準備

   本サイトではコーパスは最大 2MB まで取り扱うことができます. KOI8-R 『巨匠とマルガリータ』テキストファイルで約 800 KB なので，2 MB ならその 3 倍弱が可能という計算になります．ただし，エンコーディングによって 1 文字のサイズが異なりますので，これは参考値と考えてください．

   コーパスにおける 1 行のサイズ最大長は 100 KB です. 1 パラグラフを 1 改行のまとまりでコーパスを作成するにせよ，約 10 万字になるとは考えにくく，現実的に問題はないはずです．これを超過するとプログラムはエラーメッセージを出力して終了します．改行コードを適宜挿入することを推奨します．

3. アップロード

   図 1. 画面下部のアップロード・フォームにおいて, "Upload file" ファイル選択で解析したいコーパス・テキストファイルを選び，そのエンコーディングを "Encoding" のリストから選択します．ここではそれぞれ "onegin.txt", "UTF-8" となっています．指定したら, "Передача (送信)" をクリックすると，サーバへの転送が始まります．テキスト容量に依存して転送時間を要します．転送が終了すると，図 3. の条件設定画面が表示されます．

   
   図 3. コンコーダンス条件設定画面

4. 単語条件式の入力

   図 3. 中の "Выражение" に，コンコーダンス解析したい単語の条件式を記述します．単語条件式は通常文字で入力指定するのが基本です．通常文字とは単語の綴りを構成するロシア文字，ラテンアルファベット文字です．いわゆる半角文字で入力する必要があります. "стих" と指定すると，これに完全一致する単語について KWIC を生成します．

   単語条件式は通常文字のほかに，不定文字，論理演算子，括弧を記述することができます．

   不定文字は 0 個以上の任意の文字にマッチする "*" 及び，1 個の任意の文字にマッチする "." が指定できます．例えば, "крас*" という指定は "крас", "красный", "красавица", "краса", ... と "крас" に任意の文字列 (文字 0 個も含む) が続く単語に適合します. "крас*а" ならば "крас" ではじまり "а" で終了する単語指定になります．これに対し, "крас." は "краса", "красе", "красы", ... と "крас" に 1 文字だけ任意の文字が付く単語を抽出する指定になります. "*" だけを指定すると，コーパスの全単語の KWIC 作成を指示したことになります. ”....” と指定すると 4 文字からなる単語をすべて抽出します．こうして，通常文字と不定文字により単語条件の単項式を指定できるわけです．単項式を空白文字で区切って複数指定することができます．

   論理演算子と括弧をスペースで区切って入力することにより，複数の単項式を組合わせ，より複雑な多項式条件設定を行うことができます．論理演算子は論理積 (AND) "*", 論理和 (OR) "+", 論理差 (NOT) "#" を指定できます．演算の優先順位は算術演算と同じく左から評価され "*" > "+" = "#" となっています. "*" 記号は任意文字マッチ不定文字と論理演算子と意味が二つありますが，文字に直接付く (任意文字マッチ不定文字) か，空白／括弧を置く (論理演算子) かによって判断されます．例えば, "крас* * *ого" という指定は，中央の空白で区切られた "*" のみ論理演算子と解釈され，語頭 "крас" かつ語末 "ого" の単語抽出条件指定になります．すなわち, "красного", "красивого", "красноречивого", ... がマッチします. "крас* # *ого" は，語末 "ого" 以外の単語にマッチします．

   括弧: "(" 開括弧，あるいは ")" 閉括弧は二項論理演算の優先順位を算術的に変更したいときに指定します．必ず開括弧と閉括弧を対で記述する必要があります．括弧の対のなかにさらに括弧の対を指定する，いわゆる入れ子も可能です．「単項式A + 単項式B * 単項式C」は論理演算子の優先順位に従って，まず B * C がチェックされ，その結果と A の結果の論理和を取ります．「(単項式A + 単項式B) * 単項式C」と括弧を付加すると，A + B が先に演算評価されるように変更できます. "крас* # (*ыми + *ым)" という条件式は, "крас" ではじまる単語で，かつ語末が "ыми" でも "ым" でもないもの ("красный", "красного" など) にマッチします．図 3. の例では "яр*" として，「"яр" ではじまりそのあとに任意の文字が続く単語」という条件指定を行っています．

   注意すべきは，図 3. "Выражение" 単語条件式で入力するのは「単語の構成文字条件」ということです．インターネットの検索サイトのクエリのように「文書」を探すのではなく，対象コーパスにおいて指定条件に合致する「単語」の出現コンテクストを求めたいわけです. "стих творение" のように指定すると，空白で区切って二つの単語条件単項式が指定されたことになり, "стих" と "творение" に完全一致する単語のコンテクストを抽出することになります．多項式 "стих + творение" と等価です. "стих" と "творение" を含む文書もしくはテキスト断片を探すことにはなりません．目的が違います．仮に "стих * творение" と指定しても，そんな単語が存在するはずがありません ("стих" に完全一致しかつ "творение" にも完全一致するということはありえません). "стих* * *творение" ならば "стих" ではじまり "творение" で終了する単語 "стихотворение" がヒットして KWIC が生成されるかも知れません．この場合, "стихотворения" は指定条件に合致しないので，抽出されません．ロシア語格変化を考慮してマッチさせたいのであれば, "стих* * *творени*" (多項式条件) あるいは "стих*творени*" (単項式条件) と指定すべきでしょう．ただし，この二つの等価条件は，後者の単項式条件のほうが処理方式上，高速に動作します．

   コーパスが UTF-8 または X11 Ctext の場合は，条件式にロシア文字のみならず，西欧語，東欧語で用いられるアクセント付き文字を指定できます．

   条件式設定の詳細説明は「スラヴ学研究者のためのコンピュータ・リテラシーのために: 単語統計: 検索（パターン適合試験）機能」を参照してください．

   ロシア文字の入力は，最近の Windows (2000，XP), Mac OS X では多言語入力メソッドでサポートされています．オペレーティング・システムの設定が面倒な場合，本システムではロシア語入力支援機能を組み込んでありますので，こちらをご利用いただけます．図 3. の "Русская клавиатура" をクリックすると図 4. に示す小さな疑似キーボード・ウィンドウが右上にオープンします．キーボード配列は初期値では "яшерты" と呼ばれる Phonetic 配列ですが，ロシアで一般的な "йцукен" 配列も選択可能です．文字をクリックすると図 3. の"Выражение" テキストボックスに当該文字が入力されます．

   
   図 4. 疑似ロシア語キーボード

   図 3. "ignore case" チェックボックスにチェックを入れると，単語のマッチング解析のときに大文字・小文字の違いを無視します．条件式に指定した大文字・小文字の違いを忠実に区別させたい場合にはチェックを外してください．

   図 3. "content length" のボックスに，コンコーダンス解析で条件にマッチした単語の前後に現れるテキスト文字長を指定できます．200 以下の自然数を指定します．あらかじめ 30 が設定されています．

   図 3. "Определение разделителей ..." は単語の区切り文字の定義です. "слово, слово." というテキストにおけるカンマやピリオドのような文字のことです．必ず単語を区切る文字 (Определение разделителей безусловных), 連続して現れると区切り文字と判断する文字 (Определение разделителей последовательных), 及び，区切り文字と隣接して現れたときのみ区切り文字とみなされる文字 (Определение разделителей смежных) を指定します．フォームには初期状態の定義がなされています．これをわざわざ修正せず，そのままで使ってもよいと思います．区切り文字に関する詳細は「スラヴ学研究者のためのコンピュータ・リテラシーのために: 単語統計: staslova における「単語」」を参照してください．

5. コンコーダンス解析結果

   図 3. 画面で条件を入力したら, "Передача" ボタンを押下するとコンコーダンス処理が開始されます．処理時間は主にコーパスの容量に依存します．完了すると図 5. のような画面で，マッチした単語の出現回数とそのコンテキストが KWIC 形式で報告されます. KWIC 表の部分を図 6. に示します．条件にマッチした単語はハイライト表示されます．単語の前後のテキストは，図 3. "content length" 指定の長さで機械的に切り落としますので，単語の途中で切れている場合があります．右端の "Line:Pos" 欄はコーパスの先頭行を 1 とした場合の行番号 (Line) と，先頭の語を 1 とした場合の単語番号 (Pos) を示しています．

   
   図 5. コンコーダンス結果画面
   
   図 6. コンコーダンス KWIC 表

   図 6. の例では, "яр*" という条件に対し, ярем 1, яркий 1, ярко 2, ярманку 1, ярусы 1, ярче 2, ярый 1, 合計 11 用例がマッチしたことを示しています．同一行でヒットしている ярче の 2 例は，それぞれヒットした位置でコンテキストが表示されています．この KWIC 表をコピーして，文書作成に利用します．

6. 解析の終了

   同一コーパスの解析を継続する場合は "Возвращаться к форме" を，アップロードしたコーパスを削除して終了する場合は "Кончать анализ" をクリックします．終了を選択すると図 7. の画面が表示されます. "Кончать анализ" をクリックせずに放置すると, 1 時間経過後にサーバによって自動的に削除されます．

   
   図 7. コンコーダンス終了画面

配布ファイル一覧

バグ・レポートその他

ご意見・ご要望，プログラムのバグ (不良／問題点) ご指摘は電子メールでご連絡いただけると幸いです．

ただし，筆者は本業多忙につき，対応は折りをみてという状況ですが，あしからずご了承ください．