導出されたルールの精度

次に、導出されたルールを用いて、新たに追加された文書が同じ分類法に基づい て正しく分類されるかどうかを確かめて、ルールの精度について検討する。 実験に際しては逆の発想をして、サンプル文書集合の一部を用いてルールを導出 し、それを全文書に適用して、正しく分類できるかどうかを確かめた。

まずは、ルール導出に用いた文書集合中の文書数の割合と、それを全文書に適用 した時の正答率との関係を調べておく。 実験は (4) を対象に、

• ./atom 3 (空白または改行で区切られる文字列がアトム)
• ./atom 0 (1文字がアトム)

の2つを解析子として、ルール導出に用いる文書の割合を変えつつ行った(実験

)。 この実験では混合区間、出現区間は考慮していない。 結果は表 5.6の通りである。

  
表 : 実験 の結果 (利用する文書の割合を変えた場合)

表 5.6の結果から、全文書に対するルール導出に用いた文書数の割 合 p と、その結果導出されたルールを全文書に適用した場合の正答率 は、

を満たしていることが分かる。 例えば、

となり、ほぼ一致する。 実際に 8% の文書からルールを導出して正答率を調べると、

であった。

次に、メイルの分類に適しているアトムの形式を見定めるために、

• ./atom 5 (一連の英数字、一連の同種日本語文字、一連の記号列がアトム)
• ./atom 3 (空白または改行で区切られる文字列がアトム)
• ./atom 2 (一連の英数字、一連の記号列がアトム)
• ./atom 1 (一連の英数字、記号1文字がアトム)
• ./atom 0 (1文字がアトム)

の5つのうち1つだけを解析子としてそれぞれ実験を行った(実験

)。 対象とした文書集合は (4) で、そのうちの 50% (414個)の文書を選んでルール を導出した。 これも混合区間、出現区間は考慮していない。 この結果は表 5.7の通りである。

  
表 : 実験 の結果 (解析子による違い)

この結果、./atom 5 〜 ./atom 1 には大差がなく、./atom 0 (1文字ずつ頻度解析) の場合は他に比べてルールの正答率が劣っていること が分かった。 メイルの場合、あるメーリングリストのメイルは同じグループにまとめておくこ とが多い。 その場合、ヘッダ部の To: や Subject: の文字列がそのままルー ルとして成り立つため、それらをアトムとして抽出する ./atom 3 や、そ の部分文字列をアトムとする ./atom 5, ./atom 2 〜 ./atom 1 が高い正答率になることは頷ける。

しかし対象によっては、日本語文字の区別を行っている ./atom 5 と、行っ ていない ./atom 3 〜 ./atom 1 の間に差が出ることもある。 例えば、メイルのヘッダ部を削除して本文だけとした (6) の 10% (508個)の文 書を対象として実験すると、./atom 3 では 50% だが、./atom 5 では 65% の正答率になる(表 5.8)。 尚、こちらは混合区間、出現区間も考慮している。

  
表 : 実験 の結果 (./atom 5 と ./atom 3 の違い)

最後に、同じ割合の部分集合からルールを導出した場合の、対象文書集合の規模 による正答率の傾向を調べた(実験 )。 実験は (3)〜(5)を対象に、

• ./atom 3 (空白または改行で区切られる文字列がアトム)

を解析子として行った。 ここでも混合区間、出現区間は考慮していない。 表 5.9には、文書集合の 10% を用いて導出したルールを全文書に 適用した場合の結果を載せる。

  
表 : 実験 の結果 (文書集合の規模による違い)

(5)、つまり全メイルを対象とした場合、たった10%の部分集合から導出したルー ルで70%もの正答率が出た。 これについて、各グループごとに正誤数をまとめたものが表 5.10 である。 正答率の良い順に並べてある。

  
表 : 実験 の(5)の詳細 (グループ毎の正答率)

吉田 誠一のホームページ に戻る。
Sat Mar 8 05:59:11 JST 1997