ベンフォードの法則は、この数字に当てはまるか

数字が本物かどうかを、その中身を見なくても見分ける方法があると言われています。 ベンフォードの法則です。

自然に集まった数字の列では、先頭の桁が1になるものが約30%を占め、 9になるものは5%ほどしかありません。 会計の世界では、この形から外れた帳簿を、不正の疑いがあるものとして拾い出す使い方が されています。

では、公表資料から集めてこのサイトに載せた人数はどうなのでしょうか。 自分のデータで試してみました。

法則が言う形

先頭が1になる確率は30.1%だというのが、法則の中身です。 均等なら11.1%ずつになるはずのところ、大きく偏ります。

手元の3,589個を数えた結果

対象は、申込者・受験者・合格者などの人数3,589個です。 いちばん小さい数が4、いちばん大きい数が309,068でした。

合いませんでした。 先頭が1の数は25.3%で、法則の30.1%より4.8ポイント少なく、 3や4は逆に多く出ています。

ずれの大きさをカイ二乗の値で表すと70.8になります。 5%水準の境目は15.51なので、これを大きく超えています。 単純に当てはめれば、「この数字は怪しい」と判定されることになります。

では、この数字は作られたものか

違います。 ここにある人数は、実施団体や所管官庁が公表した資料から1件ずつ取ったものです。 出典のうち702件が一次資料で、1つ1つに出典IDと取得日時、原本のハッシュが 付いています。

外れたのには理由があります。ベンフォードの法則は、どんな数字にも当てはまるわけではありません。 当てはまるのは、値が何桁にもわたって広く分布している数字の列です。

桁ごとに見ると、理由が出ます

いちばん数の多い4桁の1,706個を見てください。 先頭は2が18%、3が17%、1が17% と、ほぼ同じ割合で並んでいます。法則が言う「1が30%」の形にはなっていません。

試験の受験者数は、その試験ごとに決まった範囲に集まります。 何千人規模の試験は毎年何千人程度に、何万人規模の試験は毎年何万人程度に収まります。 桁をまたいで自由に動く数字ではありません。 法則が前提にしている散らばり方をしていないということです。

いちばん大きい数が309,068どまりであることも影響しています。 6桁の数は3で始まるものまでしかなく、 7以上で始まる6桁の数はそもそも存在しえません。

一つの指標で、正しさは決まりません

ベンフォードの法則が役に立つ場面はあります。 ただし当てはまる条件があり、その条件に合わないデータに当てはめると、本物を偽物と 判定してしまいます。 このサイトのデータが、まさにその例になりました。

「法則から外れている」からといって、「作られた数字だ」ということにはなりません。 同じように、「法則に合っている」ことも「本物だ」という証明にはなりません。 合うように作ることはできるからです。

では、どうやって確かめるか

このサイトが数字の正確さを確認するためにしているのは、統計的な判定ではなく、 1件ずつ出典に当たることです。

• 人数は、実施団体・所管官庁の公表資料からしか取らない
• 取った原本を、取得日時とハッシュ付きで保存する
• 公表されている合格率と、人数から計算した率が合うかを毎回確かめる
• 合わなければ、数字を直さずに、そのまま記録として残す

地味なやり方ですが、条件によらず使えます。 確かめ方そのものは『データの出典・確認方法』に、 数字の偶然については 『できすぎた数字は、偶然どれくらい出るのか』 に書きました。