「犯罪を減らすと警察予算が減る」国で起こったバグった事態

　我々の生活に大きく組み込まれているアルゴリズム。効率化してくれるというイメージが強いが、じつは多くの欠陥を抱えているのだそう。イギリスで実際にあったケースからひもといていく。本稿は、ジョージナ・スタージ著・尼丁千津子訳『ヤバい統計　政府、政治家、世論はなぜ数字に騙されるのか』（集英社）を一部抜粋・編集したものです。

●　裕福なナイジェリア人に対して 英国がビザを却下した理由

　「アルゴリズム」とは、何かを判断するときに使われるモデルの一種だ。

　それはおもにコンピューターを使っての問題解決や目的達成のための段階的な手順を意味する、スマートな響きの言葉である。

　アルゴリズムは、私たちが日々利用するオンライン検索エンジンにも使われている。賭けのオッズ、天気予報、どのオンライン広告を配信するかを決める際にも使われる。マッチングアプリやオンラインゲーム「ファンタジープレミアリーグ」でも使われている。さらには、政府の政策策定にも使われている。

　アルゴリズムは本質的には数学と関係している、というのは誤解だ。確かに、一部のアルゴリズムは数式に似た複雑な一連の指示のように見える。だが、実際には単純なフローチャートのようなものが多い。この用語について混乱が生じる理由の1つは、アルゴリズムというのは足し算や掛け算と同じぐらい単純な一連の「コード」を表すために使うこともできれば、自動運転車を動かすためのプログラムを表すこともできるという点にある。どちらの場合も、一連の指示であり、前者より後者のほうがはるかに複雑だというだけだ。

　政策の全般的な流れを決める際の参考として政府が統計モデルを使う場合、「政策の導入」や「制度の運営」の部分について、アルゴリズムを使える。すべてのモデルと同じく、アルゴリズムは結果をデータで出力する。アルゴリズムが優れた判断を下せるかどうかは、プログラミングがいかにうまくなされたかと、入力されるデータがいかに優れているかの2点によって決まる。

　チンウェイ・アズブイケは、ひどく落ち込んでいた。自分の結婚式に出席するためにナイジェリアからやってくる予定の兄弟たちのビザ申請が却下されたことを、式のわずか12日前に告げられたからだ。詳しくいえば、観光ビザを申請した7人の親族のうち、兄弟4人とその子ども2人の分が却下された。自分にとって特別な日に来てもらえるのは、母親だけになってしまったのだ。

　ビザが却下されたのは、英国にやってきた親族たちがナイジェリアには戻らないだろうと、内務省が判断したからのようだった。だが、それはチンウェイには不可解なことに思えた。兄弟のなかには15年間も会っていない人たちもいて、彼らが自分と夫の家にずっと住もうとするなど考えられなかった。

　しかも、兄弟たちはみな安定した仕事に就いて、ゆとりのある生活をしている。さらには、開発用の土地までナイジェリアで購入していたのだ。それに、姪のチトゥアはクラスで成績がトップだという。そんな彼女にいまの生活を捨てさせて、わざわざ英国で違法な暮らしをさせる理由がどこにあるというのだろうか。

●　穴があるシステム アルゴリズムの欠陥

　結局、対応に疲れ果ててしまったチンウェイは、ビザの件を諦めようとした。だが、過去にも同じような話を何度も聞いてきた移民社会福祉協議会（JCWI）は、もうたくさんだと立ち上がった。そうして両者は、公正なテクノロジーの追求を目的とする団体「フォックスグローブ」とともに、内務省のビザ審査プロセスに対する司法審査を求めた。すると、同省の審査プロセスにはアルゴリズムの一種が使われていたことが判明した。

　問題のアルゴリズム自体は公にされず、その仕組みについても内務省は詳しくは明らかにしなかった。それでも、同省がビザ申請者に不法残留の恐れがあるかどうかを予測するための判断材料として、「疑わしい国」リストを使っていることが、司法審査の過程で明らかになった。

　この件以外でも、さまざまな目的で他国をリスク別に「緑色」「黄色」「赤色」などと分類するのが内務省の慣例だったが、移民社会福祉協議会はそれ自体が差別的だと主張した。要は、「疑わしい国」とみなされているナイジェリアからやってくる人は、その目的が不法残留ではないことを示すどんな証拠を提示しても、「不法残留の恐れあり」と判断されてしまうのだった。

　だが、この仕組みの真の問題は、ある国を「疑わしい国」リストに掲載するかどうかを判定するための要因の1つが、「その国からのビザ申請が、どれくらいの頻度で却下されているか」だったということだ。内務省は、そのアルゴリズムにフィードバックループをつくっていた。

　つまり、そのアルゴリズムでは、「疑わしい国」の国民であるという理由でナイジェリア人の申請が却下される。それに加えて、ナイジェリア人の申請がその理由で却下されるたびに、この審査システム内でのナイジェリアの「疑わしさ」の度合いが上がっていくようになっていた。

　確かに、大勢のビザ申請が却下されている場合、駄目もとでビザ取得に挑戦した人が多いとみなされて「疑わしさ」が増す、というのは理解できる。だが、純粋に国籍だけに基づいて特定の人物の申請を却下するように設定されたビザ審査システムの場合は、そういう問題ではない。この恥ずべき真実を突きつけられた内務省は、法廷での争いを避けるために、問題のアルゴリムを廃止して再度開発することに同意した。

●　アルゴリズムはパターンを誇張し 偏見までも増幅させる

　アルゴリズムは既存のパターンを誇張し、場合によっては偏見までも増幅させる。作り手が投入したものを、学習してより強固なものにする。なぜなら、アルゴリズムの判断材料はそれしかないからだ。そのため、常に人間がしっかりと見張っておく必要がある。

　また、こうしたアルゴリズムの管理者は、アルゴリズムが出した判断が常識に反していると思われる場合には、とりわけ注意が必要なことを肝に銘じておくべきだ。もし、人間の公務員が真っ当ではない判断や、不合理な判断をしている場合、世間はただ大目に見るようなことはしないはずだ。それゆえ、機械が同じことをしはじめたときにも、疑問を投げかけるのは当然のことだ。

　英国では、警察という制度はかなり恣意的な地理的境界線によって管轄範囲が定められている。各警察の管轄地域の人口は、それぞれ大きく異なっている。広大で豊かな地方を担当している警察もあれば、凶悪犯罪が多い都市の中心部を担当する警察もある。こうした各警察に、政府はどのようにして予算を割り当てているのだろうか。その答えは「アルゴリズム」だ。

　ただ、その「警察予算算定アルゴリズム（PAF）」には多くの問題がある。これは並外れて複雑なアルゴリズムで、多くのデータソースからのデータ入力や、データ入力後の数え切れないほどの微調整という作業が要求される。

　しかも、入力される内容自体がすでに要注意だ。警察が「市民を安心させる」「犯罪ではない出来事で支援を行う」「サッカーの試合の警備に当たる」ためにそれぞれ使った時間数などの入力項目は、2008年以降は収集されていないデータに基づいている。

　ちなみに、ベリーやウェイクフィールドでは、地元のサッカークラブが破産して解散しているので、現在それらの都市で警察が「サッカーの試合の警備に当たる」時間は以前よりずっと少ないはずだ。入力データのそのほかのおもなデータソースは、「警察犯罪認知件数」だ。

●　アルゴリズムの悪い要素で 作られていた予算システム

　ただ、これで犯罪を記録するのは客観的な作業とはほど遠い。「目標達成のため」といった動機づけに応じて、警察は犯罪として記録すべきものを、そうでないように変えることも可能だからだ。

　たとえば、「盗難」は「落とし物」とすればいい。「社会秩序違反」は、犯罪ではない「反社会的行動」扱いにすることもできる。一方、こうしたことはすべて、所属する警察に割り当てられる予算額とも関連している。

　そのため、たとえ犯罪を減らすための目標が掲げられていたとしても、よほどの大ばか者でなければ、認知件数が極端に下がることによって所属する警察の予算が大幅に減らされてしまうほど、犯罪を減らしすぎるようなことはしない。警察官の給与は、犯罪を減らすという目標を達成するよりも、自身の活躍ぶりが示せるような、（認知された）犯罪がそれなりに生じるかどうかにかかっているからだ。

　こうした犯罪データが警察予算算定アルゴリズムに入力され、アルゴリズムが各警察の予算額を算出すると、結果に大きな差が出るのは当然だ。たとえば、ある警察は前年と比べて20％減となる一方で、別の警察は10％増となった、というように。

　そこで政府が介入し、どの警察も前年から少なくとも2.5％増の予算が割り当てられるようにする。この調整は、「振動吸収」と呼ばれている。その結果、警察犯罪認知件数が増加した警察は、本来もらえるはずだった追加予算を調整でほぼすべて削られる。そして、その分は、活躍ぶりを示せる犯罪が減ったことで本来は予算が減らされるはずだった警察に回されてしまう。

　警察予算算定アルゴリズムには、「問題のある結果を入力データとして利用している」「過度に複雑」「人間の恣意的な裁量までもが含まれる」といった、悪いアルゴリズムの要素のほぼすべてが合わさって盛り込まれている。2015年、政府自身も警察予算算定アルゴリズムは「複雑で透明性に欠け、しかも時代遅れであるため、目的にそぐわない」と認め、改革を提案した。

　アルゴリズムには、重要なものが意図的に除外される危険性が常につきまとっている。統計モデルは世界の縮小版のようなものだ。アルゴリズムもそれと同じであり、作り手が検討するよう求めたものだけに基づいて判断を行う、閉ざされた人工的な「世界」なのだ。