「貧しい家の子の成績下げる」アルゴリズムの波紋 イギリスで起きた衝撃、責任は誰にあるのか

昨今、AI(人工知能)の急激な発達が注目されている。まるで人間のように自然な会話ができるサービス「ChatGPT」が話題になったのも記憶に新しい。一方で、こうしたAIやアルゴリズム(問題解決や目標達成のための計算・処理手続き)に意志決定や判断を委ねることへの危惧も広まりつつある。イギリスでは実際に、アルゴリズムに大学入学資格の判定を任せた結果、とてつもない混乱が生じてしまったという「苦い経験」があるのだ。私たちはどのようにAIやアルゴリズムと共存していけばよいのだろうか。統計学者のジョージナ・スタージ氏が上梓した書籍『ヤバい統計』から一部を抜粋して紹介する。

■予測よりも低い成績がつけられた

　アルゴリズムをつくりだすのは、アルゴリズム自体ではなく人間だ。ということは、人間はそのアルゴリズムが行ったことに対する責任がある。

　2020年8月13日、「Aレベル」の結果が発表されると、多くの生徒がひどく落胆した(注:Aレベルとは一般教育修了上級レベルの通称で、高校卒業認定資格および大学入学資格のこと)。約4割の生徒に、予測よりも低い成績がつけられていたのだ。なかには、予測より2段階低い成績だった生徒もいた(Aレベル合格者の結果は6段階で示される)。

　当然ながら、結果が発表される日にはがっかりする人が多少なりともいるが、それでも今回はいつもと様子が違っていた。じつは、2020年のAレベル試験は、英国が新型コロナウイルス感染症パンデミックの最中だったため中止されていた。

　その代わりに、教師は試験監査機関「オフクァル」に対して、生徒の成績予測と、クラスのトップから最下位までの成績順位を提出しなければならなかった。オフクァルは、それらのデータを各学校の過去の実績といったほかの要因と併せて判断するアルゴリズムを利用し、各生徒の成績を算出した。

　だが、成績予測より低い成績をつけられた生徒が10人中4人もいるのは、何だか疑わしかった。

■どのようなバイアスが働いてしまったのか

　実際の成績が予測を最も下回ったのは、恵まれない境遇の生徒たちだった。また、北イングランドの学校が提出した成績は、ほかの地域に比べて上方への調整がなされなかった。一方、最高成績のグループに占める私立学校の生徒の割合は過去最大となり、公立の総合制中等学校の生徒の倍になった。

　この問題への世間の激しい抗議を受けて、このアルゴリズムはほぼ完全に廃止された。生徒たちは担任教師による成績評価とオフクァルが出した成績のうち、高い方を選ぶことができるようになった。その結果、大学は予想を超える数の新入生を受け入れなければならなくなり、なかには「入学を来年以降にずらせる学生には、謝礼を支払う」と呼びかける大学さえあった。

　これはいったい、誰の責任なのだろうか。当時の首相ボリス・ジョンソンは生徒たちを前に、「みなさんの成績は、突然変異したアルゴリズムによって危うく台無しにされるところでした」と同情を示した。

　世間では、このアルゴリズムは「失敗作」「致命的な欠陥品」と呼ばれるようになった。要するに、恵まれない境遇の生徒たちの結果を歪めかねない「固有バイアス」を抱いていたとして責められたのは、アルゴリズムそのものだったのだ。

　とはいえ、アルゴリズムは、つくられたとおりに機能したのだ。その結果、「成績インフレを抑えること」と「成績分布グラフの形状を維持すること」を最優先した。この2点はまさに、「政府からオフクァルに具体的に出された指示」だと、オフクァルの関係者が公にしたものだった。

　別の方針によるアルゴリズムをつくりだす方法は、いくらでもあったはずだ。だが、彼らは「成績インフレを抑えること」を最優先にするようにという指示にあくまで従い、その代わりに、とりわけ過去の実績がずっと悪かった学校に在籍していた、予想外に優秀な生徒たちが犠牲になったのだった。

　このアルゴリズムは、突然変異体として誕生したあとで山々を越えて逃げていった、フランケンシュタインの怪物とはわけが違う。バイアスは、全国的な成績分布グラフを、過去数年とほぼ同じに保つのを優先する方法を選んだことの副産物だったのだ。

　このアルゴリズムによって、進学実績の低い学校や、貧しい地域に対するバイアスがかかったのは当然のことだ。なにせ、その位置に留めておくためにつくられたアルゴリズムだったのだから。オフクァルは、突然変異体をつくりだしたわけではない。彼らは手渡された腐った卵を、最善を尽くしてふ化させただけなのだ。

　このアルゴリズムの目的を教育省が最初から明らかにしていれば、試験の結果発表日のずっと前に同省に疑問を投げかけられたはずだ。そして世間や野党は、「成績インフレを抑えること」を第一の目標とするのが正しいのかどうか、同省に問えたはずだ。

■教育大臣が「アルゴリズムは使わない」と発言

　2021年初め、教育大臣のギャヴィン・ウィリアムソンは、この年の中等教育修了一般資格とAレベルの成績判定方法について、「何があってもアルゴリズムは使わない」と満面の笑みで保証した。「この私が見張っているかぎり、突然変異によって大混乱が引き起こされることはない」ということなのだろう。

　仕組みをつくった当人に責任を負わせるのは、真っ当なことなのだろうか。この質問の答えは明らかに「いいえ」だが、そこからもう一歩踏み込んで考えるべきことがある。

　大臣たちは、全体的な目的は定めるが、それを目指すことによってどんな副産物が生じる恐れがあるかについては、各省の職員たちからの提言に頼っている。大臣たちは、担当する省が行っている、あらゆる技術的な作業をすべて逐一管理すべきなのだろうか。あるいは、そもそもそれは可能なのだろうか。

　しかも、その分野の専門家でない人物が、どうすれば効果的に管理できるのだろうか。政策のためのアルゴリズム設計とは、政治的な選択と技術的な選択のあいだを行ったり来たりして行われるべきものなのだ。

　(後編:3月19日配信に続く)