IT業界は、開発者が自ら開発したイノベーションの倫理的な責任を問われる、新しい時代に突入しつつある。機械学習と人工知能(AI)が専門のペンシルベニア大学教授、Michael Kearns氏は、「これは今までになかったことだ」と述べている。「IT業界はこれまで、(不道徳ではなかったとしても)基本的に道徳に関心がなかった。しかし今や、テクノロジー開発のパイプライン全体を通じて、倫理の問題について慎重に考慮することが求められるようになっている。新しい時代に入ったと私は思う」
最近では、社会的影響が大きい意思決定の判断材料にAIが使われるようになっている。裁判所の判決や人事採用プロセスから、犯罪容疑者のプロファイリングや福祉給付の割り当てまで、その用途は幅広い。これらのアルゴリズムは、(AIが適切に作られていると仮定しての話だが)素早く優れた意思決定を可能にするはずだと考えられている。しかし、そのようなシステムのトレーニングに使われるデータセットには、しばしば人種や性別、イデオロギーのバイアスが含まれており、不公平な、あるいは差別的な意思決定につながる可能性があることが知られるようになってきた。「ゴミからはゴミしか生まれない」(無意味なデータを入力すれば出力も無意味になる)というわけだ。開発者らは、かつては自分たちが書いたコードは中立であり、偏向してはいないと考えていたかもしれないが、AIの実際の利用事例は、コード自体や、入力されたデータや、あるいはアプリケーションの発想そのものが、現実に問題を引き起こす場合があることを示している。
Amazonの人材採用エンジンが「女性」(「women’s」)という言葉を含む経歴書を不利に扱っていた例や、英国の警察が人種的背景と間接的に結びついた基準で容疑者をプロファイリングしていた例など、過去に明らかになったアルゴリズムの欠陥には、人権団体が懸念を持つのも無理はないと思われるものもあった。しかも、アルゴリズムのバイアスは問題の一面にすぎない。「AIの倫理」の全体像は多面的なものだからだ。
世界中の政府が、AIを使ったシステムが引き起こす望ましくない事態の影響を抑えるために、開発者に対して人権を尊重するアルゴリズムを作るように伝え、それを手助けするための法案やガイドライン、フレームワークに取り組んでいる。
欧州連合(EU)は最近、「信頼できる技術」によって「人間を第一に考える」ことを定めたAI戦略を公表した。また中国の科学者は2019年に、中国政府と協力しながら作成した「北京AI原則」を発表した。この原則では人権の尊重に焦点を当てている。
米国では2020年に、AIに対する社会的な信頼を構築するための10の原則が提案された。またその数カ月前には、米国防総省が戦争でのAI利用に関するガイドラインの草稿を公表したが、このガイドラインでは開発者に対して、AIの責任から信頼性まで、多岐に渡るさまざまな原則を守ることを求めている。英国では、政府のAI庁(Office for AI)が、同様にAIが従うべき原則について詳しく定めているほか、政府がAIのデータ利用についてのガイドラインを示す「データ倫理フレームワーク」を公表している。