上述のレポートが発表された頃、ソフトウェアの強化とパフォーマンス向上を目的とし、Amazonの専任チームがAlexaの録音内容を聞いていたことが判明した。Amazonのコメントでは、消費者体験の向上のため、「ごく少数のサンプル」の録音のみが対象となった旨が強調された。
しかし、残念なことに、システムへの音声録音のオプトアウトを選択したユーザーでさえ、こうした評価プロセスの対象となっていた可能性がある。FacebookもMessengerの会話内容の聞き取りと書き起こしを目的とした請負業者への支払いを認めた。さらにAppleは、従業員がSiriの録音を聞いていたことを認めており、この中にはユーザーの性行為も含まれていたと伝えられている。
言い換えると、デジタルアシスタントに与えられる情報は、AIのブラックボックスに入るだけでは済まない。すなわち、他人によって再生される可能性が非常に高く、そしてユーザーを追跡可能な状態にある。
自らのデータへのアクセスを第三者が取得することに関し、われわれは警戒心を強めがちであるが、アルゴリズムそのものについてはどうだろう？ この問題は、デジタルアシスタントのような特定の製品に限られるものではなく、AIに関する、はるかに広範な倫理規定と結びついている。
われわれがインテリジェント機器に委ねる情報は、個別のまとまりとして入れられる可能性があるが、その後、特定可能な状態ではなくなり、ネットワークに包含される。これはもはや、データの所有権を消費者に与える権利や規制の導入だけの問題ではない。今日のわれわれの情報は、複雑なアルゴリズムに絶え間なく組み込まれており、これらは往々にして、開発担当のエンジニアからも見えない状態となっている。
われわれの個人情報は、こうしたシステムの強化や拡大に貢献するが、その過程でわれわれは彼らに所有権を渡している。AIの場合、仮に気持ちが変わったとしても、デジタル資産の所有権を取り戻す術はない。強調すべき点として、こうした検討は必ずしも理性的には行われていないのである。
一例として、欧州連合（EU）による2018年の一般データ保護規則（GDPR）の発効では、導入による極めて明白な問題が直ちに浮上している。問題となったデータがAIの学習プロセスに組み込まれた場合、規制当局はいかにして「忘れられる権利」を適用するのか？
子どもの失敗が子どもの手を離れてはならない
AI技術とともに育っていく世代など、多くの人々への具体的な影響も考えられる。『Wired』の記事にある通り、若い世代は今後、これまでの世代の誰もが経験したことのない困難に直面するであろう。初めてのデート、就職面接からローンの申請に至るまで、彼らには、幼少期からの人生のデジタル記録が大規模に残されることになる。
デジタルアシスタントなどは、子どもや若者に対し、データの長期保存の影響を説明してはくれない。そしてAIは、こうした配慮とは無関係にデータを収集する。これらのデータは、社会的に重要な結果を決定付けるアルゴリズムに組み込まれる可能性もある。
例えば、録画でカンニングが見つかった学生は、その過ちを忘れられることはなく、大人になるまで罰を課され続けることで、成績の不振やさらなる違法行為の悪循環に陥る可能性がある。おそらくわれわれは、子どもが間違いを犯したとしても、そこから学ぶことのできる余裕のある社会を築きたいと考えるはずだ。
