Microsoft、ARとAIで視覚障害者のコミュニケーションを支援する「PeopleLens」

（写真：ITmedia NEWS）

米Microsoftは3月14日（現地時間）、視覚障害のある子どもや若者（Microsoftは「学習者」と呼ぶ）が周囲の他者とより簡単に交流するためのAI技術「PeopleLens」を発表した。現在、第一段階のテストを実施中だ。メガネが認識した映像をリアルタイムでマップ化し、さらに音声に変換する　学習者はARメガネを頭に装着し、メガネが「見る」環境について音声で説明する。主に、既知の個人を識別してその名前を読み上げる。名前は相手がいる方向から聞こえるので、学習者は相手の相対的な位置を把握できる。　将来的には、学習者が他者と遊べる簡単なゲームをPeopleLensに搭載する計画。こうしたゲームを通じて、社会的相互作用に必要な空間的注意力を育むのが目的だ。　PeopleLensのプロトタイプで採用したデバイスは（HoloLens 2ではなく）、中国nrealが2019年に発売したスマートグラス「nreal light」。これをスマートフォンに接続し、コンピュータビジョンアルゴリズムと組み合わせて操作する。　まず、学習者の周囲にいる人々（家族や友人）の写真をnreal lightを接続しているスマートフォンで撮影し、そのデータを数値ベクトルに変換して登録する（写真はプライバシーへの配慮から削除する）。学習者が装着したnreal lightが周囲にいる人を認識すると、その人の視線方向を継続的に特定、識別、追跡し、そのデータをその人のいる方向から聞こえるように調整した音声で学習者に知らせる。　Microsoftは現在、このプロジェクトへの参加者を募集している。　Microsoftは2016年には視覚障害のある人のためのスマートグラスを発表した。2018年には、障害者をAIで支援する5年プロジェクト「AI for Accessibility」を発表した。

ITmedia NEWS