操作から会話へ

コンピューターは、エリートが脳を拡張する道具だった。 そこには、昔ながらの、ヒトが道具としてコンピューターを操作するという関係がある。 しかし、今や、スマホという形態で、誰もがコンピューターを利用するように変わった。 この利用者の広がりに対応した、ヒトと道具の関係の変化が必要である。

筆者は、高齢者のIT利用をボランティアで支援している。 その経験の中で、諸トラブルが、コンピューターの強いる認知負荷と、 グラフィカル・インターフェイス（GUI）に起因することを検証した。

また、筆者は、仮名漢字変換を開発する中で、ヒトが手指と目だけでコンピューターに対するのを不自然に思っていた。 ヒトは、ほかに耳や口など、素晴らしい生体機能を持っているのにである。 そこでヒトの生体機能を詳しく見てみた。 そこから新しい関係性とインターフェイスのあり方が示唆された。

認知負荷が小さく、ヒトの生体機能を生かした、新しい関係とは？ それは、ヒトと道具である知的な機械が、会話する関係である。 ヒトがしゃべりや身体で意図を表現し、一方の機械も耳・口と目を持ち、ヒトに反応する。 カラダ全体を使ったインターフェイスで会話すれば、 誰でも生得の能力で自然にICTとインターネットを利用できるようになる。 そして、実は、その実現のための技術は、すでにそろっている。 ただ、アプリのくみ上げ方のデザインを変えさえすればいいのである。

日本は今、高齢化社会を迎えて、情報格差が課題となっている。 情報化で、高齢者などの情報弱者を取り残すべきでない。 一方で、社会のあらゆる側面で情報化を進め、効率化することが望まれている。 ヒトと知的な機械の関係からは、むしろ爆発的な効果を得られるべきである。 本文書が、誰も取り残さずに大きな効果を上げるための提言になれば幸いである。

本文書は以下の方々を読者として想定しており、一般向けではない。

• これから情報処理を志す若者と、情報処理技術分野で現在活躍しているプロフェッショナル：

  本文書は、今のコンピューターのインターフェイスはおかしいという問題意識に始まっている。 この分野を志す若者と、一線で日々問題解決をしている方々に、ぜひ一緒に考えていただきたい。 スマート・モビリティ、スマート・ホーム、スマート・シティ、などどれも、ユーザー・インターフェイスの変化なしには実現しない。 ユーザー・インターフェイスの変化は、IT業界全体の課題である。

• 高齢者がITを活用するというテーマに取り組んでいる方々:

  この文書では、ユースケースとしてしばしば高齢者のシナリオを取り上げる。 現在のコンピューター・インターフェイスの問題が、認知負荷に耐えられない高齢者で先鋭化している。 その解決が、未来を示すと考えるからである。

• 自然言語処理、対話制御、音声認識、音声アプリに取り組んでいる方々、視線追跡やジェスチャー認識に取り組んでいる方々、 そしてロボット開発に取り組んでいる方々：

  本文書は、従来の手で操作し目で見るだけのIT機器を、問題視する。 そして、音声やジェスチャーの活用、ヒト型ロボットの利用が望ましいことを主張する。 本文書はそれら技術コミュニティを応援する。

ヒトはその能力によって道具を発明し、自分ができることを拡大してきた。 例えば、

• 文字と紙という道具を発明した。 それによって、ヒトは記憶したり伝達したりする能力を拡張した。
• 紙という平面上でペンを操り、３次元の物体の見取り図を表現する。 これは、生身の目では見通せない俯瞰的な視覚である。
• 顕微鏡や望遠鏡が、見えるものを増やした。
• 車や飛行機が、ヒトの移動距離を変えた。
• インターネットが、交信する集団の規模を地球レベルへ広げた。

紙に文字や図を書くとき、ヒトは器用な手指を操作する。 高性能な眼で指の軌跡を確認し、手指の内部的な感覚とともに動きに修正をかける。 そういったことを、瞬時に連続的に繰り返し行っているのだ。 ヒトは、その高度な眼の機能と手指の器用さによって、紙やペンという道具を使いこなしている。 このとき道具はヒトの能力と調和している。

有効な道具はヒトの能力を拡大する。 拡大されたヒトの能力によって、道具は一層高度になる。 このようにして、道具とヒトの能力の相乗効果は、石器時代の昔からヒト社会を変えてきたのである。

ヒトの能力、道具、調和

ロボットを専門とする石黒浩氏は、 「遺伝子の進化よりも技術による能力拡張の方がはるかに速い。 ロケットに乗って月に行くことはできるが、遺伝子を改良して月に行けるのはいつの日になるか分からない」 という([rIH])。 ヒトは、道具によって生物の歴史さえ超えて歩み始めているのである。

ヒトが日常的にできることは、以下の３つの事柄に分けられよう。

• 生得的能力でできること
• 社会的教育によってできること
• 身体的訓練によってできること

現在のヒトとコンピューターという道具の関係はどうか？

• 例えば、ヒトは、ハサミや箸を見よう見まねで難なく使えるようになる。 それに対してコンピューターは、マニュアルを読まないと使えない。 つまりその概念体系は、ヒトがほぼ生得的な能力で自然と把握できるものでは、ない。
• 例えば、ヒトは、意識せずに歩くことができる。 また、自転車に乗ったり自動車のハンドルを操作するのに、少し訓練すれば後は無意識的に筋肉が動いてくれる。 一方コンピューターは、操作する際は常に知的な注意と緊張を強いられる。 つまりその操作は、ヒトが身体的訓練で難なく自然とできるようになることでない。
• 例えば、子供から成長するにつれて、ほとんどのヒトは言葉をしゃべり、文字を書くことができるようになる。 これは、社会的教育による。 一方コンピューターは、誰でも使えるものでない。 つまりその扱いは、ヒトが社会的環境の中で自然と身に付けられるような、ヒト文化の一部ではない。

巷にパソコン教室というのがある。 またシニア向けにスマホ講習会がある。 これらは、現状のコンピューターが、ヒトの日常的な能力で使えるものではないことを証明している。

これらのことから、コンピューターはヒトの能力と調和していないといえる。

本文書では、高齢者を例としてときどき取り上げる。 高齢者は、情報処理機器に限らず、新たに何かを習得することを嫌う傾向がある。 そういったヒトたちに、この調和していないという問題が先鋭化する。

2011年、老テク研究会という組織が、 高齢者が情報機器が使いにくい理由について、以下のように定量調査した（[rRT]）。 調査対象は340名である。理由は、複数回答である。 その理由の上位に、マニュアルのことが並んでいる。 今になっても状況は変わっていない。

• 説明書のどこに自分の知りたいことが書いてあるか分からない…151名
• 説明書を読んでも、英語やカタカナが多く言葉の意味がよく分からない…131名
• 取り扱い説明書の文字が小さくて読めない…130名
• 説明書が分厚くてとても読む気になれない…82名

今の高齢者向けスマホは、壮年向けのデバイスと操作インターフェイスを、後づけで改造して提供されている。 その結果、より複雑になり、マニュアルが厚くなった。 せっかくタッチで直接操作できて、マウスやキーボードより直観的な操作インターフェイスになったのに。 なぜこうなったか、どう克服できるかを、本文書で見ていく。

本文書は、高齢者のためのICTを論じるものではないが、そのような事例を使う。 高齢者で現状の問題が先鋭化しているため、分かりやすいので利用する。 ディジタルネイティブ世代には、関係ない話だろうか？ 壮年の方々であっても、GUI操作でイライラすることがしばしばあるのではないだろうか？ 現状の問題は、誰にでもストレスをかけ、実に神経を削っている。 スマホのせいで、西暦3000年のヒトは、背骨と首と指が曲がっているようになるという報告がある。 ぜひ、「西暦3000年 人類」でググってみてくれ。 現在の技術のいびつさが見える。

コンピューターは、ヒトの能力と調和していない。 「なんか違う」感がある。

コンピューターは、モノであり、道具である。 しかし、コンピューターの処理対象は、ハサミのような道具と異なり、抽象的な情報だ。 また、コンピューターの機能は、計算や情報の加工である。 日常で見る道具とは、対象も機能もヒトの抽象物である点が異なる。

コンピューターは、ほかの抽象物とも異なる点がある。 建築物、都市や、貨幣は、ヒトの抽象物である。 これらはヒトの生活や身体と密接に関連している。 物理学や化学もヒトの抽象物である。 これらは自然の対象と関わる。 一方、コンピューターの抽象物、例えばファイルやフォルダーは、ヒトの身体や自然と関わりがない。 純粋に抽象的な、神話や数学や文学などに近い。

ところで、これだけ普及したコンピューターが、 もともとエリートの知能の拡張のための道具であったことは意外であろう。 石器はヒトの手の延長だったが、コンピューターはヒトの脳の延長であった。 ヒトがコンピューターに対するとき、その抽象的な構築物を介して操作するという関係にあるのは、 その歴史的経緯に根差している。

ところが、コンピューターは、すでにいろいろなモノの中に組み込まれ、社会に浸透している。 スマホや自動車、家電、インフラ装置などである。 スマホは誰でも使う道具となった。 情報を処理するというよりも、情報を流通させる道具となった。 災害時の対応や医療連携など、生命を維持するためのライフラインにもなった。

図 : コンピューターの利用者と用途

今やどこにでもあるのに、ヒトとの接点は、相変わらず数学のように抽象的で複雑な構築物のままである。 つまりコンピューターは、現代の利用者層（ペルソナ）と用途（シナリオ）に合わなくなった。 それが違和感の原因である。

ヒトは、日常的にモノである道具を操作し、ヒトとは会話する。 ここで、操作と会話という異なる二つの関係性に注目してみる。 それぞれ、以降で操作モデル、会話モデルと呼ぶことにする。

コンピューターはモノ（道具）の一つである。 それはヒトの指示に従うだけの存在にすぎない。 しかし、コンピューターは複雑な抽象から構成されているため、ヒトの能力とギャップがある。 そのため、ヒトが誰でも操作できるものでない。 このギャップの部分は従来、ユーザー・インターフェイス（UI）といわれてきた。

ヒトが道具を操作するのは、単方向の関係である。 操作するために、詳細な手順（コマンド）までブレークダウンする必要がある。 そこは、ヒトの認知負荷となる。 また、操作して反応を見るまではブラックボックスだ。 操作と結果の対応も、ヒトが解釈する認知負荷となる。

ここに、逆の関係を隠しもってしまう危険がある。 例えば、ヒトの意図と無関係に、広告や不要な通知などに突き動かされる。 その場合、向こう側の組織や主体は隠れていて、ヒトを操作しているかのようである。

一方、ヒト同士の会話ではどうか？ ヒト相手に話をすることは、詳細な指示を出す関係ではない。 ヒトは、しゃべるという自然な能力で会話する。 そして、互いの視線を意識したり、指差ししたり、表情を見合ったりする。 つまり、身体を使って会話する。

そして、ヒト同士は、意図を伝え、依頼し、反応をみて、さらに会話する。 会話モデルは双方向の関係である。 意図から反応までの過程は操作と同じくブラックボックスではあるが、 反応が意図に沿ったものかどうかをヒト同士は容易に分かる。

従来、ヒトとコンピューターは操作するという関係だった。 また、コンピューターはエリートの知能の拡張のための道具だった。 そのため、操作するときに認知負荷があっても、エリートには問題なかったのである。 しかし、時代を経て、利用者と用途は広がった。 ライフラインという必要不可欠の道具になった。 それなのに、ヒトの能力とギャップがあるのは問題である。

一方、会話モデルは、認知負荷がなく生得的な能力でできる。 こちらの方が、コンピューターとのインターフェイスとして、よりフィットする。

コンピューターがこれまでの道具と異なる一つの決定的な違いは、ヒトの言葉を受け入れられることである。 後に見るように、複雑な言葉を使うことは、ヒトの特性と考えられる。 機械が、言葉を理解できるかのようにふるまう。 それはそれまでの道具に比べて、質的に決定的な変化だ。 機械がヒトのパートナーとして歩み寄ってきている。 この点をもっと利用することで、会話インターフェイスに近づける。

ヒト同士は、身体を使って意図レベルで会話する。 ヒトの意図は、文字テキストよりも、音声発話のほうが自然に表現される。 また、注目を示すまなざし、指差し、肯定・否定の首ジェスチャー、手・腕ジェスチャーなども、意図を表現する。 意図レベルでやり取りをする際、道具のほうも、ヒトの身体を相手にしなければならなくなる。 なぜならヒトの意図は、身体で表現されるからである。

例えば、ものを運ぶロボットからヒトを見てみる。 運搬ロボットにとって、ヒトがスマホのモニターとタッチから出した指示で動くだけでいいのだろうか？ 運搬ロボットは、ヒトの歩く通路をヒトと共有する。 ロボットは、ヒトの動きを観察しながら動かないとぶつかったりなどする。 機械道具側から見ても、ヒトの身体を相手にやり取りをして、それで初めて目的を達成できることがある。

そもそも、機械道具はヒトの環境の一部である。 それと同時にヒトの能力の延長でもある。 つまり、機械道具はヒトと環境の接点に居る。 ヒトが機械道具と触れるとき、ヒトはカラダ全体を使い環境と会話するということを忘れてはいけない。

図 : カラダと道具

ヒトがコンピューターに合わせるのでなく、コンピューターのほうがヒトに合わせる。 ヒトが歩くように、誰でもストレスなく生得的な能力でコンピューターを利用する。 ヒトが意図したことに、コンピューターが答える。 ヒトの意図を軸にやり取りが回るので、ヒトが道具から操作されるということは起きにくい。 そのとき、コンピューターはヒトと調和する。

コンピューターの創設期に、知能の拡大を目標とした。 そこでは、ヒトとは異質なブツというとらえ方がされている。

一方、コンピューターをヒトに似せると、ヒト型ロボットとなる。 10万馬力の力持ちで空を飛ぶ少年ロボットや、なんでもかなえてくれるネコ型ロボットのような存在である。 それらは、ヒトとよく似たパートナーである。 パートナーという位置づけのほうが、ヒトはコンピューターと関係を結びやすい。

ヒトがコンピューターを操作するときの、インターフェイスの歪みを克服しようとした考えは、以前からあった。

例えば、石井裕のタンジブル・ビッツである([rIY])。 彼は、コンピューター・ネットワークの世界では、モニターとマウス越しでしかインターフェイスしないという、既存の概念に異を唱えた。 そして、環境自体をインターフェイスにすることを試みた。 形のない“情報”というものを、“環境”という物理的な実体で表現しようとしたのである。

環境を進化させなければ、このインターフェイスの歪みは解決されないのか？ 決してそうではない。 知的な機械が、人体能力を尊重するように変化すればよいのである。 ヒトが元より持ち合わせている豊かな能力を尊重し、活用する。 つまりは、ヒト自体をインターフェイスとしてしまえば済むのだ。

また、坂村健やマーク・ワイザーによるユビキュタス（どこにでもある）・コンピューティングという考えもあった。 Internet Of Things 、モノがインターネットでつながる、ということにつながる考えである。 コンピューターがいずれ、いろんな所に埋め込まれて、それらが協調動作する。 そうすることで、ヒトはコンピューターを意識しなくても、いろんなことができる社会が実現すると。 コンピューターを意識しないことは、インターフェイスがないということであり、それが理想である。

この考えに基づくと、知的な機械がいろんなものに埋め込まれるまで待たなければならないのか？ そうではない。 機械を意識しなくてもいいくらい、直観的な会話インターフェイスにすればよい。

ヒト同士の会話を、インターフェイスの理想だとする考えは、昔からあった。 人工知能の会話ボットなどである。 すると、もっとハイテクを駆使しないと会話モデルにできないのか？ そうではない。

音声認識技術と音声合成技術は、すでにある。 無料で誰でも利用できる。 言語理解や生成の技術は、深層学習による自然言語処理として、すでにある。 巨大言語モデルによって生成された文章や返答は、もはやヒトが作ったものと区別できないところまで来ている。 それら技術の、特定の問題解決タスクや、特定の語彙空間への応用の広がりがまだないだけである。 音声で対話するインターフェイスや、ビジュアルとボイスを融合させたデザインに関しても、 経験とノウハウがまだ少ないだけである。 ハードとして、画面付きスマート・スピーカーとか、会話AIロボットとか、今ある知的な機械の形態を利用して、 アプリを組み上げればよい。

知的な機械を作るヒト、アプリを作るヒトが、すでにある技術をもとに、ちょっと視点を変えてデザインをすればよい。 いまある技術を使い、組み上げ方を変えればよい。 ハードや新しい技術の進歩や、社会インフラの変化や、それらを待つ必要はない。 多くのＩＴ技術者が、現状のインターフェイスはおかしいと、見方を変えればいいのである。 その気になればいいのである。

• 第１章では、ヒトの身体の情報処理機能を概観し、それと接する機械がどうあるべきかの基礎データにする。
• 第2章では、言語と文字について、ユーザー・インターフェイスにかかわる特質を見る。
• 第3章では、従来のコンピューターの問題を分析する。
• 第4章では、ヒトの身体に向き合い、意図レベルでやり取りするようなコンピューターを考える。

コンピューターは、エリートの知能の拡張のための道具であった。 ヒトは、従来の道具と同じように、コンピューターを操作する。 これらの考え方は、誰でもコンピューターを使う時代に合わない。 ヒトとの会話をモデルにして、インターフェイスをデザインしたほうが良い。 ヒトの意図レベルでやり取りをし、ヒトのカラダの能力をそのまま受け止め、それに反応する。 そのために、コンピューターはヒトの生体の能力と特徴を尊重すべきである。 むしろ、ヒトの力を引き出す関係であってほしい。

この章では、ヒトが生物として世界に対処するときの生体情報処理 （[rSO]、[rFT]など）の特徴を見ていく。 そのために、生物史([rCL])、 生物発生学([rIN])、 脳神経学、認知心理学([rCP])などから参考になる知見を拾い、概観する。

生体は情報処理する。 ポール・ナースによれば（[rPN]）、 「あらゆる生命には、自分と子孫を永続させるという目的がある。 あらゆる生命の中心には、情報がある。 目的のための行動に、情報は利用される」

生体は、外の世界と、自分の体の内側の世界と、両方から、情報を絶えず集めて利用している。 内外の環境の状況を把握するものを受容器官という。 それらに応じて外部に働きかけるものを効果器官という。 受容器官と効果器官とを連結し統括するのは、脳・神経系である。

受容器官は、特殊感覚と体性感覚とがある。 特殊感覚は、特定の刺激に対して特定の場所にある器官が反応する。 体性感覚は、身体に分散して存在し環境への反応を助ける。 一般的に五感といわれるものは、平衡感覚と固有感覚を除外した、視覚、味覚、嗅覚、聴覚、触覚である。

一方、ヒトの効果器官には、機械系と音響系がある。 機械系は、筋肉や骨格からなる手指や身体の機械的運動系である。モーター系とも。 また、音響系とは、発声器官である。

• 受容器官
• 特殊感覚器官
• 視覚器
• 味覚器
• 嗅覚器
• 平衡・聴覚器（組織的に同居）
• 体性感覚器官
• 外部から受容する皮膚感覚
• 筋、腱、関節内で感知する固有感覚
• 効果器官
• 機械的運動系
• 発声器官

視覚は、光という電磁波を感知する。 聴覚は、空気ないし水の振動を感知する。 触覚（皮膚感覚）は物理的刺激を感知する。 そして味覚と嗅覚は化学的物質を感知する。 運動系は、物体上の効果を持つ。 音声発生は、空気振動を起こす。

平衡感覚、体性感覚、機械的運動系は、それぞれ密接な関係がある。 味覚と嗅覚は、体内で処理された後、場合によっては機械的運動系で反応することになる。 空気振動を媒体とする聴覚と発声という音響器官は、密接な関係がある。 視覚は、電磁波を感知するという点で独自である。

後で見るように、ヒトで視覚は音響器官と絡むという特徴を持つ。

感覚には、どこでも遍在することを感知するものと、遠くからのことを感知するものと、近いことを感知するものとがある。

どんな生物も例外なく重力を感じる。 重力は遠近に関係なく遍在する。 動物は自分の体の傾きを、平衡器官で感知する。

味覚、接触感覚は、近くのものの感覚である。 動物の進化の中で、これらの近接感覚がまずあったと思われる。 味覚は、化学物質を感知する。 接触感覚は、物理的な圧力を感知する。 これらは、食べ物を識別し、仲間と生殖・交信するためにあった。 また、運動するために、体の状態を感知する体性感覚も必須だった。

一方、生物が行動範囲を広げる際に、より広い環境を感知して、よりうまく生存・生殖したい。 嗅覚は遠くからの化学物質を感知する。 聴覚は遠くからの水・空気振動を感知する。 視覚は遠くからの光電磁波刺激を感知する。

この視覚は、後で見るように、生物の進化・生存競争で決定的な役割を果たした。

人間の全受容器から感覚神経を経由して中枢神経系へ伝送される情報量は、10の9乗ビット/秒といわれる。 うち、視覚は、10の6から8乗ビット/秒、聴覚は10の4から6乗ビット/秒、触覚は10の6乗ビット/秒と言われる。 一方、中枢神経系から、運動神経を経由して、効果器へ伝送される情報量は、10の7乗ビット/秒といわれる （[rSO]、[rFT]）。

また、人間の情報獲得の80%は視覚から、ともいわれる（[rKH]。）。 ヒトがモニターや画面にべったりとなる所以である。

ヒトは環境を認識するのに、圧倒的な割合で、視覚を使っている。 また、環境に対する反応の情報量は、感覚よりも桁違いに小さい。 ヒトという生物は、環境から多くの情報を仕入れて、生存・繁殖に有効なものを選んで、環境に働きかけている。

受容器官に刺激が与えられ脳に伝えられたものを感覚という。 熱いとか、音が聞こえるとかである。

感覚に対象の構造や特徴が加えられて意識されたものが知覚である。 長いとか、強いとか。 感覚はその一部が知覚となる。 意識に上らないことは多い。 あるものは、無意識的な反応として行動に現れる。 あるものは、エネルギーを節約するために意識を向けられずにフィルターされる。

さらに、知覚が過去の経験や学習に基づいて解釈されたものが認知である。 犬であるとか、母であるとか。 認知になると、文化や社会の影響が濃厚に出る。 社会の文化によって、虫の鳴き声を雑音と感じるか秋の風情と感じるか、が異なってくる。

図: 感覚、知覚、認知

感覚、知覚、認知は、ヒトが環境から情報を仕入れる、階層的な分類である。 感覚神経で刺激を受けてから、中枢神経・脳へ信号が伝わる過程で、階層的な処理が行われる。

一方、反応に関しては、不随意（無意識）的か、随意（意図）的か、の分類がある。 こちらは、不随意的な効果の積み上げの上に随意的な効果がある、という階層関係ではない。 環境へ反応するには、素早く対処するのとゆっくり反応するのを使い分けている。

技術にも、小さな流れと大きな流れがある。 小さな流れとは、一時的な「流行（はやり）り廃（すた）り」である。 小さな流れに嵌ると、今見えているパラダイムの中で、細かい技術論に明け暮れてしまうようになる。

本文書では生体機能から道具を見直す。 そのため、議論の参考として、生物の歴史的な経緯をしばしば参照する。 それによって、ヒトと道具の関係に関し、大きな流れからの視野を確保する。 流行りでなく歴史を見てみよう。

ここに生物の歴史と時間スケールを示す。

図： 生体の歴史

まず、37億年の地球の生物の歴史の中で、一桁小さく近い過去、5億年前にようやく眼が誕生した。 まず味覚・嗅覚という化学的感覚や、聴覚・皮膚・体性などの物理的感覚があった。 そういうところに、視覚という電磁波の遠隔感覚が突然と登場した。 生殖や生存競争への影響が大きかったことが、想像できる。

ヒトの視覚は、5億年の年月をかけて進化してきた結果である。 視覚はヒトの持つ器官の中でも特に配的な受容器である。 例えば、文字を素早く読み取り、モニターから大量データを瞬時に把握する。

眼が誕生した後の生物史の中で、さらに一桁小さく近い過去、6,000万年前に、 恐竜が滅び、地上の生物の主役交代が起きた。 そこから哺乳類が栄え、類人猿が出てきた。

そして、さらに一桁小さく近い過去、400万年前に、人類の祖先、アウストラピテクスが生まれた。 そして二足歩行を始めた。 それが手を器用にし、社会的関係を発展させ、脳を大きくした。

手は、ヒトにおいて、支配的な効果器である。 手の器用さとヒトの知能は、相互に刺激しあって発達した。 ヒトの手は、文字言語をはじめ、ヒトのいろんな文化に貢献してきた。 ヒトは、ハサミや箸、マウスやキーボードを上手に操る。

さらに一桁小さく近い過去、35万年前に、言語が生まれた。 生物が生まれてから四桁小さく近い過去に、概念活動が生まれたのである。 それは、当面、音響言語だった。

さらに二桁小さく近い過去、5,000年前に、眼と手の能力を利用し、文字言語が生まれた。 文字言語は、ヒト社会の中で、時空を超越する。 それが、今日の文化・技術を紡いでいく。 そして、それは遺伝子の変化ペースを上回って進んでいるかのようである。

しかし、眼と手と文字言語の影響が大きいがゆえに、音響言語の価値を見失ってはいけない。 音響言語は、文字よりも二桁長い期間、ヒトの概念活動の母体であった。 そのような音響言語は、その場の表現であり、コンテキストが具体的で豊かである。 誰が、誰に、何のため（意図）、何を、が明らかである。 そのときの、まなざし、表情、声音、指差しなども、意図を補足するコンテキストとなる。 これらは音響言語が持つ、状況性あるいは身体性とでも呼べる。

ヒトは今日、IT機器を操作するために、手と眼を使う。 ヒトは今日、主に文字言語をコンピューターに与え、処理する。 それらは、歴史的な経緯からして当然である。 しかしそこでは、言語本来の、意図の直接表現、状況性や身体性を利用していない。 さらに、言語が生まれる前からあった、優れたヒトの身体能力も利用していない。

ヒトの脳は大きい。 ところで、純粋な大きさでいえば、クジラのほうがヒトよりも脳は重い。 クジラは神経細胞の数も1億を超え、ヒトと大差ない。 しかし、脳の重さに体重を加味した指標だと、ヒトの脳の大きさはほかの動物を引き離す。 どんな要因がヒトの脳を大きくしたのか？

初期人類のアウストラロピテクスは、320万年前、直立二足歩行を始めた (第1章-[2] 『図 生体の歴史』)。 手が自由になったことが、手先の器用さを促した。 ヒトは、親指がほかの指と対面し、上手にものをつかめた。 次第に、ヒトは手指で複雑な作業ができるようになった。 手先の器用さと道具の巧みさと脳の発達に、相乗効果があった。

一方、霊長類は、社会的関係が強く複雑である（[rCP]）。 その社会的環境の中で、他個体との関わりから生じる様々な問題を解決する必要があった。 それが、脳の発達を促した。 マキャベリ的知性仮説、あるいは社会脳仮説といわれる （[rYH]）。

• 霊長類には社会的行動がみられる。 毛づくろいや抱擁などの身体的接触で関係を強める。 あくびが移るなど、他個体の行動を無意識に真似する（カメレオン効果）（[rYH]）。 ゴリラのリーダーは鳴き声で群れを統率する。
• 霊長類はほかの個体の道具使用を模倣する。 ある道具を使うとき、それを身体の一部とみなして興奮する神経細胞を、 ミラーニューロン([rCP])という。 それは、他個体が目の前でその道具を使うときも興奮するという。 つまり、他個体を見て、自分の行動神経回路を適用して模擬している。
• 霊長類は、他個体の視線や指さしによって、他個体の注目対象に注目するという共同注意行動を行う。 他個体の心を推察することができ、心の理論を持っている。 また、ヒトでなくても、他個体の表情に対し、脳のヒトと同様な脳部位が興奮するという。 他個体を意識する心の理論は、自己意識の源でもある。 「心の理論」が生まれると、他個体の注意がどこに向いているかを意識できる。 すると、それが自己の身体に向かっているかもと、意識できるようになる。 他個体の心が注意を向けている「じぶん」という意識が、自己意識の源である。 なお、チンパンジー、ゴリラなどは、鏡を見て自己認知できるという[rCP]。

手・道具と社会脳という二つの話は、直立二足歩行を共通要因としてつながる。

直立すると、腰周りを細める必要がある。 産道が狭まった。 そのため、子供は小さい早い時期に出産したほうが有利だった。 子供は、ほかの動物よりも、未熟な状態で生まれることになった。 未熟な子供には、周りで守る仲間が必要だった。 子育てのために、大人の社会が必要であった（[rYH]）。

このようにして、直立二足歩行が手と脳の相乗作用をもたらした。 さらに、ヒトの社会性の一層の強化を促し、脳を成長させた。

一方で、ヒトは発声器官を進化させていた。 そして、上記のような発達した社会脳のもとに、音響言語での会話が発達した。 逆に、会話がさらに社会脳を大きくしたことも想像できる。 音響器官の進化の上に、社会的会話と脳の成長の相乗効果もあったかもしれない。

図: 言語発生までの要因

さらに、火を使い始めたことも脳の進化を促進した要因の一つである（[rYH]）。 火を使った調理によって、消化が楽になった。 そのおかげで、小さな歯と短い腸で足りるようになった。 そして、得たエネルギーを脳に使うことができた。

言語の発生については、諸説ある。

どんな動物も、なにがしかのコミュニケーション手段を持って、仲間と会話する。 例えば、ハチはダンスというジェスチャーで、餌の場所を会話する。 多くの動物は、フェロモンという匂いの化学物質で、生殖のための会話をする。 ある魚は、電気で会話するという。 ある動物は、体表の色で異性にアピールする。 カラスやシジュウカラは、鳴き声の種類や組み合わせで、仲間と会話する。 ある動物たちは、体臭を残すことで、縄張りを他個体に伝える。 これらは、生存・生殖に密着した会話である。 一方、霊長類は、声を使い、他個体を欺くためにさえ使う。

マイケル・コーバリスは、身振り・手振りで表現することが、ヒト言語のもとになったと唱えた （[rMC]）。 赤ちゃんでも、表情、まなざし、指差しなどで会話する。 これらは、空間的・視覚的な情報伝達手段である。 そして、ヒトの場合、35万年前ほどの頃には、発声器官が発達していた。 空間的・視覚的な表現で弁別してきた意味を、音響言語を操ることで、より複雑でより正確に表現できるようになった。

解剖学者の養老孟司によると、言語には時間的言語（音声）と空間的言語（文字)とがある（[rYT]）。 視覚は光という電磁波を感知し、聴覚は空気振動を感知し、感覚器官としてはそれぞれ独立に進化した。 視覚は空間の中に時間と無関係にあり、音は時間の中に空間と無関係にある。 35万年前ごろ、ヒトはそれら異なるものを連合し統一した。 それが、ヒトにおける言語の発生だという。 視覚的言語と聴覚的言語の連合は、ヒトの大脳の神経細胞の接続でも説明できるという。 聴覚的言語を扱う部位（ウェルニッケ中枢）と、視覚的言語を扱う部位（角回）とは、つながっている。 そして、双方が運動性言語中枢（ブローカ中枢）につながっている。

言語の発生によって、ヒトは飛躍を遂げた。 さらに、5,000年前頃、空間的言語として文字というものが加わり、また別次元の文化の爆発をもたらす。

ヒトは、動物的に知覚に反応する以上に、抽象的な概念・シンボルを思念する力を持っていた。 言語は、実在するあるいは抽象的な何かを指示し、構文構造を持って組み立てる。 構文構造は、再帰的なので、実質、文の種類は無限である。 ヒトは、言語によって、概念を組み合わせ、無限の種類の意味を表現し、理解することができるようになった。 感覚から離れた複雑な概念をも表現できることが、ヒトの世界を広げた。

歴史家ハラリによると、 ネアンデルタール人やデニソワ人でなくホモ・サピエンスだけが生き残ったのは、 架空のことを語る柔軟な言語のせいだという（[rYH]）。

7万年前から3万年前にかけて、ネアンデルタール人が滅びる一方で、ヒトは、アフリカ大陸を出て他大陸に広まった。 ヒトは、その頃、船、ランプ、弓矢、針などを発明した。 宗教、交易、社会的階層も生まれた。 ハラリは、この時期のヒトの変化を「認知革命」と呼んだ。

動物の世界では、社会的集団で安定した関係を保つには 個体数150（ダンパー数）が限界だという（[rSW]）。 ホモ・サピエンスが生存競争に勝ったのは、ネアンデルタール人に比べて、多産だったからという説もある。 多産で、ダンパー数を越えて安定した集団で、言葉でコミュニケーションし協力し合って暮らした。 これができたのは、ハラリによると、認知革命によって、架空の物語、つまり、 彼の言葉でいうと虚構（伝説、神話、宗教など）を共有できる能力があったためだという。

抽象的概念を操る道具を得たことで、ヒトは社会的知能といえる集団的な蓄積を持つようになった。 ある個体があることを考え出したとする。 それは集団の中に伝わり、共鳴者が広がる。 そして、集団の知能として、各人に内在化される。 別の個体が、最初の考えの上にさらに別の考えを追加する。 高められた考えは、再度、集団の中に共鳴者を生み、広がり、内在化される。 つまり、個人の概念的思考と社会的知能とが、相互に刺激しあうポジティブ・フィードバックである。 集団が大きくなるにつれ、集団間も共鳴振動しあう。 社会的知能は、個人の思考を増幅する。 個人の思考は、社会的知能を増幅する。 相互にどんどん高まっていく。 こうして、宗教、学問、科学など、今日のあらゆる文化が生まれた。

図： 言語の効果: 認知革命

ところで、現代は、道具としてのコンピューターが言葉を操れるようになった。 これは、昔ながらのヒトと道具との関係性とは異質な水準の関係へ導き、 別種の共鳴振動を引き起こしうる。

巨大言語モデルは、いわば社会的な知能・文化の一表現である。

およそ5,000年前のシュメール文明に、ヒトが文字を使った初めての痕跡がある（[rCL]）。 ヒトは、器用な手指とそれを導く高度な視覚があって、文字を操れる。 ところで、発声言語の出現は、いくつかの進化要素の組み合わせで、偶然にも見える。 が、文字の発生の前には、すでに器用極まりない手があった。 そして、抽象概念をあやつる音響的言語があった。 文字の発生は、必然に見える。

ヒトは、文字によって、時空間を超えて情報を伝達できるようになった。

文字によって、ダンパー数よりはるかに多数のヒトに、情報を確実に共有する道が開けた。 音声では、近場のヒトにしか伝わらない。 一方、文字は、個体や生活空間や広場の枠を超えて伝達できる。 それは、集団としての文化形成、教育、思考の深化に役立った。 構成個体数が多くなれば、そこにネットワーク効果が生まれる。 以前より規模を大きくして、社会の変化が起きるようになった。

さらに、文字は時間的な次元でも効果をもたらした。 音声は時間とともに流れ去る。 しかし、文字は外部に永続的に記録できる。 そして、それは世代を超えて伝達できる。 文化や変化が蓄積できるようになった。

外部に視覚的に文を保持できるため、伝承スタイルも様変わりした。 ゴータマ・ブッダの弟子が生きた時代、師の教えを受け継ぐには口伝(くでん)しか方法がなかった。 口伝の記録は、同じことの繰り返しが多い。 音声表現は、韻を踏んだ繰り返しだと、覚えやすい。 また、言い間違えが起きないように、詳細を何度も繰り返した。 しかし、文字が利用できるようになると、それらの必要がなくなった。 目で即座に確認できるため、省略もできるようになった。

ヒトは、視覚的に一度に多くの言葉を認知することができる。 しかも、永続的な記録は目で何度も確認できるため、記憶しやすい。 さらに、省略もできるため、記録効率もいい。 そして、表現された思想を何度も反芻して、知識や思考を深めることができる。

コンピューターが生まれたとき、文字は、文字コードに符号化された。 このディジタル表現のため、テキストのコピーや通信や計算処理は容易だった。 文字がなければ、プログラムという概念もありえなかった。

文字は、人が生物として強みを持っていた生体機能、目と手で操作する。 これによって、知識や文化の集団共有のスケールが大きくなり、ヒトの歩みが一層加速された。

ところで、文字の登場時期は、ヒトの進化史から見ると、かなり最近のことである。 ヒトは、ほとんどの時期を音響言語で過ごしてきたし、概念を操る認知革命を文字なしで起こしていた。

図: 音響言語と文字言語

ヒトにとってより自然で基本にある音響言語のメリットを、もっと引き出せるのではないだろうか？

• ヒトは、音声という生得的な能力で、自然に意図を表現する。 ヒトが何をしたいのかはそこに明らかである。 つまり、音響言語は、意図を表現する。
• また、そこには、誰が、どういう感情で、いつ、どこで、などはすべて、明示的である。 つまり、音響発話は、状況が直接的・具体的である。 道具であるコンピューターから見ると、アプリの制約がそこにたくさんある。

ヒトは、抽象的な概念・シンボルを思念する力を持った。 ヒトは言語によって、概念を組み合わせ無限の種類の意味を表現し、理解することができるようになった。 ヒトは文字によって、時と空間を超えて意味を共有できるようになった。

言語や文字によって伝達されるものを情報という。 ヒトはコンピューターによって、情報を記憶し操作する道具を得た。 それによって、疲れ知らずに仕事をこなせる。

コンピューターによって、情報のディジタル化ができた。 それによって、紙の記録の物理的な劣化から解放された。 さらに、コピー、更新、加工が楽になった。 検索やソートやチェックといった計算機能が難なくできるようになった。

そして、コンピューターをネットワークでつなぐ、インターネットが生まれた。 このインターネットによって、誰でも、情報を発信しアクセスできるようになった。 ヒトは、誰とでも即座につながれるようになった。 文字による外部の知識が、インターネットというヒトの巨大な情報共有倉庫に変化した。

図: ディジタル化とインターネット

コンピューターとディジタルデータとインターネットは、ヒトが生み出したほかの抽象物を改変して、さらに発展した。

例えば、スマホの地図アプリを見てみよう。 地図は、ヒトの空間認知の抽象である。 地図アプリの情報は、紙の地図と異なり、本屋へ出かけて買ってくる必要はない。 スマホをポケットに入れておけば、かさばるものをカバンに入れて持ち歩く必要はない。 探したい場所は、ズームインとズームアウトの組み合わせで、一瞬で見つかる。 メモを付加することができる。 スマホは自分がいる場所をGPSで感知しているので、いまここから、目的地までの道案内をしてくれる。 今利用したレストランで感じたことを読み、書いて共有できる。 近くの道路の混雑具合をすぐに調べられる。 ここでは、地図、GPS、店舗情報、道路などが融合されている。

コンピューターの力は、情報だけでなくほかの抽象物をも巻き込むので、想像できない可能性を持つ。

ヒトとコンピューターのインターフェイスの問題を探る前に、その歴史を振り返っておく。

コンピューターは、第2次世界大戦でミサイルの弾道計算などに利用され、成功をおさめた。 そして、ヴァネバー・ブッシュが1945年に 「私たちが考えるように」（As We May Think）という論文（[rVB2] ）を公開した。 「大量生産できるハードウェアの進歩で、人の物理的な力は拡張した。 これからの科学者は、ヒトの精神を拡張することに向かうべきだ」と唱えた。 この論は、以降のコンピューター研究者の先人たちにインスピレーションを与え続けたという。

つまり、コンピューターは、その創成期には『知能の拡張』が目標だった。 頭脳労働を助けてくれる道具という発想である。 ここで、コンピューターの主な利用者は、科学者や研究者という、 インテリないし『エリート』だった。

ブッシュの影響を受け、その後、いくつかの重要な概念が生まれた。

当時、コンピューターに一括してデータを与え、一括して結果を受け取っていた。 リックライダーは、1960年に、ディスプレィごしに対話式にやり取りすることを提唱した。

エンゲルハートは、1962年、「Augmenting the Human Intellect: A conceptual framework」という論文を発表した。 そして、1968年に学会で、マウス、ワードプロセサ、COPY&PASTE、ハイパーリンク、リアルタイムな共同作業、画面分割、ビデオ会議などを デモし（[rDE]）、参加者をびっくりさせたという。

その後、回路の集積度が高まり、ハードが小型化していった。 そこで、アラン・ケイが、1970年代にパーソナル・コンピューター（パソコン）の概念を発明した。 ここに、60年代に芽生えたグラフィカル・ユーザー・インターフェイス（GUI）と呼ばれるものが、ほぼ完成する。

このとき、アラン・ケイは、子供でも誰でも使えるコンピューターを狙っていた。 つまり、コンピューターの歴史の中で、初めて想定利用者層（ペルソナ）の転換という画期的なことをやった。 しかし、パソコンも、エリートの知能を拡張するという道具の枠組みから踏み出さなかった。

ユビキュタス・コンピューティングという批判があった。 しかし、エリートの知能拡張のための道具ということに対し、多くのエリートたちに批判的な思考は起きなかった。 エリートや技術者たちは、頭脳労働を助けてくれる素晴らしい道具を手にし、いろいろなことを実現するために夢中になっていたのである。 ウィンドウ、アイコン、メニュー、ツールバー、カーソルなど、 コンピューター特有の抽象的な概念とそれを実装するコードが、どんどん積み上げられていった。 そこに、ヒトが持つ意図・目的とかヒトの身体性とかはなかなか視野に入ってこなかった。

そして2000年代に、スマートフォーンが生まれた。 利用者層は、エリートでなく一般のヒトである。 用途は、情報の流通である。 もはや、エリートの知能拡張という発想のインターフェイスでは、限界があるのは明らかである。

図: コンピューターの歴史

多くのIT技術者は、このエリートの知能拡張という発想の枠内で問題解決をしてきた。 IT技術の受益者である消費者とともに、過去の発想の犠牲者ともいえるのではないだろうか。 しかし、IT技術者も、受益者も、遅かれ早かれ、その限界に気づくだろう。

認知心理学によると（[rCP]）、ピアノ、蛇、時計、ハサミなどの具体的なものの単語は、 正義、能力、自我などの抽象的な単語よりも、記憶として保持しやすいという。 具体的なものは、目で見て、耳で聞き、触れる。 それらは、身体全体でやり取りする。 一方、抽象的なものは、ヒトの頭の中でのみ存在する。 それを扱うのは大脳皮質である。

コンピューターという道具で扱うものは具体性がない。 まず、操作の意味が抽象的である。 また、いくつかの抽象的なステップをたどる。 そして、操作の結果は電子的な変化に過ぎず、具体的に見えない。

ドナルド・ノーマンは、行為は７段階の手順を踏むとした（[rDN]）。 「(1) ゴールがまずある。(2) 実行しようという意図が起きる。(3) 行為系列へ展開する。(4)行為系列を実行する。」 => 外界を操作し、結果が返る =>「(5) 外界の状態を知覚する。(6) 知覚したものを解釈する。 (7) 解釈を評価する。」 => (1)へ戻る。

図： 行為の7つの段階

コンピューターを操作する場合に当てはめてみる。 例えば、スマホの通知が鳴ったり鳴らなかったりを、変えようとする。 (1)ゴールと（２）意図は、明確である。 鳴ったか鳴らないか、（７）解釈評価も明確である。 一方、どうすれば鳴ったり鳴らなかったりを変更できるのかの(3)(4)、および どういう設定になっていればどうなるかを確認する(5)(6)も、コンピューターの概念を理解していないと難しい。 コンピューターを操作する場合、(3)から(6)がコンピューターに特有の抽象概念から構成される。

図： コンピュータ概念を含む行為

他の例を挙げる。

• 高齢者は、面倒なためスマホの画面をロックしないでおくことが多い。 ロックするには、設定アプリを起動して、画面や安全関係のメニューを開け閉めして探し、 指紋とか顔認証とかパスコードとかパターンとかいう表現の意味を理解しておき、 しかるべき設定変更をしなければならない。 やりたいのは、ほかの誰も開けないようにすることである。 そのために理解し、やらなければいけない、中間的な抽象概念が多い。
• 高齢者は、設定の類をうまくできない。 それでもいじっているうちに、お休みモードやマナーモードになってしまうことがある。 すると、戻せなくなって音が出なくなったとかいうトラブルにはまる。 戻すには、設定アイコンに始まる概念構造に潜り、いくつかの中間ステップが必要となる。
• 頻繁に見たいWEBページへのショートカットをスマホの画面に置きたい。 それをやりたいだけなのに、いくつかのステップを経ないとできない。

こういう抽象的な過程は、ヒトには記憶しにくい。 高齢者は、試行錯誤を嫌うので、発見して習熟するのも難しい。 しかし、これらはそもそも余計なステップである。 （１）、（２）、（７）だけで、他はないことが望ましい。

図： コンピュータ概念のない行為

現在のコンピューターは、果たして理想的な道具なのであろうか？

ドナルド・ノーマンは、スニーカーのマジックテープを、 技術の進歩のお手本とした（[rDN]）。 ヒトは、靴の紐を結ぶという習慣に慣れていた。 マジックテープが出てきてから、それは一瞬の簡単なことに変わった。 障がい者も、子供も、その恩恵を受けた。

また、自動運転は、別のお手本である。 車の運転は、手段である。 目的は、ある場所へ移動することである。 自動運転は、苦痛なく、目的達成を果たしてくれる。

目的とは何か。 ドリルを買うヒトは、ドリルが欲しいのではなく、穴が欲しい。 パソコン が欲しいのは、きれいな文章やグラフが欲しいからである。 スマホが欲しいのは、いつでもどこでも検索したいから。

道具は、最終目的をすぐに達成できることが理想である。 しかしながら、コンピューターの操作は、目的達成のための中間の手順を使い手に強いる。 それらはコンピューター特有の抽象的概念である。 したがって、コンピューターは理想的な道具ではない。

図: 目的と手段

手段をデザインの一部にするのは、作り手の立場から出ない。 目的をデザインのゴールに据えることは、利用者の視点を重視することである。 手段をデザインの一部にすると、ヒトがコンピューターに合わせることになる。 目的をデザインのゴールに据えれば、コンピューターをヒトに合わせられる。

ヒトは視覚的動物で、手は器用である。 古来、ヒトが道具を操作するとき、目と手指は主役級だった。 そして、現在のコンピューターを操作するとき、情報の獲得はもっぱらモニターを目で見ることで行う。 情報を生産しあるいは反応するときは、手指で行う。 テキスト生産も、指示（コマンド）も、位置指定・対象選択も、手指で行う。

図: 操作モデル

しかし、ヒトはいろんな器官を総合して環境とやり取りをしている。 道具は、環境の一部であるとともに、ヒトの身体の延長でもある。 ヒトが道具を扱うとき、感覚器・受容器を総合して身体でやりとりするのが自然である。

目だけで環境を知覚し、手指だけで反応するというのは、むしろ特殊な状況といえる。 エリートたちは、その特殊なインターフェイスで抽象的な概念体系を操作することを、問題視しなかった。

石井裕は、「人がコンピューター・ネットワーク空間に、マウスとモニターだけで触れるのは情けない」と言った([rIY])。 しかし、それは道具が未熟ということである。 ヒトの能力の面から見ると、目と手指だけでやり取りすることが、情けない。

現在のスマホを含むコンピューターのユーザー・インターフェイスは、 業界ではグラフィカル・ユーザー・インターフェイスと呼ばれ、GUIと略記される。 GUIは、目と手指だけに頼る。 これは、ヒトの身体能力を十分に生かしていない。

GUIが利用していない生体機能を、ここで拾ってみる。

• ヒトは、感覚や運動を特定の部分だけに頼って生活してはおらず、 総合して環境に対処している （第1章-[5]）。 しかし、GUIでは目と手指だけを使う。 それは、不自然に限定されたものである。
• ヒトは、視聴覚を融合して言語を用いて考える （第3章-1節）。 音響言語は、文字言語と極めて異なる利点を持つ （第2章-[3]）。 しかし、GUIではもっぱら視覚的言語だけを操り、口と耳は遊んでいる。
• 手指は、多様な器用さを持っている （第1章-[4]）。 しかし、GUIでは、一部の機能しか利用していない。 箸やハサミを操る手の多彩な能力は、どこへ消えたか？
• 手は、機械動作するため遅い （第1章-[4]）。 特に、発声のテキスト生産は、指の5倍速い （第1章-[4]）。
• ヒトは3次元の住民である （第1章-[3]）。 しかし、２次元の光る画面をにらんで、コンピューターを操作する。 リアルな世界の３次元の豊かさを生かしていない。
• コンピューターは、大脳皮質が操作する。 歩いているときに、地図を見たくなった。 歩きながら、手でスマホを持ち、目はスマホにくぎ付けになる。 歩きながら転ばないようにバランスをとっている、皮質以外にある知能 (第1章-[5]) は、スマホと無関係に動いている。
• 視覚は、遠隔感覚である （第1章-[1]）。 一方、手指の機械動作系は、近接作用器官である。 ヒトが道具を利用するとき、目と手を使う。 手の届く範囲で、目を使う。 遠くを見る目は利用されていない。
• ヒトは、運転とおしゃべりを素早く切り替えることができる （第1章-[5]）。
• 視線や指差しは、注目対象という、非常に重要な情報を与える （第1章-[4]）。 ヒトの社会関係の中でも重要な役割を担う。 GUIでは、利用されていない。
• 嗅覚は、利用されていない (第1章-[3])。
• 体性感覚という身体全体にかかわる受容器や、手指以外の身体は、利用されていない (第1章-[3])。

現在のGUIは、ヒト生体の利点の多くを利用していない。

人々の日常は、様々な制約に取り囲まれている。 ドナルド・ノーマンによると、ハンマーやハサミなど日常生活の道具は、以下の4種類の制約によって 操作できることが絞り込まれている （[rDN]）。 そのため、取り扱いやマニュアルなどなくとも利用できる、明確さを備える。

コンピューターのインターフェイスでは、これらのうち意味的・論理的な制約くらいしか、利用できない。 それをデザインするのは、水道の蛇口やドアのノブのデザインとは、かなり異なる。 制約が少ないのである。

コンピューターは、計算という目に見えない抽象的なレベルで動く。 抽象的な操作によって、抽象的な結果を返す。 どういうオプションを提供し、どういう結果提示をすればよいか、抽象的な枠しかない。 コンピューター・インターフェイスは、コンピューターを作っているヒトの頭の世界の中で組み上げられた概念構築物である。 制約が少ないところでデザインするのは、非常に難しい。

現在、GUIが主流である。 GUIの物理的に見える部分は分かりやすい。 操作はマウスやタッチで行う。 マウスは動かすとカーソルが動き、操作と結果の対応が明確である。 マウスカーソルを対象の上でクリックすると、対象が選択され、色が変わったりする。 タッチでも、対象選択の結果、アプリが起動したり、画面が変わったり、結果は明確である。

GUIでは、アイコンを多用する。 アイコンは視覚的なしるしである。 これは、一見、フレンドリーを装う。 しかし、視覚的な印は表現力に限界があり間接的である。

以下に、世界標準の文字コード体系の中から、意味が分かりにくい絵文字をサンプルした。

絵文字のあいまいさ

水道の蛇口やドアのノブには、何ができるかを示す手掛かりがある。 一方、GUIのアイコンは手掛かり機能が弱い。 当初はデスクトップ・メタファーという考え方があった。 それは、仕事机にあるペン、文書、ファイル・キャビネットなど、実体あるものに似せようとするというものだ。 しかし、機能が豊かになり拡大するにつれ、抽象的なことも表現しなければならなくなった。

ダウンロードや送信を意味する絵ってなんだろう？ 設計者によってバラバラである。 具体的な対象を示す非言語的イメージは、記憶に残りやすい （[rCP]）。 しかし、抽象的な視覚イメージは、意味が通じにくく、記憶しにくい。

高齢者の場合はなおさら、抽象的アイコンは困難を招く。 高齢者は、「？」からHELPを連想できない。 ３点リーダーは意味不明で、それをタップすると、画面に掲載できなかった「コマンド」が出てくるとは、想像できない。 プラスマークや三角マークをタップすると、何やら展開して新しい詳しい情報が登場してくるとは、期待しない。

現在のスマホのホーム画面のアイコンにテキストラベルが、仮になかったとしよう。 高齢者でなくとも、使えるだろうか？ 言葉という手段を併記して初めて意味が通じるしるしとは、いったいどういう価値があるのだろう？ アイコンは、不適切なところに利用されている。

うまくアイコン経由でアプリを起動できたとする。 内部の機能を見てみよう。

以下の場合は分かりやすい。

• 対象が、明確な意味を備えているアプリは分かりやすい。 スプレッドシート、地図アプリ、ワードプロセッサ、電卓アプリなどである。 このようなアプリは、できることがわかりやすい。 やった結果も分かりやすい。
• 利用者の意図が明確か、機能的に単純なアプリも、分かりやすい。 電話、ショートメッセージ、ニュースアプリなどである。 例えば、高齢者は、他に何もできなくても電話アプリは使える。 電話の実物で使った経験がある。 数字パッドを打つと、ツーツーと音が鳴り、相手が出る、ないし「つながりませんでした」とくる。 電話等の概念も、操作も知っているし、結果もすぐに出て明確である。

しかし、そういう利点を持たないアプリや抽象的機能も多い。 利用者は、あることがやりたいだけである。 しかし、アプリは、使い手視点から遊離して、作り手の都合で組み上げた概念を押し付けてくる。 以下、高齢者がスマホやパソコンを使う上で、はまった問題ケースから例示する。

• 文書作成で、利用者がやりたいのは、きれいな文書を作ることである。 そのファイルを作ったと思ったら、上書き保存とか名前を付けて保存とかいうのは、何か？ 保存する場所に、マイドキュメント、デスクトップ、OneDrive とか出てくるが、どういうことか？ 利用者にとっては、名前とか保存場所などは、どうでもいい。 後で、作った文書を取り出したり、印刷できればよい。 ところが、ファイル・フォルダーやクラウドサービスなど、コンピューターの諸概念をヒトに押し付けている。
• 高齢者がスマホを使うとき、「アップデート」の意味は分からない。 通知が来ても、わけが分からないので、無視する。 そのうちに、Versionが古くなってほかのソフトと整合しなくなり、動作不良を起こす。 高齢者にとっては、それならもうスマホの買い替え時かとなってしまう。 アップデートとは、コンピューター特有の抽象概念にすぎない。 が、ヒトがそれを理解していることを当然視している。
• コンピューターは、ヒトがIDとパスワードを記憶していることを当然視している。 生身のヒト世界では、記憶は薄れ、控えは紛失するものである。 そういう生身のヒトの特質を無視し、コンピューターの都合を押し付けている。
• スマホを使っていると、「……が足りない」とくる。 たいていは、詐欺メッセージである。 たまに写真とかの記憶領域が足りない場合もある。 スマホのストレージの利用状況をチェックすべきである。 しかし、資源が足りないとは一体どういうことなのか？ メモリとストレージとは、どういうことなのか？ これらコンピューターに特有の抽象概念を、理解しておけと？
• スマホの電波の状況表示として、扇形と三角形と２種類の表示がある。 これは、一体、何？ Wi-fiが使えるときは、それを使った方が経済的である。 しかし、これは利用者が意識すべきことなのだろうか？
• いつも使うWEBページがある。 それをスマホの画面に置きたい。 ショートカットをホーム画面に置くとはどういうことか？ 利用者は、ただすぐにみられるようにしたいだけである。 ところが、インターネット、URL、WEBページ、ホーム画面などの意味を理解しないと、目的が達成できない。

石井裕は、「いまのパソコンのユーザー・インターフェイスは抽象化しすぎである」と言った([rIY])。

ヒトがドリルを買うとき、欲しいのはドリルではなく穴である。 ドリルはHOWであり、穴が望ましい結果のWHATである。 ヒトは、WHATに価値を置き、HOWには興味がない。 それと同じことが、コンピューターの操作にもある。 やりたいことが目的でWHATである。 操作の抽象概念はHOWである。

文書とコンピュータ抽象概念

第1章でみたように、項目が3個か4個までであれば、 それを記憶したり選択するのは負荷が小さい。 ところが、GUIのメニューは、機能を増やして詰め込む、いい掃きだめになっている。 ある１つのメニューが、１画面に収まらないことも珍しくない。 デザイナーは、利用者に必要なことだけにメニューを絞り込むことに、多くの場合、失敗している。

メニューは、簡単に項目数が増える。 メニューは、別メニューを項目として持つこともある。 こうして、ヒトがやりたいことを実行するのに、広くて深い探索空間を相手にすることになる。 理想は、狭く(4個以内)て浅い選択肢のみであってほしいのに。 使いやすさの逆である。

さらに悪いことに、 メニューの用語は、しばしば、作り手の都合に基づく専門的内部用語である。 また、利用者がやりたいことよりも、見つけてほしい広告的なメニュー項目だったりする。

高齢者向けのスマホは、購入時、すでにたくさんのアプリアイコンが組み込まれている。 これらはメニューではないが、選択肢を提供する役割を同じくする。 電話と連絡先は使える。 カメラと写真も使える。 それ以外のアプリは、何なんだろう？ 高齢者にとって、無駄ににぎやかな選択肢は必要な機能を探すときの障害になっている。 ヒトのための道具なのに利用を阻害しているのは、本末転倒である。

GUIは、ヒトの概念的な構築物である。 時間を経て発展するうちに、有機物と同様にどんどん複雑になる。

スマホが登場したとき、当然GUIが適用された。 広い画面のインターフェイスが小さい画面のものへと変化した。 マウスはタッチという直接操作へ変わった。 しかし、それまでのGUIをもとにその進化を重ねたため、複雑さはより増した。

まず、構造的な問題がある。 パソコンに比べてスマホは画面が小さい。 パソコンのGUIの階層世界と同等のものを、小さな画面で提供するために画面遷移が多くなる。 パソコンだと一度で把握できる構造が、スマホでは複数画面の渡り歩きが必要となる。 コンピューターの抽象概念を、より断片的に相手にするため、分かりにくい。

画面のため、スマホはパソコンに比べて、複雑なアプリが提供しにくい。 そこで、あるアプリは、機能を削らずインターフェイスの複雑さを増した。 また別の多くのアプリは、機能を削る方向に行った。 他方、あるアプリは、最初からスマホに最低な機能デザインにする決断をした。 抽象概念をより隠し、利用者の問題解決に、より直接答えるデザインをとったアプリはあるのだろうか？

次に、操作上の問題がある。 タップは、ボタンを押す日常的な動作と近いので、選択の意味と対応づく。 ページや地図のスクロールやスワイプは、直感的に分かる。 地図を大きくしたり小さくしたりするするピンチも、直感的に使える。

だが、そういう直感的な対応ができることばかりではない。 意味と対応づかないジェスチャーも多い。 例えば、電話が来たときに、受けるのをスワイプでやらせるのがある。 スワイプに一体どういう直感的な意味があるのか？ 長押しで、アプリのメニューが出てくる。 長押しにどういう意味があるのか？

しかも、ジェスチャーと意味の間の対応が以下のように複雑に絡み合う。 慣れないヒトが慣れるのは至難である。

• 一つの操作で、複数の意味がある。 例えば、タップはアプリの選択＋起動であり、項目のタップは選択＋メニューの起動でもあり、 入力フィールドの選択でもある、など。 機能の数がスイッチの数を超えている状態である。
• 一つの意味なのに、その操作は複数ある。 例えば、スマホでアプリを削除するのは、アプリアイコンを長押ししてから行う。 しかし、写真ギャラリーで写真を削除するには、タップして行う。

ヒトが道具を操作するのは、一方向の関係である。 操作してから向こうからの反応を見るまでは、ブラックボックスである。 そこに、逆の関係が潜みこむ。 利用者が道具に操作されていると解釈もできる現象が、すでに現実に、どこにでも起きてしまっている。 以下のような経験がないだろうか？

• スマホを操作している。 何気ない操作がトリガーになって、画面いっぱいに広告らしき枠が出てくる。 了解ボタンがあるが消せない。 この場合、ボタンを押すしかなくなる。 スマホのそのアプリないしページに、それを使っているヒトが操作されたのである。
• スマホをONにする。 ホーム画面に並んでいるアイコンのそばに、赤い小さな丸と数字が出てくる。 何かの通知なので、そのアプリを叩いて開く。 しかし、赤い数字は消えない。 気になってイライラする。 スマホのそのアプリが、それを使っているヒトの心を邪魔しただけでなく、 何か理解できないことを指示し要求したのである。 スマホアプリは、通知を出し放題である。 利用者は、それらのほとんどを必要としていない。

こういう逆操作は、ヒトが選んでいるという建前であるため、なおさらたちが悪い。 そもそも、道具のほうが勝手にヒトに何かをプッシュするというのは、ヒトの意図に反することである。 ヒトがコンピューターを操作する関係は、逆に意図を無視した情報の流れも増長している。 広告ビジネスモデルは、機械がヒトを操作することを公然と許している。

ここからは、コンピューターのユーザー・インターフェイスというよりも、 ヒトと、ロボットも含む知的な機械のインターフェイスというテーマとして議論する。 そのテーマは、ヒューマン・マシン・インターフェイスとか ヒューマン・マシン・インタラクション（HMI）とかいわれる分野である。

コンピューターという道具は、エリートの知能拡張のツールとして始まった。 従来の道具同様、目で対象を見て手で操作し目で結果を確認する。 エリートなので、操作時のユーザー・インターフェイスが抽象的で難解でも、それでよかった。 しかし、今は万人がこれを使う時代になった。 用途も、ヒトの情報流通や、生命に関わるライフラインである。

ヒトは、普段、誰でも、日常的に自然に行っていることが2種類ある。 ハサミなど道具を操作することと、ほかのヒトと会話することである。

道具が比較的単純で分かりやすいものであれば、ヒトが道具を操作する関係に問題はない。 しかし、道具が高度に複雑な場合、ヒトに認知負荷がかかる。 現在の知的な機械およびそのユーザー・インターフェイスの諸問題を、前章で見てきた。 やりたいことを機械特有の抽象的な概念レベルへ対応付ける必要がある。 アイコンでは表現に限界がある。 メニューは掃きだめである。 操作と意味の対応関係が複雑である。 操作しているつもりで、逆に操作されるリスクが高い。 もはや限界に近い。

他方の会話はどうか？ ヒトは日常的に自然に行い、認知負荷はない。

知的な機械のほうはといえば、言葉を理解し始めている。

もはや、ヒトが知的な機械を、抽象的な概念を介して操作する関係ではなく、 ヒトのように日常的な言葉で会話するパートナーという関係のほうがフィットする。

図: 会話モデル

操作と会話は、以下のように異なる。

• ヒトが道具を操作するとき、その関係は、一方向である。 それに対し、会話関係は双方向である。
• ヒトは、ヒトに何かやってほしいとき、そのやってほしいことを言う。 ヒトは、日常的な話し言葉で意図を表現する。 認知負荷がない。 意図レベルの表現は、コンピューターに構築された抽象的な概念階層とは無縁である。
• 操作では、指示をして結果を得るまではブラックボックスである。 そこで逆方法に操作される危険がある。 それに対し、会話のやり取りであれば、 意図から外れた作為があれば、すぐ気づく。 機械に操作される危険は小さい。
• 指示命令を一度伝えて結果を待つ、のではない。 意図を伝えて反応を確認しながら働きかけることを、繰り返す。
• 操作は、主に目と手で行う。 しかし、ヒトは自然な状態では、環境に対し五感を総合して身体で反応する。 意図も、身体を使って、口振り（発話）、目振り（注目）、身振り・手振り（ジェスチャー）、表情で表現する。 会話では、 ヒトの生得的な身体能力をあるがままインターフェイスにする。

表： 操作と会話の比較

会話の関係になるには、もっとハイテクが必要では？ いや、すでに技術はある。

意図は、音声言語で自然に表現される。 音声認識技術はある。 音声インターフェイスを普及させればよい。

ヒトと機械が自然言語で対話する技術は、大規模言語モデルとしてすでにある。

音声による意図表現は、一見曖昧に見える。 音声認識で、アプリが組めるのか? 組み方を変えればいいのである。 すでにある技術を、ちょっと視点を変えてデザインすればよい。 この点は後述する。

さらに、身振り・目振り・手振りに反応するには？ ヒトの身振り・目振り・手振りは、発話とともに意図を表現する。 それを捕捉するには、知的な機械に目と耳をつければよい。 パソコンもスマホも、カメラとマイクをすでに備えている。 モニター付きスマート・スピーカーもある。 目と耳を持つロボットも出始めた。 このように目と耳を持つハードウェアはすでにある。 また、掃除ロボットに目をつけて、ヒトがあっちを掃除してと指示することは、技術的に今でも実現できる。 後はアプリのデザインである。

ヒトが知的な機械と会話するという関係では、音声が重要な役割を果たす。 音響言語の発生は、ヒトの社会的知能を発展させた。 機械は、ヒトの発話を理解し始めている。 従来の道具とは、質的に異なる性質である。 機械が言葉でヒトのパートナーとなれば、ヒトと機械道具の関係は不可逆的に変化するのではないか。

GUIでは、まず意味不明なアイコンを選ぶ。 さらにアプリの中の抽象的な概念に潜り、渡り歩く必要があった。 それらが認知負荷となっている。

一方、日常生活空間では、音声言語は意図を自然に表現する。 話し言葉で一見曖昧と見える部分は、話す相手や周囲の状況などのコンテキストで、実は明確である。 目と耳を持つ知的機械ならば、そういう状況をも利用できる。 また、質問などによるやり取りを利用して、意図解釈ができる。

GUIでは、意図が明示的でないので、ドナルド・ノーマンの行為7段階説の(3)～(6)という中間段階が必要だった。 利用者がそこを負担していた。 音声ならばステップ(2)での意図が明示的である。 そして、道具のほうでできるならば、やってしまって直接ステップ(7)に行くこともできる。 これにより認知負荷は減らせる。

スマート・スピーカーが出て、音声でやり取りするアプリがある。 スマホの音声アシスタントもある。 いずれも、当初、音声のみのインターフェイスだった。 音声のインターフェイスを、ボイス・ユーザー・インターフェイス、略してVUIという。

VUIでアプリを組む場合、それ特有の工夫が必要となる。以下などである。

• 音は消え、視覚のように再認できないので、解釈した意図を反復し確認をとる。
• 音を聞き取って理解した、あるいは聞こえたが解釈できなかった、などという、フィードバックを返す。
• 現在、何をしゃべってほしいのか、促すメッセージ（プロンプト）を出し、反応を促す。

ところが、音声だけでアプリを組もうとすると、利用シナリオが簡単なものに限定される。 例えば、天気予報を聞いたり、メモしたり、店舗の営業時間を聞いたり、アプリを起動したり、音楽を鳴らしたり、などである。 なぜなら、音声のみのやり取りでアプリを組むことには、以下の課題がある。 そのため、複雑なアプリ構築ができなくなってしまう。

• モードの制御がやりにくい。

  音声のみだと、音声を機械に聞かせている状態なのか、そうでないのかの区別ができない。 また、機械への指示コマンドなのか、文を記録させるためのテキストなのかの区別ができない。 さらに、これらの状態の切り替えもやりにくい。 「OK Google」とか「Hey Siri」とか言って、音声聞き取りを始めさせるのは、不格好では？ マイクの絵をたたいて始めるほうが自然である。 機械が聞き取ったよというフィードバックも、視覚的な反応もあったほうがヒトはすぐ理解できる。

• そもそも空間的な位置指定ができない。

  ヒトは、指差しや、マウスで、空間の位置指定を容易に行うことができる。 しかし、それを音声でやるとなると、曖昧な指示か冗長な指示しか表現できない。

• アナログ量の制御が苦手である。

  アナログ量は、空間的な概念である。 指つまみで簡単に指定できるボリューム量などは、音声言語で制御するのは難しい。 位置指定と同様、空間的な情報は空間的な手段で扱ったほうが良い。

• 構造的な情報を扱うのが困難。

  視覚は複数個の並列処理ができ、構造を記憶できる。 一方、聴覚は逐次情報を対象とし、 一度にたくさんのことを相手にすることは苦手である。 構造は、複数の要素と関係からなる。 フォームや手順は、構造的な情報である。 構造的な情報を扱うのは、音声＋聴覚は苦手である。

  例えば、フライトを予約したい。 日時と人数を指定する。 出発場所と到着場所を指定する。 その上で、値段込みの選択オプションを検索する。 それら関連した情報を機械に指定する過程で、 ある時点までに何の指定を済ませたか、何がまだなのか、 を意識していないと、情報の指定がやりにくい。 すでに指定したものは、画面上で、目に見えておいてほしい。

• 多数からの選択が困難。

  上記と同じ理由で、3個程度より多く選択肢がある場合、視覚的な補助なしに選択を行うことは困難である。

• 同音語で困難。

  キーボード入力の場合のかな漢字変換は、選択・修正機能が統合されている。 音声入力は、選択・修正機能がまだ発達していない。 そのため、人名入力や地名入力など同音語が多く、表記を選ぶ必要があるケースでは、 認識結果はまずエラーとなる。

• 情報の性質によっては困難。

  例えば、商品の色合いや形状を示す必要があるとき、音声で説明するのは無理である。 扱う情報によっては、必然的に視覚的なプレゼンテーションをしないといけない場合がある。

こうして、音声のみで機械を操作し何かの処理をしようとしても、まず無理である。

VUIは、特にオフィスでの利用時に、また別種の課題がある。 第一に、発声は周囲の近くのヒトに聞かれるため、プライバシーが保てない。 第二に、発声は周囲のヒトへのノイズになる。 ただ、これらの欠点を解決する技術はある。 一つのアプローチは、サイレント・スピーチという。 口パクするだけで、口腔周りの運動をとらえて、通常のように音声認識する。 二つめのアプローチは、音声キャンセル技術である。 これは発声された音声をちょうど打ち消すような空気振動を発生させて、周囲に音が漏れないようにする。 近いうちに、コスト的に合う解決策になると思われる。

ヒトが環境に対するとき、複数の感覚と効果器を総合して認知し反応する。 ヒトの言語は、発生からして視聴覚が融合している。 音声を使ったアプリを作ろうとしたら、実は、指や視覚による空間的・視覚的な能力を併用せざるを得ない。

図. 視聴覚融合

ちなみに、ヒト同士の交信でも、相手のヒトが見える視聴覚融合が望ましい。 ヒトの表情は、社会的な活動で特殊な役割を果たしている。 視線によるアイコンタクトも、ヒト社会の基盤である。 電話の音声は、顔は見えないが、個性と意図と感情が伝わる。 ところが、その後メールなど文字越しの非同期通信が利用されるようになった。 これらは間接的で形式的な文字言語越しであるため、 顔も個性も意図も感情も伝わらない。 今ネット上では、論理を戦わせるより先に相手を罵倒することが平気で行われるようになった。 そこでは、相手の顔と目を見つめて会話するときの直接性がなく、 相手が生身のヒトであるという感覚が失われている。

ドナルド・ノーマンによれば、 日常的な道具は、以下の3つを利用しているため、使い方を教わらなくてもヒトは使える（[rDN]）と。

• 手掛かり（アフォーダンス）: 何ができるかを示す。 ハサミの穴は指を入れる場所であることを示す。 椅子はヒトが座る場所を示す。 ドアの平たい金具は押して開けることを、取っ手の金具は引いて開けることを、ヒントとして発信している。
• 制約: 選択肢を制限する。 穴の大きさは、1本指を入れるという制約を課している。 椅子は、背もたれのないほうが前面で、背もたれのほうに膝を投げ出すことはできない。 ドアは、そこでしか出入りできないという制約を示す。
• 概念モデル: ハサミは、２つの刃が交わって切るという仕組みが目に見えるため、 何をする道具なのかはヒトにとって容易に理解できる。 椅子は、座るのにちょうど良い高さであることで、腰掛に利用できることが分かる。 ドアは、ヒトが家を持ち始めた時からの道具であろう。 空間に出入りするための道具であると、子供でも理解する。

ハサミの手掛かり、制約、概念モデル

GUIでは、見えているものが手掛かりであり制約となる。 キーを下に押し下げること自体は、何のための動作か曖昧である。 しかし、Aと刻印されたキーを押し下げることは、Aのタイプとして曖昧性がない。 また、GUIでは、メニューや画面遷移が操作のコンテキストになる。 あるメニュー項目を選択することの意味には曖昧性がない。 そのように、手の動作はそれ自体には意味がないが、視覚情報やコンテキストによって制約されて意味が明確となる。 そのような明確な動作によってアプリが編み上げられる。 制約が強いとアプリが組みやすいのである。

GUIの手掛かり、制約、概念モデル

音声を利用するアプリは、音声だけを考慮してはいけない。 GUIと同様に、メニュー(ただし4個まで)や画面遷移や問い返しという、 視覚やコンテキストによる手掛かりと制約を活用すればよい。 これらの制約を利用すれば、曖昧性をなくすことができ、アプリの構成要素にできる。 視覚、手、音声、それぞれ得意なことはそれぞれに任せる。 プロンプトなどの情報提示は、音声と視覚と両方で行うこともよい。

音声を利用するアプリの手掛かり、制約、概念モデル

音声アプリは、特定のタスクに特化したアプリと、汎用でおしゃべり相手的なものとに分類されることがある。 アカデミアの世界では、特定のタスクのものは泥臭く、汎用のものはハイテクでかっこいいというニュアンスで語られる。 しかし、利便性を追及する実用的な観点からすると逆である。

特定のタスクに特化したものは、通常以下のような処理構成をとることが多い。

• フレームといって、タスクの目的達成に必要な情報を埋め込むスロット（枠）を持つデータを持つ。
• 利用者の発話から、時間や場所表現、また固有名詞などのエンティティ（実体）を抽出し、フレームを埋める。
• 音声でやり取りする対話のフローは、フレームの足りない情報を補うように制御される。 欲しい情報に関する利用者の発話をプロンプトし、獲得した情報を確認し、必要な情報を視聴覚で提示（フィードバック）しつつ、 画面を遷移して次のプロンプトを発し、対話の流れを進める。

視覚やコンテキストによる手掛かり（プロンプト）と制約（画面遷移と次のプロンプト）、そして指による制御などによって、 そこでのやり取りはアプリの明確なパーツとなる。 それらを組み上げればよい。

音声を利用するアプリは、意図レベルでやりとりするので、誰にも分かりやすい。 そして、今のGUIでの抽象的で複雑な内部概念群を隠すことができる。

なお、現在、大規模言語モデルが、汎用の対話AIとして急激に進歩している。 汎用対話ＡＩが、特定タスクのための音声アプリの構成要素を吸収してしまい、 それらの区別はなくなるかもしれない。

従来のGUIアプリは、論理的・意味的な制約しか使えないことが原因で、 内側の概念構成を非常に複雑にしてしまった。 しかし、アプリ内在構成要素だけでなく外在する要素にも目を向けると、 音声アプリの組み方でGUI操作よりも有利な点もある。

1回限りの操作に比べて、やり取りが続く会話では、ヒトに次に何が起きるかという期待と予測が生じる。 音楽は、過去の記憶と未来の予測との相互作用で、今が決まる。 同じように、音声アプリも、ヒトの時間を使える。 これが、アプリを組むときに、利用できる制約に追加できる。 手指操作にない要素である。

また、音声だけに限らず、表情、視線や身体ジェスチャー込みでやり取りをすれば、 アプリの構成要素や、やり取りの流れの予測だけでなく、もっと広範囲のリアルな状況を 制約として利用できる。

意図を示す表情、視線、声音、ジェスチャーは、もちろん利用できる。 また、ヒトのいる3D空間内位置は、制約となる。 例えば、それによって「あっち」の意味が確定する。 「寒い」の意味は、リビングの空調のせいなのか、職場の空調のあるフロアーの設定なのかが確定する。 また、時間も制約できる。 「消して」は、夜、就寝時刻より後なら、室内灯のオフの意味である。 「あと10分で雨が降ります。洗濯物をしまいましたか？」という警告を出すタイミングは、現在の自宅の位置とその土地の降雨予報と、 朝から晴天だったかどうかによる。 ヒトの行動記録もまた制約になる。 「さっきのオーダーをキャンセルして」は、過去1時間くらい以内に商品注文を入れていたら、直近のそれである。

以下に、横軸にアプリ内在か外在かの軸、縦にドナルド・ノーマンの制約の種類 (第3章-[2]) の軸をとり、プロットしたものを示す。 ＧＵＩで、キーボードとモニターに手と目で張り付いていては、外在の制約の多くは利用できない。 機械に目と耳を持たせて、会話するデザインアプローチをとるべきである。

図： 音声アプリの利用できる諸制約

アプリの制約が多いということは、豊かなコンテキストがあるということである。 ヒトから見ると、そういうコンテキストがあるアプリの動きは単純で分かりやすい。

文書作成時に音声を利用することに関して、従来から議論があった。 発声のテキスト生産速度は指の5倍である。 そのため、音声を使うと文書を作成する時間が短くできるという考えがある。 他方、ヒトは、考えながらしゃべるのは難しい。 そのため、音声認識は文書作成には使えないという考えも一方にある。 ただ、一瞬考えて、それをしゃべる、そしてそれを繰り返す、という時分割なら、ヒトはうまくできる。

文章を考えるのには熟考が必要なので、実は、音声表現は文書作成の時間を短くすることはない。 だが、音声表現はアイデアを素早く完全な形で記録することができる。 たとえ誤認識でノイズが多くても、文であるため、後で編集するときに何を言ったか想起しやすい。 音声言語表現は、頭の中にある概念を忘れないうちに目に見える形で取り出して、 編集可能な形にし、考えを発展させられるようにするために、いい手段である[rNY]。

つまり、ヒトは考えてしゃべるという時分割処理を利用して、 素早く音声表現を記録して、後で校正するというやり方で、効率的に文書生産ができる。

以下、音声と視覚を融合したインターフェイスによってユーザー体験がどう変わるかを、いくつか例示する。 インフラの進歩を前提とするものは、前提事項のところに記す。 だが、ほとんど、デザイン次第で、今でも実現可能なシナリオである。

• 料理レシピ：

  Before: 台所でレシピを見ながら調理をしている。 次の手順や、火にかける時間を確認したい。 もう手は濡れている。 現在のレシピアプリは画面で手順を示すだけである。 そのため、全部覚えきれない。 何度も見たいが、手が濡れてできない。 結局、手を拭いては、スマホかタブレットを見て、を繰り返す。 モニターは汚れる。 調理動作のタイミングを失して、投げやりになって適当に調理することになったりもする。

  After: レシピアプリは、会話型にデザインされている。 濡れた手を使わずに、「あれやったけど、次は何？」に対して 「次は、これこれです」と教えてもらう。 モニターで、手順の全体図とやったこととやっていないこと（構造情報）を確認する。

  注： 手順という時間のある構造情報は、視覚でやり取りしたほうがいい。 最初から視聴覚前提で会話フローを設計すれば、今でも作れる。

• スマホのラウンチャー：

  Before: 買ってきたスマホに電源を入れると、たくさんアイコンが並んでいる。 そのうち、電話、カメラはすぐ分かる。 それ以外、アイコンを見ても、何を意味するのか分からない。 使わないので、調べもしない。 邪魔なだけである。

  After: 最初電源を入れると、マイクと、いくつかのタイルがあるだけで、画面にアプリのアイコンはない。 マイクをたたいて、やりたいことをしゃべる。 問い返しが何度か来るが、答えたり、指で選んだりして、会話し、用が済む。

  注： あいまいなアイコンぬきで、音声で直接意図を伝える。 スマホのビジネスモデルを変える必要があるが、技術的には今でも可能である。 こういうローエンド型イノベーションが今出てきても不思議ではない。 現在のスマホは使いにくいということに気づけば、実現する。

• スマホの画面ロック：

  Before: 生体認証、指紋、顔、コード、パターンとか、何言っているのか分からない。 危険だといわれているが、面倒だしやり方が分からないので、スマホの画面をロックしないでおく。 ある日、スマホを公衆トイレに置き忘れた。 警察に届けたが、落とし物として見つかることはなかった。 連絡先とか、銀行のアプリとか、いろいろ入っていた。 中の情報とともに、裏のマーケットに流れたかもしれない。

  After: 「画面ロックしたい」としゃべる。 音声ガイドとともに、どういう選択ができるかが表示される。 選んだり、答えていくと、画面ロックの設定ができていた。

  注： メニューやツールバーという抽象概念ぬきで、意図を直接処理する。 プラットフォームの開示API次第であるが、技術的にできないことはない。

• フライト予約：

  Before: 航空会社のページを検索し、あれこれのボタンやメニューの中から、予約メニューをようやく探し出し、クリックする。 予約情報を予約フォームに埋める。 中でも、都市名とかの固有名詞をキーボードから入力するときは、手間がかかる。

  After: 「飛行機の予約をしたい」としゃべる。 「いつですか？」「どこからどこへですか？」に対し、答える。 選択肢が多かったり、足りない情報があれば、コンピューター側が問い返して、意図を詳細化していく。 今答えてほしい情報は、画面に表示されるので、何をすればいいか分かる。 選択肢が３、４個に限定できるものなら、ボタンが表示されるので、選択も楽である。 すでに利用者から聞き取ったことやまだ足りない情報は画面に表示されるので、 利用者が今どこまでやったかが分かり、これから何をしないといけないかが分かる。

  注： 複数項目からなる構造情報は、視聴覚でやり取りする。

• スマホの設定：

  Before: （壮年の場合）音が出なくなった。 設定アプリを起動し、画面のメニューから音声関係を探す。 ためしに、あるボタンを叩いてみる。 違った。 別のをたたいてみる。 またメニューがある。 これかなと思い、たたく。 これだ。

  （高齢者の場合）音が出なくなった。 どうしていいか分からない。 どこをどう変更すればいいか、怖くてどのボタンも押せない。 前にもやった気がするが覚えていない。

  After: 「音が出なくなった、戻して」としゃべる。 診断プログラムが起動され、適当に設定を変更してくれる。 それで済む。

• スマホ通知のコントロール：

  Before: ピコピコと通知が来て件数が出てきたり、気になってうるさい。 が、消し方が分からない。

  After: 「通知消して」としゃべり、用を足す。

• 予約登録業務：

  Before: 会員制のコミュニティでサービス予約管理をする。 サービスの利用者は一日当たり40名前後。1ヶ月分で約千名分のデータ。 1ヶ月単位で紙に書かれた予約帳のデータを入力し、オンラインにする。 WEBのフォームを開き、ポチポチとサービスの種類、日時などのメニューを選び、人名を入力する。 特に人名という固有名詞は入力に時間がかかる。 作業に慣れてもほぼ終日かかる。

  After: コンピューターに会員名簿の辞書を仕込む。 日付、サービス項目の選択や人名、すべて音声で指定する。 誤認識によるやり直しも含め、2時間くらいで済む。

  注： 日本語のように表意文字言語だと同音語が多い。人名、地名などの固有名詞の入力は手間がかかる。 それは音声でも同じである。 ただ、メンバーが限定できるなら、その制約を利用して、辞書登録で曖昧性をなくせる。 後は、ポチポチと指でやる手間よりも、音声のほうが素早く入力できることを利用できる。

• テレビの視聴者参加番組：

  前提事項： テレビがスマート化して、カメラとマイクを持つ。 あるいは、テレビがスマホと連携する。

  Before: テレビの視聴者参加番組が、質問を視聴者に投げかけた。 3択である。その選択肢が表示される。 画面の案内で、色付きボタンを押せばよいと分かる。 テレビのリモコンとその上のボタンで回答を送信する。

  After: 視聴者は「1番」と話しかけるだけ。 たくさんボタンが乗ったリモコンは、もういらない。

• バス時刻表：

  Before: バスの停留所に向かうとき、バスの時刻表を見たい。 「バスの時刻表」と話しかける。 音声アシスタントは、時刻表アプリかサイトの候補を返してくる。 お気に入りのWebアプリは決まっているから、それを選ぶ。 停留所名をポチポチと検索入力し、 行き先をポチポチと検索入力し、 時刻帯を指定し、 それで、やおら、バス運行時刻表をみられる。

  After: 「バスの時刻表」と話しかける。 最初に使ったときに、「このアプリ・サイトを今後も使いますか」と聞いてくれた。 2回め以降は、そこが直接開く。 現在位置は、GPSで、どの停留所に近いのかは、分かる。 それが、デフォルト設定される。 現在の時刻で、時間帯もデフォルトで設定されている。 行き先は、確認が来たので、近距離の駅名を答えた。 それだけで、望んでいたバス運行時刻表のページが出た。

  注： 位置や時間を制約として利用できる。 GUIのアプリでも、こういったリアルな諸々の制約を利用できるはずだが、 利用者の意図にこたえるという発想でなく、利用者が指定・操作するという発想のためか、 そういうアプリはあまり見ない。 デザインを変えるだけで、快適なアプリになる。

• 買い物リスト：

  Before: 買い物するものをメモする。 「大根を買う」と話しかける。 現在のスマホの音声アシスタントだと、近場のスーパーから選ばせようと、地図アプリへ誘導しようとする。 しかし、いつも野菜を買う店は決まっている。 どこにあるのかも分かっている。 スーパー・マーケット店舗への誘導（広告）は今はいらない。 今はメモしたいだけである。 メモアプリを起動して、そちらで用を足した。 その後、夕食の調理の時間が近づいた。 買い物リストには、食材が何件かたまっている。 近場のスーパーに出かけて、買い物をした。

  After: 「大根を買う」と話しかける。 普段は、近所の店舗に出かけていくことはなく、食材を宅配してもらう。 その行動履歴をアプリは知っているので「メモしますか？」と問い返して「はい」と答える。 メモできた。 その後、夕食の調理の時間が近づいた。 買い物リストには食材が何件かたまっている。 買い物リストの画面を開いて「宅配して」としゃべる。 店と、項目の値段と外見と、表示されるので確認し、「注文」する。

  注： 音声ベースの買い物リストアプリがあって、ローカルな地域ビジネスが宅配ビジネスをやっていて、 アプリとビジネスがタイアップすれば実現できる。

• 高齢者の移動補助：

  前提事項： 仮に、一人乗り電気自動車で自動運転機能がついたものが安価に普及したとする。 また、そういう乗り物が交通インフラのセンサー群と連携していて、 安全で混んでいない通り道をえらんでくれたりするとする。

  Before: 現在、高齢者は、ちょっとした買い物や、通院・薬局への移動など、移動の手段に困っている。 高齢のために、自動車を運転しなくなっているからである。 一人乗り自動車がある。 ところが、行き先を設定したりする制御パネルが、パソコンやスマホの画面みたいで、 高齢者には操作が難しく、結局利用できない。

  After: 制御パネルに乗っているアプリも、視聴覚融合で、意図レベルのやりとりができるようにデザインされている。 高齢者でも、難なく、安全に、移動ができる。

  注： いわゆるスマート・モビリティは、視聴覚融合のインターフェイスへの変化なしでは進まないだろう。 スマート・シティ、スマート・ホームなども同じである。 仮想現実、拡張現実、複合現実などと呼ばれるアプリも、 インターフェイスが自然でなければ、広まるのは難しい。

音声以外に、意図を表現するときに重要な役割のものがある。 ヒトは、視線で注目する。 また、指差しで注目対象を示す。 第1章でみたように、このような注目行動は社会的な知能の基礎となった。 注目行動は、会話の中で、相手の意図を解釈するときの重要な制約となる。 コンピューターがヒトと会話するとき、この制約を利用しないという手はない。

ヒトの視線は素早く動く。 手指が動かせないハンディを持っていても、目を動かせるヒトはいる。 また、健常者でも、指とマウスは指の機械的速度と距離に制約される。 一方、視線は距離に束縛されない。 そこで、画面の位置選択などに利用されたことがある。 また、まばたきを操作手段として、ゲームのミサイル発射の指示として利用されたこともあった。

しかし、ヒトの目は本来、受容器官として進化したものである。 それを不自然に操作手段として使うと、以下の不具合が出る。

• 受容器官としての働き以外のことを期待するのは、ヒトに不自然な動作を強いることになる。 目は、微動もあり、複雑な動きをする。 視線が、ある時間、ある範囲にとどまったことで対象を見たと判定するしかない。 位置指定の操作手段として使うことは、少し見つめろというルールを強制することになる。 不自然な動作は、疲労に導くし、慣れるまで学習を要する。
• 目だけを操作手段とすると、位置指定や選択という視線を使った意識的な操作なのか、単に探索しているための目の移動なのか、 状態の区別を機械に伝えるのが難しい。 ギリシャ神話のメドーサは、見たものを石に変えてしまう。 注目して確認したくても、確認する前にどれも石に変わってしまっている。 それと似たことが起きる。 状態を区別しないと、目にしたものはすでに選択されてしまっているということになる。 ペンアプリで、ペンがマウスの代わりで選択をするのか、ストローク描画なのか、状態をいちいち区別する。 同じような制御が必要となる。

目には、効果器としての役割を求めるのでなく、進化してきた受容器のまま生かすべきである。 視線は空間的な注目箇所を示す。 目に「見て選ぶ」役割を負わせるのでなく、「見たな」をそのまま利用する。 また、視線は「まなざし」として、対人的な情報を伝えることもする。 動物でさえ、まなざしで意思を伝える。 機械も、まなざしをヒトの意図を示すヒントとして利用すればいい。

以下、視線による注目対象の検出を利用すると、ユーザー体験がどう変わるかを、いくつか例示する。 前提として、ヒトが何に注目しているかを検出するため、機械に目（カメラ)と耳（マイク）がついているとする。

• たくさんのリモコン：

  前提事項： 室内に、パソコンか据え置きスマホがあり、それが目と耳を持っているとする。 あるいは、室内にコミュニケーション・ロボットがいるとする。 いずれかがスマート・ホームのコントローラーになっていて、ヒトのジェスチャー、音声をモニターしているとする。

  Before: 部屋にいくつか電化製品がある。 そのリモコンが複数散らかっている。 「あのリモコン、どこ？」。

  After: そのとき、ヒトがエアコンを見ながら、「つけて」といったらエアコンをつけるという意図である。 部屋の明かりをつけるという意図ではない。

  注： ヒトは、まなざしで相手を選ぶ。 視線は、意図の強い制約である。 また、３次元空間内部の物理的配置も制約になる。

• 広告の無害化：

  前提事項： スマホがそのカメラで、ヒトの視線をモニターしているとする。

  Before: スマホでニュース記事を読んでいる。 画面上部のテキストを読みつつ、スクロールするため画面下部の画面に触れる。 たまたま指が触れたところに、広告枠が表示されていた。 突然、画面が切り替わり広告が表示されて、びっくりする。 おいおい。

  After: スマホでニュース記事を読んでいる。 画面上部のテキストを読みつつ、スクロールするため画面下部の画面に触れる。 たまたま指が触れたところに広告枠が表示されていたが、広告を見ていないのでスクロールした。

• たくさんの候補からの選択：

  前提事項： スマホのアプリで、テレビのモニターを使ったビデオ会議ができるとする。

  Before: テレビ画面に連絡先の人物の写真がいくつか表示されている。 リモコンの方向キーを使って、左右へスクロールして、相手を探す。 相手を選択したら、確認画面が出て、Enterで確認する。 会議を起動するかというプロンプトが出て、Enterで確認を送る。

  After: 視線がきょろきょろと動いているとき、画面の端を見れば、その方向へ画面はスクロールする。 視線がある連絡先に注目したら、この連絡先を選択するかと音声と画面で聞いてくる。 「うん」という首のジェスチャーによって確認をし、ビデオ電話を起動する。

• ビデオ会議でのヒト選択：

  前提事項： ビデオ会議アプリが、視線をモニターしているとする。

  Before: ビデオ会議中、特定のヒトに連絡をしたくなった。 チャット機能を使い、そのヒトを選択し、タイプして相手だけにメッセージを送る。

  After: 特定のヒトが映っているところを見て、しゃべる。 音声はそのヒトへのみつながる。

• 指示相手装置の選択：

  前提事項： 家の家電は、それぞれ目と耳を持つ。 ないし、目と耳をもつコミュニケーション・ロボットを介して、連携している。

  Before: お掃除ロボットのところへ行って、ボタンでオンにし、掃除を始めさせる。

  After: お掃除ロボットを見ながら「掃除して」としゃべる。

このように、視線、まなざしは、機械がヒトに対するとき、ヒトの意図を示す重要な手掛かりとして活用できる。

発話と視線以外に、表情、身振り、手振り、声音は、重要な会話手段である。 指差しは、注目対象を他者と共有するという機能がある。 表情によって感情を伝える。 声の調子からも、感情が伝わる。 感情は、ヒトから意図を読み取るときの手掛かりとなる。

知的な機械が、目と耳を持ち、ヒトとやり取りする。 さらに、ヒトの大脳皮質だけでなく、身体を包むリアルな世界で、やり取りをする。 音声アプリのところで見たように、 ヒトとリアルな世界を一緒にとらえると、アプリが利用できる制約が豊かになる。

以下、ジェスチャーを利用すると、どうユーザー体験が変わるかを、いくつか例示する。

• ヒトの行動に応じたオンオフ：

  前提事項： スマホのセンサーか、室内カメラで、ヒトの身体動作をモニターしているとする。

  Before: ヒトが起きて活動を始めているのに、スマホの目覚ましアラームが鳴りうるさい。 夜、ヒトがもう少し起きていようと思いつつ横になった。 部屋の明かりをつけっぱなしで寝てしまった。

  After: 起床後は、目覚ましアラームは鳴らない。 夜、ヒトが就寝し、しばらくすると、室内灯やテレビ等が消える。

  注： 機械がヒトから指で指示を受けるだけの関係から、ヒトの身体を含む状況とやり取りする関係になると、 それで可能になることは多くある。

• 歩きスマホ禁止：

  Before: 向こうから来るヒトが、歩きスマホをしていて危ない。

  After: スマホがヒトの歩きを感知して、歩いている最中は利用できないようOFFになる。

• 掃除ロボットへの位置変更：

  前提事項： 掃除ロボットに目と耳をつける。

  Before: 現在の掃除ロボットは、ヒトがどこにいようとお構いなしに動き回る。 足元にまとわりつく。

  After: ロボットがヒトの足元に来てうるさければ、 「あっちを掃除して」と、指差しで指示する。

  注： ３次元世界は、意図の解釈を助ける制約となる。 例えば、ヒトが台所にいて、居間を指して「あっち」と指差したら、居間エリアである。 機械がヒトのジェスチャーを見るように変われば、ヒトは機械と豊かな会話ができる。

• エアコンの風向き変更：

  前提： 部屋にスマート・ホームのハブがあって、ヒトのジェスチャーをモニターしている。 ないし、エアコンなど各家電がそれぞれ目と耳を持つ。

  Before: エアコンの風がもろに当たり寒い。 エアコンのリモコンを探して、天井へ風を送るようにした。

  After: エアコンを見ながら、人差し指を突き出して、手で上へ上へと指示を送る。

  注： まなざしは、注目対象を示す。 指は、空間的な情報を与える。 機械が目を持ちヒトをモニターすると、風向きの指示、音量調整など、音声のみでは難しいアナログ量のコントロールに利用できる。

• お手伝いロボット：

  Before: 夕方庭作業をしている。 暗い。 庭にあかりを設置しようかと考える。

  After: あかりドローンをオンにして、庭に出る。 この相棒は、ヒトの動きに応じて、手元、足元を照らすように位置を自動調整してくれる。

  注： ドローンはたいていカメラを備えている。 カメラでヒトを写して反応するようなアプリを組み込めば、素晴らしい相棒になる。

• 見守りロボット：

  前提事項： 居間に、目と耳を持つコミュニケーション・ロボットがいる。

  Before: 高齢者が単身で生活をしている。 スマホなどの機器、インターネットは利用できない。 遠隔の家族は心配である。

  After: ヒトの動きを感知し、毎日話しかけ、反応を記録する。 遠隔の家族は、その記録をモニターしているので、心配がない。 コミュニケーション・ロボットはテレビのモニターと連動する。 音声で機械と会話し、親戚や友人とビデオ通話ができる。 そのため、高齢者の孤独も解消される。

  注： 手と目の関係でなく、意図レベルでやり取りする関係になることは、とりわけ情報弱者を助ける。 目と耳を持つコミュニケーション・ロボットであれば、赤ちゃんやペットの見守りにも使える。

• 健康医療サービス：

  前提： スマートウォッチかリストバンド型の健康モニターが普及しているとする。

  Before: 高齢者が単身で生活をしている。 スマホなどの機器、インターネットは利用できない。 遠隔の家族は心配である。

  After: 心拍、血圧等、体調を遠隔の家族でもモニターできる。 転倒事故を検出できる。 行動、しゃべりから、認知機能評価もできる。

  注： 地域の医療サービスのネットワークがあれば、それに連結することで、 健康・医療サービスの最適化ができる。 医療サービスのネットワークは、情報をつなぐだけなので、技術的には可能だろう。 それを実行する勢いが必要なだけだと思う。

• 行政サービス、金融サービス：

  前提事項： 日本は遅れているので時間がかかると思うが、 行政サービスを、コミュニケーション・ロボットが、リビングのテレビモニターを介して、アシストするとする。 自宅のGPS情報、生活空間で得られる生体情報（声、顔、指紋）などを使い、 ２要素認証以上に安全な個人認証ができると仮定する。

  Before: 高齢者は、行政手続きのため、マイナンバー・カードを持参して、役所に行く。 お金をおろすため、銀行に行く。 オンライン・ショッピングはやったことがない。 移動がつらい。

  After: 見守りロボットが、音声でアシストし、ジェスチャーも読んでくれるので、 行政手続き、オンライン・バンキング、オンライ・ンショッピングも、自宅で一人でやれた。

  行政手続きは構造的な情報を扱うので、音声のみでなく視聴覚融合インターフェイスが必要となる。

• 備品管理：

  前提事項： 商品には電子タグが付いて、常時追跡できるような社会インフラができたとする。 商品の宅配もドローンとかで、当たり前になったとする。 テレビのモニターを利用したコミュニケーション・ロボットが居間にいるとする。

  Before: 家庭には常備品がある。 備品が切れそうになっても気づかない。

  After: 備品を買って家に持ち込むと、コンピューターが認識、記録してくれる。 利用パターンを覚え、備品のストックが切れそうになる前に知らせてくれる。 確認後、ドローンで配達された。

• 買い物難民の救済：

  前提事項： 高齢者はリアルでは外出しにくい。 バーチャルなツールで、買い物ができるとする。 商品の宅配も、ドローンとかで社会インフラになったとする。 テレビのモニターを利用したコミュニケーション・ロボットが居間にいるとする。

  Before: 高齢者が自動車を運転できなくなった。 500メートル以内にスーパー・マーケットがない。 買い物ができなくなった。

  After: リビングのTVモニタをオンにして、買い物アプリを呼び出す。 店舗を仮想的に歩き回ることができる。 買いたいものを見て、「これ買う」を繰り返す。 食事を提供する店で、メニューを映し見る。 夕飯に食べたいものを注文する。 しばらく後で、ドローンが買ったものを届けてくれた。

  コンピューター・ネットワーク上に構築した仮想空間というものは、現実ではできないことを可能にする ことで、何かの課題を解決するときに効果がある。 ヒトの脳は可塑性があるので、ヒトがそういう技術を当たり前に使うようになったら、どんな変化が起きるか想像できない。

ヒトは、道具を操作し、自分の能力を拡張してきた。 道具は環境の一部であるとともに、ヒトの身体の延長である。 ヒトは、言語を生み出し、文字を生み出した。 そして、コンピューターを生み出した。

コンピューターは、最初、エリートの知能の拡張のための道具だった。 それは、情報処理装置と呼ばれた。 利用するには、特有の抽象的な構築物を扱う必要がある。 その後、データのディジタル化が進み、インターネットが生まれた。 そして、現在、スマホの形態で、万人が使う時代になった。 情報を流通させる道具となった。 ライフラインでもある。 （序章-[3]、『図: コンピューターの利用者と用途』を参照）。 これに伴い、ヒトと機械の関係も変わるべきである。

ヒトには、生得的または訓練や社会的教育によって、自然と身に付く事柄がある。 であるが、コンピューターの場合、作り手特有の抽象概念を操る必要がある （第2章-[1]、『図: コンピューター概念を含む行為』を参照） 。 そこでは、ヒトが道具のために合わせる。 ヒトの日常の能力とは調和していない。 しかし、そのような作り手概念は隠すべきであろう （第3章-[1]、『図: コンピューター概念のない行為』を参照） 。

ヒトは、意図をもって道具を操作し、ある目的を達成する。 一方、ヒトと会話するときは、自然と身に付いた能力で行う。 また、会話では、意図を直接語り、やりとりする。 道具の理想は、意図に応じ即座に目的を達成できることである。 道具がヒトに合わせるとしたら、ヒトが意図を伝えたら目的をかなえられる関係が望ましい。 それは、操作ではなく、会話の関係である （第4章-[1]、『表: 操作と会話の比較』を参照） 。 そのインターフェイスは、利用者視点である。 そのとき、道具はヒトと調和している。

大規模言語モデルは、対話人工知能とも呼ばれる。それは望ましいやり取りを示している。

視覚は、生物史の中でも古い時代に発生した。 ヒトは、その高度な性能を享受する。 一方、直立二足歩行を始めたヒトは、手の器用さを発達させた。

ヒトの目と手は極めて優秀である。 ヒトは、それらによって、道具を操作する。 今日、ヒトはコンピューターをもっぱら目と手で扱う。 その必然性は、ヒトに至るまでの進化を見るとうなずける。 しかし、眼と手だけの関係というのは、我々の普段の生活からすると、かなり限定された関係である。 ヒトの能力はそれらにとどまらない。

霊長類は、社会的関係が強く複雑である。 その中でも、ヒトは言語を生み出した。 そして、言語を操り、より大きな集団を形成する。 そこに社会的知能が生まれた。 これがヒトを地球の支配者にしていく。 その意味で、言語はヒトの行先を決定づけた （第2章-[1]、『図: 言語の効果： 認知革命』を参照） 。

ヒトは、社会的関係の中で成長すると音響言語を身につける。 ヒトは対人関係の中で、意図を伝えて反応を確認しながら働きかけることを繰り返す。 同じように、機械に対してもこの音響言語を使えれば、自然と機械に対することができる。

ただ、ヒトと音声でやり取りするアプリを組むには音声だけだと問題がある。 そこで、視覚・手などと互いに得意なところを出し合うインターフェイス、視聴覚融合が必要である （第4章-[2]、『図: 視聴覚融合』を参照） 。

ヒトの歴史上、音響言語はヒトを方向づけたが、知的な機械も言葉を扱い始めている。 知的な機械が、ヒト文化の一員であるかのようになれば、大きな変化が来るかもしれない。

ヒトが、馬に乗るときのことを考える。 ヒトは、声の調子や、手によるスキンシップで、馬を安心させようとする。 馬に乗るときは、あぶみの上で全身の筋骨でバランスをとる。 鞍の上の体重移動や脚からの馬の腹部への刺激・圧力で、意思を伝える。 手綱を腕で引いて、進行方向を伝える。 馬の足並みに合わせて身体を上下し、馬のスピードに同調する。 このとき、ヒトはいろいろな身体機能を使って、馬と対話している。 馬は、ヒトの大脳皮質を相手にしているのではない。 ヒトの身体を相手にしている。

ヒトと完全に調和した機械道具の場合、馬と何が異なるのであろうか？ ヒトは、諸感覚を総合して環境をとらえる。 そして、複数の効果器官で総合的に反応する。 ヒトは、発話だけでなく、表情・まなざし・身振り・手振りも使って、意図を表現する。 機械がそういうヒトとパートナーであるには、少なくとも耳と眼を持たなければならない。 機械は、ヒトの身体をインターフェイスにする。

そのメリットは、何重にもある。

• 眼と手だけのいびつなヒト機械間の関係を克服し、認知負荷を小さくできる。
• 機械が、ヒトの意図をより正確にとらえられる。
• アプリが、ヒトを囲む環境を把握できる。 音響言語は、誰が、いつ、どこでなどが明示的・直接的である （第2章-[3]、『図: 音響言語と文字言語』を参照）。 アプリはそれらを制約として利用できる。 さらに、ヒトの環境を把握できるので、外在する豊かな世界を制約として利用できるようになる （第4章-[2]、『図: 音声アプリの利用できる諸制約』を参照） 。 制約は、アプリの動きのコンテキストとなる。 豊かなコンテキストがあると、アプリの動きがヒトにとって単純で分かりやすい。

第4章2節の「操作インターフェイス」で見たように、 現在のヒトと機械のインターフェイスは、ヒトの身体能力の多くを活用していない。 手の豊かな器用さは、そこでほとんど生かされていない。 注目行動は、ヒトの意図の解釈にとって大きなヒントになるが、もったいなくも放置されている。 視覚の遠隔作用や3D機能は、利用されていない、などなど。 ヒトの身体と脳神経は、生物の長い進化の結果である。 それらを生かすことは、まだよく開拓されていないといっていい。

このような、意図レベルの会話関係、視聴覚融合、身体全体をインターフェイスにするには、 ハイテクやインフラ投資が必要だろうか？ いや、多くの便利なユースケースは、今ある技術ですぐに実現できる。

以下のような技術が利用できる。

• ハードウェア：
  スマホ、モニター付きスマート・スピーカー、サービスロボット、会話ロボットあるいはAIロボットと呼ばれるロボットなど。 これらは、たいてい目（カメラ）と耳（マイク）と口（スピーカー）を持つ。 ヒトと機械が会話をするための、ハードウェアのパーツはそろっている。
• ソフトウェア：
  • 音声認識と言語理解： 知的な機械は、ヒトの声を聴き、言葉を理解し、ヒトと変わらないかのように文を生成できる。
  • 視線・ジェスチャー認識： コンピューター・ビジョンで、視線を追跡したり、ジェスチャーを認識できる。
  • マルチ・モーダルAI: 深層学習で、複数の情報ソースを統合して判断できる。
  • 強化学習: ヒトの意図に応じた行動やヒトと付き合う方法を学習することができる。

このように、まず必要な技術はすでにある。

問題はむしろ、システムやアプリをデザインするときの考え方である。 デザインの考え方を変えるだけで、快適なアプリになる。 今すぐに変化を起こせるのである。

以下のようなデザインにするべきである

• GUIは、視覚を過度に使い、内部の抽象的な概念を利用者に押し付けている。 複雑さは隠し、ヒトと機械とは意図レベルでやり取りする。
• 意図を素直に表現できる、音声のやり取りを利用する。 ただし、視覚や手も併用した視聴覚融合インターフェイスにする。
• 視覚・音声やコンテキストによる手掛かり（プロンプト）と、制約（画面遷移と次のプロンプト）提示で、 追加の情報を聞き取り、意図を詳細化する。 会話のようにやりとりする。
• カメラとマイクなどで利用者の目振り、身振り、手振りなど、また環境を検知する。 それら豊かな制約を、アプリの処理のコンテキストとして利用する。

エリートの知能拡大の道具とその延長の時代は、ヒトがコンピューターに合わせていた。 今は、ユーザー層と用途が広がり、限界にきている。 多くのＩＴ技術者が、インターフェイスの現状はおかしいと気づくであろう。 これからは、知的な機械がヒトに合わせるように変わるべきだ。

本文書では、現状を批判し変化を主張してきた。 それらは、一言でいえば「作り手視点から使い手視点へ」ということである。 コンピューター特有の抽象概念も、GUIの複雑な構築も、作り手の都合である。 まず使い手が何をしたいかという意図から始めるべきだ。

ユーザー・インターフェイスは後付けできるものではない。 機械でヒトの能力を拡張するアプローチでもいい。 ヒトの外界の現実とサイバー空間を融合させようとするアプローチもいい。 スマートXXXで、全く新しい便益と環境の世界を開発するのもいい。 しかし、どんな技術も、ヒトとのインターフェイスからデザインしなければ使えない。 まずは、使い手視点に立つということが一丁目一番地だ。

視覚は、生物の進化を揺るがした。 音響言語は、ヒトが社会的知能をもつようにした。 いま、知的な機械は、視覚を持ち、言語を操る。 さらに機械は、ヒトより桁違いの記憶容量を持てる。 その上で、ヒトと似たような学習ができる。 ヒトと機械の関係は、これから大きく変わるだろう。

エリートの知能拡張の道具は、武骨な箱だった。 一方、ヒトと会話をするパートナーならば、知的な機械はヒト型ロボットがいい。 ヒトは、ヒトの表情に対し、特殊な認知をし、情動的にも強く反応する。 表情を持つヒト型ロボットならば、ヒトは埋没的な深い関係を持ちうる。

1960年代の著名なSF宇宙旅行映画・小説に出てくる人工知能には、赤く光るカメラ・アイ以外の姿がない。 不気味である。 ストーリー的にも、ヒトと騙しあったりもする。 一方、1970年代に始まりシリーズ化されたSF宇宙戦争映画の2体のアシスタントロボットは、ヒトの形をしている。 ヒトのそばについて動いてくれる。 親しみやすい。

ヒトの脳には可塑性がある。 ヒトは、社会的動物で社会的関係の中で脳内のいろんな神経をつなぐ。 ヒトと会話をし生活する知的な機械は、ドラえもんである。 ドラえもんが社会的知能の一員であれば、ヒトはどう変わるのだろうか？ その可能性に、ワクワクする。