もしAIが私たちが決してできなかった方法で世界を見ることができたら？
先日、明らかでありながら静かに深い何かを考えていた。
私たち人間は、かなり限られたセンサーのセットを通して世界を経験する。電磁スペクトルの狭いスライスを見る目。限られた周波数範囲を拾う耳。圧力と温度をかなり粗い方法で感じる皮膚。ほとんどの人にとってそれがすべてだ。
一方、ディープニューラルネットワークは同じように制限される必要はない。
カメラ画像とテキストを処理するだけでなく、赤外線センサー、超音波アレイ、電磁場検出器、ハイパースペクトルカメラ、振動センサー、そして誰が知る何か他のものから連続したリアルタイムデータを受け取るシステムを想像してほしい。突然ネットワークは可視世界のパターンを学ぶだけでなくなる。熱、密度、電磁活動、材料組成、構造的完全性のパターンを一度に学ぶ。
そしてこれらのネットワークは一般化が得意なので、一つの感覚領域で得た知識は他に転移できる。最初に熱署名で気づいたパターンが、後にシステムが超音波反射を解釈するのを助けるかもしれないし、その逆も然り。モデルは、単一センサーシステム（または人間）が単独で管理できるものより豊かで、より物理的に根拠のある現実のモデルを構築し始める。
本当の意味で、これらのシステムはデータを分析するだけではない。世界を知覚する——継続的に、多くの角度から同時に、私たちが単にできないことに気づく。具現化されたAI研究では、これはますます知覚世界モデルの構築として記述されている：孤立した予測ではなく、継続的で多層的な理解。
そして可能なセンサーのリストは、私たちが通常考えるものよりはるかに長い。赤外線と超音波を超えて、研究者はすでに次のようなものと作業しているか積極的に探索している：
- 需要に応じてスケールを切り替えられるマクロおよび顕微鏡視覚システム
- 惑星規模の文脈のための衛星および航空画像（光学、SAR、熱、ハイパースペクトル）
- 化学およびガスセンサー
- 磁場検出器
- 高周波振動および音響アレイ
- イベントカメラおよびより広い使用にまだ道を見つけている他の専門センサー
特に衛星＋地上センサー融合は、地球観測の主要な研究分野になっている。
学習システムがこれらすべてを流動的に組み合わせられるようになれば、助けて解決できる問題の種類はほとんどSFのように感じ始め——それらの多くはすでに本物の研究と初期応用で取り組まれている。
地球観測と気候
システムはハイパースペクトル赤外線、テラヘルツ、マイクロ波、可視衛星データを融合して、温度、湿度、微量ガスの高解像度大気プロファイルを作成する。これは天気予報、気候モデリング、大気質監視を改善する。マルチセンサーアプローチは土地被覆マッピング、森林キャノピー測定、土壌水分推定、大規模環境変化検出もサポートする。
農業
精密農業システムは衛星画像を地上レベルのハイパースペクトルカメラ、土壌センサー、ドローンと組み合わせる。結果は作物ストレスのより早期の検出、より良い収量予測、水、肥料、農薬のよりターゲットを絞った使用だ。
災害対応
光学、SAR、熱、レーダーデータの融合は洪水のマッピング、山火事の監視、地震被害の評価、煙や瓦礫を通して対応者により良い状況認識を与えるのに役立つ。リアルタイムマルチセンサーシステムが検出を加速し応答時間を短縮するために開発されている。
インフラと産業
振動、超音波、熱、視覚データを組み合わせて、橋、建物、電力線、産業機器の構造的弱点の早期検出ができる——反応的なメンテナンスから真の予測監視へ移る。
医療
医学の具現化されたAIシステムは、手術支援、リハビリテーションロボット、診断、病院物流のために視覚、力/トルクセンシング、熱、その他の信号を融合し始めている。目標は患者と臨床環境の両方のより豊かな知覚だ。
都市マッピングと宇宙
研究者はより正確な都市マッピングのためにLiDAR、SAR、光学画像を融合している。宇宙では、赤外線＋可視融合が暗闇や物体が影にあるときでもデブリを検出するために使われている。
ポイントはより良いデータだけではない。知覚の質が違うことだ。私たちよりはるかに広い感覚世界に住み——それらの感覚をまたいで一般化できる——システムは、私たちにとってほとんど異質に感じる方法で物理的現実を理解し始める。
これは純粋な推測ではない。ディープラーニングとのマルチセンサー融合は、特に自動運転、ロボティクス、リモートセンシング、具現化されたAIで、何年も活発な研究分野だ。RGBカメラを熱画像、LiDAR、レーダー、その他のモダリティと組み合わせることは、すでに悪天候、低光、複雑な環境でのロバスト性を改善している。補完的なセンサーを加えれば加えるほど、システムが任意の状況で完全に盲目になるのが難しくなる。
興奮する——そして少し不安な——のは、これを規模とリアルタイムで行うという考えだ。特定のタスクのためにいくつかの追加センサーを融合するだけでなく、学習システムに連続的にずっと広い感覚パレットへのアクセスを与え、それらの信号が互いにどう関係するかを自分で見つけさせることだ。
まだ道を阻む難しい問題
もちろん、このビジョンを信頼できるものに変えるのはまだmessyだ。
異なるセンサーは異なる数字を生み出すだけではない——完全に異なる言語を話す。カメラ、熱センサー、LiDARユニット、衛星フィードはすべて独自の解像度、タイミング、ノイズ、世界の記述方法を持つ。重要な詳細を失わずに共通の理解を共有させるのは、見た目より難しい。
それからタイミングの問題がある。これらのセンサーはほとんど正確に同じ瞬間に世界を捉えられない。小さな不一致でも混乱を生み出し得る。特に物事が速く動いているとき。研究者は時々これが生む余分な遅延と複雑さを「センサー融合税」と呼ぶ。
ロボット、車、ドローンでリアルタイムにこれらすべてを動かすのは別の絶え間ない苦闘だ。エッジデバイスには無限の電力やメモリがないので、精度のあらゆる向上は速度を犠牲にする傾向があり、その逆も然り。
現実世界ではセンサーも故障する。カメラは汚れたり塞がれたりする。LiDARは雨や霧で苦しむ。熱読み取りは天候で狂うことがある。一つのセンサーが落ちた瞬間に崩壊するシステムはあまり役に立たない。
そして実験室で全てがうまくいっても、モデルはしばしば一般化に苦しむ。センサーの組み合わせ、天候、場所を変えると、性能が急落することがある。高品質でよく同期されたマルチセンサーデータセットはまだ驚くほど稀で、問題全体をより難しくしている。
より静かな信頼の問題もある。多くのセンサーが関与すると、システムが特定の結論になぜ達したかを理解するのが難しくなる。安全重要用途——運転、医療、災害対応——では、その明確さの欠如が重要だ。
これらの問題のどれも方向をより有望でなくするものではない。システムが多くの感覚を通して同時に世界を流動的に知覚できるようになる前に、まだどれだけ注意深い仕事が必要かを示すだけだ。
ある意味で、それは知能により大きな体を住まわせるようなものだ。物理世界を感知できる方法が多いほど、その理解はより完全になる。私たちはまだその体を正しく構築する方法を学ぶ初期段階にいる。
私たちは、私たちが見るように世界を見るだけでなくするシステムを構築し始めている。
それらは私たちが決してできなかった方法でそれを知覚し始めている。