Microsoft PixelSense(旧称:Microsoft Surface)は、1人または複数人が現実世界の物体に触れたり操作したりしながら、同時にデジタルコンテンツを共有できるインタラクティブなサーフェスコンピューティングプラットフォームでした。PixelSenseプラットフォームは、ビジョンベースのマルチタッチPCハードウェア、360度マルチユーザーアプリケーション設計、およびWindowsソフトウェアを組み合わせたソフトウェアとハードウェア製品で構成され、自然なユーザーインターフェース(NUI)を実現します。
PixelSenseの最初のバージョンであるMicrosoft Surface 1.0は、2007年5月29日にD5カンファレンスで発表されました。[ 2 ]これは、 Microsoftがハードウェアとソフトウェアを組み合わせたプラットフォームを製造および販売するエンドツーエンドソリューションとして2008年に顧客に出荷されました。これは、統合されたPCと、ディスプレイ上に置かれた指や物体を認識できる5つの近赤外線(IR)カメラを備えた30インチ( 76cm)の4:3リアプロジェクションディスプレイ(1024×768)です。ディスプレイは水平方向に配置され、テーブルのような外観になります。この製品とそのアプリケーションは、複数の人がディスプレイのあらゆる方向から近づいて、デジタルコンテンツを同時に共有および操作できるように設計されています。カメラのビジョン機能により、この製品は、画面上に置かれたものの近赤外線画像を、毎秒約60回キャプチャして認識できます。Surfaceプラットフォームの処理は、画面に触れている3種類の物体(指、タグ、およびブロブ)を識別します。生のビジョンデータも利用可能で、アプリケーションで使用できます。このデバイスは、52点の同時マルチタッチ接点を認識するように最適化されています。Microsoft Corporationは、Microsoft Surface 1.0製品のハードウェアとソフトウェアを製造しました。Microsoft Surface 1.0の販売は、 Samsung SUR40 for Microsoft SurfaceおよびMicrosoft Surface 2.0ソフトウェアプラットフォームのリリースを見越して、2011年に終了しました。
マイクロソフトとサムスンは提携し、2011年のコンシューマー・エレクトロニクス・ショー(CES)で、 PixelSenseの最新バージョンであるSamsung SUR40 for Microsoft Surface(「SUR40」)を発表しました。 [ 3 ]サムスンは、Microsoft Surface 2.0ソフトウェアプラットフォームを搭載した新しいSUR40ハードウェアを2012年初頭に顧客向けに出荷し始めました。
Samsung SUR40は、40インチ(100cm )の16:9 LEDバックライト液晶ディスプレイ(1920×1080)で、PCとPixelSenseテクノロジーを内蔵しています。PixelSenseテクノロジーは、従来製品のカメラに代わるものです。PixelSenseテクノロジーにより、SamsungとMicrosoftは製品の厚さを22インチ( 56cm )から4インチ(10cm)に縮小することに成功しました。この小型化により、製品を水平に設置できるだけでなく、指紋、タグ、物体の認識や生のビジョンデータの活用といった機能を維持しながら、垂直設置も可能になりました。
PixelSenseは、主に企業顧客が公共の場で使用することを想定して設計されています。ユーザーは、直接タッチ操作や画面上にオブジェクトを配置することで製品を操作します。特定のサイズや形状のオブジェクト、またはタグパターンを持つオブジェクトは、コンピュータによって一意に識別され、事前にプログラムされた応答が開始されます。このデバイスは、従来のPCマウスやキーボードを使用する必要がなく、操作に特別なトレーニングや知識も必要ありません。さらに、このシステムは複数のユーザーが同時に操作できるように設計されているため、シングルユーザーデバイスの制約を受けることなくコンテンツを共有できます。これらの特性を総合すると、Microsoft Surfaceプラットフォームは、いわゆるナチュラルユーザーインターフェース(NUI)のカテゴリーに分類され、 1980年代と1990年代に普及したグラフィカルユーザーインターフェース(GUI)システムの後継者となることが期待されます。
マイクロソフトは、PixelSenseの販売対象を小売、メディア・エンターテインメント、ヘルスケア、金融サービス、教育、政府といった業界分野に絞っていると述べています。PixelSenseは、米国、カナダ、オーストリア、ベルギー、デンマーク、フランス、ドイツ、アイルランド、イタリア、ノルウェー、オランダ、カタール、サウジアラビア、スペイン、スウェーデン、スイス、アラブ首長国連邦(UAE)、英国(UK)、オーストラリア、韓国、インド、シンガポール、香港など、40か国以上で販売されています。
この製品のアイデアは、2001年にマイクロソフトハードウェアのスティーブン・バティッシュとマイクロソフトリサーチのアンディ・ウィルソンによって最初に構想されました。[ 4 ]
2001年10月、DJ・カーランダー、マイケル・キム、ジョエル・デリン、バティッシュ、ウィルソンは、このアイデアを次の開発段階に進めるために、仮想チームを結成した。
2003年、チームはグループレビューでマイクロソフト会長のビル・ゲイツにこのアイデアを提示した。その後、バーチャルチームは拡大され、T1という愛称のプロトタイプが1か月以内に製作された。このプロトタイプは、天板に穴を開けたIKEAのテーブルをベースに、建築用トレーシングペーパーを拡散板として使用したものだった。チームはピンボール、写真ブラウザ、ビデオパズルなどのアプリケーションも開発した。翌年、マイクロソフトは85個以上のプロトタイプを製作した。最終的なハードウェア設計は2005年に完了した。
同様のコンセプトは、2002年のSF映画『マイノリティ・リポート』でも使用された。DVDの音声解説で述べられているように、監督のスティーブン・スピルバーグは、この装置のコンセプトは映画製作中にマイクロソフトと協議した際に生まれたと述べている。映画の技術コンサルタントのMIT時代の同僚の一人が後にマイクロソフトに入社し、このプロジェクトに取り組んだ。[ 5 ]
この技術は、2007年5月30日にカリフォルニア州カールスバッドで開催されたウォール・ストリート・ジャーナルの「D: All Things Digital」カンファレンスで、マイクロソフトのCEOスティーブ・バルマーによって「Microsoft Surface」という名前で発表されました。[ 6 ] Surface Computingは、エンターテインメント&デバイス部門内のマイクロソフトの生産性および拡張コンシューマーエクスペリエンスグループの一部です。最初に導入予定だった企業は、Harrah's Entertainment、Starwood Hotels and Resorts、T-Mobile、および販売代理店のInternational Game Technologyでした。[ 7 ]
2008年4月17日、AT&Tが同製品を販売する最初の小売業者となった。[ 8 ] 2008年6月、ハラーズ・エンターテインメントはリオ・イバーでMicrosoft Surfaceを発売し[ 9 ]、ディズニーランドはトゥモローランドのイノベーションズ・ドリームホームで発売した。[ 10 ] 2008年8月13日、シェラトンホテルは5つのホテルのロビーで同製品を導入した。[ 11 ] 2008年9月8日、MSNBCは2008年米国大統領選挙の選挙地図を放送で扱うために同製品の使用を開始した。
2012年6月18日、同社が新たに発表したタブレットPCシリーズにSurfaceブランドを採用した結果、この製品は「Microsoft PixelSense」という名称に変更されました。[ 12 ] Samsung SUR40は2013年に販売終了となりました。 [ 13 ] 「Microsoft PixelSense」という名称は、Surfaceシリーズのパーソナルコンピュータに搭載されているディスプレイ技術の販売にも使用されています(AppleがRetinaディスプレイという用語を使用するのと同様です)。
Microsoftは、PixelSenseインターフェースにおいて重要な4つの主要コンポーネントとして、直接的な操作、マルチタッチによる接触、マルチユーザー体験、および物体認識を挙げている。
直接操作とは、マウスやキーボードを使わずに、ユーザーがアプリケーションのインターフェースに直接手を伸ばして触れるだけで操作できる機能を指します。マルチタッチとは、マウスのようにカーソルが1つしかない場合とは異なり、インターフェースに複数の接点を持つことができる機能を指します。マルチタッチの利点はマルチユーザーエクスペリエンスです。複数のユーザーが画面の異なる側から同時にアプリケーションを操作できます。オブジェクト認識とは、デバイス上に置かれたタグ付きオブジェクトの存在と向きを認識する機能を指します。
この技術により、非デジタルオブジェクトを入力デバイスとして使用できます。ある例では、通常の絵筆を使用してソフトウェアでデジタルペイントを作成しました。[ 14 ]これは、カメラを入力に使用することで、システムが従来のタッチスクリーンやタッチパッドデバイスに必要な、使用するツールの静電容量、電気抵抗、温度などの制限的な特性に依存しないという事実によって可能になります(タッチスクリーンを参照)。
従来の技術では、コンピューターの「視覚」は、表面に向けられた波長850ナノメートルの近赤外線LED光源によって実現されていました。物体がテーブルに触れると、その光が複数の赤外線カメラに反射され、合計解像度1024ピクセル×768ピクセルで物体を検知し、反応することができました。
このシステムには、写真、音楽、バーチャルコンシェルジュ、ゲームなどの基本的なアプリケーションが付属しており、顧客に合わせてカスタマイズできます。[ 15 ]
プリインストールされている機能の一つに「アトラクト」というアプリがあります。これは、葉や石が浮かぶ水面の画像です。画面をタッチすることで、まるで本物の小川のように水面に波紋を作ることができます。さらに、タッチの圧力によって波紋の大きさが変わり、水中に置かれた物体は、実際の池のように波紋が跳ね返る障壁となります。
最新のデバイスで使用されている技術は、画面上に置かれた指、タグ、物体、生データ、およびオブジェクトを認識することを可能にし、カメラを使用せずに視覚ベースのインタラクションを実現します。ディスプレイの個々のピクセルに搭載されたセンサーが、画面に触れているものを検知します。
マイクロソフトは、開発者がPixelSense搭載デバイスおよびWindows 7タッチPC 向けにNUIタッチアプリケーションを作成するための、無料のMicrosoft Surface 2.0ソフトウェア開発キット(SDK)を提供しています。
PixelSense 用のアプリケーションは、 Windows Presentation Foundation (WPF) またはMicrosoft XNAで作成できます。開発プロセスは通常のWindows 7開発とほぼ同じですが、システムの独自のインターフェイスのため、カスタム WPF コントロールを作成する必要がありました。WPF に精通している開発者は、ソフトウェア開発キット(SDK) を使用して、大規模なホテル、カジノ、レストランへの展開向けに PixelSense 用のアプリケーションを作成できます。[ 16 ]
Microsoft Researchは、SecondLightと呼ばれる関連技術に関する情報を公開しました。[ 17 ]まだ研究段階にあるこのプロジェクトは、メインディスプレイ上または上の物理的なオブジェクトに二次画像を拡張します。[ 18 ]
後日談として、PixelSenseは長くは続かず、Samsung SUR40は2013年に販売終了となった。