Microsoft UI オートメーション

Microsoft UI Automation (UIA)は、別のアプリケーションのユーザー インターフェイス (UI) 要素にアクセスし、識別し、操作できるようにするアプリケーション プログラミング インターフェイス(API)です。 ^{[1] [2]}

UIA はUI アクセシビリティの提供を目的としており、 Microsoft Active Accessibilityの後継です。また、GUI テストの自動化も促進し、多くのテスト自動化ツールのベースとなるエンジンです。RPA ツールも、ビジネス プロセス内のアプリケーションを自動化するためにこれを使用します。

UIA のプロパティ プロバイダーは、Win32プログラムと.NETプログラムの両方をサポートします。

UIA の最新仕様は、Microsoft UI Automation Community Promise 仕様の一部として記載されています。Microsoftは、 Microsoft Windows 以外のプラットフォームへの移植性が設計目標の 1 つであったと主張しています。その後、 Monoに移植されました。^[3]

2005 年に、Microsoft はMSAAフレームワークの後継として UIA をリリースしました。

マネージUI オートメーション API は、 .NET Framework 3.0の一部としてリリースされました。ネイティブ UI オートメーション API (プロバイダー) は、 Windows Vista および Windows Server 2008 SDKの一部として含まれており、.NET Framework とともに配布されます。

UIAは、Windows 7ではWindows Automation API 3.0の一部としてすぐに使用でき、Windows XP、Windows Vista、Windows Server 2003および2008では別途ダウンロードできます。^[4]

MSAA の後継として、UIA は次の目標に取り組むことを目指しています。

• クライアントをターゲット アプリケーションのプロセスに強制的に接続させることなく、効率的なクライアント パフォーマンスを実現します。
• UI に関する詳細情報を公開します。
• MSAA と共存して使用しますが、MSAA に存在する問題は継承しません。
• 実装が簡単な MSAA の代替手段を提供します。

UIAutomationClient.dllクライアント側では、UIA はアセンブリ内の .NET インターフェイスと、直接実装されたCOMUIAutomationCore.dllインターフェイスを提供します。

サーバー側では、現在のデスクトップ上のすべてのプロセスまたは選択されたプロセスに挿入されUIAutomationCore.dll、クライアントに代わってデータ取得を実行します。DLL は、UIA プラグイン (プロバイダーと呼ばれる) をホスト プロセスにロードして、さまざまな手法を使用してデータを抽出することもできます。

UIA には、次の表に示すように、4 つの主要なプロバイダー コンポーネントとクライアント コンポーネントがあります。

UIA は、UI のすべての部分を Automation 要素としてクライアント アプリケーションに公開します。要素はツリー構造に含まれており、デスクトップがルート要素となります。

オートメーション要素オブジェクトは、それが表す UI 要素の共通プロパティを公開します。これらのプロパティの 1 つはコントロール タイプで、コントロールの基本的な外観と機能を単一の認識可能なエンティティ (ボタンやチェック ボックスなど) として定義します。

さらに、要素は、コントロール タイプに固有のプロパティを提供するコントロール パターンを公開します。コントロール パターンは、クライアントが要素に関する詳細情報を取得したり、入力を提供したりできるようにするメソッドも公開します。

クライアントは、ツリーの生のビューをコントロール ビューまたはコンテンツ ビューとしてフィルター処理できます。アプリケーションはカスタム ビューを作成することもできます。

UIA ツリー内には、現在のデスクトップを表すルート要素があり、その子要素はアプリケーション ウィンドウを表します。これらの子要素にはそれぞれ、メニュー、ボタン、ツールバー、リスト ボックスなどの UI の各部分を表す要素が含まれる場合があります。これらの要素には、リスト項目などの他の要素が含まれる場合があります。

UIA ツリーは固定構造ではなく、数千の要素が含まれることもあるため、全体が見られることはめったにありません。ツリーの各部分は必要に応じて構築され、要素が追加、移動、または削除されるとツリーは変更される可能性があります。

UIA コントロール タイプは、コンボ ボックスやボタンなど、特定の要素がどのような種類のコントロールを表すかを示すために使用できるよく知られた識別子です。

よく知られた識別子があれば、支援技術 (AT) デバイスは、ユーザー インターフェイス (UI) で使用できるコントロールの種類と、コントロールの操作方法をより簡単に判断できます。UIA コントロールの種類情報の人間が判読できる表現は、LocalizedControlTypeプロパティとして利用でき、コントロールまたはアプリケーションの開発者がカスタマイズできます。

コントロール パターンは、コントロールの種類やコントロールの外観に関係なく、コントロールの機能を分類して公開する方法を提供します。

UIA は、コントロール パターンを使用して、一般的なコントロールの動作を表します。たとえば、コントロールInvokeパターンは、呼び出すことができるコントロール (ボタンなど) に使用され、Scrollコントロール パターンは、スクロール可能なビューポートであるコントロール (リスト ボックス、リスト ビュー、コンボ ボックスなど) に使用されます。各コントロール パターンは個別の機能を表すため、それらを組み合わせて、特定のコントロールでサポートされる機能の完全なセットを記述できます。

UIA プロバイダーは、UIA 要素とコントロール パターンのプロパティを公開します。これらのプロパティにより、UIA クライアント アプリケーションは、静的データと動的データの両方を含む、ユーザー インターフェイス (UI) の各部分、特にコントロールに関する情報を検出できます。

UIA イベント通知は、スクリーン リーダーや画面拡大鏡などの支援技術 (AT) の重要な機能です。これらの UIA クライアントは、UIA 内で発生する UIA プロバイダーによって生成されたイベントを追跡し、その情報を使用してエンド ユーザーに通知します。

プロバイダー アプリケーションが、イベントをサブスクライブしているクライアントがあるかどうかに応じてイベントを選択的に発生できるようにすることで、効率が向上します。また、イベントをリッスンしているクライアントがない場合は、イベントをまったく発生させないようにすることもできます。

UIA は、UIA がサポートするプラットフォームのテキスト コントロールのテキスト コンテンツ (形式やスタイル属性を含む) を公開します。これらのコントロールには、Microsoft .NET Framework TextBoxやRichTextBoxWin32 の同等のコントロールなどが含まれますが、これらに限定されません。

TextPatternコントロールのテキスト コンテンツの公開は、テキスト コンテナーのコンテンツをテキスト ストリームとして表すコントロール パターン を使用して行われます。次に、では、書式属性とスタイル属性を公開するために、クラスTextPatternのサポートが必要です。は、およびエンドポイントを使用して、テキスト コンテナー内の連続したテキスト範囲を表すことによってサポートされます。複数のテキスト範囲または分離したテキスト範囲は、複数のオブジェクトで表すことができます。は、複製、選択、比較、取得、トラバーサルなどの機能をサポートします。 TextPatternRangeTextPatternRangeTextPatternStartEndTextPatternRangeTextPatternRange

UIA は、自動テスト シナリオでのプログラムによるアクセスのフレームワークとしても役立ちます。アクセシビリティのためのより洗練されたソリューションを提供することに加えて、自動テストのための堅牢な機能を提供するように特別に設計されています。

プログラムによるアクセスは、従来のユーザー インタラクションによって公開されるあらゆるインタラクションとエクスペリエンスをコードを通じて模倣する機能を提供します。UIA は、次の 5 つのコンポーネントを通じてプログラムによるアクセスを可能にします。

• UIA ツリーは、アクセシビリティと自動化のために UI の論理構造をナビゲートすることを容易にします。
• UI オートメーション要素は、UI 内の個々のコンポーネントです。
• UI オートメーション プロパティは、UI 要素またはコントロール パターンに関する特定の情報を提供します。
• UI オートメーション コントロール パターンは、コントロールの機能または特徴の特定の側面を定義します。これらは、プロパティ、メソッド、イベント、および構造情報から構成されます。
• UI オートメーション イベントは、UIA 情報の変更や通知に応答するためのトリガーを提供します。

UIAは当初Windows VistaとWindows Server 2008で利用可能でしたが、.NET Framework 3.0の一部としてWindows XPとWindows Server 2003でも利用可能になりました。その後、 Windows 7までのすべてのWindowsバージョンに統合されています。^[5]

Windowsプラットフォームの他に、Oliveプロジェクト（.NET Frameworkのサポートを目的としたMonoコアのアドオンライブラリのセット）には、WPF（PresentationFrameworkおよびWindowsBase）とUIオートメーションのサブセットが含まれています。^[6]

Novell の Mono アクセシビリティ プロジェクトは、Mono フレームワークを対象とした UIA プロバイダーおよびクライアント仕様の実装です。さらに、このプロジェクトは Linux 支援技術 (AT) 用のアクセシビリティ ツールキット (ATK) へのブリッジを提供します。Novell は、UIA ベースの AT が ATK を実装するアプリケーションと対話するためのブリッジにも取り組んでいます。^[7]

• Microsoft Active Accessibility (MSAA) : UIA は MSAA の後継です。しかし、MSAA ベースのアプリケーションがまだ存在するため、UIA と MSAA アプリケーション間の通信を可能にするためにブリッジが使用されます。そのため、2 つの API 間で情報を共有できるように、MSAA-to-UIA プロキシと UIA-to-MSAA ブリッジが開発されました。前者は MSAA 情報を消費し、UIA クライアント API を通じて利用できるようにするコンポーネントです。後者は、MSAA を使用するクライアント アプリケーションが UIA を実装するアプリケーションにアクセスできるようにします。 ^[8]
• アクセシブルリッチインターネットアプリケーション （ARIA）：UIAAriaRoleとAriaPropertiesプロパティは、HTML要素（Webブラウザによって自動化要素として公開できる）に対応するARIA属性値へのアクセスを提供します。ARIA属性からUIAへの一般的なマッピングも利用できます。^[3]
• Windows Automation API : Windows 7 以降、Microsoft はアクセシビリティ技術を Windows Automation API というフレームワークにパッケージ化しています。MSAA と UIA はどちらもこのフレームワークの一部になります。Windows の古いバージョンについては、KB971513 を参照してください。^[9]
• Mono アクセシビリティ プロジェクト: 2007 年 11 月 7 日、Microsoft とNovell Inc. は、相互運用性に関する合意の 1 年を終えた後、合意をアクセシビリティにまで拡張すると発表しました。^{[10] [11]具体的には、Novell がオープン ソース アダプターを開発し、UIA フレームワークを}Linux Accessibility Toolkit (ATK)などの既存のLinuxアクセシビリティ プロジェクトと連携させると発表しました。ATKは、 SUSE Linux Enterprise Desktop、Red Hat Enterprise Linux、Ubuntu Linuxに同梱されています。これにより、UIA は最終的にクロスプラットフォームになります。

• UI オートメーション コントロールの種類
• UI オートメーション コントロール パターン
• UI オートメーション コントロールのプロパティ
• UI オートメーション イベント

• フラUI