Operational acceptance testing

Operational acceptance testing (OAT) is used to conduct operational readiness (pre-release) of a product, service, or system as part of a quality management system. OAT is a common type of non-functional software testing, used mainly in software development and software maintenance projects. This type of testing focuses on the operational readiness of the system to be supported, and/or to become part of the production environment. Hence, it is also known as operational readiness testing (ORT) or operations readiness and assurance testing (OR&A). Functional testing within OAT is limited to those tests which are required to verify the non-functional aspects of the system.

OAT elaborates upon and compartmentalises operational aspects of acceptance testing.^[1]

According to the International Software Testing Qualifications Board (ISTQB), OAT may include checking the backup/restore facilities, IT disaster recovery procedures, maintenance tasks and periodic check of security vulnerabilities.,^[2] and whitepapers on ISO 29119 and Operational Acceptance by Anthony Woods,^[3] and ISO 25000 and Operational Acceptance Testing by Dirk Dach et al., OAT generally includes:^[4]

• Component Testing
• Failover (Within the same data centre)

• Component fail-over
• Network fail-over

• Functional Stability

• Accessibility
• Conversion
• Stability
• Usability

• IT Service Management (Supportability)
• Monitoring and Alerts (to ensure proper alerts are configured in the system if something goes wrong)
• Portability

• Compatibility
• Interoperability
• Installation and Backout
• Localization

• Recovery (across data centres)

• Application/system recovery
• Data recovery

• Reliability

• Backup and Restoration (Recovery)
• Disaster Recovery
• Maintainability
• Performance, Stress and Volume,
• Procedures (Operability) and Supporting Documentation (Supportability)
• Security and Penetration

OAT では、アプリケーションがスムーズに動作するために使用する環境パラメータに変更が加えられることがあります。たとえば、混合アーキテクチャまたはハイブリッドアーキテクチャのMicrosoft Windowsアプリケーションの場合、これには、 Windows サービス、構成ファイル、Web サービス、XMLファイル、COM+コンポーネント、Web サービス、IIS、データベースのストアド プロシージャなどが含まれます。通常、OAT は開発ライフサイクルの各主要フェーズ (設計、構築、機能テスト)の後に実行されます。シーケンシャル プロジェクトでは、システムのリリース前の最終検証としてよく用いられますが、アジャイルおよびイテレーション プロジェクトでは、OAT がより頻繁に実行され、ステークホルダーにシステムとその動作環境の継続的な安定性を保証します。

OATで使用されるアプローチは、以下の手順に従う場合があります。

• システムを設計し、
• デザインを評価し、
• システムを構築し、
• 設計通りに製造されているか確認してください。
• システムがビジネス機能要件を満たしているか評価する。
• システムが非機能要件に準拠しているかどうかを評価する。
• システムを展開し、
• システムの操作性とサポート性を評価する。

OATテストケースを実行する際、テスターは通常、システムまたは環境への排他的アクセス権を持ちます。つまり、1人のテスターが一度に1つのテストケースを実行することになります。OATでは、運用準備状況に関する正確な品質ゲート（開始ゲートと終了ゲートの両方）が定義されています。OATの主な重点は、システムの運用安定性、移植性、および信頼性に置かれるべきです。