システム設計

物理設計は、システムの実際の入出力プロセスに関係します。これは、データがどのようにシステムに入力され、どのように検証/認証され、どのように処理され、どのように表示されるかという観点から説明されます。物理設計では、システムに関する以下の要件が決定されます。

1. 入力要件、
2. 出力要件、
3. 保管要件、
4. 処理要件、
5. システム制御およびバックアップまたはリカバリ。^{[ 10 ]}

言い換えれば、システム設計の物理的な部分は、一般的に次の3つのサブタスクに分解できる。

1. ユーザーインターフェースデザイン
2. データ設計
3. プロセス設計

システムの全体構造を設計する際には、拡張性、信頼性、効率性に優れたシステムを構築することに重点を置きます。例えば、Google、Twitter、Facebook、Amazon、Netflixといったサービスは、大規模分散システムの好例です。以下に、重要な考慮事項を示します。

1. 機能要件と非機能要件
2. 容量予測
3. リレーショナルデータベースおよび/またはNoSQLデータベースの使用
4. 垂直スケーリング、水平スケーリング、シャーディング
5. ロードバランシング
6. 一次複製と二次複製
7. キャッシュとCDN
8. ステートレスサーバーとステートフルサーバー
9. データセンターのジオルーティング
10. メッセージキュー、パブリッシュ/サブスクライブアーキテクチャ
11. パフォーマンス指標の監視とログ記録
12. ビルド、テスト、構成、デプロイの自動化
13. 単一障害点の発見
14. APIレート制限
15. サービスレベル契約

機械学習システムの設計は、現実世界の問題を解決するために機械学習（ML）モデルを統合した、拡張性、信頼性、効率性に優れたシステムを構築することに重点を置いています。MLシステムでは、データパイプライン、モデルのトレーニング、およびデプロイメントインフラストラクチャを慎重に検討する必要があります。MLシステムは、レコメンデーションエンジン、不正検出、自然言語処理などのアプリケーションでよく使用されます。

機械学習システムを設計する際に考慮すべき主要な要素は以下のとおりです。

1. 問題の定義：問題、データ要件、評価指標を明確に定義します。成功基準には、多くの場合、精度、レイテンシ、スケーラビリティが含まれます。^{[ 11 ]}
2. データパイプライン：データの収集、クリーニング、変換、検証を行う自動化されたパイプラインを構築します。^{[ 12 ]}
3. モデルの選択とトレーニング: 適切なアルゴリズム (線形回帰、決定木、ニューラルネットワークなど) を選択し、TensorFlowやPyTorchなどのフレームワークを使用してモデルをトレーニングします。
4. 展開と提供: コンテナ化されたサービス ( DockerやKubernetesなど) などのスケーラブルなアーキテクチャを使用して、トレーニング済みのモデルを本番環境に展開します。^{[ 13 ]}
5. 監視とメンテナンス：モデルのパフォーマンスを継続的に監視し、必要に応じて再トレーニングを行い、データドリフトに対処する。^{[ 14 ]}

機械学習システムの設計には、精度、レイテンシ、コスト、保守性といった要素間のトレードオフのバランスを取りながら、システムの拡張性と信頼性を確保することが求められます。この分野は、機械学習の開発と運用を統合し、機械学習システムのスムーズな導入とライフサイクル管理を保証する一連の手法であるMLOpsと重なる部分があります。