中央処理装置

CPUの設計の複雑さは、さまざまな技術によって小型で信頼性の高い電子機器の製造が容易になったことで増大した。このような最初の改善はトランジスタの登場によってもたらされた。1950年代と1960年代のトランジスタ式CPUは、真空管やリレーのようなかさばり、信頼性が低く、壊れやすいスイッチング素子から構築する必要がなくなった。^{[ 35 ]}この改善により、個別部品を含む1枚または複数枚のプリント基板上に、より複雑で信頼性の高いCPUが構築されるようになった。

1964年、IBMはIBM System/360コンピュータアーキテクチャを発表しました。これは、同じプログラムを異なる速度とパフォーマンスで実行できる一連のコンピュータで使用されました。^{[ 36 ]}これは、ほとんどの電子コンピュータが同じメーカー製であっても互いに互換性がなかった時代において重要なことでした。この改善を促進するために、IBMはマイクロプログラム（しばしば「マイクロコード」と呼ばれる）の概念を使用しました。これは、現代のCPUでも広く使用されています。^{[ 37 ]} System/360アーキテクチャは非常に人気があり、数十年にわたってメインフレームコンピュータ市場を支配し、IBM zSeriesのような同様の現代のコンピュータに受け継がれる遺産を残しました。^{[ 38 ] [ 39 ]} 1965年、Digital Equipment Corporation （DEC）は、科学および研究市場を対象としたもう1つの影響力のあるコンピュータ、 PDP-8を発表しました。^{[ 40 ]}

トランジスタベースのコンピュータは、それ以前のものに比べていくつかの明確な利点がありました。トランジスタは信頼性の向上と消費電力の低減を容易にするだけでなく、真空管やリレーに比べてスイッチング時間が短いため、CPUをはるかに高速で動作させることも可能にしました。^{[ 41 ]}この頃には、スイッチング素子はほぼすべてトランジスタであり、信頼性の向上と速度の劇的な向上により、この時期には数十メガヘルツのCPUクロックレートが容易に達成されました。^{[ 42 ]}さらに、ディスクリートトランジスタおよびIC CPUが広く使用される一方で、単一命令複数データ（SIMD）ベクトルプロセッサなどの新しい高性能設計が登場し始めました。^{[ 43 ]}これらの初期の実験的な設計は、後にCray Incや富士通株式会社が製造したような特殊なスーパーコンピュータの時代を生み出しました。^{[ 43 ]}

この時期に、多数のトランジスタをコンパクトな空間に相互接続して製造する方法が開発されました。集積回路（IC）により、多数のトランジスタを単一の半導体ベースのダイ、つまり「チップ」上に製造することが可能になりました。当初は、NORゲートなどの非常に基本的な非特殊デジタル回路のみがICに小型化されました。^{[ 44 ]}これらの「ビルディングブロック」ICに基づくCPUは、一般に「小規模集積回路」（SSI）デバイスと呼ばれます。アポロ誘導コンピュータで使用されたようなSSI ICは、通常、数十個までのトランジスタを含んでいました。SSI ICでCPU全体を構築するには、数千個の個別のチップが必要でしたが、それでも以前のディスクリートトランジスタ設計よりもはるかに少ないスペースと電力で済みました。^{[ 45 ]}

IBMのSystem/370はSystem/360の後継機で、ソリッドロジックテクノロジーのディスクリートトランジスタモジュールではなくSSI ICを使用していた。^{[ 46 ] [ 47 ]} DECのPDP-8 /IとKI10 PDP-10も、PDP-8とKA PDP-10で使用されていた個々のトランジスタからSSI ICに切り替わり、^{[ 48 ]}非常に人気のあるPDP-11シリーズは当初SSI ICで構築されたが、LSIコンポーネントが実用的になると最終的にLSIコンポーネントで実装された。

リー・ボイセルは、1967年の「マニフェスト」を含む影響力のある記事を発表し、比較的少数の大規模集積回路（LSI）から32ビットのメインフレームコンピュータに相当するものを構築する方法を説明した。^{[ 49 ] [ 50 ]} 100個以上のゲートを持つチップであるLSIチップを構築する唯一の方法は、金属酸化物半導体（MOS）半導体製造プロセス（PMOSロジック、NMOSロジック、またはCMOSロジックのいずれか）を使用して構築することであった。しかし、一部の企業は、1970年代までバイポーラ接合トランジスタがMOSチップよりも高速であったため、バイポーラトランジスタ・トランジスタロジック（TTL）チップからプロセッサを構築し続けた（データポイントなどの少数の企業は、1980年代初頭までTTLチップからプロセッサを構築し続けた）。^{[ 50 ]} 1960年代には、MOS ICは低速で、当初は低消費電力を必要とするアプリケーションでのみ有用であると考えられていた。^{[ 51 ] [ 52 ]} 1968年にフェアチャイルド・セミコンダクターのフェデリコ・ファギンがシリコンゲートMOS技術を開発した後、MOS ICは1970年代後半にバイポーラTTLに取って代わり、標準的なチップ技術となった。^{[ 53 ]}

マイクロエレクトロニクス技術が進歩するにつれて、ICに搭載されるトランジスタの数が増加し、完全なCPUに必要な個々のICの数が減少するようになりました。MSIおよびLSI ICではトランジスタ数が数百、そして数千に増加しました。1968年までに、完全なCPUを構築するために必要なICの数は、8種類の異なる24個のICにまで減少し、各ICには約1000個のMOSFETが含まれていました。^{[ 54 ]} SSIおよびMSIの前身とは対照的に、PDP-11の最初のLSI実装には、わずか4つのLSI集積回路で構成されたCPUが含まれていました。^{[ 55 ]}

Intel 80486DX2マイクロプロセッサのダイ（実寸：12×6.75mm  ）をパッケージに収めたもの

Vaio Eシリーズノートパソコンのマザーボードに搭載されたIntel Core i5 CPU （右側、ヒートパイプの下）

マイクロプロセッサが初めて登場して以来、他のすべての中央処理装置の実装方法をほぼ完全に凌駕してきました。1971年に製造された最初の商用マイクロプロセッサは、Intel 4004でした。Intel 4004 は、算術論理演算ユニット、制御ユニット、レジスタユニットをチップ上に統合した最初の消費者向け CPU の 1 つです。 ^{[ 56 ]} 1974 年に製造された最初の広く使用されたマイクロプロセッサは、Intel 8080でした。当時のメインフレームおよびミニコンピュータのメーカーは、古いコンピュータ アーキテクチャをアップグレードするために独自の IC 開発プログラムを開始し、最終的に、古いハードウェアおよびソフトウェアとの下位互換性を持つ命令セット互換のマイクロプロセッサを製造しました。ユビキタスなパーソナル コンピュータの登場と最終的な成功と相まって、CPUという用語は現在、ほぼ独占的にマイクロプロセッサに適用されます。 ^{[ a ]}複数の CPU (コアと表記) を単一の処理チップに組み合わせることができます。^{[ 57 ]}

以前の世代の CPU は、個別の部品と多数の小型集積回路(IC) を 1 枚以上の回路基板上に実装していました。^{[ 58 ]}一方、マイクロプロセッサは、ごく少数の IC (通常は 1 つ) 上に製造された CPU です。^{[ 59 ]}単一のダイ上に実装された結果、CPU 全体のサイズが小さくなり、ゲート寄生容量の減少などの物理的要因によりスイッチング時間が短縮されます。^{[ 60 ] [ 61 ]}これにより、同期マイクロプロセッサは数十メガヘルツから数ギガヘルツのクロックレートを実現できるようになりました。さらに、IC 上に非常に小さなトランジスタを構築できるようになったことで、単一の CPU 内のトランジスタの複雑さと数が何倍にも増加しました。この広く観察されている傾向はムーアの法則で説明されており、2016 年までは CPU (およびその他の IC) の複雑さの増加をかなり正確に予測できることが証明されていました。 ^{[ 62 ] [ 63 ]}

1950 年以降、CPU の複雑さ、サイズ、構造、一般的な形式は大きく変化しましたが、^{[ 64 ]}基本的な設計と機能はほとんど変わっていません。今日、ほとんどすべての一般的な CPU は、フォン ノイマン型プログラム内蔵マシンとして非常に正確に説明できます。^{[ 65 ] [ b ]}ムーアの法則がもはや成り立たなくなったため、集積回路トランジスタ技術の限界について懸念が生じています。電子ゲートの極度の小型化により、エレクトロマイグレーションやサブスレッショルドリークなどの現象の影響がはるかに大きくなっています。^{[ 67 ] [ 68 ]}これらの新しい懸念は、量子コンピュータなどの新しい計算方法を研究したり、並列処理や古典的なフォン ノイマン モデルの有用性を拡張する他の方法の使用を拡大したりする研究者を駆り立てる多くの要因の 1 つです。

Fetch involves retrieving an instruction (which is represented by a number or sequence of numbers) from program memory. The instruction's location (address) in program memory is determined by the program counter (PC; called the "instruction pointer" in Intel x86 microprocessors), which stores a number that identifies the address of the next instruction to be fetched. After an instruction is fetched, the PC is incremented by the length of the instruction so that it will contain the address of the next instruction in the sequence.^[d] Often, the instruction to be fetched must be retrieved from relatively slow memory, causing the CPU to stall while waiting for the instruction to be returned. This issue is largely addressed in modern processors by caches and pipeline architectures (see below).

The instruction that the CPU fetches from memory determines what the CPU will do. In the decode step, performed by binary decoder circuitry known as the instruction decoder, the instruction is converted into signals that control other parts of the CPU.

The way in which the instruction is interpreted is defined by the CPU's instruction set architecture (ISA).^[e] Often, one group of bits (that is, a "field") within the instruction, called the opcode, indicates which operation is to be performed, while the remaining fields usually provide supplemental information required for the operation, such as the operands. Those operands may be specified as a constant value (called an immediate value), or as the location of a value that may be a processor register or a memory address, as determined by some addressing mode.

CPU設計によっては、命令デコーダはハードワイヤードで変更不可能なバイナリデコーダ回路として実装されている。一方、マイクロプログラムを用いて命令をCPU構成信号のセットに変換し、それを複数のクロックパルスにわたって順次適用する方式もある。マイクロプログラムを格納するメモリが書き換え可能な場合もあり、その場合はCPUの命令デコード方法を変更できる。

フェッチとデコードのステップの後、実行ステップが実行されます。CPUアーキテクチャによっては、これは単一のアクション、または一連のアクションで構成される場合があります。各アクションでは、制御信号によってCPUのさまざまな部分が電気的に有効または無効になり、目的の操作の全部または一部を実行できるようになります。その後、アクションは通常クロックパルスに応答して完了します。多くの場合、結果は後続の命令が迅速にアクセスできるように、CPU内部レジスタに書き込まれます。その他の場合、結果は、より低速ではあるものの、安価で容量の大きいメインメモリに書き込まれることがあります。

例えば、加算を実行する命令を実行する場合、オペランド（加算する数値）を含むレジスタと、加算を実行する算術論理演算ユニット（ALU）の各部分がアクティブになります。クロックパルスが発生すると、オペランドはソースレジスタからALUに流れ込み、合計が出力に現れます。後続のクロックパルスでは、他のコンポーネントが有効化（または無効化）され、出力（演算の合計）がストレージ（レジスタやメモリなど）に移動します。結果として得られた合計が大きすぎる場合（つまり、ALUの出力ワードサイズよりも大きい場合）、算術オーバーフローフラグが設定され、次の演算に影響を与えます。

制御装置（CU）はCPUの構成要素であり、プロセッサの動作を制御する役割を担います。コンピュータのメモリ、演算論理装置、入出力装置に対し、プロセッサに送信された命令にどのように応答すべきかを指示します。

タイミング信号と制御信号を提供することで、他のユニットの動作を制御します。ほとんどのコンピュータのリソースは CU によって管理されます。CPU と他のデバイス間のデータの流れを制御します。ジョン・フォン・ノイマンは、フォン・ノイマン・アーキテクチャの一部として制御ユニットを含めました。現代のコンピュータ設計では、制御ユニットは通常 CPU の内部部分であり、その全体的な役割と動作は導入以来変わっていません。^{[ 70 ]}

算術論理演算ユニット（ALU）は、プロセッサ内部にあるデジタル回路で、整数演算とビット単位の論理演算を実行します。ALUへの入力は、演算対象となるデータワード（オペランド）、前回の演算からのステータス情報、および制御ユニットから送られる演算指示コードです。実行される命令に応じて、オペランドはCPU内部レジスタ、外部メモリ、またはALU自体が生成する定数から取得されます。

すべての入力信号が安定し、ALU回路を通過すると、実行された演算の結果がALUの出力に現れます。この結果は、レジスタまたはメモリに格納されるデータワードと、通常はこの目的のために確保されたCPU内部の専用レジスタに格納されるステータス情報から構成されます。

現代のCPUは、性能向上のために通常複数のALU（演算論理ユニット）を搭載している。

アドレス生成ユニット（AGU）は、アドレス計算ユニット（ACU）とも呼ばれ、^{[ 71 ]} CPU内部の実行ユニットであり、 CPUがメインメモリにアクセスするために使用するアドレスを計算します。アドレス計算をCPUの他の部分と並列に動作する独立した回路で処理することで、さまざまなマシン命令の実行に必要なCPUサイクル数を削減でき、パフォーマンスが向上します。

CPUは様々な演算を実行する際に、メモリからデータを取得するために必要なメモリアドレスを計算する必要があります。例えば、配列要素のメモリ上の位置は、CPUが実際のメモリ位置からデータを取得する前に計算しなければなりません。これらのアドレス生成計算には、加算、減算、剰余演算、ビットシフトなどの様々な整数演算が含まれます。多くの場合、メモリアドレスの計算には複数の汎用マシン命令が必要となり、それらの命令は必ずしも高速にデコードおよび実行されるとは限りません。CPU設計にAGUを組み込み、AGUを使用する専用命令を導入することで、様々なアドレス生成計算をCPUの他の部分からオフロードし、多くの場合、単一のCPUサイクルで高速に実行できるようになります。

AGUの機能は、特定のCPUとそのアーキテクチャに依存します。そのため、AGUによってはより多くのアドレス計算演算を実装・公開するものもあれば、複数のオペランドを同時に処理できる高度な特殊命令を含むものもあります。一部のCPUアーキテクチャでは複数のAGUが搭載されているため、複数のアドレス計算演算を同時に実行でき、高度なCPU設計のスーパースカラ特性により、さらなるパフォーマンス向上を実現しています。例えば、IntelはSandy BridgeおよびHaswellマイクロアーキテクチャに複数のAGUを組み込んでおり、複数のメモリアクセス命令を並列実行することでCPUメモリサブシステムの帯域幅を拡大しています。

多くのマイクロプロセッサ（スマートフォン、デスクトップ、ラップトップ、サーバーコンピュータなど）には、論理アドレスを物理RAMアドレスに変換し、メモリ保護とページング機能を提供するメモリ管理ユニット（MMU）があり、仮想メモリに役立ちます。MMUは通常プロセッサに統合されていますが、場合によっては別の集積回路（IC）に搭載されています。^{[ 72 ]}よりシンプルなプロセッサ、特にマイクロコントローラには、通常MMUは含まれていません。

CPUキャッシュは、コンピュータの中央処理装置 (CPU) がメイン メモリからデータにアクセスする際の平均コスト (時間またはエネルギー) を削減するために使用するメモリです。^{[ 73 ]}キャッシュは、プロセッサ コアに近い、より小さく高速なメモリで、頻繁に使用されるメインメモリ位置からデータのコピーを格納します。ほとんどの CPU には、通常、複数のキャッシュ レベル (L1、L2、L3、L4 など) の階層として構成された、異なる独立したキャッシュがあります。各キャッシュ レベルは通常、前のレベルよりも低速ですが、容量が大きく、L1 が最も高速で、CPU に最も近いレベルです。L1 レベルには、通常、命令キャッシュとデータ キャッシュが別々にあります。

最新の（高速な）CPUのほとんどは（ごく一部の特殊な例外を除いて^{[ f ]}）、複数のレベルのCPUキャッシュを備えています。キャッシュを使用した最初のCPUは、キャッシュレベルが1つしかありませんでした。後のレベル1キャッシュとは異なり、L1d（データ用）とL1i（命令用）に分割されていませんでした。キャッシュを備えた現在のCPUのほぼすべては、分割されたL1キャッシュを備えています。また、L2キャッシュも備えており、より大規模なプロセッサではL3キャッシュも備えています。L2キャッシュは通常分割されておらず、既に分割されているL1キャッシュの共通リポジトリとして機能します。マルチコアプロセッサの各コアには専用のL2キャッシュがあり、通常はコア間で共有されません。L3キャッシュおよび上位レベルのキャッシュは、コア間で共有され、分割されません。L4キャッシュは現在では一般的ではなく、一般的には別のダイまたはチップ上の静的ランダムアクセスメモリ（SRAM）ではなく、動的ランダムアクセスメモリ（DRAM）上にあります。歴史的に見てもL1キャッシュはそうでしたが、より大型のチップが登場したことで、L1キャッシュを含むほぼすべてのキャッシュレベル（最下層を除く）の統合が可能になりました。キャッシュレベルが増えるごとに容量も大きくなり、最適化の方法も異なってきます。

上記で述べた最も重要なキャッシュの「キャッシュサイズ」には含まれない、他の種類のキャッシュも存在します。例えば、ほとんどのCPUに搭載されているメモリ管理ユニット（MMU）の一部である変換ルックアサイドバッファ（TLB）などです。

キャッシュのサイズは一般的に2のべき乗、つまり2、8、16などのKiBまたはMiB（より大きな非L1サイズの場合）ですが、IBM z13には96 KiBのL1命令キャッシュがあります。^{[ 74 ]}

ほとんどのCPUは同期回路であり、クロック信号を用いて逐次的な処理のペースを制御します。クロック信号は、外部発振回路によって生成され、周期的な方形波の形で毎秒一定数のパルスを生成します。クロックパルスの周波数はCPUが命令を実行する速度を決定し、したがって、クロックが速いほど、CPUは毎秒より多くの命令を実行します。

CPUの適切な動作を確保するため、クロック周期はCPU内を全ての信号が伝搬するのに必要な最大時間よりも長く設定されています。クロック周期を最悪の伝搬遅延よりも十分に長い値に設定することで、立ち上がりクロック信号と立ち下がりクロック信号の「エッジ」を利用して、CPU全体とそのデータ転送方法を設計することが可能になります。これにより、設計面と部品点数面の両方でCPUを大幅に簡素化できるという利点があります。しかし、CPUの一部ははるかに高速であるにもかかわらず、CPU全体が最も低速な要素の処理を待たなければならないという欠点もあります。この制限は、CPUの並列性を高める様々な方法によって大部分が補われています（下記参照）。

しかし、アーキテクチャの改善だけでは、グローバル同期型CPUの欠点をすべて解決することはできません。例えば、クロック信号は他の電気信号の遅延の影響を受けます。CPUが複雑化するにつれてクロック周波数が高くなると、ユニット全体でクロック信号の位相（同期）を維持することが難しくなります。そのため、多くの最新のCPUでは、単一の信号がCPUの誤動作を引き起こすほど大幅に遅延するのを避けるために、複数の同一のクロック信号を供給する必要があります。クロック周波数が劇的に上昇するにつれて、もう1つの大きな問題は、CPUが放散する熱量です。常に変化するクロックによって、多くのコンポーネントが、その時点で使用されているかどうかに関係なくスイッチングします。一般的に、スイッチングしているコンポーネントは、静止状態にある要素よりも多くのエネルギーを消費します。したがって、クロック周波数が上昇すると、エネルギー消費量も増加し、CPU冷却ソリューションの形でより多くの放熱が必要になります。

不要なコンポーネントの切り替えに対処する方法の1つにクロックゲーティングと呼ばれるものがあり、これは不要なコンポーネントへのクロック信号をオフにする（実質的に無効にする）というものです。しかし、これは実装が難しいとみなされることが多く、そのため、非常に低消費電力の設計以外では一般的に使用されていません。クロックゲーティングを多用している注目すべきCPU設計の1つは、Xbox 360で使用されているIBM PowerPCベースのXenonです。これにより、Xbox 360の消費電力が削減されます。^{[ 75 ]}

グローバルクロック信号の問題に対処するもう1つの方法は、クロック信号を完全に削除することです。グローバルクロック信号を削除すると、設計プロセスは多くの点でかなり複雑になりますが、非同期（またはクロックレス）設計は、同様の同期設計と比較して、消費電力と放熱において顕著な利点があります。あまり一般的ではありませんが、グローバルクロック信号を使用せずに非同期CPU全体が構築されています。その2つの注目すべき例は、ARM準拠のAMULETとMIPS R3000互換のMiniMIPSです。^{[ 76 ]}

クロック信号を完全に排除するのではなく、一部のCPU設計では、非同期ALUをスーパースカラパイプラインと組み合わせて使用​​することで、演算性能を向上させるなど、デバイスの特定部分を非同期化することを可能にしています。完全に非同期な設計が同期型と同等またはそれ以上の性能を発揮できるかどうかは必ずしも明確ではありませんが、少なくとも単純な数学演算においては優れていることは明らかです。この点と、優れた消費電力および放熱特性が相まって、組み込みコンピュータに非常に適しています。^{[ 77 ]}

多くの最新のCPUには、CPU回路へのオンデマンド電圧供給を調整するダイ統合型電源管理モジュールが搭載されており、性能と消費電力のバランスを維持できるようになっている。

すべてのCPUは、数値を特定の方法で表現します。たとえば、初期のデジタルコンピュータの中には、数値を馴染みのある10進数（基数10）で表現するものもあれば、 25進数符号化10進数（基数2～5）や3進数（基数3）といった、より特殊な表現方法を採用するものもありました。現代のCPUはほぼすべて、数値を2進数で表現し、各桁は「高」または「低」電圧といった2値物理量で表されます。^{[ g ]}

数値表現に関連して、CPU が表現できる整数のサイズと精度があります。バイナリ CPU の場合、これは CPU が 1 つの操作で処理できるビット数 (バイナリエンコードされた整数の有効桁数) で測定され、これは一般的にワード サイズ、ビット幅、データ パス幅、整数精度、または整数サイズと呼ばれます。CPU の整数サイズは、CPU が直接操作できる整数値の範囲を決定します。^{[ h ]}たとえば、8 ビットCPU は、8 ビットで表現される整数を直接操作できます。8 ビットは 256 (2 ⁸ )個の離散的な整数値の範囲を持ちます。

整数範囲は、CPUが直接アドレス指定できるメモリ位置の数にも影響します（アドレスとは、特定のメモリ位置を表す整数値です）。たとえば、バイナリCPUがメモリアドレスを表すのに32ビットを使用する場合、2³²個の^メモリ位置を直接アドレス指定できます。この制限を回避するため、またその他のさまざまな理由から、一部のCPUは、追加のメモリをアドレス指定できるようにするメカニズム（メモリ管理やバンク切り替えなど）を使用します。

ワードサイズが大きいCPUは回路が多く必要となるため、物理的に大きくなり、コストも高くなり、消費電力も増加します（そのため発熱量も増加します）。結果として、16、32、64 、さらには128ビットといっ​​たはるかに大きなワードサイズのCPUが利用可能であるにもかかわらず、現代のアプリケーションでは一般的に4ビットまたは8ビットの小型マイクロコントローラが使用されています。しかし、より高いパフォーマンスが求められる場合、ワードサイズが大きいことによるメリット（より広いデータ範囲とアドレス空間）がデメリットを上回る場合があります。CPUは、サイズとコストを削減するために、内部データパスをワードサイズよりも短くすることができます。例えば、IBM System/360の命令セットアーキテクチャは32ビット命令セットでしたが、System/360モデル30とモデル40は算術論理ユニットに8ビットのデータパスを持っていたため、32ビット加算にはオペランドの8ビットごとに1サイクル、合計4サイクルが必要でした。また、Motorola 68000シリーズの命令セットは32ビット命令セットでしたが、Motorola 68000とMotorola 68010は算術論理ユニットに16ビットのデータパスを持っていたため、32ビット加算には2サイクルが必要でした。

To gain some of the advantages afforded by both lower and higher bit lengths, many instruction sets have different bit widths for integer and floating-point data, allowing CPUs implementing that instruction set to have different bit widths for different portions of the device. For example, the IBM System/360 instruction set was primarily 32 bit, but supported 64-bit floating-point values to facilitate greater accuracy and range in floating-point numbers.^[37] The System/360 Model 65 had an 8-bit adder for decimal and fixed-point binary arithmetic and a 60-bit adder for floating-point arithmetic.^[78] Many later CPU designs use similar mixed bit width, especially when the processor is meant for general-purpose use where a reasonable balance of integer and floating-point capability is required.

The description of the basic operation of a CPU offered in the previous section describes the simplest form that a CPU can take. This type of CPU, usually referred to as subscalar, operates on and executes one instruction on one or two pieces of data at a time, that is less than one instruction per clock cycle (IPC < 1).

This process gives rise to an inherent inefficiency in subscalar CPUs. Since only one instruction is executed at a time, the entire CPU must wait for that instruction to complete before proceeding to the next instruction. As a result, the subscalar CPU gets "hung up" on instructions which take more than one clock cycle to complete execution. Even adding a second execution unit (see below) does not improve performance much; rather than one pathway being hung up, now two pathways are hung up and the number of unused transistors is increased. This design, wherein the CPU's execution resources can operate on only one instruction at a time, can only possibly reach scalar performance (one instruction per clock cycle, IPC = 1). However, the performance is nearly always subscalar (less than one instruction per clock cycle, IPC < 1).

Attempts to achieve scalar and better performance have resulted in a variety of design methodologies that cause the CPU to behave less linearly and more in parallel. When referring to parallelism in CPUs, two terms are generally used to classify these design techniques:

• instruction-level parallelism (ILP), which seeks to increase the rate at which instructions are executed within a CPU (that is, to increase the use of on-die execution resources);
• タスクレベル並列処理（TLP）とは、 CPUが同時に実行できるスレッドまたはプロセスの数を増やすことを目的とした技術である

各手法は、実装方法だけでなく、アプリケーションにおけるCPUのパフォーマンス向上にもたらす相対的な有効性においても異なっている。^{[ i ]}

命令レベルの並列処理

並列処理能力を高める最もシンプルな方法の一つは、前の命令の実行が完了する前に、命令のフェッチとデコードの最初のステップを開始することです。これは命令パイプライン処理と呼ばれる技術で、現代の汎用CPUのほぼすべてで採用されています。パイプライン処理では、実行経路を複数の段階に分割することで、複数の命令を同時に実行できます。この分割は、各段階で命令がより完成度を高め、最終的に実行パイプラインから出て廃棄される組み立てラインに例えることができます。

しかし、パイプライン処理では、前の処理の結果が次の処理を完了するために必要となる状況が発生する可能性があります。これはデータ依存性の競合と呼ばれる状態です。そのため、パイプライン処理プロセッサはこのような状況をチェックし、必要に応じてパイプラインの一部を遅延させる必要があります。パイプライン処理プロセッサは、パイプラインストール（命令がステージ内で1クロックサイクル以上を費やすこと）によってのみ制限されますが、ほぼスカラー処理に近い性能を発揮できます。

命令パイプラインの改善により、CPU コンポーネントのアイドル時間がさらに短縮されました。スーパースカラと呼ばれる設計には、長い命令パイプラインと、ロード ストア ユニット、算術論理ユニット、浮動小数点ユニット、アドレス生成ユニットなどの複数の同一の実行ユニットが含まれます。^{[ 79 ]}スーパースカラ パイプラインでは、命令が読み込まれてディスパッチャに渡され、ディスパッチャは命令を並列 (同時) に実行できるかどうかを判断します。実行できる場合は、実行ユニットにディスパッチされ、同時実行されます。一般に、スーパースカラ CPU が 1 サイクルで完了する命令の数は、実行ユニットに同時にディスパッチできる命令の数に依存します。

スーパースカラCPUアーキテクチャの設計における難しさの大部分は、効果的なディスパッチャの作成にあります。ディスパッチャは、命令を並列実行できるかどうかを迅速に判断し、実行ユニットをできるだけ多く稼働させるように命令をディスパッチする必要があります。そのためには、命令パイプラインをできるだけ頻繁に満たし、大量のCPUキャッシュが必要となります。また、分岐予測、投機的実行、レジスタリネーミング、アウトオブオーダー実行、トランザクションメモリといったハザード回避技術が、高いパフォーマンスレベルを維持するために不可欠となります。条件付き命令がどの分岐（またはパス）に進むかを予測することで、CPUは条件付き命令が完了するまでパイプライン全体が待機する回数を最小限に抑えることができます。投機的実行は、条件付き操作の完了後に不要となる可能性のあるコード部分を実行することで、パフォーマンスをわずかに向上させることがよくあります。アウトオブオーダー実行は、データ依存性による遅延を減らすために、命令の実行順序をある程度変更します。また、単一の命令ストリームと複数のデータストリームの場合、つまり同じタイプの大量のデータを処理する必要がある場合、最新のプロセッサはパイプラインの一部を無効にすることができます。これにより、単一の命令が何度も実行される際に、CPUはフェッチとデコードのフェーズをスキップし、特定の状況、特にビデオ作成ソフトウェアや写真処理などの非常に単調なプログラムエンジンにおいて、パフォーマンスを大幅に向上させることができます。

CPUの一部がスーパースカラである場合、スーパースカラでない部分はスケジューリングの遅延によりパフォーマンスが低下します。Intel P5 Pentiumには、クロックサイクルごとに1つの命令を受け入れることができるスーパースカラALUが2つ搭載されていましたが、FPUはそれができませんでした。そのため、P5は整数スーパースカラでしたが、浮動小数点スーパースカラではありませんでした。IntelのP5アーキテクチャの後継であるP6では、浮動小数点機能にスーパースカラ機能が追加されました。

シンプルなパイプライン処理とスーパースカラ設計により、CPUはクロックサイクルあたり1命令を超える速度で命令を実行できるため、命令レベル並列性（ILP）が向上します。現代のCPU設計のほとんどは、少なくともある程度はスーパースカラであり、過去10年間に設計された汎用CPUのほぼすべてがスーパースカラです。近年、高ILPコンピュータの設計における重点の一部は、CPUのハードウェアからソフトウェアインターフェース、つまり命令セットアーキテクチャ（ISA）に移っています。超長命令語（VLIW）戦略により、ソフトウェアによって直接的にILPが暗黙的に示されるため、CPUがILPを向上させるための作業が減り、設計の複雑さが軽減されます。

多くの最新のアーキテクチャ（組み込みアーキテクチャを含む）には、実行中のソフトウェアのメトリクスの低レベル（命令レベル）収集、ベンチマーク、デバッグ、または分析を可能にするハードウェアパフォーマンスカウンタ（HPC）が含まれていることがよくあります。 ^{[ 83 ] [ 84 ]} HPCは、リターン指向プログラミング（ROP）やSIGRUTリターン指向プログラミング（SROP）のエクスプロイトなど、ソフトウェアの異常または疑わしいアクティビティを検出および分析するためにも使用できます。^{[ 85 ]}これは通常、ソフトウェアセキュリティチームが悪意のあるバイナリプログラムを評価および発見するために行います。^{[ 86 ]}

IBM、Intel、AMD、Armなどの多くの主要ベンダーは、CPUのレジスタからデータを収集してメトリクスを取得するために使用できるソフトウェアインターフェイス（通常はC/C++で記述）を提供しています。^{[ 87 ]}perfオペレーティングシステムベンダーも、カーネルやアプリケーションを実行しているCPUイベントを記録、ベンチマーク、またはトレースするためのソフトウェア（Linuxなど）を提供しています。

ハードウェアカウンタは、CPU のコア要素 (機能ユニット、キャッシュ、メインメモリなど) に関連する包括的なパフォーマンス メトリックを収集するための低オーバーヘッドの方法を提供します。これは、ソフトウェア プロファイラに比べて大きな利点です。^{[ 88 ]}さらに、一般的にプログラムの基となるソース コードを変更する必要がなくなります。^{[ 89 ]}ハードウェア設計はアーキテクチャによって異なるため、ハードウェアカウンタの具体的なタイプと解釈も変わります。