理論言語学および計算言語学において、確率的文脈自由文法(PCFG)は、隠れマルコフモデルが正規文法を拡張するのと同様に、文脈自由文法を拡張する。各生成規則には確率が割り当てられる。導出(構文解析)の確率は、その導出で使用される生成規則の確率の積である。これらの確率はモデルのパラメータと見なすことができ、大規模な問題では、機械学習によってこれらのパラメータを学習するのが便利である。確率的文法の妥当性は、その訓練データセットの文脈によって制約される。
PCFGは文法理論に由来し、自然言語処理からRNA分子の構造研究、プログラミング言語の設計に至るまで、多岐にわたる分野で応用されています。効率的なPCFGを設計するには、拡張性と汎用性という要素を考慮する必要があります。文法の曖昧性などの問題は解決しなければなりません。文法設計は結果の精度に影響を与えます。文法解析アルゴリズムは、それぞれ異なる時間とメモリ要件を持っています。
派生: 文法から文字列を再帰的に生成するプロセス。
構文解析:オートマトンを用いて有効な導出を見つける。
構文解析木:文法をシーケンスにアライメントしたもの。
PCFG文法のパーサーの一例として、プッシュダウンオートマトンが挙げられます。このアルゴリズムは、文法の非終端記号を左から右へスタックのように解析します。この総当たり方式はあまり効率的ではありません。RNA二次構造予測では、Cocke–Younger–Kasami (CYK) アルゴリズムの変種が、プッシュダウンオートマトンよりも効率的な文法解析の代替手段を提供します。[ 1 ] PCFGパーサーの別の例としては、 Treebankを使用して学習されたStanford Statistical Parserがあります。[ 2 ]
CFGと同様に、確率的文脈自由文法Gは 5つ組で定義できる。
どこ
PCFGモデルは、隠れマルコフモデルが正規文法を拡張するのと同じように、文脈自由文法を拡張します。
インサイド・アウトサイドアルゴリズムは、フォワード・バックワードアルゴリズムのアナログです。これは、あるPCFGに基づいて、与えられた配列と一致するすべての派生の総確率を計算します。これは、PCFGがその配列を生成する確率に相当し、直感的には、配列が与えられた文法とどの程度一致しているかの尺度となります。インサイド・アウトサイドアルゴリズムは、RNAの場合、トレーニング配列から観測された事前頻度を推定するために、モデルのパラメータ化に使用されます。
CYKアルゴリズムの動的計画法による変種は、 PCFGモデルに基づいてRNA配列のビタビ解析を求める。この解析結果は、与えられたPCFGから配列が最も可能性の高い形で導出される結果である。
文脈自由文法は、自然言語のモデリングの試みから着想を得た一連の規則として表現されます。[ 3 ] [ 4 ] [ 5 ]これらの規則は絶対的であり、バッカス・ナウア記法として知られる典型的な構文表現を持ちます。生成規則は終端記号から構成されます。非終端S記号と空白終点としても使用できます。CFGとPCFGの生成規則では、左辺には非終端記号が1つだけありますが、右辺は任意の終端記号または非終端記号の文字列になります。PCFGではヌル記号は除外されます。[ 1 ]文法の例:
この文法は「|」(または)文字を使用して次のように短縮できます。
文法における終端記号は単語であり、文法規則によって非終端記号は終端記号または非終端記号の文字列に変換されます。上記の文法は「非終端記号Sから始まる出力はaまたはbまたはその由来は次のとおりです。
曖昧な文法は、同形異義語に適用された場合、同じ単語の並びが複数の解釈を生む可能性があるため、曖昧な構文解析につながる可能性があります。「イラクの指導者が武器を求める」という新聞の見出しのような駄洒落文は、曖昧な構文解析の例です。
曖昧な構文解析に対処する戦略の一つ(パーニニの時代から文法学者によって提唱されてきた)は、さらに多くの規則を追加するか、規則に優先順位を付けて、ある規則が他の規則よりも優先されるようにすることである。しかし、この方法には規則が増殖し、管理が困難になるという欠点がある。もう一つの問題は過剰生成であり、許可されていない構造も生成されてしまう。
確率文法は、様々な表現を頻度に基づいて順位付けすることでこれらの問題を回避し、「最も可能性の高い」(勝者総取り)解釈を導き出す。通時的な変化に伴い使用パターンが変化すると、これらの確率的規則を再学習することで文法を更新することができる。
生成規則に確率を割り当てると、PCFG が作成されます。これらの確率は、モデル化対象の言語と同様の構成のトレーニング セットの分布を観察することによって得られます。ほとんどの広範な言語のサンプルでは、データから確率が推定される確率的文法は、通常、手作業で作成された文法よりも優れたパフォーマンスを発揮します。 CFG は PCFG と比較すると、配列と構造の関係を取り入れているものの、配列の構造的可能性を明らかにするスコアリング メトリックが欠けているため、RNA 構造予測には適用できません[ 6 ] 。
重み付き文脈自由文法( WCFG ) は、各生成規則に数値の重みが関連付けられている、より一般的な文脈自由文法のカテゴリです。WCFG の特定の構文木の重みは、木内のすべての規則の重みの積[ 7 ] (または合計[ 8 ] ) です。各規則の重みは、木でその規則が使用される回数だけ含まれます。WCFG の特殊なケースは PCFG であり、重みは ( [ 9 ] [ 10 ] )確率の対数)です。
CYKアルゴリズムの拡張版を使用すると、与えられたWCFGから文字列の「最も軽い」(最小の重みを持つ)派生を見つけることができる。
1990年代以降、PCFGはRNA構造のモデリングに適用されてきた。[ 11 ] [ 12 ] [ 13 ] [ 14 ] [ 15 ]
エネルギー最小化[ 16 ] [ 17 ]と PCFG は、同等の性能で RNA 二次構造を予測する方法を提供します。[ 11 ] [ 12 ] [ 1 ]ただし、PCFG による構造予測は、最小自由エネルギー計算ではなく、確率的にスコアリングされます。 PCFG モデルのパラメータは、エネルギー最小化法の場合のように実験的に決定するのではなく、RNA 構造のデータベースで観察されたさまざまな特徴の頻度から直接導出されます[ 6 ]。[ 18 ] [ 19 ]
PCFG でモデル化できるさまざまな構造の種類には、長距離相互作用、ペアワイズ構造、その他のネスト構造が含まれます。ただし、擬似結び目はモデル化できません。[ 11 ] [ 12 ] [ 1 ] PCFG は、各生成規則に確率を割り当てることで CFG を拡張します。文法からの最大確率構文木は、最大確率構造を意味します。RNA は一次配列にわたって構造を保持するため、RNA 構造予測は、比較配列解析からの進化情報と、そのような確率に基づく構造の妥当性に関する生物物理学的知識を組み合わせることによってガイドできます。また、PCFG 規則を使用した構造相同体の検索結果は、PCFG 派生確率に従ってスコアリングされます。したがって、塩基対と一本鎖領域の挙動をモデル化する文法の構築は、関連する RNA の構造的多重配列アライメントの特徴を探索することから始まります。[ 1 ]
上記の文法は、外側から内側へと文字列を生成します。つまり、末端の最も遠い端にある塩基対が最初に導出されます。したがって、次のような文字列が生成されます。これは、まず両側の遠位のaを生成してから内側に移動することによって導き出されます。
PCFGモデルの拡張性により、RNAのさまざまな特徴に関する期待を組み込むことで構造予測を制約することが可能になります。このような期待は、例えばRNAが特定の構造をとる傾向を反映している可能性があります。[ 6 ] しかし、情報を組み込みすぎるとPCFGの空間とメモリの複雑さが増加する可能性があり、PCFGベースのモデルはできるだけシンプルであることが望ましいです。[ 6 ] [ 20 ]
文法が生成するすべての可能な文字列x には確率重みが割り当てられます。PCFGモデルを考慮するとしたがって、すべての可能な文法生成に対するすべての確率の合計は次のようになる。 各ペアおよび非ペア残基のスコアは、二次構造形成の可能性を説明します。生成ルールでは、ループの長さや塩基対の積み重ね順序もスコアリングできるため、文法から最適でない構造を含むすべての可能な世代の範囲を探索し、スコアの閾値に基づいて構造を受け入れるか拒否することができます。[ 1 ] [ 6 ]
PCFGアプローチに基づくRNA二次構造の実装は、以下の用途に利用できます 。
これらのアプローチにはさまざまな実装が存在します。たとえば、Pfold は関連する RNA 配列のグループからの二次構造予測に使用され、[ 20 ]共分散モデルは相同配列のデータベース検索、RNA アノテーションおよび分類に使用され、[ 11 ] [ 24 ] RNApromo、CMFinder、および TEISER は RNA 内の安定した構造モチーフを見つけるために使用されます。[ 25 ] [ 26 ] [ 27 ]
PCFG設計は二次構造予測精度に影響を与える。PCFGに基づく有用な構造予測確率モデルは、予測精度を大きく損なうことなく単純さを維持しなければならない。単一の配列で優れた性能を発揮する複雑すぎるモデルは、拡張性に欠ける可能性がある。[ 1 ]文法に基づくモデルは、以下の機能を備えている必要がある。
文法ごとに複数の構文解析木が生成されることは、文法の曖昧性を示しています。これは、文法におけるすべての可能な塩基対構造を明らかにするのに役立つ場合があります。しかし、最適な構造とは、構文解析木と二次構造との間にただ1つの対応関係が存在する構造です。
曖昧さには 2 種類が区別できます。構文木の曖昧さと構造の曖昧さです。構造の曖昧さは、最適な構造の選択が常に最低自由エネルギー スコアに基づいて行われるため、熱力学的アプローチには影響しません。[ 6 ]構文木の曖昧さは、配列ごとに複数の構文木が存在することに関係します。このような曖昧さは、すべての可能な構文木を生成してから最適なものを見つけることで、配列のすべての可能な塩基対構造を明らかにすることができます。[ 28 ] [ 29 ] [ 30 ]構造の曖昧さの場合、複数の構文木が同じ二次構造を記述します。構文木と構造の対応関係が一意ではないため、これは CYK アルゴリズムによる最適な構造の決定を不明瞭にします。[ 31 ]文法の曖昧さは、条件付き内部アルゴリズムによってチェックできます。[ 1 ] [ 6 ]
確率的文脈自由文法は、終端変数と非終端変数から構成される。モデル化される各特徴には、RNA構造の訓練データセットから推定された確率が割り当てられる生成規則が存在する。生成規則は、終端残基のみが残るまで再帰的に適用される。
開始非終端ループを生成します。文法の残りの部分はパラメータを使用して進みます。ループがステムの開始点か一本鎖領域sかを決定するパラメータ対になった塩基を生成する。
この単純なPCFGの形式は次のようになります。
構造予測における PCFG の適用は多段階プロセスです。さらに、PCFG 自体は、RNA の進化の歴史を考慮したり、データベースで相同配列を検索したりする確率モデルに組み込むことができます。進化の歴史の文脈では、構造アライメントの RNA 構造の事前分布をPCFG の生成ルールに含めることで、予測精度が向上します。[ 21 ]
さまざまなシナリオでPCFGを活用するための一般的な手順の概要:
RNA構造予測におけるPCFGベースの確率モデルの側面を扱うアルゴリズムはいくつか存在する。例えば、インサイドアウトサイドアルゴリズムとCYKアルゴリズムである。インサイドアウトサイドアルゴリズムは、期待値最大化パラダイムに従うことができる再帰的動的計画法スコアリングアルゴリズムである。これは、あるPCFGに基づいて、与えられた配列と一致するすべての派生の総確率を計算する。内部部分は、構文解析ツリーからの部分木をスコアリングし、したがってPCFGが与えられた場合の部分シーケンスの確率をスコアリングする。外部部分は、完全な配列の完全な構文解析ツリーの確率をスコアリングする。[ 32 ] [ 33 ] CYKはインサイドアウトサイドスコアリングを修正する。「CYKアルゴリズム」という用語は、PCFGを使用して配列の最適な構文解析ツリーを見つけるインサイドアルゴリズムのCYKバリアントを説明することに注意されたい。これは、非確率的CFGで使用される実際のCYKアルゴリズムを拡張したものである。 [ 1 ]
内部アルゴリズムは計算しますすべての確率 根が部分列について外部アルゴリズムが計算しますルートからのシーケンスxの完全な構文木の確率(計算を除く)変数αとβは、PCFGの確率パラメータの推定をより精緻化します。モデルが与えられた場合のシーケンスxの確率でαとβの積を合計し、それを確率で割ることによって、導出中に状態が使用される期待回数を求めることで、PCFGアルゴリズムを再推定することが可能です。また、 αとβの値を利用する期待値最大化によって、生産ルールが使用される期待回数を求めることも可能である。[ 32 ] [ 33 ] CYKアルゴリズムは、最も可能性の高い構文木を見つけるそして収穫量[ 1 ]
RNA構造予測における一般的なPCFGアルゴリズムのメモリと時間計算量はそしてそれぞれ。PCFGを制限すると、データベース検索方法の場合と同様に、この要件が変わる可能性があります。
共分散モデル (CM) は、相同体のデータベース検索、アノテーション、および RNA 分類に応用される特殊なタイプの PCFG です。CM を使用すると、関連する RNA を共通の二次構造で表現できる PCFG ベースの RNA プロファイルを構築できます。[ 11 ] [ 12 ] RNA 解析パッケージ Infernal は、RNA アライメントの推論にこのようなプロファイルを使用します。[ 34 ] Rfam データベースも、構造と配列情報に基づいて RNA をファミリーに分類する際に CM を使用します。[ 24 ]
CMはコンセンサスRNA構造から設計されます。CMはアライメントにおいて無制限の長さの挿入・欠失を許容します。ターミナルはCM内の状態を構成し、挿入・欠失を考慮しない場合、状態間の遷移確率は1になります。[ 1 ] CMの文法は次のとおりです。
このモデルには 6 つの可能な状態があり、各状態の文法には非終端記号の異なるタイプの二次構造確率が含まれています。状態は遷移によって接続されています。理想的には、現在のノード状態はすべての挿入状態に接続され、後続のノード状態は非挿入状態に接続されます。複数の基本挿入状態を挿入できるようにするために、挿入状態は自身に接続されます。[ 1 ]
CMモデルを評価するために、インサイドアウトサイドアルゴリズムが使用されます。CMはCYKの少し異なる実装を使用します。最適な構文解析ツリーの対数オッズ放出スコア -- 発光状態から計算されるこれらのスコアはシーケンス長の関数であるため、最適な構文木確率スコアを復元するためのより識別力の高い尺度は、これは、アラインメントするシーケンスの最大長を制限し、ヌルに対する対数オッズを計算することによって達成されます。このステップの計算時間はデータベースのサイズに比例し、アルゴリズムのメモリ複雑度は[ 1 ]
KnudsenとHeinによるKH-99アルゴリズムは、RNA二次構造を予測するPfoldアプローチの基礎を築いている。[ 20 ]このアプローチでは、パラメータ化には、列と変異の確率に加えて、アライメントツリーから得られる進化履歴情報が必要となる。文法確率は、トレーニングデータセットから観測される。
構造アライメントでは、非対合塩基列と対合塩基列の確率は他の列とは独立しています。単一塩基位置と対合位置の塩基を数えることで、ループとステムの塩基の頻度が得られます。塩基対XとYの場合、も発生としてカウントされる同一塩基対など二重にカウントされます。
配列をあらゆる可能な方法でペアリングすることにより、全体的な突然変異率が推定されます。もっともらしい突然変異を復元するためには、類似した配列間での比較となるように、配列同一性閾値を使用する必要があります。このアプローチでは、ペアリングする配列間で 85% の同一性閾値を使用します。まず、ギャップのある列を除いて、配列ペア間の単一塩基位置の差がカウントされ、2 つの配列の同じ位置に異なる塩基X、Y がある場合、各配列の差のカウントが増加します。
その間最初の配列ペア2番目の配列ペア
突然変異率を計算します。 塩基Xから塩基Yへの突然変異させて X塩基が他の塩基に突然変異する割合の負の値塩基が対になっていない確率。
対になっていない塩基については、XからYへの突然変異の流れが可逆であることを満たす4×4の突然変異率行列が使用されます。[ 35 ]
塩基対についても同様に 16 × 16 の速度分布行列が生成されます。[ 36 ] [ 37 ] PCFG は構造の事前確率分布を予測するために使用され、事後確率はインサイド アウトサイド アルゴリズムによって推定され、最も可能性の高い構造は CYK アルゴリズムによって見つけられます。[ 20 ]
列の事前確率を計算した後、可能なすべての二次構造を合計することでアライメント確率が推定されます。 二次構造内の任意の列C長さlのシーケンスDに対して、アライメントツリーTと変異モデルMに関してスコアリングすることができる。PCFGによって与えられる事前分布は系統樹Tは、最尤推定法によってモデルから計算できます。ギャップは未知の塩基として扱われ、加算は動的計画法によって実行できることに注意してください。[ 38 ]
文法の各構造には、トレーニングデータセットの構造から考案された生成確率が割り当てられます。これらの事前確率は、予測精度に重みを与えます。[ 21 ] [ 32 ] [ 33 ]各ルールが使用される回数は、その特定の文法特徴に対するトレーニングデータセットからの観測に依存します。これらの確率は文法形式で括弧内に記述され、各ルールは合計100%になります。[ 20 ]例えば、
データの事前アライメント頻度を考慮すると、文法によって予測されたアンサンブルから最も可能性の高い構造は、最大化することによって計算できます。CYKアルゴリズムによって、予測された正しい予測の数が最も多い構造がコンセンサス構造として報告される。[ 20 ]
PCFGベースのアプローチは、スケーラブルで汎用性が高いことが求められます。速度と精度のトレードオフは、可能な限り最小限に抑える必要があります。Pfoldは、スケーラビリティ、ギャップ、速度、精度に関してKH-99アルゴリズムの制限に対処します。[ 20 ]
PCFGはRNA二次構造の予測に強力なツールであることが証明されているが、タンパク質配列解析の分野での使用は限られている。実際、アミノ酸アルファベットのサイズとタンパク質に見られる相互作用の多様性により、文法推論ははるかに困難になっている。[ 39 ]その結果、形式言語理論のタンパク質解析への応用は、主に局所的な相互作用に基づく単純な機能パターンをモデル化するための表現力の低い文法の生成に限定されている。[ 40 ] [ 41 ]タンパク質構造は一般的に入れ子構造や交差関係を含む高次の依存関係を示すため、明らかにどのCFGの能力も超えている。[ 39 ]それでも、PCFGの開発により、これらの依存関係の一部を表現し、より広範囲のタンパク質パターンをモデル化する能力を提供できる。
{{cite book}}:|journal=無視されました (ヘルプ)