スキャナレス解析

コンピュータサイエンスにおいて、スキャナレス構文解析（レクサレス構文解析とも呼ばれる）は、トークン化（文字ストリームを単語に分割すること）と構文解析（単語を句に並べること）を、レクサと構文解析を並行して実行するパイプラインに分割するのではなく、単一のステップで実行します。言語文法がスキャナレスであるのは、言語の語彙レベル（単語レベル）と句レベルの両方の構造を表現するために単一の形式体系を使用する場合です。

処理を字句解析器と構文解析器に分割する方がモジュール化が進みます。スキャナレス構文解析は、字句解析器と構文解析器の明確な区別が不要な場合や望ましくない場合に主に用いられます。この方法が適切な例としては、TeX、ほとんどのWiki文法、Makefile、シンプルなアプリケーション固有のスクリプト言語、Rakuなどが挙げられます。

• 必要なメタ言語は1つだけです
• 非規則的な語彙構造も容易に処理できます
• 「トークン分類」は不要となり、「字句解析器ハック」や言語予約語（ C言語の「while」など）といった設計上の工夫が不要になります。
• 文法は構成的である（人間の介入なしに統合できる）^[a]

• 語彙解析と構文解析が組み合わされているため、結果として得られるパーサーはより複雑になり、理解やデバッグが難しくなる傾向がある。パーサーの生成に文法を用いる場合、関連する文法についても同様である。
• 結果として得られるパーサーは、時間とメモリの両方に関して、レクサー-パーサーパイプラインよりも著しく効率が悪い傾向がある。^{[ 1 ]}

• SGLRは、モジュール型構文定義形式（SDF）のパーサーであり、ASF+SDFメタ環境およびStratego/XTプログラム変換システムの一部です。
• JSGLRは、SGLRの純粋なJava実装であり、SDFに基づいています。
• TXLは文字レベルの解析をサポートしています。
• dparser は、スキャナレスGLR パーサ用の ANSI C コードを生成します。
• Spiritは、スキャナレス解析とスキャナベース解析の両方に対応しています。
• SBPは、Javaで書かれた、ブール文法（文脈自由文法のスーパーセット）用のスキャナレス構文解析器です。
• Lajaは、文法規則をオブジェクトにマッピングする機能をサポートする、Javaで記述された2段階のスキャナレス構文解析器ジェネレータです。
• 汎用プログラミング言語RakuのRaku文法機能。
• PyParsingは、純粋なPythonで書かれたスキャナー不要のパーサーです。
• META IIにはトークン解析機能が組み込まれています。
• TREE-METAはMETA IIと同様にスキャナレスで、レクサ機能が内蔵されています。
• CWICコンパイラは、コンパイラの作成と実装のためのツールです。トークンルールを言語の一部として持ち、CWICのルールは成功または失敗を返すブール関数にコンパイルされます。

• ^これは、文字レベルでの構文解析によって、パーサーが認識する言語が、正規言語における文字列のシーケンスからなる文脈自由言語とは異なり、文字に基づいて定義された単一の文脈自由言語となるためです。一部の字句解析器なしのパーサーは、合成に関して閉じている文脈自由言語のクラス全体を扱います。

• Visser, E. (1997年8月). Scannerless Generalized-LR Parsing . オランダ: アムステルダム大学. CiteSeerX 10.1.1.37.7828 .