プロジェクト ナプサ

プロジェクト ナプサ

原作者	ケビン・クォック
開発者	グーグルクローム
初回リリース	2013年4月; 11年前 ( 2013-04 )
安定版リリース	Chrome: 0.9.3 / 2014年7月7日; 10年前 ( 2014-07-07 )
書かれた	JavaScript
オペレーティング·システム	クロム
サイズ	428KB
タイプ	ブラウザ拡張機能
Webサイト	翻訳：

Project Napthaは、 Google Chromeのブラウザ拡張機能ソフトウェアで、画像内のテキストをハイライト、コピー、編集、翻訳することができます。 ^[1]開発者の Kevin Kwok 氏によって作成され、^[2] 2014 年 4 月に Chrome アドオンとしてリリースされました。このソフトウェアは当初、Google Chrome でのみ利用可能で、Chrome ウェブストアからダウンロード可能でした。その後、 Mozilla Firefoxで利用できるようになり、Mozilla Firefoxアドオンリポジトリからダウンロード可能になりましたが、すぐに削除されました。削除の理由は不明です。^[3]

ウェブブラウザ拡張機能は高度な画像処理技術を使用しています。^[4]同様の技術は、ハードコピーアートの制作や作品の識別にも使用されています。 ^[5]

Microsoft ResearchとGoogleが開発したライブラリを含むいくつかの光学文字認識（OCR）アルゴリズムを採用することで、画像内のテキストが自動的に識別されます。OCRにより、すべての画像からテキスト領域、単語、文字のモデルを構築できます。^[6]

Project Napthaが採用しているOCR技術は、Google DriveやMicrosoft OneNoteなどのソフトウェアが画像内のテキストを容易に分析するために使用する技術と比べると、少し差別化された技術です。Project Napthaは、テキスト検出の一形態として、2008年にMicrosoft Researchが開発したStroke Width Transform (SWT) [ ^7]と呼ばれる手法も利用しています。

Naptha という名前は、数千年前に生まれた可燃性の液体炭化水素を指す一般用語であるNaphthaに由来しています。テキストを強調表示するプロセスも、このプロジェクトの命名に影響を与えました。

Project Naptha などのソフトウェアが登場する前は、画像内のテキストを編集、コピー、または引用するプロセスは困難でした。以前は、画像から文章を検索またはコピーする唯一の方法は、テキストを手動で書き写すことでした。

2012年5月、ケビン・クォック^[2]は、画像を歪ませたり品質を損なったりすることなく画像のサイズを変更できるアルゴリズムであるシームカービングについて読んでいました。クォックは、画像が文字間のスペースを切り取るように収束して配置される傾向があることに気づきました。特に冗長な漫画に触発されて、画像を読み取り（キャンバスを使用）、線と文字の位置を計算し、選択オーバーレイを描画して、蔓延しているテキスト選択の習慣を和らげるソフトウェアを 開発しました。

クォックの最初の試みは単純なものでした。彼は画像を横に投影し、垂直のピクセル画像ヒストグラムを作成しました。結果として得られたヒストグラムの顕著な谷は、テキスト行の端のシグネチャとして機能しました。水平線が検出されると、各行は自動的に切り取られ、画像内のすべての水平線が識別されるまでヒストグラム処理が繰り返されます。文字の位置を決定するために、同様の処理が実行されましたが、今回は垂直でした。しかし、作成された投影が判読できなかったため、垂直に処理を実行しても失敗しました。効果が低く、この処理は厳密には水平方向の機械印刷テキストにのみ適用可能であることが証明されました。技術的に非常に困難であったため、クォックは 2012 年にこのプロジェクトを断念することを決定しました。

ケビン・クォック氏がこのプロジェクトを再開したのは、マサチューセッツ工科大学（MIT）に進学し、ハッカソンに参加してからのことでした。このプロジェクトは最終的に2位を獲得しました。彼にとって、画像内のテキストを選択することは、技術的には管理可能なことでした。関連する技術は存在し、かなり前から利用可能でしたが、不可解な理由で、画像からテキストを翻訳するアプリケーション向けに拡張されていませんでした。ケビン・クォック氏がプロジェクトを再開することを決心すると、転写、翻訳、テキストの消去、および変更の技術はその後自然に流れ出てきました。

光学文字認識（OCR）を適用する前に、まず画像内にテキストブロックが存在するかどうかを識別する必要があります。テキストブロックが識別されると、OCRはあらゆる画像からテキスト領域、単語、文字のモデルを構築できるようになります。 ^{[6]この機能により、ユーザーは}Google Chromeブラウザでリアルタイムにあらゆる画像内のテキストを直接コピー、翻訳、さらには変更することができます。^[8]

Project Naptha の主な特徴は、テキスト検出機能です。2008年に Microsoft Research が開発した「Stroke Width Transform」と呼ばれるアルゴリズム[ ^{7]に基づいて実行され、}言語に依存しない方法でテキスト領域を識別し、斜めのテキストや画像内のテキストを検出する機能を提供します。これは、事前に決められた個別の特徴をテキストのマーカーとして検出するのではなく、文字を構成する線の幅を使用して、潜在的にテキストである可能性のある要素を識別することによって行われます。

この場合、プログラムは人間と同様に非常に直感的になり、書かれたテキストを認識するために言語を理解する必要がなくなります。^[9]

Project Naptha は、Web を閲覧する際に利用可能なすべての画像に最先端のコンピューター ビジョンアルゴリズムを自動的に適用し、ユーザーが以前は画像内に閉じ込められていたテキストを強調表示、コピー アンド ペースト、編集、翻訳できるようにします。

Photoshop の「コンテンツに応じた塗りつぶし」機能^[10]に似た「インペインティング」と呼ばれる手法が採用されています。これらのタイプのアルゴリズムは、Adobe Photoshopの「コンテンツに応じた塗りつぶし」機能の一部としてよく知られています。これは、元の画像のスタイルで翻訳されたテキストのフォントに一致するように、テキストが以前に占めていたスペースを周囲の領域の色で自動的に塗りつぶすアルゴリズムの使用を伴います。これは、最初にテキストを検出し、テキストの周囲の領域から単色を取得することによって行われます。次に、色が周囲と内側に広がり、領域全体が埋められます。この手法により、ユーザーは、編集されたテキストの周囲の領域から独立した色をキャプチャして処理することで、画像を再構築したり、画像から単語を編集したり削除したりすることができます。^[8]

ユーザーにシームレスで直感的な体験を提供するために、この拡張技術はカーソルの動きを追跡し、その位置と速度に基づいて1秒先を継続的に推定し、画像上のハイライトが作成される場所を予測します。 ^[1]次に、Project Napthaソフトウェアは、プロセッサを集中的に使用する文字認識アルゴリズムをスキャンして実行し、ユーザーが画像から選択する可能性のある潜在的なテキストを事前に処理します。^[11]

Project Napthaはいくつかのアプリケーションで使用でき、ユーザーはブラウザに表示されるあらゆる画像からテキストをコピーできます。これには、漫画、写真、スクリーンショット、インターネットミームなどのテキストオーバーレイ付き画像、アニメーションGIF、スキャン、ラベル付き図、翻訳が含まれます。^[12]

2013 年 10 月、コミック拡張機能の最初のプロトタイプがリリースされました。コミック拡張機能が必要になったのは、よりカジュアルで形式ばらないコミック フォントの使用が原因でした。文字はつながっているかのように密接に配置されることが多く、コミックからテキストをコピーして貼り付けようとすると、コピーされたテキストは通常​​、ごちゃごちゃして不明瞭になります。

Project Naptha が写真に使用しているアルゴリズムは、ストローク幅変換です。これは、自然の風景や写真内のテキストを検出するために特別に設計されています。これは、写真からテキストをコピーするのは、一般的な画像に比べて一般的に難しく、技術的にも難しいためです。

スクリーンショットの場合、Project Naptha は、静的なスクリーンショットを、画面がキャプチャされたときのコンピューターのインタラクティブなスナップショットに近いものに変換します。さまざまな部分にカーソルを合わせるとカーソルが変化し、テキスト ブロックが選択可能になります。

Project Naptha では、翻訳技術を使用して画像上のテキストを消去したり編集したりすることができます。この翻訳技術は基本的に「インペインティング」を利用しています。

テキストの変更時には、翻訳と同じトリックが使用されます。翻訳メニューには、画像内のテキストを英語、スペイン語、ロシア語、フランス語、中国語（簡体字）、中国語（繁体字）、日本語、ドイツ語など、さまざまな言語に翻訳する機能が含まれています。^[8]

ソフトウェアは絶えず改良されているにもかかわらず、Project Naptha は依然としていくつかの技術的な問題に直面しています。

Project Naptha の基盤となる Stroke Width Transform アルゴリズムは言語に依存しないため、小さな波線をテキストとして検出できます。細かい詳細を検出できるという利点があるものの、不要な詳細を検出して含めすぎると、バグと見なされる可能性もあります。

テキストと画像の背景の色が似ている場合、画像から単語が区別しにくくなり、単語の検出が難しくなります。これにより、テキストの検出とコピーに不正確さが生じます。^[12]

文字の分割のため、手書き文字の検出は特に困難です。手書き文字は文字同士が接近して書かれていることが多く、文字を分割したり文字を分離したりすることが困難です。そのため、このような種類のソースからテキストをコピーすると、不正確さが増し、文字がごちゃごちゃした状態になります。^[12]

機能改善の一環として、Project Naptha は回転したテキストをサポートできるように作業を開始しました。ただし、この機能は約 30 度までしか制限されていません。30 度を超えて回転したテキストは、コピーまたは翻訳できなくなる可能性があります。

インペインティングを利用する技術の現在の抜け穴は、画像が元の画像とほとんど代用できず、編集された痕跡が残る可能性があることです。ただし、遠くから見ると、画像から文字が完璧に削除されたように見えます。

サイトで使用される他のソフトウェアの場合、最大の懸念の1つは、ユーザーエクスペリエンスとプライバシーのバランスに関する問題が発生することです。Project Napthaの開発者は、クライアント側（つまり、ブラウザ内）での処理を可能にするために最善を尽くしていると理解されています。ただし、画像から抽出するためにユーザーが選択したテキストはクラウドで処理されます。つまり、より高い翻訳精度を達成するには、より多くのクラウド処理に頼る必要があり、プライバシーが犠牲になります。^[4]

すべての機能を利用できるようにしながらユーザーのプライバシーを尊重するという微妙なバランスをとるのに役立つデフォルト設定があります。デフォルトでは、ユーザーがテキストの選択を開始すると、安全なHTTPSリクエストが送信されます。これには特定の画像の URL のみが含まれ、それ以外は何も含まれていません。ユーザー トークン、Web サイト情報、Cookieや分析はなく、リクエストは記録されません。サーバーは、既存の翻訳と実行された OCR 言語のリストで応答します。これにより、他の方法よりもはるかに高い精度で画像からテキストを認識できます。

ユーザーの好みに応じて、オプション メニューの「ルックアップを無効にする」項目をオンにすることで、このデフォルト機能を無効にすることができます。

Project Naptha をインストールすると、ユーザー情報へのアクセス許可と包括的なアクセスが必要になります。この情報はインストール ダイアログで要求されます。すべての画像とのやり取りを可能にするには、ソフトウェアがすべてのサイトのすべての画像を読み取るためのユーザーからの許可が必要です。一方、ユーザーが Project Naptha にすべてのサイトのすべての画像へのアクセスを許可したくない場合は、インストール ダイアログでこの機能を無効にすることもできます。この場合、Project Naptha は非常に低いレベルのアクセスで動作し、理想的にはブラウザーやオペレーティング システムにネイティブに組み込まれる種類の機能になります。

この拡張機能は、ほぼ完全にクライアント側のJavaScriptで記述されているため、リモート サーバーにアクセスしなくても拡張機能を機能させることができます。ただし、オンライン翻訳をオフラインで実行することは矛盾しており、クラウドで実行されているキャッシュされた OCR サービスへのアクセスが不十分だと、パフォーマンスが低下し、転写の精度が低下する可能性があることに注意してください。

最後に、スケーラビリティの問題により、翻訳機能は現在限定的に展開されています。オンライン OCR サービスはユーザーごとに計測されるため、一意の識別子トークンが必要です。このトークンは完全に匿名であり、個人を特定できる情報にリンクされていません。

画像内のテキストを操作できる現在のソフトウェアとは別に、ソフトウェアの機能を拡張することを計画している実験的な機能があります。この実験的な拡張機能では、ソフトウェアはユーザーが現在のページの画像内のテキストを検索できるようにすることを目指しており、すべてのユーザーにとって素晴らしい機能となります。^[4]

Project Naptha は、その限界を克服するためのさまざまな方法も検討しています。現在、テキストの回転角度は 30 度以下に限られており^[13]、それ以上になると品質が低下します。Project Naptha は、よりよく訓練されたモデルとアルゴリズムを使用して、将来のバージョンで品質を向上させることを目指しています。また、人間の支援による文字起こしサービスも含まれる可能性があります。

また、インペインティングの技術により、元の画像に痕跡が残り、編集されたことが明らかになる場合があります。この技術も、特にフォントを検出するだけでなくロジックを検出する技術により、改善されると予想されます。現在、インペインティングは、大文字でスーパーボールドの場合は Impact フォント、大文字でない場合は XKCD フォント、それ以外は Helvetica Neue という方法でフォントを読み取ります。

Kwok 氏も認めているように、Project Naptha の機能の多くはまだ改善の余地があります。主な理由は、さまざまなサブコンポーネントとアルゴリズムの点で、Project Naptha が最先端技術から数年遅れているためです。しかし、彼は、時間の経過とともに、テキスト認識、翻訳、削除はすべてさらに開発され、この計り知れない可能性は間違いなく刺激的なものになると固く信じています。

• Copyfish - Copyfish Google Chrome 拡張機能は同じ問題を解決しますが、異なるユーザー インターフェース アプローチを採用しています。