PDF content search

PDFコンテンツ検索とは、プログラムまたはユーザーインターフェースを通じて、PDF文書内のテキストやその他の検索可能な要素を特定し取得するプロセスを指します。PDF仕様 ( Citation: N.A., 2020 (N.A.). (2020). Document management — Portable document format — Part 2: PDF 2.0 .  International Organization for Standardization Retrieved from https://www.iso.org/standard/75839.html ) では、文書フォーマット内でテキストコンテンツがどのように構造化され、エンコードされるかが定義されており、PDFファイル全体での検索機能を可能にしています。PDF文書を扱う開発者にとって、堅牢な検索機能を実装するには、コンテンツストリームがどのようにテキストを整理するか、文字エンコーディングが検索性にどのように影響するか、そして文書構造が検索結果にどのように影響するかを理解する必要があります。

PDFコンテンツ検索は、1つまたは複数のPDF文書内で特定のテキスト文字列、パターン、またはコンテンツ要素を特定する技術的機能です。単純なテキストファイル検索とは異なり、PDFコンテンツ検索では、PDF文書の複雑な構造をナビゲートする必要があります。PDF文書では、テキストは単純な線形フォーマットで保存されているのではなく、コンテンツストリーム内に配置されたグリフと文字コードとして保存されています。検索プロセスには、PDFコンテンツストリームの解析、テキストオペレーターのデコード、文字コードからUnicode値へのマッピング、そして必要に応じて論理的な文書構造の活用が含まれます。検索は、生のコンテンツストリームテキスト、実際のテキスト（非テキスト要素の代替テキストを含む）、またはTagged PDF構造で定義された論理的な読み上げ順序など、さまざまなレベルで動作します ( Citation: PDF Association, 2023 PDF Association(2023). Retrieved from https://pdfa.org/resource/tagged-pdf-best-practice-guide-syntax/ ) 。これは、文書を前処理して検索可能なインデックスを作成する全文インデックス化や、正確な文字列マッチングではなく文脈と意味を理解するセマンティック検索とは異なります。

PDF対応アプリケーションを構築する開発者にとって、コンテンツ検索機能は、ユーザーエクスペリエンスとアプリケーションの有用性に直接影響する中核的な要件であることが多いです。ユーザーは、大規模な文書や文書コレクション内の情報を素早く見つけることを期待しており、検索のパフォーマンスと精度は重要な成功要因となります。PDF検索を正しく実装するには、さまざまなテキストエンコーディング、フォントのサブセット化、合字、右から左へのテキスト、マルチバイト文字セットなど、さまざまな技術的課題に対処する必要があります。アクセシブルなPDF文書、特にPDF/UA標準 ( Citation: N.A., 2014 (N.A.). (2014). Document management applications — Electronic document file format enhancement for accessibility — Part 1: Use of ISO 32000-1 (PDF/UA-1) .  International Organization for Standardization Retrieved from https://www.iso.org/standard/64599.html ) に準拠した文書では、代替テキストと論理構造が適切にインデックス化され検索可能であることを保証するために、検索中に特別な配慮が必要です。検索実装が不十分だと、マッチの見落とし、誤った文字解釈、または文書内に視覚的に存在するテキストが見つからないといった問題が発生する可能性があります。PDFコンテンツ検索のメカニズムを理解することで、開発者はより信頼性の高い文書管理システム、電子情報開示ツール、アクセシビリティソリューション、情報検索アプリケーションを構築できるようになります。

PDFコンテンツ検索は、文書のページコンテンツストリームをトラバースし、複数のステップを経てテキストを抽出することで動作します。まず、検索エンジンは各ページのコンテンツストリームを解析して、 ( Citation: N.A., 2020 (N.A.). (2020). Document management — Portable document format — Part 2: PDF 2.0 .  International Organization for Standardization Retrieved from https://www.iso.org/standard/75839.html ) で定義されているテキスト表示オペレーター（Tj、TJ、’、"）を識別する必要があります。これらのオペレーターには文字コードが含まれており、アクティブなフォントのエンコーディング（組み込みエンコーディング、WinAnsiEncoding、またはカスタムCMapテーブルなど）を使用してデコードし、実際のUnicode文字にマッピングする必要があります。テキスト抽出プロセスでは、グリフの配置と単語の境界を決定するために、フォント、フォントサイズ、文字間隔、単語間隔、水平スケーリング、テキストマトリックス変換など、現在のテキスト状態を追跡する必要があります。

Tagged PDF文書の場合、検索プロセスはさらに文書の論理構造ツリーを活用して、物理的な配置順序ではなく読み上げ順序でコンテンツを検索し、コンテンツストリームに表示されない可能性のある代替テキスト説明を含めることができます。高度な検索実装では、見つかったテキストをページ座標と関連付けるテキスト位置マップを維持し、ハイライト機能とコンテキスト表示を可能にします。

主な技術的考慮事項には、検索目的で物理的なコンテンツをオーバーライドするActualTextエントリの処理、UTF-16などのマルチバイトエンコーディングの処理、単一のグリフで複数の文字を表す合字の認識、テキストオペレーターではなくベクターパスとしてレンダリングされるテキストの処理などが含まれます。検索アルゴリズムは、アプリケーションの要件に応じて、大文字小文字を区別しないマッチング、ステミング、あいまいマッチング、または正規表現を使用する場合があります。

• Content stream（コンテンツストリーム） – テキストを含むページの外観を記述するPDFオペレーターとオペランドのシーケンス
• Text extraction（テキスト抽出） – インデックス化や分析のためにPDF文書から読み取り可能なテキストコンテンツを取得するプロセス
• Tagged PDF – 読み上げ順序と要素の役割を定義する論理構造情報を持つPDF文書
• Character encoding（文字エンコーディング） – PDFコンテンツ内の文字コードをUnicodeまたはその他の文字標準に変換するマッピングシステム
• ToUnicode CMap – 検索と抽出のための正確な文字からUnicodeへの変換を可能にするPDFフォント内の特別なマッピングテーブル