Conversion decoding

Conversion decodingとは、PDFドキュメント内のエンコードされたバイトシーケンスを、指定されたエンコーディングスキームまたはCMap（Character Map）を使用して、対応する文字コードに変換するプロセスです。この操作は、PDFプロセッサがテキストコンテンツを抽出したり、検索を実行したり、アクセシビリティ目的でテキストをリフローする際に不可欠です。 ( Citation: N.A., 2020 (N.A.). (2020). Document management — Portable document format — Part 2: PDF 2.0 .  International Organization for Standardization Retrieved from https://www.iso.org/standard/75839.html ) によれば、適切なデコーディングにより、さまざまなエンコーディングで保存された文字データを正確に解釈し表示できることが保証されます。このプロセスは、テキスト抽出の精度がアクセシビリティ機能に直接影響するTagged PDFドキュメントにおいて特に重要です ( Citation: PDF Association, 2023 PDF Association(2023). Retrieved from https://pdfa.org/resource/tagged-pdf-best-practice-guide-syntax/ ) 。

Conversion decodingは、PDFコンテンツストリーム内のエンコードされたバイトを文字識別子（CID）またはUnicode値にマッピングするアルゴリズム的変換を指します。PDFドキュメントでは、テキストは通常、事前定義されたエンコーディング（WinAnsiEncodingやMacRomanEncodingなど）、PDF内で定義されたカスタムエンコーディング、またはCJK（中国語、日本語、韓国語）フォント用の複雑なCMapリソースなど、さまざまなエンコーディングスキームを使用して保存されます。

デコーディングプロセスは、単純な文字マッピングとは異なり、複数の段階を含む場合があります。まず、フォントのEncodingディクショナリまたはToUnicode CMapを使用してバイトコードを文字コードに変換し、その後、最終的なUnicode表現に到達するために追加の変換を適用する可能性があります。これは、文字コードを視覚的なグリフに変換する後続プロセスであるレンダリングや、デコードされた文字データを入力として使用するが追加の意味処理を伴うコンテンツ抽出とは区別されます。

PDFライブラリやドキュメント処理システムを開発する開発者にとって、conversion decodingを理解することは、以下のような実用的な理由から極めて重要です。

テキスト抽出の精度: 適切なデコーディングがなければ、抽出されたテキストには文字化け、誤ったシンボル、または完全な失敗が含まれる可能性があります。これは、正確なテキスト表現に依存する検索機能、コンテンツインデックス作成、データマイニング操作に影響します。

アクセシビリティコンプライアンス: PDF/UA準拠のドキュメントでは、スクリーンリーダーや支援技術がコンテンツを適切に解釈できるよう、正しいテキストエンコーディングが必要です ( Citation: N.A., 2014 (N.A.). (2014). Document management applications — Electronic document file format enhancement for accessibility — Part 1: Use of ISO 32000-1 (PDF/UA-1) .  International Organization for Standardization Retrieved from https://www.iso.org/standard/64599.html ) 。不適切なデコーディングはアクセシビリティチェーンを破壊し、障害を持つ個人にとってドキュメントを使用不可能にします。

クロスプラットフォーム互換性: 異なるシステムやフォントは異なるエンコーディングスキームを使用する場合があります。堅牢なconversion decodingを実装することで、PDFドキュメントがプラットフォーム間で一貫して表示され、コピー＆ペーストなどのテキスト操作が表示環境に関係なく確実に機能することが保証されます。

国際化対応: マルチバイトエンコーディングや複雑なスクリプトの処理には、高度なデコーディングロジックが必要です。国際的なコンテンツを扱う開発者は、グローバルなユーザーをサポートするために適切なCMap処理を実装する必要があります。

PDFにおけるconversion decodingプロセスは、体系的なワークフローに従います。

エンコーディングの識別: PDFプロセッサは、まずフォントディクショナリを調べて、どのエンコーディングスキームが適用されるかを判断します。これは、事前定義されたエンコーディング名を参照する/Encodingエントリ、カスタムマッピングを持つエンコーディングディクショナリ、またはバイトからUnicodeへの直接マッピングを提供する/ToUnicode CMapを通じて指定される場合があります。

バイトシーケンスの解析: コンテンツストリーム内のテキストオペレータ（TjやTJなど）は、エンコードされたテキストを表すバイトシーケンスを提供します。プロセッサは、フォントがシングルバイトまたはマルチバイトエンコーディングを使用しているかに応じて、これらのバイトを読み取ります。CIDキー付きフォントは通常、特別な処理が必要なマルチバイトシーケンスを使用します。

文字コードのマッピング: 各バイトまたはバイトシーケンスは文字識別子にマッピングされます。事前定義されたエンコーディングを持つシンプルなフォントの場合、これはテーブルルックアップを伴います。CMapを持つType 0フォントの場合、プロセッサは ( Citation: N.A., 2020 (N.A.). (2020). Document management — Portable document format — Part 2: PDF 2.0 .  International Organization for Standardization Retrieved from https://www.iso.org/standard/75839.html ) で定義された階層的マッピングルールに従って、バイトコードをCIDに変換するためにCMap構造をトラバースする必要があります。

Unicode変換: 最終ステップでは、文字コードをUnicode値に変換し、さらなる処理のための標準化された表現を提供します。/ToUnicode CMapはこの変換の主要なメカニズムです。存在しない場合、プロセッサは事前定義されたマッピングまたはAdobe Glyph List規約にフォールバックする可能性がありますが、これにより精度が低下する可能性があります。

エラーハンドリング: 堅牢な実装では、欠落しているマッピング、無効なバイトシーケンス、エンコーディングの不整合を処理する必要があります。フォールバック戦略には、置換文字の使用、警告のログ記録、またはグリフの外観に基づくヒューリスティック文字認識の試行などが含まれる場合があります。

• CMap (Character Map) – PDFフォントにおいて、文字コードと文字識別子またはUnicode値の間のマッピングを定義するリソース
• ToUnicode CMap – 信頼性の高いテキスト抽出のために、フォント固有の文字コードからUnicode値への明示的なマッピングを提供する特別なCMap
• Character Encoding（文字エンコーディング） – PDFコンテンツストリーム内のバイト値が文字セット内の文字にどのように対応するかの仕様
• CID (Character Identifier) – 複合フォントで使用される、特定の文字エンコーディングとは独立してグリフを参照するための抽象的な数値識別子
• Font Dictionary（フォントディクショナリ） – エンコーディング情報、メトリクス、文字マッピングリソースを含むフォントメタデータを含むPDFオブジェクト