構造化コンテンツをJSON Linesとして抽出する
JPedalは、構造化PDFファイルからJSONLとしてコンテンツを抽出する機能をサポートしています。これは、コンテンツパイプライン、アクセシビリティツール、ドキュメントアーカイブ、およびPDFコンテンツを他のシステムに統合する際に役立ちます。
PDFファイルは、タグ付き、構造化テキスト含む、またはマークされたコンテンツを含むものに分類されます。これらの用語はしばしば同じ意味で使われますが、実際にはページ構造とその要素に関する情報を含むPDFファイルを指しています。本記事では、これらを「構造化」PDFファイルと呼びます。
構造化PDFファイルには、PDFにおけるテキストコンテンツの構造を保持するためのメタデータタグ(HTMLに類似したもの)が含まれています。PDFは作成時に構造化または非構造化のいずれかで作られるため、非構造化PDFを構造化PDFに変換することは一般的に現実的ではありません。
構造化PDFの主な利点は、そのコンテンツを高い精度で他のフォーマットに抽出・変換できることです。JPedalは現在、このコンテンツを EPUB 、HTML 、JSON 、JSON Lines 、Markdown 、XML 、または YAML として出力することをサポートしています。
PDFファイルには、構造化コンテンツ内に画像が含まれる場合があり、これらはフィギュアと呼ばれます。フィギュアに alt text や actualtext が設定されている場合、それらも出力に含まれます。Java APIメソッドを使用する場合は、画像のスケーリング値を指定することができます。
JPedalはPDFファイルに含まれるすべての構造化テキストを抽出できます。構造化コンテンツが見つからない場合、出力ファイルにはコンテンツが存在しないことを説明する簡単なメッセージが含まれます。
// Options
ExtractStructuredTextProperties properties = new ExtractStructuredTextProperties();
properties.setFileOutputMode(OutputModes.JSONL); // output format
// Extract structured text as JSONL
ExtractStructuredText.writeAllStructuredTextOutlinesToDir(
"inputFileOrFolder", // a single PDF of a folder containing PDFs
"password", // the password or null if not required
"outputFolder", // the output folder for the JSONL
null, // error callback
properties // our settings object
);
// Extract structured text and images as JSONL
ExtractStructuredText.writeAllStructuredTextOutlinesAndFiguresToDir(
"inputFileOrFolder", // a single PDF of a folder containing PDFs
"password", // the password or null if not required
"outputFolder", // the output folder for the JSONL
null, // error callback
properties // our settings object
"figuresFolder", // the output folder for the images
"imageFormat", // the format for the images
1.0f // the scaling for the images
);
JSON Lines出力(
.jsonl)は1行につき1つのJSONオブジェクトを含み、ブロックレベルの構造要素ごとに1行が出力されます。各行は、JSON出力 のルートchildren配列の各エントリと同じ形式を持っています。
コマンドラインまたはJava以外の言語から構造化コンテンツを抽出するには、ExtractStructuredText クラスを直接使用します:
java --module-path . --add-modules com.idrsolutions.jpedal org/jpedal/examples/text/ExtractStructuredText
"inputFileOrFolder" "outputFolder" "jsonl"
モジュールの使用を推奨しますが、必要に応じてクラスパスを使用する こともできます。
この例では、JPedalの ExtractStructuredText クラスを使用しています。
GitHubページにデモプロジェクト も公開しています。
構造化PDFとは、見出し、段落、リスト、表、フィギュアなど、ドキュメントの論理構造を記述するメタデータタグを含むPDFファイルです。これらのタグはHTMLタグと同様の目的を持ち、コンテンツをプログラムで読み取り・抽出することを可能にします。マークされたコンテンツまたはタグ付きPDFとも呼ばれます。
タグの検査をサポートするビューア(Adobe AcrobatやJPedalなど)でPDFを開き、タグパネルを確認してください。タグツリーが表示されていれば、そのPDFは構造化されています。または、JPedalの抽出機能を実行し、出力ファイルに「コンテンツが存在しない」というメッセージのみが含まれている場合は、PDFが非構造化である可能性が高いです。
一般的にはできません。構造はPDFの作成時に埋め込まれる必要があります。既存のPDFに基本的なタグを追加できるツールも存在しますが、その結果は信頼性の高いコンテンツ抽出に十分な精度を持つことはほとんどありません。
- 人間やアシスティブ技術によって読まれるコンテンツには HTML または EPUB を使用してください。
- アプリケーションやパイプラインによって処理されるコンテンツには JSON、XML、または YAML を使用してください。
- RAGパイプライン向けのチャンキングなど、コンテンツを1要素ずつストリーミングまたは処理したい場合は JSON Lines を使用してください。
- LLMに入力したり、ドキュメントプラットフォームやWikiに公開するコンテンツには Markdown を使用してください。
