トークン（Token）

トークンは、PDFパーサーがPDFファイルを読み取る際に認識して処理できる、構文上の最小単位です ( Citation: N.A., 2020 (N.A.). (2020). Document management — Portable document format — Part 2: PDF 2.0 .  International Organization for Standardization Retrieved from https://www.iso.org/standard/75839.html ) 。トークンはPDF構文の基本的な構成要素であり、名前、数値、キーワード、文字列、配列、辞書、演算子などが含まれます。PDFファイル構造を扱う全ての開発者にとって、トークンの理解は不可欠です。なぜなら、トークンはドキュメント内のデータと命令がどのように表現されるかを定義するものだからです。

PDF構文において、トークンは解析プロセスにおいてこれ以上意味のある単位に分割できないアトミックな単位を表します。PDF仕様では、いくつかのトークンカテゴリを定義しています：真偽値（true/false）、数値オブジェクト（整数および実数）、文字列オブジェクト（リテラルおよび16進数）、名前オブジェクト（スラッシュで始まる識別子）、配列オブジェクト（角括弧で囲まれたもの）、辞書オブジェクト（山括弧で囲まれたもの）、nullオブジェクト、およびストリームキーワードです ( Citation: N.A., 2020 (N.A.). (2020). Document management — Portable document format — Part 2: PDF 2.0 .  International Organization for Standardization Retrieved from https://www.iso.org/standard/75839.html ) 。