データハブ用語集

カスタムのフックモジュール

データハブの範囲外のタスクを実行するためのカスタムコード。メインの処理の直前あるいは直後に実行されます。参照:カスタムモジュールについて

カスタムのステップモジュール

フロー内のカスタムステップの主要コンポーネントとして、デフォルトの処理の上書きや追加タスクの実行を行うカスタムコード。参照:カスタムモジュールについて

エンティティ

エンタープライズにおける概要レベルのビジネスオブジェクトのXMLあるいはJSONによる表現。ビジネスオブジェクトの例としては、社員、製品、注文書、業務部門などがある。参照:エンティティ

エンティティサービス

MarkLogic内でエンティティモデリングに基づいてアプリケーションを素早く立ち上げる際に使用できる、標準装備のAPIおよび一連の慣例手法。

フロー

データを処理する一連のステップ。データを異なる方法で処理する複数のフローを作成できます。参照:フローについて

フローのトレース

フローの実行に関する情報をログとして記録する処理。各フローのすべてプラグインからのインプットおよびアウトプットがJOBSデータベースに記録されます。参照:フローのトレースについて

ハーモナイズ

さまざまな生データソースで表現方法が異なる類似データを統合してマージするプロセスの概念的なセット(一般的にはマッピングとマスタリング)。参照:マッピングマスタリング

読み込み(Ingestion)

生データを取り込み、各項目をエンベロープにラッピングし、ラッピングされた項目を、さらなる処理用にステージングデータベースに格納するステップ。参照:ステップ

マッピング

エンティティモデル内のフィールドをソースデータの該当フィールドと関連付けるステップ。参照:ステップ

マッピング拡張

関数を含んだり、あるいはマッピング処理の際にエンティティプロパティに算出された値を1つあるいは複数のフィールドに割り当てる、妥当なXPath式。

マッチング

データハブのマスタリングステップの最初の処理です。規則やしきい値として定義された基準に基づき、重複している可能性があるデータをチェックします。参照:マージング

マージング

データハブマスタリングステップの2番めの処理です。マッチしたレコードの統合方法を決めます。参照:マッチ

マスタリング

データ内で重複の可能性があるものをチェックし、指定された基準に基づいて管理するスマートマスタリング技術を使ったステップ。従来のマスタリングステップは、マッチング(複数のレコードが同一エンティティに関するものなのかどうかを判断する)およびマージング(同一エンティティに関するレコードをどのように合体させるのか)から構成されています。多数のマージが想定される大量のデータがある場合、マスタリングをマッチングステップおよびマージングステップの2つに分けた方がパフォーマンスが向上します。参照:ステップ

出自とリネージ

データの元まで遡り、ソースデータを維持できるようにする自動化プロセス。参照:フローのトレース

ステップ

データの処理・強化を行うためのコード。ステップには、読み込みステップ、マッピングステップ、マッチングステップ、マージングステップ、マスタリングステップ、カスタムステップがあります。参照:ステップについて