フロー
データハブにおけるフローの概要。
フローについて
フローでは、1つあるいは一連のステップ(データの処理および強化を行うモジュール)を定義します。フローでは、どのステップをどの順番で実行するのか、またそのオプションを宣言します。
例えば、読み込みステップ(生データを取り込む)、そして次にマッピングステップ(生データのフィールドに基づき、エンティティモデルのプロパティに値を割り当てる方法を指定)からなるフローを作成できます。
各フローには少なくとも1つのステップを含める必要があります。フロー内のステップ数に制限はありませんが、ステップ数が少ない方が、保守とデバッグが容易です。
データハブ のフローは、他社のオーケストレーションツール(Apache NiFiなど)に代わるものではありません。ただし、複数のステップを繋げたフローにより、オーケストレーションツールよりも処理がシンプルになる可能性があります。
- データハブフレームワーク 4.xでは、フロー(インプットやハーモナイズ)は、データを処理するプラグインから構成されていました。
- データハブ5.xでは、フローは、データを処理する一連のステップ(読み込み、マッピング、マッチング、マージング、マスタリング、カスタム)です。
v4.x以前 | v5.0 | v5.1 |
---|---|---|
インプットフロー | 読み込みステップ | 読み込みステップ |
ハーモナイズフロー | マッピングステップ | マッピングステップ |
マスタリングステップ |
|
|
カスタムステップ |
|