Flow
データハブのFlowの概要。
Flowについて
Flowは、1つあるいは複数のステップのシーケンスを定義します。ステップは、データを処理して拡張するモジュールです。Flowで、実行するステップの順序とオプションを宣言します。
例えば、Flowは生データを取り込む読み込みステップと、その後に生データ内のフィールドとエンティティモデル内のフィールドとの間に1対1の対応を定義するマッピングステップから成ります。
各Flowには少なくとも1つのステップを含める必要があります。Flow内のステップ数に制限はありませんが、ステップ数が少ないFlowであれば、保守とデバッグが容易です。
データハブFlowは、外部オーケストレーションツール(Apache NiFiなど)に代わるものではありません。ただし、Flow内での複数のステップの連鎖により、オーケストレーションツールで処理する際の複雑さが軽減する可能性があります。
重要:4.x以前のバージョンからアップグレードする場合は、Data Hub 5.0でFlowの定義が変更されていることに注意してください。
- Data Hub Framework 4.xでは、Flow(入力またはハーモナイズ)は、データを処理するプラグインから成ります。
- Data Hub 5.0 では、Flowは、データを処理する一連のステップ(読み込み、マッピング、マスタリング、カスタム)です。
バージョン v4.x 以前 | v5.0 |
---|---|
入力Flow | 読み込みステップ |
ハーモナイズFlow | マッピングステップ |
マスタリングステップ | |
カスタムステップ |