Flow

データハブのFlowの概要。

Flowについて

Flowは、1つあるいは複数のステップのシーケンスを定義します。ステップは、データを処理して拡張するモジュールです。Flowで、実行するステップの順序とオプションを宣言します。

例えば、Flowは生データを取り込む読み込みステップと、その後に生データ内のフィールドとエンティティモデル内のフィールドとの間に1対1の対応を定義するマッピングステップから成ります。

各Flowには少なくとも1つのステップを含める必要があります。Flow内のステップ数に制限はありませんが、ステップ数が少ないFlowであれば、保守とデバッグが容易です。

データハブFlowは、外部オーケストレーションツール(Apache NiFiなど)に代わるものではありません。ただし、Flow内での複数のステップの連鎖により、オーケストレーションツールで処理する際の複雑さが軽減する可能性があります。

重要:4.x以前のバージョンからアップグレードする場合は、Data Hub 5.0でFlowの定義が変更されていることに注意してください。
  • Data Hub Framework 4.xでは、Flow(入力またはハーモナイズ)は、データを処理するプラグインから成ります。
  • Data Hub 5.0 では、Flowは、データを処理する一連のステップ(読み込み、マッピング、マスタリング、カスタム)です。
バージョン v4.x 以前v5.0
入力Flow読み込みステップ
ハーモナイズFlowマッピングステップ
マスタリングステップ
カスタムステップ