フロー

データハブにおけるフローの概要。

フローについて

フローでは、1つあるいは一連のステップ(データの処理および強化を行うモジュール)を定義します。フローでは、どのステップをどの順番で実行するのか、またそのオプションを宣言します。

例えば、読み込みステップ(生データを取り込む)、そして次にマッピングステップ(生データのフィールドに基づき、エンティティモデルのプロパティに値を割り当てる方法を指定)からなるフローを作成できます。

各フローには少なくとも1つのステップを含める必要があります。フロー内のステップ数に制限はありませんが、ステップ数が少ない方が、保守とデバッグが容易です。

データハブ のフローは、他社のオーケストレーションツール(Apache NiFiなど)に代わるものではありません。ただし、複数のステップを繋げたフローにより、オーケストレーションツールよりも処理がシンプルになる可能性があります。

重要: 4.x以前のバージョンからアップグレードする場合は、データハブ5.xでフローの定義が変更されていることに注意してください。
  • データハブフレームワーク 4.xでは、フロー(インプットやハーモナイズ)は、データを処理するプラグインから構成されていました。
  • データハブ5.xでは、フローは、データを処理する一連のステップ(読み込み、マッピング、マッチング、マージング、マスタリング、カスタム)です。
v4.x以前 v5.0 v5.1
インプットフロー 読み込みステップ 読み込みステップ
ハーモナイズフロー マッピングステップ マッピングステップ
マスタリングステップ
  • マッチングステップ
  • マージングステップ
  • マスタリングステップ(マッチングとマージングが統合されているもの)
カスタムステップ
  • カスタムの読み込みステップ
  • カスタムのマッピングステップ
  • カスタムのマスタリングステップ
  • カスタムのその他のステップ