データハブGradleタスク
データハブGradleプラグイン(ml-data-hub)で使用可能なすべてのGradleタスクの詳細なリスト。
データハブでのGradleの使用
データハブFlowでデータハブGradleプラグインを使用するには、「データハブGradleプラグイン」を参照してください。
パラメータをGradleタスクに渡すには、-Pオプションを使用します。
ml
で始まる名前のタスクは、ml-gradle実装からデータハブ用にカスタマイズされています。hub
で始まる名前のタスクは、データハブ専用に作成されたものです。
gradle tasks
を実行すると、使用可能なGradleタスクとその説明の詳細なリストが表示されます。MarkLogicデータハブのセットアップタスク
これらのタスクは、MarkLogicデータハブの設定とデータハブの管理に使用します。
hubPreinstallCheck
を使用して、データハブプロジェクトをデプロイします。
データハブ固有のフォルダ(plugins
およびentity-config
)内のモジュールを監視することで、ml-gradleのWatchTaskを拡張します。
フォレストを作成または更新せずに、すべてのデータベースのプロパティを更新します。データベースの多くのプロパティは、インデックス付けに関連するものです。
データハブインスタンスを新しいバージョンに更新します。
hubUpdate
タスクを実行する前に、build.gradle
ファイルを編集します。plugins
で、「com.marklogic.ml-data-hub」バージョンの値を新しいデータハブバージョンに変更します。
plugins { id 'com.marklogic.ml-data-hub' version '5.0.0' }
新しいバージョンのデータハブにアップグレードする詳細な手順については、データハブのアップグレードに関する箇所を参照してください。
-iオプション(情報モード)を使用してhubUpdateタスクを実行すると、変更された設定など、タスクの詳細が表示されます。
データハブ設定に関する基本情報を出力します。
エンティティやマッピングなどのユーザーアーティファクトをMarkLogicサーバーにインストールします。(Data Hub 4.2以降)
MarkLogicデータハブのスキャフォールディングタスク
これらのタスクにより、プロジェクト、エンティティ、Flow、およびステップのスキャフォールディングを実行できます。
現在のディレクトリをデータハブプロジェクトとして初期化します。
ボイラープレートエンティティを作成します。
- entityName
- (必須)作成するエンティティの名前。
カスタマイズして、ステップとしてFlowに追加できるステップ定義を作成します。
- stepDefName
- (必須)作成するステップ定義の名前。
- stepDefType
- 作成するステップ定義のタイプ。
ingestion
、mapping
,、mastering
、またはcustom
を指定します。デフォルトは、custom
です。
個人を特定できる情報(PII)として指定されたエンティティプロパティを保護するためのセキュリティ設定ファイルを生成します。詳細については、「個人を特定できる情報の管理」を参照してください。
MarkLogicデータハブのFlow管理タスク
こうしたタスクでは、Flowを実行してクリーンアップできます。
Flowを実行します。
- flowName
- (必須)実行するハーモナイズFlowの名前。
- entityName
- (Flowにマッピングステップが含まれている場合に必須)マッピングステップで使用するエンティティの名前。
- batchSize
- バッチに含める項目の数。デフォルトは100です。
- threadCount
- 実行するスレッドの数。デフォルトは4です。
- showOptions
true
の場合、コマンドに渡されたオプションが出力されます。デフォルトは、false
です。- failHard
true
の場合、ステップが失敗するとすぐにFlowの実行が終了します。デフォルトは、false
です。- ステップ
- カンマで区切った、実行するステップの番号。指定していない場合は、Flow全体が実行されます。
- jobId
- Flowの実行に関連付けられた一意のジョブID。このオプションは、大規模なプロセスの一環としてFlowが実行される場合に使用できます(例えば、NiFiが独自のジョブ/プロセスIDによりオーケストレーションされたプロセスなど)。既存のデータハブのジョブIDと同じにすることはできません。指定していない場合は、固有のデータハブジョブIDが割り当てられます。
- options
- (オプション)キー/バリューペアを含むJSON構造は、カスタムパラメータとしてステップモジュールに渡されます。
- optionsFile
- (オプション)キー/バリューペアを含むJSON構造へのパスは、カスタムパラメータとしてステップモジュールに渡されます。
ステップモジュールに渡されたカスタムキー/バリューパラメータは、ステップモジュール内の$options(xqy)またはoptions(sjs)変数を通じて使用できます。
ジョブレコードをエクスポートします。このタスクは、ステージングデータベースまたはファイナルデータベースのコンテンツには作用しません。
- jobIds
- エクスポートするジョブIDのカンマ区切りリスト。
- filename
- 生成するzipファイルの名前(ファイル拡張子を含む)。デフォルトは、
jobexport.zip
です。
ジョブレコードを削除します。このタスクは、ステージングデータベースまたはファイナルデータベースのコンテンツには作用しません。
- jobIds
- (必須)削除するジョブIDのカンマ区切りリスト。
MarkLogicデータハブのアンインストールタスク
データハブのすべてのコンポーネント(データベース、アプリケーションサーバー、フォレスト、ユーザーなど)をMarkLogicサーバーから削除します。
レガシー(DHF 4.x)タスク
レガシー(DHF 4.x)入力Flowを作成します。結果として得られるDHF 4.xFlowは、hubRunLegacyFlowを使用して実行する必要があります。
- entityName
- (必須)Flowを所有するエンティティの名前。
- flowName
- (必須)作成する入力Flowの名前。
- dataFormat
xml
またはjson
。デフォルトは、json
です。
レガシー(DHF 4.x)ハーモナイズFlowを作成します。結果として得られるDHF 4.xFlowは、hubRunLegacyFlowを使用して実行する必要があります。
- entityName
- (必須)Flowを所有するエンティティの名前。
- flowName
- (必須)作成するハーモナイズFlowの名前。
- dataFormat
xml
またはjson
。デフォルトは、json
です。- pluginFormat
xqy
またはsjs
。プラグインプログラミング言語。- mappingName
- コード生成時に使用するモデル間マッピングの名前。
(レガシー)DHF 4.xハーモナイズFlowを実行します。
- entityName
- (必須)ハーモナイズFlowを含むエンティティの名前。
- flowName
- (必須)実行するハーモナイズFlowの名前。
- batchSize
- バッチに含める項目の数。デフォルトは100です。
- threadCount
- 実行するスレッドの数。デフォルトは4です。
- sourceDB
- 実行対象となるデータベースの名前。デフォルトは、ステージングデータベースの名前です。
- destDB
- ハーモナイズされた結果を格納するデータベースの名前。デフォルトは、ファイナルデータベースの名前です。
- showOptions
- コマンドに渡されたオプションを出力するかどうか。デフォルトは、
false
です。 - dhf.YourKey
- (オプション)キーに関連付けられた値。こうしたキー/バリューペアは、カスタムパラメーターとしてFlowに渡されます。追加キー/バリューペアを個別のオプションとして指定できます。
hubrunlegacyflow ... -Pdhf.YourKeyA=YourValueA -Pdhf.YourKeyB=YourValueB ...
ステップモジュールに渡されたカスタムキー/バリューパラメータは、ステップモジュール内の$options(xqy)またはoptions(sjs)変数を通じて使用できます。