データハブGradleタスク

データハブGradleプラグイン(ml-data-hub)で使用可能なすべてのGradleタスクの詳細なリスト。

データハブでのGradleの使用

データハブFlowでデータハブGradleプラグインを使用するには、「データハブGradleプラグイン」を参照してください。

パラメータをGradleタスクに渡すには、-Pオプションを使用します。

./gradlew taskname ... -PparameterName=parameterValue ...gradlew.bat taskname ... -PparameterName=parameterValue ...
重要:Gradleパラメータの値に空白が含まれている場合は、その値を二重引用符で囲む必要があります。値に空白が含まれていない場合は、値を引用符で囲む必要はありません
このページには、データハブGradleプラグイン(ml-data-hub)で使用可能なGradleタスクのリストが表示されます。
  • mlで始まる名前のタスクは、ml-gradle実装からデータハブ用にカスタマイズされています。
  • hubで始まる名前のタスクは、データハブ専用に作成されたものです。
ヒント:gradle tasksを実行すると、使用可能なGradleタスクとその説明の詳細なリストが表示されます。

MarkLogicデータハブのセットアップタスク

これらのタスクは、MarkLogicデータハブの設定とデータハブの管理に使用します。

mlDeploy

hubPreinstallCheckを使用して、データハブプロジェクトをデプロイします。

./gradlew mlDeploygradlew.bat mlDeploy
mlWatch

データハブ固有のフォルダ(pluginsおよびentity-config)内のモジュールを監視することで、ml-gradleのWatchTaskを拡張します。

./gradlew mlWatchgradlew.bat mlWatch
mlUpdateIndexes

フォレストを作成または更新せずに、すべてのデータベースのプロパティを更新します。データベースの多くのプロパティは、インデックス付けに関連するものです。

./gradlew mlUpdateIndexesgradlew.bat mlUpdateIndexes
hubUpdate

データハブインスタンスを新しいバージョンに更新します。

./gradlew hubUpdate -igradlew.bat hubUpdate -i

hubUpdateタスクを実行する前に、build.gradleファイルを編集します。pluginsで、「com.marklogic.ml-data-hub」バージョンの値を新しいデータハブバージョンに変更します。

例えば、データハブ5.0.0に更新する場合は、次のようにします。
plugins { id 'com.marklogic.ml-data-hub' version '5.0.0' }

新しいバージョンのデータハブにアップグレードする詳細な手順については、データハブのアップグレードに関する箇所を参照してください。

-iオプション(情報モード)を使用してhubUpdateタスクを実行すると、変更された設定など、タスクの詳細が表示されます。

hubInfo

データハブ設定に関する基本情報を出力します。

./gradlew hubInfogradlew.bat hubInfo
hubDeployUserArtifacts

エンティティやマッピングなどのユーザーアーティファクトをMarkLogicサーバーにインストールします。(Data Hub 4.2以降)

./gradlew hubDeployUserArtifactsgradlew.bat hubDeployUserArtifacts

MarkLogicデータハブのスキャフォールディングタスク

これらのタスクにより、プロジェクト、エンティティ、Flow、およびステップのスキャフォールディングを実行できます。

hubInit

現在のディレクトリをデータハブプロジェクトとして初期化します。

./gradlew hubInitgradlew.bat hubInit
hubCreateEntity

ボイラープレートエンティティを作成します。

./gradlew hubCreateEntity -PentityName=YourEntityNamegradlew.bat hubCreateEntity -PentityName=YourEntityName
entityName
(必須)作成するエンティティの名前。
hubCreateStepDefinition

カスタマイズして、ステップとしてFlowに追加できるステップ定義を作成します。

./gradlew hubCreateStepDefinition -PstepDefName=yourstepname -PstepDefType=yoursteptypegradlew.bat hubCreateStepDefinition -PstepDefName=yourstepname -PstepDefType=yoursteptype
stepDefName
(必須)作成するステップ定義の名前。
stepDefType
作成するステップ定義のタイプ。ingestionmapping,、mastering、またはcustomを指定します。デフォルトは、customです。
hubGeneratePii

個人を特定できる情報(PII)として指定されたエンティティプロパティを保護するためのセキュリティ設定ファイルを生成します。詳細については、「個人を特定できる情報の管理」を参照してください。

./gradlew hubGeneratePiigradlew.bat hubGeneratePii

MarkLogicデータハブのFlow管理タスク

こうしたタスクでは、Flowを実行してクリーンアップできます。

hubRunFlow

Flowを実行します。

./gradlew hubRunFlow -PflowName=YourFlowName -PentityName=YourEntityName -PbatchSize=100 -PthreadCount=4 -PshowOptions=[true|false] -PfailHard=[true|false] -Psteps="1,2" -PjobId="abc123" [ -Poptions="{ customkey: customvalue, ... }" | -PoptionsFile=/path/to.json ]gradlew.bat hubRunFlow -PflowName=YourFlowName -PentityName=YourEntityName -PbatchSize=100 -PthreadCount=4 -PshowOptions=[true|false] -PfailHard=[true|false] -Psteps="1,2" -PjobId="abc123" [ -Poptions="{ customkey: customvalue, ... }" | -PoptionsFile=/path/to.json ]
flowName
(必須)実行するハーモナイズFlowの名前。
entityName
(Flowにマッピングステップが含まれている場合に必須)マッピングステップで使用するエンティティの名前。
batchSize
バッチに含める項目の数。デフォルトは100です。
threadCount
実行するスレッドの数。デフォルトは4です。
showOptions
trueの場合、コマンドに渡されたオプションが出力されます。デフォルトは、falseです。
failHard
trueの場合、ステップが失敗するとすぐにFlowの実行が終了します。デフォルトは、falseです。
ステップ
カンマで区切った、実行するステップの番号。指定していない場合は、Flow全体が実行されます。
jobId
Flowの実行に関連付けられた一意のジョブID。このオプションは、大規模なプロセスの一環としてFlowが実行される場合に使用できます(例えば、NiFiが独自のジョブ/プロセスIDによりオーケストレーションされたプロセスなど)。既存のデータハブのジョブIDと同じにすることはできません。指定していない場合は、固有のデータハブジョブIDが割り当てられます。
options
(オプション)キー/バリューペアを含むJSON構造は、カスタムパラメータとしてステップモジュールに渡されます。
optionsFile
(オプション)キー/バリューペアを含むJSON構造へのパスは、カスタムパラメータとしてステップモジュールに渡されます。

ステップモジュールに渡されたカスタムキー/バリューパラメータは、ステップモジュール内の$options(xqy)またはoptions(sjs)変数を通じて使用できます。

hubExportJobs

ジョブレコードをエクスポートします。このタスクは、ステージングデータベースまたはファイナルデータベースのコンテンツには作用しません。

./gradlew hubExportJobs -PjobIds=list-of-ids -Pfilename=export.zipgradlew.bat hubExportJobs -PjobIds=list-of-ids -Pfilename=export.zip
jobIds
エクスポートするジョブIDのカンマ区切りリスト。
filename
生成するzipファイルの名前(ファイル拡張子を含む)。デフォルトは、jobexport.zipです。
hubDeleteJobs

ジョブレコードを削除します。このタスクは、ステージングデータベースまたはファイナルデータベースのコンテンツには作用しません。

./gradlew hubDeleteJobs -PjobIds=list-of-idsgradlew.bat hubDeleteJobs -PjobIds=list-of-ids
jobIds
(必須)削除するジョブIDのカンマ区切りリスト。

MarkLogicデータハブのアンインストールタスク

mlUndeploy

データハブのすべてのコンポーネント(データベース、アプリケーションサーバー、フォレスト、ユーザーなど)をMarkLogicサーバーから削除します。

./gradlew mlUndeploy -Pconfirm=truegradlew.bat mlUndeploy -Pconfirm=true

レガシー(DHF 4.x)タスク

hubCreateInputFlow

レガシー(DHF 4.x)入力Flowを作成します。結果として得られるDHF 4.xFlowは、hubRunLegacyFlowを使用して実行する必要があります。

./gradlew hubCreateInputFlow -PentityName=YourEntityName -PflowName=YourFlowName -PdataFormat=[xml|json] -PpluginFormat=[xqy|sjs]gradlew.bat hubCreateInputFlow -PentityName=YourEntityName -PflowName=YourFlowName -PdataFormat=[xml|json] -PpluginFormat=[xqy|sjs]
entityName
(必須)Flowを所有するエンティティの名前。
flowName
(必須)作成する入力Flowの名前。
dataFormat
xml またはjson。デフォルトは、jsonです。
hubCreateHarmonizeFlow

レガシー(DHF 4.x)ハーモナイズFlowを作成します。結果として得られるDHF 4.xFlowは、hubRunLegacyFlowを使用して実行する必要があります。

./gradlew hubCreateHarmonizeFlow -PentityName=YourEntityName -PflowName=YourFlowName -PdataFormat=[xml|json] -PpluginFormat=[xqy|sjs] -PmappingName=yourmappingnamegradlew.bat hubCreateHarmonizeFlow -PentityName=YourEntityName -PflowName=YourFlowName -PdataFormat=[xml|json] -PpluginFormat=[xqy|sjs] -PmappingName=yourmappingname
entityName
(必須)Flowを所有するエンティティの名前。
flowName
(必須)作成するハーモナイズFlowの名前。
dataFormat
xml またはjson。デフォルトは、jsonです。
pluginFormat
xqy またはsjs。プラグインプログラミング言語。
mappingName
コード生成時に使用するモデル間マッピングの名前。
hubRunLegacyFlow

(レガシー)DHF 4.xハーモナイズFlowを実行します。

./gradlew hubRunLegacyFlow -PentityName=YourEntityName -PflowName=YourFlowName -PbatchSize=100 -PthreadCount=4 -PsourceDB=data-hub-STAGING -PdestDB=data-hub-FINAL -PshowOptions=[true|false] -Pdhf.YourKey=YourValuegradlew.bat hubRunLegacyFlow -PentityName=YourEntityName -PflowName=YourFlowName -PbatchSize=100 -PthreadCount=4 -PsourceDB=data-hub-STAGING -PdestDB=data-hub-FINAL -PshowOptions=[true|false] -Pdhf.YourKey=YourValue
entityName
(必須)ハーモナイズFlowを含むエンティティの名前。
flowName
(必須)実行するハーモナイズFlowの名前。
batchSize
バッチに含める項目の数。デフォルトは100です。
threadCount
実行するスレッドの数。デフォルトは4です。
sourceDB
実行対象となるデータベースの名前。デフォルトは、ステージングデータベースの名前です。
destDB
ハーモナイズされた結果を格納するデータベースの名前。デフォルトは、ファイナルデータベースの名前です。
showOptions
コマンドに渡されたオプションを出力するかどうか。デフォルトは、falseです。
dhf.YourKey
(オプション)キーに関連付けられた値。こうしたキー/バリューペアは、カスタムパラメーターとしてFlowに渡されます。追加キー/バリューペアを個別のオプションとして指定できます。
hubrunlegacyflow ... -Pdhf.YourKeyA=YourValueA -Pdhf.YourKeyB=YourValueB ...

ステップモジュールに渡されたカスタムキー/バリューパラメータは、ステップモジュール内の$options(xqy)またはoptions(sjs)変数を通じて使用できます。