概述

(相關(guān)資料圖)

PDI客戶端(Spoon)的Pentaho數(shù)據(jù)集成視角使您能夠創(chuàng)建兩種基本的文件類型：

轉(zhuǎn)換用于執(zhí)行ETL任務(wù)。作業(yè)用于編排ETL活動(dòng)，例如定義應(yīng)該運(yùn)行哪些順序轉(zhuǎn)換的流和依賴關(guān)系，或者通過檢查條件來為執(zhí)行做準(zhǔn)備。

PDI使用工作流比喻作為轉(zhuǎn)換數(shù)據(jù)和其他任務(wù)的構(gòu)建塊。工作流是在您創(chuàng)建轉(zhuǎn)換和作業(yè)時(shí)使用步驟或條目構(gòu)建的。每一個(gè)步驟或條目都由一個(gè)躍點(diǎn)連接起來，它將數(shù)據(jù)流從一項(xiàng)傳遞到下一項(xiàng)。

轉(zhuǎn)換

轉(zhuǎn)換是一個(gè)稱為步驟的邏輯任務(wù)網(wǎng)絡(luò)。轉(zhuǎn)換本質(zhì)上是數(shù)據(jù)流。在下面的示例中，數(shù)據(jù)庫(kù)開發(fā)人員創(chuàng)建了一個(gè)轉(zhuǎn)換，該轉(zhuǎn)換讀取平面文件、篩選、排序并將其加載到關(guān)系數(shù)據(jù)庫(kù)表中。假設(shè)數(shù)據(jù)庫(kù)開發(fā)人員檢測(cè)到一個(gè)錯(cuò)誤條件，并沒有將數(shù)據(jù)發(fā)送到一個(gè)虛擬步驟(它什么也不做)，而是將數(shù)據(jù)記錄回一個(gè)表。本質(zhì)上，轉(zhuǎn)換是一組邏輯數(shù)據(jù)轉(zhuǎn)換配置的有向圖。轉(zhuǎn)換文件名的擴(kuò)展名是.ktr。

轉(zhuǎn)換圖

與轉(zhuǎn)換相關(guān)的兩個(gè)主要組件是步驟和躍點(diǎn)：

步驟是轉(zhuǎn)換的構(gòu)建塊，例如文本文件輸入或表輸出。Pentaho數(shù)據(jù)集成的步驟很多，按照功能進(jìn)行分組；例如，輸入、輸出、腳本等等。轉(zhuǎn)換中的每個(gè)步驟都被設(shè)計(jì)為執(zhí)行特定的任務(wù)，例如從平面文件讀取數(shù)據(jù)、過濾行和記錄到數(shù)據(jù)庫(kù)，如上面的示例所示。您可以通過將步驟從Design選項(xiàng)卡拖放到畫布上或雙擊該步驟來添加該步驟。可以配置步驟來執(zhí)行所需的任務(wù)。 躍點(diǎn)是連接步驟并允許元數(shù)據(jù)從一個(gè)步驟傳遞到另一個(gè)步驟的數(shù)據(jù)通道。在上面的圖像中，似乎有一個(gè)連續(xù)的執(zhí)行發(fā)生。然而，事實(shí)并非如此。躍點(diǎn)決定了數(shù)據(jù)流通過的步驟，而不一定是它們運(yùn)行的順序。當(dāng)您運(yùn)行轉(zhuǎn)換時(shí)，每個(gè)步驟在自己的線程中啟動(dòng)并推送和傳遞數(shù)據(jù)。

注意：轉(zhuǎn)換中的所有步驟都是并行啟動(dòng)和運(yùn)行的，因此初始化順序是不可預(yù)測(cè)的。例如，這就是為什么您不能在第一步設(shè)置變量并嘗試在后續(xù)步驟中使用該變量的原因。

您可以將步驟連接在一起，編輯步驟，并通過單擊編輯步驟打開步驟上下文菜單。

步驟

一個(gè)步驟可以有許多連接。有些步驟將其他步驟連接在一起，而有些則作為另一個(gè)步驟的輸入或輸出。數(shù)據(jù)流通過步驟流到轉(zhuǎn)換中的各個(gè)步驟。躍點(diǎn)用勺子表示為箭頭。跳點(diǎn)允許數(shù)據(jù)從一個(gè)步驟傳遞到另一個(gè)步驟，也決定了數(shù)據(jù)通過這些步驟的方向和流程。如果一個(gè)步驟向多個(gè)步驟發(fā)送輸出，則數(shù)據(jù)可以復(fù)制到每個(gè)步驟，也可以在它們之間分布。

作業(yè)

作業(yè)是類似工作流的模型，用于協(xié)調(diào)資源、執(zhí)行和ETL活動(dòng)的依賴關(guān)系。

作業(yè)將各個(gè)功能塊聚合在一起，以實(shí)現(xiàn)整個(gè)流程。在作業(yè)中執(zhí)行的常見任務(wù)包括獲取FTP文件、檢查條件(如是否存在必要的目標(biāo)數(shù)據(jù)庫(kù)表)、運(yùn)行填充該表的轉(zhuǎn)換以及在轉(zhuǎn)換失敗時(shí)通過電子郵件發(fā)送錯(cuò)誤日志。例如，最后的作業(yè)結(jié)果可能是每晚的倉(cāng)庫(kù)更新。

作業(yè)條目是如上例所示的單獨(dú)配置的部分，它們是工作的主要組成部分。在數(shù)據(jù)轉(zhuǎn)換中，這些單獨(dú)的部分稱為步驟。作業(yè)條目可以為您提供廣泛的功能，從執(zhí)行轉(zhuǎn)換到從Web服務(wù)器獲取文件。一個(gè)作業(yè)條目可以多次放置在畫布上;例如，您可以使用不同的配置將單個(gè)作業(yè)條目(如轉(zhuǎn)換運(yùn)行)多次放置在畫布上。作業(yè)設(shè)置是控制作業(yè)行為的選項(xiàng)和記錄作業(yè)操作的方法。作業(yè)文件名的擴(kuò)展名為.kjb。

作業(yè)躍點(diǎn)指定執(zhí)行順序和執(zhí)行下一個(gè)作業(yè)條目的條件。您可以通過右鍵單擊作業(yè)躍點(diǎn)來指定評(píng)估模式。作業(yè)躍點(diǎn)只是一種控制流程。跳轉(zhuǎn)到作業(yè)條目的鏈接，并基于上一個(gè)作業(yè)條目的結(jié)果，確定接下來發(fā)生的事情。

注意：躍點(diǎn)在作業(yè)中使用時(shí)與在轉(zhuǎn)換中使用時(shí)的行為不同。

下面指定了作業(yè)躍點(diǎn)條件：

Unconditional：指定將執(zhí)行下一個(gè)作業(yè)項(xiàng)，而與原始作業(yè)項(xiàng)的結(jié)果無關(guān)。

Follow when result is true：指定只有在原始作業(yè)輸入的結(jié)果為true時(shí)才執(zhí)行下一個(gè)作業(yè)輸入。這意味著成功執(zhí)行，如找到文件、找到表、沒有錯(cuò)誤，等等。

Follow when result is false：指定僅當(dāng)原始作業(yè)項(xiàng)的結(jié)果為false時(shí)才執(zhí)行下一個(gè)作業(yè)項(xiàng)，即執(zhí)行失敗、文件未找到、表未找到、出現(xiàn)錯(cuò)誤等等。

躍點(diǎn)

躍點(diǎn)將一個(gè)轉(zhuǎn)換步驟或作業(yè)條目與另一個(gè)連接起來。數(shù)據(jù)流的方向由箭頭表示。要?jiǎng)?chuàng)建躍點(diǎn)，單擊源步驟，然后按SHIFT鍵并在目標(biāo)步驟上畫一條線?；蛘?，您可以通過將鼠標(biāo)懸停在一個(gè)步驟上，直到鼠標(biāo)懸停菜單出現(xiàn)來繪制跳躍。從源步驟拖動(dòng)躍點(diǎn)畫師圖標(biāo)到目標(biāo)步驟。

繪制躍點(diǎn)

創(chuàng)建躍點(diǎn)的其他方法包括：

單擊源步驟按住鼠標(biāo)中鍵,拖動(dòng)跳轉(zhuǎn)到目標(biāo)的步驟。使用CTRL和左鍵單擊選擇兩個(gè)步驟，右鍵單擊步驟并選擇New Hop。

要分割一個(gè)躍點(diǎn)，需要在兩個(gè)躍點(diǎn)之間插入一個(gè)新步驟，方法是在一個(gè)躍點(diǎn)上拖動(dòng)該步驟。確認(rèn)您要分割躍點(diǎn)。此特性僅適用于尚未連接到另一個(gè)步驟的步驟。

在轉(zhuǎn)換中不允許使用循環(huán)，因?yàn)镾poon在很大程度上依賴于前面的步驟來確定從一個(gè)步驟傳遞到另一個(gè)步驟的字段值。在轉(zhuǎn)換中允許循環(huán)可能會(huì)導(dǎo)致無盡的循環(huán)和其他問題。作業(yè)中允許使用循環(huán)，因?yàn)镾poon是按順序執(zhí)行作業(yè)條條目。但是，請(qǐng)確保您不會(huì)創(chuàng)建無盡的循環(huán)。

在轉(zhuǎn)換中不允許混合具有不同布局的行。例如，如果您有兩個(gè)使用不同數(shù)量字段的表輸入步驟?；旌闲胁季謺?huì)導(dǎo)致步驟失敗，因?yàn)闊o法在預(yù)期的位置找到字段或意外數(shù)據(jù)類型變化。如果一個(gè)步驟正在接收混合布局，陷阱探測(cè)器將在設(shè)計(jì)時(shí)顯示警告。

您可以指定是否可以復(fù)制、分發(fā)數(shù)據(jù)，或者在離開一個(gè)步驟的多個(gè)躍點(diǎn)之間進(jìn)行負(fù)載平衡。選擇步驟，右鍵單擊并選擇數(shù)據(jù)移動(dòng)。

分割躍點(diǎn)

可以啟用或禁用躍點(diǎn)(例如為了測(cè)試目的)。右鍵單擊跳轉(zhuǎn)以顯示選項(xiàng)菜單。

PDI客戶端選項(xiàng)

PDI客戶端允許您自定義其行為的某些方面。要訪問選項(xiàng)，請(qǐng)選擇Tools>Options。下面介紹了處理轉(zhuǎn)換和作業(yè)的常規(guī)選項(xiàng)卡：

Preview data batch size：設(shè)置預(yù)覽數(shù)據(jù)緩沖區(qū)的批處理大小。在預(yù)覽數(shù)據(jù)時(shí)，此選項(xiàng)設(shè)置用于這些值的緩沖區(qū)大小。

Max number of lines in the logging windows：指定日志窗口中顯示的最大行限制。

Central log line store timeout in minutes：設(shè)置中央日志行存儲(chǔ)超時(shí)之前的分鐘數(shù)

Max number of lines in the log history：設(shè)置在日志歷史記錄視圖中顯示限制的最大行數(shù)。

Show welcome page at startup：控制在啟動(dòng)PDI客戶端時(shí)是否顯示歡迎頁(yè)。

Use database cache：PDI客戶端緩存存儲(chǔ)在源和目標(biāo)數(shù)據(jù)庫(kù)上的信息。在某些情況下，當(dāng)您更改數(shù)據(jù)庫(kù)時(shí)，緩存會(huì)導(dǎo)致不正確的結(jié)果。為了防止錯(cuò)誤，您可以完全禁用緩存，而不是每次都清除緩存。

Open last file at startup：自動(dòng)從XML或存儲(chǔ)庫(kù)加載您使用(打開或保存)的最后一個(gè)轉(zhuǎn)換。

Autosave changed files：在運(yùn)行前自動(dòng)保存已更改的轉(zhuǎn)換。

Only show the active file in the main tree：通過只顯示當(dāng)前活動(dòng)的文件，減少左側(cè)主樹中的轉(zhuǎn)換和作業(yè)項(xiàng)的數(shù)量。

Only save used connections to XML：將轉(zhuǎn)換的XML導(dǎo)出限制為該轉(zhuǎn)換中使用的連接。這在交換示例轉(zhuǎn)換時(shí)很有幫助，以避免包含所有已定義的連接。

Replace existing objects on open/import：在導(dǎo)入期間替換對(duì)象，例如現(xiàn)有數(shù)據(jù)庫(kù)連接。如果還檢查了替換對(duì)象之前的詢問，則會(huì)在導(dǎo)入發(fā)生之前提示您。在替換對(duì)象之前請(qǐng)求權(quán)限(如導(dǎo)入期間的現(xiàn)有數(shù)據(jù)庫(kù)連接)。

Ask before replacing objects：在替換對(duì)象之前請(qǐng)求權(quán)限(如導(dǎo)入期間的現(xiàn)有數(shù)據(jù)庫(kù)連接)。

Show Save dialog：當(dāng)轉(zhuǎn)換被更改時(shí)，允許您關(guān)閉收到的確認(rèn)對(duì)話框。

Automatically split hops：禁用在分割躍點(diǎn)時(shí)啟動(dòng)的確認(rèn)消息。

Show Copy or Distribute dialog：禁用將步驟鏈接到多個(gè)輸出時(shí)出現(xiàn)的警告消息。此警告消息描述了處理多個(gè)輸出的兩個(gè)選項(xiàng)：

Distribute rows：目標(biāo)步驟依次接收行(循環(huán)調(diào)度)。Copy rows：所有行被發(fā)送到所有目的地。

Show repository dialog at startup：控制在啟動(dòng)時(shí)是否顯示Repository對(duì)話框。

Ask user when exiting：控制當(dāng)用戶選擇退出應(yīng)用程序時(shí)是否顯示確認(rèn)對(duì)話框。

Clear custom parameters (steps/plugins)：清除在插件或步驟對(duì)話框中設(shè)置的所有參數(shù)和標(biāo)志。

Auto collapse palette tree：設(shè)置面板樹是否應(yīng)該自動(dòng)折疊。

Display tooltips：控制是否顯示主工具欄上按鈕的工具提示。

Show help tooltips：顯示幫助工具提示。工具提示是當(dāng)您將鼠標(biāo)指針懸停在PDI客戶機(jī)中的一個(gè)對(duì)象上時(shí)出現(xiàn)的簡(jiǎn)短描述。

創(chuàng)建轉(zhuǎn)換

在Data Integration視圖中，您可以創(chuàng)建轉(zhuǎn)換、使用轉(zhuǎn)換并檢查轉(zhuǎn)換中的數(shù)據(jù)。

創(chuàng)建轉(zhuǎn)換

按照以下說明創(chuàng)建您的轉(zhuǎn)換：

執(zhí)行下列操作之一：點(diǎn)擊File>New>Transformation；單擊工具欄中的New file 圖標(biāo)并選擇Transformation；按住CTRL+N鍵。轉(zhuǎn)到Design選項(xiàng)卡。展開文件夾或使用步驟字段搜索特定的步驟。拖動(dòng)或雙擊一個(gè)步驟將其放置在PDI客戶端畫布上。雙擊PDI客戶端畫布中的步驟以打開其properties窗口。要獲得關(guān)于填寫窗口的幫助，請(qǐng)單擊每個(gè)步驟中可用的help按鈕。要添加另一個(gè)步驟，可以拖動(dòng)或雙擊Design選項(xiàng)卡中的步驟，將其放置在PDI客戶機(jī)畫布上。如果您將步驟拖到畫布上，您可以通過按SHIFT鍵并從一個(gè)步驟繪制到另一個(gè)步驟的跳轉(zhuǎn)來添加一個(gè)躍點(diǎn)；如果雙擊該步驟，則該步驟將在畫布上顯示，并帶有一個(gè)已經(jīng)連接到上一步的躍點(diǎn)。

在您創(chuàng)建轉(zhuǎn)換之后，您必須先保存轉(zhuǎn)換，然后才能運(yùn)行它。

使用轉(zhuǎn)換

您可以保存、打開和運(yùn)行轉(zhuǎn)換。

檢查數(shù)據(jù)

您還可以獲得對(duì)數(shù)據(jù)的有價(jià)值的見解。

創(chuàng)建作業(yè)

在Data Integration視圖中，您可以創(chuàng)建和使用作業(yè)。

創(chuàng)建作業(yè)

按照以下說明創(chuàng)建您的作業(yè)：

執(zhí)行下列操作之一：點(diǎn)擊File>New>Job；單擊工具欄中的New file 圖標(biāo)并選擇Job；按住CTRL+ALT+N鍵。轉(zhuǎn)到Design選項(xiàng)卡。展開文件夾或使用條目字段搜索特定的條目。拖動(dòng)或雙擊一個(gè)條目，將其放置在PDI客戶端畫布上。雙擊該條目以打開其properties窗口。要獲得關(guān)于填寫窗口的幫助，請(qǐng)單擊每個(gè)條目中可用的Help按鈕。要添加另一個(gè)條目，可以拖動(dòng)或雙擊該條目，將其放置在PDI客戶機(jī)畫布上。如果您將條目拖動(dòng)到畫布上，您可以通過按SHIFT鍵并從一個(gè)條目繪制一個(gè)跳轉(zhuǎn)到另一個(gè)條目來添加一個(gè)躍點(diǎn)；如果您雙擊它，該條目就會(huì)出現(xiàn)在畫布上，并帶有一個(gè)已經(jīng)連接到前一個(gè)條目的躍點(diǎn)。

完成后，保存作業(yè)。

使用作業(yè)

您可以保存、打開和運(yùn)行作業(yè)。

向轉(zhuǎn)換和作業(yè)添加注釋

向轉(zhuǎn)換和作業(yè)添加和管理注釋。

適配應(yīng)執(zhí)行層

Pentaho使用適配執(zhí)行層(AEL)來運(yùn)行不同引擎的轉(zhuǎn)換。AEL將從您在PDI中開發(fā)的轉(zhuǎn)換步驟調(diào)整為您環(huán)境選擇引擎中的本地操作符，例如Hadoop集群中的AEL- spark。AEL-Spark引擎更適合在Hadoop集群中運(yùn)行大數(shù)據(jù)轉(zhuǎn)換。

當(dāng)您選擇AEL-Spark引擎來運(yùn)行轉(zhuǎn)換時(shí)，AEL將轉(zhuǎn)換中的步驟匹配到Spark引擎中的本地操作符。例如，如果您的轉(zhuǎn)換包含一個(gè)Hadoop文件輸入步驟，那么AEL將使用一個(gè)等效的Spark操作符。AEL為Spark構(gòu)建了一個(gè)轉(zhuǎn)換定義，它將執(zhí)行直接轉(zhuǎn)移到集群，利用Spark在多個(gè)節(jié)點(diǎn)上協(xié)調(diào)大量數(shù)據(jù)的能力。

AEL在使用的Spark引擎前必須配置。配置之后，您可以通過運(yùn)行配置選擇Spark引擎。

虛擬文件系統(tǒng)

您可以使用虛擬文件系統(tǒng)(VFS)連接來代替?zhèn)鹘y(tǒng)的本地文件系統(tǒng)窗口，通過一些轉(zhuǎn)換步驟和作業(yè)條目來訪問文件。

日志記錄和性能監(jiān)視

配置日志記錄以監(jiān)視轉(zhuǎn)換或作業(yè)性能。