GE數字集團系統架構師 余思源

Historian 8.1已經在今年五月正式發布，該版本的一個重要更新就是新發布的ETL工具。

ETL是Extract, Transform, Load的縮寫，中文翻譯是：提取-傳輸-加載，實際上ETL是一套面向文件的高性能數據傳輸解決工具。

功能簡介

眾所周知，Historian已經提供了Server to Server (S2S)采集器，用于在兩臺Historian服務器之間傳遞數據。S2S采集器可以高效實時地傳遞數據，同時還支持本地緩存功能，在網絡中斷時可保障數據不丟失。

但是S2S采集器也有局限性，若兩臺Historian服務器之間無網絡連接（兩臺服務器位于不同的城市，或者一臺在控制網而另一臺在辦公網），或者網絡連接的成本太高（一臺服務器部署在輪船上而另一臺在陸上的數據中心）時，S2S采集器則不太適用了。

Historian ETL正是為了應對這些場景而生，它包含一整套面向文件的數據提取，傳輸和加載工具。

首先，ETL配置哪些標簽需要發送，它們在現場和目標Historian上的名稱（可以不相同）,是否啟用采集器壓縮，死區范圍，超時時間等信息；然后將現場Historian服務器上選中的數據提取并保存為文本文件，若干文本文件合并壓縮再后發送到一臺BITS或FTP文件服務器上；目標Historian服務器上開啟相應服務來監控文件服務器，一旦發現了新的壓縮文件，則將其內容解析后導入目標Historian中。

ETL傳輸方式類似于“數據二極管”的模式，數據是單方向的傳輸，現場Historian服務器不知道也無需知道目標Historian服務器是否收到數據，從而避免了一切通過狀態反饋信息來試探甚至破壞現場Historian服務器。此外，壓縮文件可以暫存在目標服務器上，這也降低了對現場Historian服務器的磁盤和性能的要求。

前期準備

在前期準備時，用戶需要創建一個XML文件，指定現場Proficy Historian或PI Server中哪些標簽及其屬性需要提取，該文件格式如下：

為了方便用戶維護該XML文件，系統提供一個Excel模板，用戶可方便地在Excel中整理需要提取的標簽列表，然后輸出到XML文件中。

提取

提取組件可以將數據從三種數據源中導出，它們是Historian時序數據，Historian A&E數據和OSI PI數據。

對于Historian時序數據，還可以提取警報和事件數據，執行數據縮放和絕對值死區壓縮。

將導出的文本文件進行壓縮，以實現高效傳輸。

用戶需要通過Historian ETL Extract Configuration工具對提取組件進行配置，其界面如下：

配置完成后，點擊配置工具中的“Start Service” 按鈕即可開始提取工作。

以Historian時序數據為例，提取組件的工作流程如下：

將與標簽相關的數據提取到文本文件中，該文件以以下格式命名：YYYYDDMMHHRR_ <現場historian計算機名稱> .txt。這些文件存儲在以下文件夾中：/ Historian ETL Extract / HistFiles。

提取了指定數量的文本文件（默認為6個）后，將這些文本文件打包壓縮為.zip文件，該文件以以下格式命名：YYYYDDMMHHRR_ <現場historian計算機名稱> .zip。這些文件存儲在以下文件夾中：/ Historian ETL Extract / ZipFiles。

文件被壓縮后，刪除/ Historian ETL Extract / HistFiles文件夾中的文本文件。

傳輸

在目標Historian服務器上安裝文件共享傳輸協議（例如FTP，BITS等），將數據從現場Historian服務器傳輸到目標Historian服務器。

若選擇使用BITS，需要在Windows Features中安裝BITS相關服務，如下圖所示。

BITS站點配置完成后，用戶可執行/Historian ETL Transform/BITS 目錄下的

OSM_LBW_Transfer.cmd程序來啟動文件傳輸，相關配置信息請參見OSM_LBW_Transfer.vbs文件。

若選擇使用FTP，需要在Windows Server Roles中安裝FTP相關服務，如下圖所示。

FTP站點配置完成后，用戶可執行/Historian ETL Transform/ FTP File Transfer/ 目錄下的. FTPFileTransfer程序，配置FTP站點信息，需要監控的ZIP文件目錄等，點擊 “Start“按鈕即可開始傳輸文件。

加載

加載是提取的逆向操作，它負責監視文件目錄，解壓縮文件并處理它們，將數據加載到Proficy Historian中。

用戶需要通過Historian ETL Load Configuration工具對加載組件進行配置，其界面如下：

配置完成后，點擊配置工具中的“Start Service” 按鈕即可開始加載工作。

加載組件的工作流程如下：

提取/ Historian ETL Load / ZipImportFiles文件夾中的.zip文件，解壓縮后的文本文件存儲在目標Historian服務器的/ Historian ETL Load / ImportFiles文件夾中。

將數據導入到目標Historian服務器。

刪除/ Historian ETL Load / ZipImportFiles文件夾中的.zip文件。

刪除/ Historian ETL Load / ImportFiles文件夾中的文本文件。

總結

ETL工具是Server to Server采集器的有效補充，它可以為眾多的應用場景提供服務，如下文所示：

通過無線電或低帶寬蜂窩連接進行數據傳輸

沒有連接的數據傳輸（使用移動媒介進行讀寫）

用于定期連接應用程序的數據傳輸（例如，船舶可以在到達港口時傳輸數據）

通過單向安全連接（例如數據二極管）進行數據傳輸

從OSI PI Server到Proficy Historian的數據遷移

提取Historian數據以導入到其它應用程序中

從其它應用程序導入數據到Historian中

ETL包含數據提取，傳輸和加載三個組件，它們可以單獨使用，也可以組合成一套完整的面向文件的數據傳輸解決方案。

如果大家對ETL工具和新發布的Historian 8.1感興趣，歡迎隨時與GE Digital聯系。