需求條件

Datastream 提供多種來源選項、目的地選項和網路連線方法。

在本快速入門導覽課程中，我們假設您使用獨立的 Oracle 資料庫和目的地 Cloud Storage 服務。對於來源資料庫，您應該可以設定網路來新增輸入防火牆規則。來源資料庫可位於地端部署系統中，或其他雲端服務供應商的系統中。由於目的地是 Cloud Storage，因此應位於 Google 的雲端供應商。

由於我們無法瞭解您的環境詳情，因此無法提供網路設定的詳細步驟。

在本快速入門導覽課程中，您將選取「IP 許可清單」做為連線方式。IP 位址許可清單是一項安全功能，通常用於限制及控管可存取來源資料庫中資料的信任使用者。您可以透過 IP 允許清單，建立受信任的 IP 位址或 IP 範圍清單，讓使用者和其他 Cloud 服務 (例如 Datastream) 存取這些資料。如要使用 IP 許可清單，您必須開放來源資料庫或防火牆，允許來自 Datastream 的連入連線。

建立連線設定檔

為來源資料庫和目的地建立連線設定檔時，您會建立包含來源和目的地相關資訊的記錄。

在本快速入門導覽中，您會選取「Oracle」做為來源連線設定檔的設定檔類型，並選取「Cloud Storage」做為目的地連線設定檔的設定檔類型。Datastream 會使用連線設定檔中的資訊，將資料從來源 Oracle 資料庫遷移至 Cloud Storage 中的目的地 bucket。

為 Oracle 資料庫建立來源連線設定檔

1. 前往 Google Cloud 控制台的 Datastream「連線設定檔」頁面。

   前往「連線設定檔」頁面

2. 按一下「建立設定檔」。

3. 在「建立連線設定檔」頁面中，按一下「Oracle」設定檔類型 (因為您要為 Oracle 資料庫建立來源連線設定檔)。

4. 在「建立 Oracle 設定檔」頁面的「定義連線設定」區段中，提供下列資訊：

   • 輸入來源資料庫的連線設定檔名稱，例如 My Source Connection Profile。
   • 保留系統自動產生的「連線設定檔 ID」。

   • 選取要儲存連線設定檔的區域。

   • 輸入連線詳細資料：

     • 在「Hostname or IP」(主機名稱或 IP) 欄位中，輸入 Datastream 可用來連線至來源 Oracle 資料庫的主機名稱或公開 IP 位址。您提供的是公開 IP 位址，因為本快速入門導覽課程會使用 IP 許可清單做為網路連線方式。
     • 在「Port」(通訊埠) 欄位中，輸入為來源資料庫保留的通訊埠號碼。如果是 Oracle 資料庫，預設通訊埠通常為 1521。
     • 輸入「使用者名稱」和「密碼」，以驗證來源資料庫。
     • 在「System identifier (SID)」(系統 ID (SID)) 欄位中，輸入可識別資料庫執行個體的 SID 或服務名稱。如果是 Oracle 資料庫，通常為 ORCL。

5. 在「定義連線設定」部分中，按一下「繼續」。「Create Oracle profile」(建立 Oracle 設定檔) 頁面的「Define connectivity method」(定義連線方式) 區段已啟用。

6. 選擇要用來建立 Datastream 與來源資料庫之間連線的網路方法。在本快速入門導覽課程中，請使用「連線方式」下拉式選單，選取「IP 許可清單」做為網路連線方式。

7. 設定來源資料庫，允許來自顯示的 Datastream 公開 IP 位址的連入連線。

8. 在「定義連線方式」部分中，按一下「繼續」。「建立 Oracle 設定檔」頁面的「測試連線設定檔」部分會處於啟用狀態。

9. 點選「執行測試」，確認來源 Oracle 資料庫和 Datastream 可以相互通訊。

10. 確認是否顯示「測試通過」狀態。

11. 如果測試失敗，請在流程的適當部分解決問題，然後返回重新測試。如需疑難排解步驟，請參閱「診斷問題」頁面。

12. 點選「建立」。

為 Cloud Storage 建立目的地連線設定檔

1. 前往 Google Cloud 控制台的 Datastream「連線設定檔」頁面。

   前往「連線設定檔」頁面

2. 按一下「建立設定檔」。

3. 在「建立連線設定檔」頁面中，按一下「Cloud Storage」設定檔類型 (因為您要為 Cloud Storage 建立目的地連線設定檔)。

4. 在「建立 Cloud Storage 設定檔」頁面中，提供下列資訊：

   • 輸入 My Destination Connection Profile 做為目的地 Cloud Storage 服務的連線設定檔名稱。
   • 保留系統自動產生的「連線設定檔 ID」。
   • 選取要儲存連線設定檔的區域。
   • 在「連線詳細資料」窗格中，按一下「瀏覽」。

   • 在「選取 bucket」窗格中，選取 Cloud Storage 中的目的地 bucket，Datastream 會將來源資料庫的資料轉移至該 bucket，然後按一下「選取」。

     值區會顯示在「Create Cloud Storage profile」(建立 Cloud Storage 設定檔) 頁面的「Bucket name」(值區名稱) 欄位中。

   • 視需要，您可以在「連線設定檔路徑前置字串」欄位中提供路徑前置字串，Datastream 將資料傳輸至目的地時，這個字串會附加至值區名稱。

5. 點選「建立」。

為 Oracle 資料庫建立來源連線設定檔，並為 Cloud Storage 建立目的地連線設定檔後，即可使用這些設定檔建立串流。

建立串流

在本節中，您將建立串流。Datastream 會使用這個串流，將資料從來源 Oracle 資料庫移轉至 Cloud Storage 中的目標值區。

建立串流包括：

• 定義串流的設定。
• 選取為來源資料庫建立的連線設定檔 (來源連線設定檔)。在本快速入門導覽課程中，這個設定檔是「My Source Connection Profile」(我的來源連線設定檔)。
• 設定串流的來源資料庫相關資訊，方法是在來源資料庫中指定 Datastream 要：
  • 可轉移至目的地。
  • 無法轉移至目的地。
• 判斷 Datastream 是否要補充歷來資料，以及是否要將持續變更串流至目的地，或只串流資料變更。
• 選取為 Cloud Storage 建立的連線設定檔 (目的地連線設定檔)。在本快速入門導覽課程中，這是「My Destination Connection Profile」。
• 設定串流的目的地 bucket 相關資訊。這類資訊包括：
  • Datastream 會將來源 Oracle 資料庫的結構定義、資料表和資料移轉至目的地 bucket 的這個資料夾。
  • 寫入 Cloud Storage 的檔案輸出格式。Datastream 支援兩種輸出格式：Avro 和 JSON。在本快速入門導覽課程中，檔案格式為 Avro。

定義串流的設定

1. 前往 Google Cloud 控制台的 Datastream「串流」頁面。

   前往「串流」頁面

2. 按一下「建立串流」。

3. 在「建立串流」頁面的「定義串流詳細資料」面板中，提供下列資訊：

   • 輸入 My Stream 做為串流名稱。
   • 保留系統自動產生的「串流 ID」。
   • 在「Region」(區域) 選單中，選取您建立來源連線設定檔的區域。
   • 在「Source type」(來源類型) 選單中，選取「Oracle」設定檔類型。
   • 在「目的地類型」選單中，選取「Cloud Storage」設定檔類型。

4. 查看自動生成的需求條件，瞭解環境必須如何準備串流。這些必要條件可能包括如何設定來源資料庫，以及如何將 Datastream 連線至 Cloud Storage 中的目的地 bucket。

5. 按一下「繼續」。「建立串流」頁面會顯示「定義 Oracle 連線設定檔」面板。

指定來源連線設定檔的相關資訊

1. 在「Source connection profile」(來源連線設定檔) 選單中，選取 Oracle 資料庫的來源連線設定檔。

2. 點選「執行測試」，確認來源資料庫和 Datastream 可以相互通訊。

   如果測試失敗，系統會顯示與連線設定檔相關的問題。如需疑難排解步驟，請參閱「診斷問題」頁面。進行必要變更來修正問題，然後重新測試。

3. 按一下「繼續」。「Create stream」(建立串流) 頁面會顯示「Configure stream source」(設定串流來源) 面板。

設定串流的來源資料庫相關資訊

1. 使用「Objects to include」(要包含的物件) 選單，指定 Datastream 可轉移至 Cloud Storage 目的地 bucket 中資料夾的來源資料庫資料表和結構定義。只有在資料庫最多有 5,000 個物件時，系統才會載入選單。

   在本快速入門導覽課程中，您希望 Datastream 轉移所有資料表和結構定義。因此，請從選單中選取「採用任何結構定義的所有資料表」。

2. 指定 CDC 方法。在本教學課程中，請選取「Logminer」。

3. 按一下「繼續」。「Create stream」(建立串流) 頁面會顯示「Define Cloud Storage connection profile」(定義 Cloud Storage 連線設定檔) 面板。

選取目的地連線設定檔

1. 從目的地連線設定檔選單中，選取 Cloud Storage 的目的地連線設定檔。

2. 按一下「繼續」。「建立串流」頁面會顯示「設定串流目的地」面板。

設定串流目的地的相關資訊

1. 在「串流路徑前置字元」欄位中，輸入目的地 bucket 的資料夾，Datastream 會將來源 Oracle 資料庫的結構定義、資料表和資料移轉至該資料夾。

   在本快速入門導覽中，您希望 Datastream 將資料從來源資料庫移轉至 Cloud Storage 目的地 bucket 的 /root/tutorial 資料夾。因此，請在「串流路徑前置字元」欄位中輸入 /root/tutorial。

2. 在「輸出格式」欄位中，選取寫入 Cloud Storage 的檔案格式。在本快速入門導覽課程中，檔案格式為 Avro。

3. 按一下「繼續」。「建立串流」頁面隨即顯示「查看串流詳細資料並建立」面板。

建立串流

1. 確認串流的詳細資料，以及串流將用來將資料從來源 Oracle 資料庫移轉至 Cloud Storage 目的地值區的來源和目的地連線設定檔。

2. 點選「執行驗證」，驗證串流。驗證串流時，Datastream 會檢查來源設定是否正確、驗證串流是否能連線至來源和目的地，並驗證串流的端對端設定。

3. 通過所有驗證檢查後，按一下「建立」。

4. 在「建立串流？」對話方塊中，按一下「建立」。

建立串流後，即可啟動串流。

開始直播

在快速入門導覽課程的上一節中，您建立了串流，但並未啟動。您可以立即執行這項操作。

在本快速入門導覽課程中，您會分別建立及啟動串流，以免串流建立程序對來源資料庫造成負擔。如要延後載入，請建立串流但不啟動，然後在可產生負擔時啟動串流。

啟動串流後，Datastream 就能將來源資料庫中的資料、結構定義和資料表轉移至目的地。

1. 前往 Google Cloud 控制台的 Datastream「串流」頁面。

   前往「串流」頁面

2. 在要啟動的串流左側，選取核取方塊。在本快速入門導覽課程中，這是「My Stream」。

3. 按一下 [START] (開始)。

4. 按一下對話方塊中的「開始」。串流的狀態會從「Not started」變更為「Starting」，再變更為「Running」。

啟動串流後，您可以確認 Datastream 是否已將資料從來源資料庫轉移至目的地。

驗證串流

在本節中，您會確認 Datastream 將來源 Oracle 資料庫中所有資料表內的資料，轉移至 Cloud Storage 目的地 bucket 的 /root/tutorial 資料夾。

1. 前往 Google Cloud 控制台的 Datastream「串流」頁面。

   前往「串流」頁面

2. 按一下你建立的串流。在本快速入門導覽課程中，這是「My Stream」。

3. 在「串流詳細資料」頁面中，按一下「目的地寫入路徑」欄位下方顯示的連結。Cloud Storage 的「Bucket details」(值區詳細資料) 頁面會在另一個分頁中開啟。

4. 確認您看見代表來源 Oracle 資料庫資料表的資料夾。

5. 按一下其中一個資料表資料夾，然後逐步向下鑽研，直到看到與資料表相關聯的資料。