--- title: 【BigQuery】BigQuery Data Transfer Serviceの転送が成功したかを確認する description: BigQuery Data Transfer Serviceで設定した転送ジョブが成功したかどうかを確認する方法について解説します image: https://analytics.cartazero.co.jp/hubfs/AnalyticsCci_February2023/%E3%80%90DA%E3%80%91bigquery_data_transfer_service_logo.png --- # 記事 - [全ての記事](https://analytics.cartazero.co.jp/column) - [#BigQuery](https://analytics.cartazero.co.jp/column/tag/bigquery) - [#BigQuery Data Transfer Service](https://analytics.cartazero.co.jp/column/tag/bigquery-data-transfer-service) - [#Dataform](https://analytics.cartazero.co.jp/column/tag/dataform) - [#GA4](https://analytics.cartazero.co.jp/column/tag/ga4) - [#GA4使い方](https://analytics.cartazero.co.jp/column/tag/ga4使い方) - [#GA4連携](https://analytics.cartazero.co.jp/column/tag/ga4連携) - [#GA4／分析](https://analytics.cartazero.co.jp/column/tag/ga4分析) - [#GTM](https://analytics.cartazero.co.jp/column/tag/gtm) - [#Google Search Console](https://analytics.cartazero.co.jp/column/tag/google-search-console) - [#Google アナリティクス](https://analytics.cartazero.co.jp/column/tag/google-アナリティクス) - [#Google アナリティクス4](https://analytics.cartazero.co.jp/column/tag/google-アナリティクス4) - [#Google データポータル](https://analytics.cartazero.co.jp/column/tag/google-データポータル) - [#Googleシグナル](https://analytics.cartazero.co.jp/column/tag/googleシグナル) - [#Googleタグマネージャー](https://analytics.cartazero.co.jp/column/tag/googleタグマネージャー) - [#Google同意モード](https://analytics.cartazero.co.jp/column/tag/google同意モード) - [#Google広告](https://analytics.cartazero.co.jp/column/tag/google広告) - [#KnowHowNow](https://analytics.cartazero.co.jp/column/tag/knowhownow) - [#Looker Studio](https://analytics.cartazero.co.jp/column/tag/looker-studio) - [#UTMパラメータ](https://analytics.cartazero.co.jp/column/tag/utmパラメータ) - [#サードパーティCookie](https://analytics.cartazero.co.jp/column/tag/サードパーティcookie) - [#セッションの手動参照元](https://analytics.cartazero.co.jp/column/tag/セッションの手動参照元) - [#セッションの手動参照元メディア](https://analytics.cartazero.co.jp/column/tag/セッションの手動参照元メディア) - [#デジタル広告運用](https://analytics.cartazero.co.jp/column/tag/デジタル広告運用) - [#データ活用](https://analytics.cartazero.co.jp/column/tag/データ活用) - [#データ計測](https://analytics.cartazero.co.jp/column/tag/データ計測) - [#ポストCookie](https://analytics.cartazero.co.jp/column/tag/ポストcookie) - [#広告パラメータ](https://analytics.cartazero.co.jp/column/tag/広告パラメータ) 全ての記事 GA4 Googleタグマネージャー BigQuery GA4連携 Google アナリティクス4 Google広告 Looker Studio Dataform Google アナリティクス デジタル広告運用 BigQuery Data Transfer Service GA4使い方 GA4／分析 GTM Google Search Console Google データポータル Googleシグナル Google同意モード KnowHowNow UTMパラメータ サードパーティCookie セッションの手動参照元 セッションの手動参照元メディア データ活用 データ計測 ポストCookie 広告パラメータ - [![photo of the author](https://app.hubspot.com/settings/avatar/d41d8cd98f00b204e9800998ecf8427e) 寺田　将志 ](https://analytics.cartazero.co.jp/column/author/寺田-将志) - 2024年3月13日 - 読了時間: 6分 - [![photo of the author](https://app.hubspot.com/settings/avatar/d41d8cd98f00b204e9800998ecf8427e) ](https://analytics.cartazero.co.jp/column/author/寺田-将志) [寺田　将志 ](https://analytics.cartazero.co.jp/column/author/寺田-将志) 2024年3月13日 読了時間: 6分 記事をシェア # 記事をシェア シェア用リンク キャンセル リンクをコピー # 【BigQuery】BigQuery Data Transfer Serviceの転送が成功したかを確認する こんにちは。CCIのアナリティクス担当の寺田です。 最近、[BigQuery Data Transfer Serviceが新しいデータソースに対応](https://cloud.google.com/bigquery/docs/release-notes#February_26_2024)しました。 公式で発表された新しいデータソースは以下です。   > The BigQuery Data Transfer Service can now transfer data from the following data sources: > > - Facebook Ads > - Oracle > - Salesforce > - Salesforce Marketing Cloud > - ServiceNow   特にMeta(Facebook/Instagram)広告を出稿している、Salesforceを利用している方にとっては朗報ではないでしょうか？   今回は、(これから対応するデータソースがどんどん増えてほしいという期待も込めて)   - 1)BigQuery Data Transfer Serviceが転送時に教えてくれる「転送に関する情報」は具体的にどのようなものか - 2)その情報から転送が失敗したか成功したかを確認する方法 の2つをざっくりご紹介したいと思います。   ※具体的な転送設定の方法についてはこの記事ではご紹介しません。 知りたい場合は[こちらの記事](https://cloud.google.com/bigquery/docs/dts-introduction?hl=ja#supported_data_sources)から、転送元としたいサービスを選んでご設定ください。     ## 今回想定する簡易的なETLフロー図 今回想定する簡易的なETLフローは以下の図です。 転送元 は Amazon S3に置かれたCSVデータを想定しています。   ![【DA】Instant_ETL_flow](https://analytics.cartazero.co.jp/hs-fs/hubfs/%E3%80%90DA%E3%80%91Instant_ETL_flow.png?width=5010&height=1760&name=%E3%80%90DA%E3%80%91Instant_ETL_flow.png) BigQuery Data Transfer Serviceが実行した転送ジョブの情報が - BigQuery Data Transfer Service --> Pub/Sub --> Cloud FunctionsのHTTP関数 の順に伝播します。   Cloud FunctionsのHTTP関数の役割は - 転送が「成功」したら、転送された生データを加工するクエリをBigQueryに発行する - 転送が「失敗」したら、エラー情報をログ(Cloud Logging)に吐き出す です。     ## 1)「転送に関する情報」は具体的にどのようなものか BigQuery Data Transfer Serviceが転送時に教えてくれる「転送に関する情報」は具体的にどのようなものでしょうか？ざっくりいうとCloud FunctionsのHTTP関数には、JSON形式のデータ(Flaskリクエストオブジェクト)が渡されてきます。 では、実際にCloud FunctionsのHTTP関数が受け取った「転送に関する情報」見てみましょう。   ``` {  "attributes": {      "eventType": "TRANSFER_RUN_FINISHED",      "payloadFormat": "JSON_API_V1"    },  "data": "ewogICJkYXRhU291cmNlSWQiOiA.......(続く)",  "messageId": "10594332634869765",  "publishTime": "2024-03-04T07:47:41.653Z"} ``` BigQuery Data Transfer Serviceのデータ転送タスクが終了したことは、 "attributes"フィールドの中にある"eventType"フィールドでわかりそうですね！ ほかにも、転送タスク終了時間`"publishTime" 、`転送に関する情報(メッセージ)に対して付与された`"messageId"`も確認できます。   ただ肝心の転送が失敗したか成功したかはどこで確認できるでしょうか？   実は転送が失敗したか成功したかは`"data"`という、長い&意味不明な文字列に入っています。(※実際には「`.......(続く)`」の部分にはめちゃめちゃ長い文字列が入ります) ``` "data": "ewogICJkYXRhU291cmNlSWQiOiA.......(続く)" ```     ## 2)転送が失敗したか成功したかを確認する ``` "data": "ewogICJkYXRhU291cmNlSWQiOiA.......(続く)" ``` "data"フィールドは「Base64」という方式でエンコードされており、このままでは人間が見ても理解できません。 "data"フィールドをデコードして、もう一度「転送に関する情報」を見てみましょう。 (※一部公開NGの部分は改編してあります) ``` {     "attributes":{         "eventType": "TRANSFER_RUN_FINISHED",         "payloadFormat": "JSON_API_V1"     },     "data": {         "dataSourceId": "amazon_s3",         "destinationDatasetId": "test",         "emailPreferences": { "enableFailureEmail": true },         "endTime": "2024-03-04T07:47:41.527053Z",         "errorStatus": { },         "name":"projects/12345678/locations/...",        "notificationPubsubTopic": "projects/test/topics/...",        "params": {             "access_key_id": "hoge1234",            "data_path": "s3://analytics-cci/test.csv",                                 "destination_table_name_template": "test",            "field_delimiter": ",",             "file_format": "CSV",             "max_bad_records": "0",             "secret_access_key": "hoge1234",             "skip_leading_rows": "1",            "write_disposition": "WRITE_APPEND"         },         "runTime": "2024-03-04T07:46:26.242Z",         "scheduleTime": "2024-03-04T07:46:26.37475Z",         "startTime": "2024-03-04T07:46:27.442978Z",         "state": "SUCCEEDED",         "updateTime": "2024-03-04T07:47:41.527076Z",         "userId": "hoge1234"    },     "messageId": "10594332634869765",     "publishTime": "2024-03-04T07:47:41.653Z"} ``` "data"フィールドの中にある"state"フィールドの値が「 "SUCCEEDED"」だったらBigQuery Data Transfer Serviceのデータ転送タスクは成功と判断できそうです。(実際できます) 反対に、"data"フィールドの中にある""state"フィールドの値が「"FAILED"」だったらデータ転送タスクは失敗とわかります。   よって、今回想定する簡易的なETLフロー図を完成させるには、 - `1) "eventType": "TRANSFER_RUN_FINISHED"` - `2) "state": "SUCCEEDED"` `1,2がどちらもtrueの時:転送された生データを加工するクエリをBigQueryに発行する` `1,2がどちらかがfalseの時:エラー情報をログ(Cloud Logging)に吐き出す`   これらを満たすCloud FunctionsのHTTP関数を設定すればうまくいきそうです。 --- いかがだったでしょうか。今回は - 1)BigQuery Data Transfer Serviceが転送時に教えてくれる「転送に関する情報」は具体的にどのようなものか - 2)その情報から転送が失敗したか成功したかを確認する方法 を解説しました。   また、ほかのGoogle Cloudプロダクト、「Cloud Run」や「Dataflow」などを用いれば、より高度に制御されたワークフローを回すことなどもできます。   またこれらのワークフローを用いた、 - **社内の1st Partyデータを一元管理できるダッシュボード** - **広告効果検証用ダッシュボード** など、ダッシュボード作成のご相談も承っております。   ここまで読んでいただきありがとうございました！😊   [## GA4導入/運用支援サービスの詳細 CARTA ZEROはGA4個人認定資格を保有するアナリストが多数在籍。GA4導入や計測カスタマイズ、BigQueryやBIダッシュボードも活用したGA4運用コンサルティングの実施など、お客様のご事情に合わせたご支援が可能です。 https://analytics.cartazero.co.jp/ga4 ](https://analytics.cartazero.co.jp/ga4) --- 📣なお、私も含め、CCI Analyticsを担当するアナリストは現在は「[Data Dig（データディグ）](https://www.data-dig.cci.co.jp/ja-jp/)」というCookieに依存しないデジタルマーケティング展開の支援も行っています。そのサービスの詳細も「データマーケティング」という形でご案内しており、Data Dig関連サービスとしてどのような資料が存在するか、それらの資料ダウンロードを行えます。 また、デジタルマーケティングに関するコラムなどを展開しています。   [Data Dig（データディグ）](https://www.data-dig.cci.co.jp/ja-jp/) --- 📣CCIが提供する統合デジタルマーケティングサービスの全容、また現状のデジタルマーケティング施策のノウハウを認識されたい場合は、ぜひ近日オープンした「KnowHowNow」をご覧ください。   [KnowHowNow（ノウハウナウ）はこちらから](https://know-how-now.cci.co.jp/) [#BigQuery ](https://analytics.cartazero.co.jp/column/tag/bigquery) [#BigQuery Data Transfer Service](https://analytics.cartazero.co.jp/column/tag/bigquery-data-transfer-service) ### データ分析のお悩みや課題を CARTA ZEROが解決します。 ![](https://analytics.cartazero.co.jp/hubfs/raw_assets/public/AnalyticsCci_February2023/images/form_illust.svg) CARTA ZEROのAnalyticsサービスでは戦略・KPIの設定や分析設計、ツール導入・運用サポートまで総合的に支援します。 経験豊富なアナリストが 貴社をご支援 [お問い合わせは こちら](https://analytics.cartazero.co.jp/document-download) CARTA ZEROは、100以上のWebサイト支援実績を有しています ## CARTA ZERO Analyticsサービス 支援企業様例 [![アルク](https://analytics.cartazero.co.jp/hubfs/AnalyticsCci_February2023/Image/company/set_yoko_jpn_black.png) ](https://www.alc.co.jp/) [![KONAMI](https://analytics.cartazero.co.jp/hubfs/KONAMI.svg) ](https://www.konami.com/ja/) [![sansan](https://analytics.cartazero.co.jp/hubfs/AnalyticsCci_February2023/Image/company/sansan.png) ](https://jp.corp-sansan.com/?utm_source=cci&utm_medium=referral&utm_campaign=analytics) [![Jsports](https://analytics.cartazero.co.jp/hubfs/AnalyticsCci_February2023/Image/company/CP_color_basic.jpg) ](https://www.jsports.co.jp/?utm_source=cci&utm_medium=web&utm_campaign=js_cci_web_logo) [![TIS](https://analytics.cartazero.co.jp/hubfs/AnalyticsCci_February2023/Image/company/TIS_yoko_kyodo_color_RGB.png) ](https://www.tis.co.jp/) [![NetDreamers](https://analytics.cartazero.co.jp/hubfs/AnalyticsCci_February2023/Image/company/netkeiba.svg) ](https://www.netkeiba.com/) [![LION](https://analytics.cartazero.co.jp/hubfs/lion.svg) ](https://www.lion.co.jp/ja/) ※50音順で掲載しています CARTA ZEROは、Google社より**Analytics認定パートナー（GMP Partner）**を取得しています。また、Adobe社の**マーケティングソリューションパートナー**としても活動中です。これまでにECサイト・リード獲得サイト・ブランド認知サイトと、**多種多様なお客様運営サイトの実装・分析・BIダッシュボード開発**を手掛けています。 ## 最新記事 [すべて表示](https://analytics.cartazero.co.jp/column) ## [【BigQuery】ARRAY,UNNESTって一体なに？](https://analytics.cartazero.co.jp/column/post/bigquery-array-and-unnest) ## [【BigQuery】増分フラット化テーブルを作成する](https://analytics.cartazero.co.jp/column/post/bigquery-dataform) ## [【BigQuery】STRUCT型って一体なに？ARRAY型との合わせ技で柔軟なデータ構造を操作する](https://analytics.cartazero.co.jp/column/post/bigquery-struct) ```json { "@context" : "https://schema.org", "@type" : "BlogPosting", "author" : { "@type" : "Person", "name" : "寺田　将志", "url" : "https://analytics.cartazero.co.jp/column/author/寺田-将志" }, "dateModified" : "2025-07-01T10:11:57.591Z", "datePublished" : "2024-03-13T00:00:00.000Z", "headline" : "【BigQuery】BigQuery Data Transfer Serviceの転送が成功したかを確認する", "image" : [ "https://analytics.cartazero.co.jp/hubfs/AnalyticsCci_February2023/%E3%80%90DA%E3%80%91bigquery_data_transfer_service_logo.png" ], "mainEntityOfPage" : { "@id" : "https://analytics.cartazero.co.jp/column/post/bigquery-data-transfer-service", "@type" : "WebPage" }, "publisher" : { "@type" : "Organization", "logo" : { "@type" : "ImageObject", "url" : "https://analytics.cartazero.co.jp/hubfs/know%20How%EF%BC%88%E3%82%A2%E3%82%AB%E3%83%9E%E3%83%8D%EF%BC%89/%E3%80%90%E3%82%A2%E3%82%AB%E3%83%9E%E3%83%8D%E3%80%91logo.svg" } } } ```