本文へスキップ

データエンジニアリングと分析

パイプラインからBIまで、データエンジニアリングを手がけます。お客様の分析とAIを支えるパイプライン、プラットフォーム、ガバナンスを構築します。

パイプラインからBIまで、データエンジニアリングを手がけます。 お客様の分析とAIを支えるパイプライン、プラットフォーム、ガバナンスを構築します。

段階 1/6 · パイプライン

データソース。

すべての注文は、それを受けたシステムのエクスポートの一行から始まります。

詳しく読む:パイプライン

注文 1042orders export

1042,C-88,49.00,EUR,2026-11-12 09:14

データエンジニアリングと分析 · 一件のレコードを追う · 1/5

パイプライン。 データをソースから移し、途中でクリーニングとチェックを行います。

概要

データパイプラインは、データが生まれる場所から使われる場所へデータを移し、その途中でチェックします。当社はお客様のソースを接続し、スケジュールに沿って、または発生と同時にデータを読み込み、レポートやモデルが読む前に各レコードをクリーニングしてテストします。

提供内容

  • ソースの接続。
  • スケジュールに沿った、または発生と同時のデータ取り込み。
  • 途中でのクリーニングとチェック。

実施方法

  1. 接続するお客様のソースを、それぞれ担当者を決めて接続します。
  2. 読み込んでチェックするスケジュールに沿って、または発生と同時にデータを読み込み、途中でチェックします。

成果物

  • お客様のリポジトリにあるパイプライン
  • 読み込みのたびに実行されるデータチェック
  • すべてのソースとその担当者のマップ

技術スタックとツール

  • Data integration
  • Workflow orchestration
  • Data quality checks
  • Streaming

関連

Etheonと始めましょう ユースケースと時期をお知らせください。一営業日以内にご返信します。

データエンジニアリングと分析 · 一件のレコードを追う · 2/5

データプラットフォーム。 お客様の規模、コスト、アクセスルールに合わせて構築するデータウェアハウスとレイクハウス。

概要

データプラットフォームとは、会社のデータを保存し、モデル化し、クエリする場所です。当社は、お客様の技術スタック、規模、アクセスルールに合うデータウェアハウスとレイクハウスを構築し、コストを見える化することで、成長しても無理のない費用に保ちます。

提供内容

  • お客様の技術スタックに合うプラットフォーム。
  • 把握できるコスト。
  • ロールに応じたアクセス。

実施方法

  1. 選ぶお客様の技術スタック、規模、コストに合うプラットフォーム。
  2. 構築するストレージ、モデル、アクセスルールを、コードとして記述します。

成果物

  • コードとして構築したデータウェアハウスまたはレイクハウス
  • ロールごとのアクセスルール
  • コストレポート

技術スタックとツール

  • Data warehouses
  • Lakehouses
  • Infrastructure as code
  • Cost monitoring

関連

Etheonと始めましょう ユースケースと時期をお知らせください。一営業日以内にご返信します。

データエンジニアリングと分析 · 一件のレコードを追う · 3/5

MLデータ。 モデルが学習するデータセットを、ラベル付けし、モデルとともにバージョン管理します。

概要

MLデータとは、モデルが学習し、テストされるデータです。当社はモデルのタスクに合わせてデータセットにラベルを付け、ラベル付けの前に個人データをマスキングし、各データセットを学習させるモデルとともにバージョン管理します。これにより、どの結果もそのデータまでさかのぼれます。

提供内容

  • モデルのタスクに合わせてラベル付けしたデータセット。
  • すべてのデータセットを、そのモデルとともにバージョン管理。
  • ラベル付けの前に個人データをマスキング。

実施方法

  1. ラベル付けするモデルのタスクに合わせてデータセットにラベルを付けます。個人データは先にマスキングします。
  2. バージョン管理する各データセットを、学習させるモデルとともにバージョン管理します。

成果物

  • ラベル付きデータセット
  • 各モデルに紐づいたバージョン
  • 各データセットの作成方法の記録

技術スタックとツール

  • Labelling tools
  • Dataset versioning
  • Data quality checks
  • Redaction tools

関連

Etheonと始めましょう ユースケースと時期をお知らせください。一営業日以内にご返信します。

データエンジニアリングと分析 · 一件のレコードを追う · 4/5

分析とBI。 すべての指標に、一つの定義、担当者、テストを。

概要

分析とBIは、データをチームが合意できる数字に変えます。当社はすべての指標に一つの定義、担当者、更新のたびに実行されるテストを用意し、チームが読むレポートとダッシュボードを構築します。

提供内容

  • すべての指標に一つの定義。
  • すべての指標に担当者。
  • 更新のたびに実行されるテスト。

実施方法

  1. 定義するすべての指標に、一つの定義と一人の担当者を。
  2. テスト誰かが数字を読む前に、更新のたびに実行されるテスト。

成果物

  • このページで示している形式での指標の定義。

技術スタックとツール

  • Data transformation
  • BI dashboards
  • Metric definitions
  • Data quality checks

Etheonと始めましょう ユースケースと時期をお知らせください。一営業日以内にご返信します。

データエンジニアリングと分析 · 一件のレコードを追う · 5/5

ガバナンス。 ロールに応じたアクセスと、お客様が選んだリージョンでのデータ保管。

概要

データガバナンスは、誰がどのデータを見られるか、どこに、どのくらいの期間保管するかを決めます。当社はロールに応じてアクセスを設定し、お客様が選んだリージョンにデータを保管し、不要な箇所では個人データをマスキングし、スケジュールに沿って削除し、すべてのアクセスを記録します。

提供内容

  • お客様が選んだリージョンでのデータ保管。
  • ロールに応じたアクセス。
  • 不要な箇所での個人データのマスキング。
  • スケジュールに沿った保持と削除。
  • すべてのアクセスを記録。

実施方法

  1. 把握する各データセット、それを必要とする人、とどめるべき場所。
  2. 適用するロール、マスキング、削除をプラットフォームで設定し、すべてのアクセスを記録します。

よくある質問

自社のデータはどこに保存されますか?

お客様が選んだリージョンです。データとそのバックアップは、そのリージョンにとどまります。

自社のデータに誰がアクセスできますか?

お客様が承認したロールだけです。アクセスはロールごとに付与され、各ロールに必要な範囲に限られ、すべてのアクセスが記録されます。

成果物

  • ロールごとのアクセスマップ
  • 保持と削除のルール
  • 監査担当者が読めるアクセスログ

関連

Etheonと始めましょう ユースケースと時期をお知らせください。一営業日以内にご返信します。

お客様の手元に残るもの。 すべての指標とすべてのデータセットには、その定義が付いています。

指標 · 分析とBI

週間アクティブ顧客数。

その週に一件以上の注文があった顧客。各顧客を一回だけ数えます。

担当
財務
ソース
fct_orders
更新
毎日、始業前
テスト
空でないこと、週ごとに一行

形式を示すイメージであり、クライアントの数値ではありません。

詳しく読む:週間アクティブ顧客数。

データセット · MLデータ

ラベル付きのサポートチケット。

アシスタントの学習と評価に使うデータセット。モデルとともにバージョン管理します。

ラベル
意図(チケットごとに一つのラベル)
バージョン
v7 · モデルv7と対応
鮮度
毎週
個人データ
ラベル付けの前にマスキング

形式を示すイメージであり、クライアントのデータではありません。

詳しく読む:ラベル付きのサポートチケット。

誰が何を見るか。 ロールに応じたアクセスと、お客様が選んだリージョンでのデータ保管。

データとバックアップは、EUのリージョンにとどまります。

ロールに応じたアクセス
ロール顧客の身元注文サポートチケットイベント集計値
アナリスト顧客の身元マスキング注文すべてサポートチケットマスキングイベントすべて集計値すべて
データエンジニア顧客の身元マスキング注文すべてサポートチケットすべてイベントすべて集計値すべて
サポート担当者顧客の身元マスキング注文すべてサポートチケットすべてイベントなし集計値なし
MLモデル顧客の身元なし注文すべてサポートチケットマスキングイベントすべて集計値なし
経営ダッシュボード顧客の身元なし注文なしサポートチケットなしイベントなし集計値すべて
顧客の身元
マスキング
注文
すべて
サポートチケット
マスキング
イベント
すべて
集計値
すべて

アナリスト。 注文、イベント、集計値をすべて閲覧できます。顧客の身元とチケットの本文はマスキングされます。

Etheonと始めましょう

ユースケースと時期をお知らせください。一営業日以内にご返信します。

AI

エージェント、モデル、MLOps

AIを詳しく見る

クラウド

クラウド、DevOps、SRE

クラウドを詳しく見る