ブログ

30秒でわかる概要

データウェアハウス、データレイク、レイクハウスの簡単な解説

• データウェアハウスは、ビジネスインテリジェンス（BI）やレポート作成に最適化された、構造化および処理済みのデータを保存します。
• データレイクは、柔軟なアナリティクスや機械学習のために、構造化・非構造化を問わず大量のローデータ（生データ）を保存します。
• データレイクハウスは、データレイクのストレージ上で直接アナリティクスを実行できるようにしつつ、ガバナンス、スキーマ管理、高性能なクエリ機能を追加することで、両方のアプローチを統合しています。

企業のデータ管理戦略を設計する際、最初の決断の一つは「データをどのように、どこに保存するか」です。従来、組織は構造化・整理されたデータのための「データウェアハウス」か、大量のローデータを保存するための「データレイク」のいずれかを選択していました。

今日、その決断は単なるストレージ選びにとどまりません。AIの台頭により、データプラットフォームの設計手法は根本から変化しています。最新のアーキテクチャは、レポートやダッシュボードだけでなく、リアルタイムのデータ処理、非構造化データ、AI主導のアプリケーションにも対応する必要があります。

その結果、多くの組織が、データレイクの柔軟性とデータウェアハウスのパフォーマンス・ガバナンスを兼ね備え、最新のAIワークロードもサポートする「データレイクハウス」アーキテクチャへの移行を進めています。

【比較表】データウェアハウス vs. データレイク vs. レイクハウス

データウェアハウスとは？

データウェアハウスは、クリーニングおよび構造化されたデータを保存し、レポート作成やビジネスインテリジェンス（BI）に最適化された中央集権型のアナリティクス・データベースです。

データウェアハウスは、データがすでにクリーニング、構造化、分類され、すばやく検索・分析できるように整えられた「整理整頓された図書館」のようなものと考えることができます。

データウェアハウス（DWH）は大量のデータを高速で処理するように設計されているため、「先月の商品の返品数はいくつか？」といった質問に対しても、即座に回答を得ることができます。

DWHには通常、メタデータリポジトリが含まれており、テーブル、列、データ型、リレーションシップ、制約の構成など、スキーマの詳細や関係性といったデータ構造に関する重要な情報を提供します。また、メタデータリポジトリはデータの起源、変換、データパイプライン全体での移動に関するインサイトを提供することでデータリネージ（来歴）を追跡し、品質、透明性、コンプライアンスを保証します。これにより、ユーザーはデータを理解し、ナビゲートしやすくなります。

データウェアハウスがクエリに対する回答を迅速に返せるのは、データがすでに分析用に準備されているためです。

最新のクラウドデータウェアハウスには、以下のようなプラットフォームが含まれます。

• Snowflake
• Google BigQuery
• Amazon Redshift
• Azure Synapse

データウェアハウスの主な特徴

• 中央リポジトリ： DWHは社内の全事業部門にサービスを提供し、データクエリを効率化するように設計されています。データはすでに前処理・集計されているため、クエリの実行が迅速かつ容易であり、レポート作成や分析に最適です。アナリティクスとレポート作成のメインハブとして機能します。
• 複数データソースの統合： DWHは、トランザクションデータベース、ログファイル、CRMシステム、ERPシステム、Webサービス、データレイクなど、複数のソースから集約された多様なデータを保存できます。
• 履歴データ： データエンジニアリングの重要な役割は、時間をかけてデータを収集することです。多くのデータソースが最新のデータ（例：日次、時間次、週次）のみを提供するのに対し、データウェアハウスは履歴データを含み、エンドユーザーが利用できるようにします。
• 統合データ： データは、分析クエリに最適化された事前定義済みのスキーマを使用して整理されます。ユーザーがアクセスしやすいように構造化および編成されています。例えば、CRMシステムの契約データを処理して、顧客の習慣や価値をよりよく表す集計指標を提供したり、医療診察のデータを医療KPIに変換して患者の健康状態や経過を示したりすることができます。
• サブジェクト指向： DWHは、売上、顧客、患者など特定の主題に焦点を当て、特定のタスクのためにデータを集計します。
• 時系列性（Time-variant）： DWH内のデータは定期的に更新され、時間の経過に伴う変化を反映します。
• 不揮発性（Non-volatile）： データがDWHに保存されると、トランザクション処理中に更新や削除を行うことはできません。これはデータ損失を防ぐために不可欠です。

データウェアハウスの構築方法

DWHを構築するには、さまざまなソースからデータを取得し、関連するビジネス指標を作成するために変換を行い、その後DWHにロードします。歴史的には、このプロセスにETL（抽出・変換・ロード）が使用されていました。

1. システムからデータを抽出する（Extract）
2. データを変換してクリーニングする（Transform）
3. ウェアハウスにロードする（Load）

今日では、多くのクラウドウェアハウスがELTにも対応しています。ELTでは、データが先にロードされ、ウェアハウスのコンピュートエンジンを使用して変換が行われます。

ウェアハウス内では、データの小さなサブセットが「データマート」と呼ばれる専用の小さなテーブルに保存されます。データマートは、営業、マーケティング、財務、顧客分析など、特定のビジネス領域向けに作成されることが一般的です。

データウェアハウスのメリット

データウェアハウスの最大の利点は、すぐに使える分析データが用意されていることです。構造化・集計されたデータにより、ビジネス、組織、研究プロセスの全体像を俯瞰することができます。

データはすでにクリーニング、モデリング、構造化されているため、アナリストはレポートやダッシュボードを素早く作成できます。

しかし、ウェアハウスの設計には、すべてのデータをすぐに利用可能な形式で保存するための、多大なデータ準備とデータエンジニアリングの労力が必要です。企業は、アクセスしやすく有益なデータを得るメリットと、データアーキテクチャの設計・実装に必要な投資というトレードオフを天秤にかける必要があります。

DWHアプローチは、異なる部門間で反復的なデータ業務を行う企業に特に有益です。例えば、複数の部門が顧客ロイヤルティKPIに基づいた定期的なレポートを必要とする場合、各部門のレポート作成のたびに再計算するのではなく、DWHでKPIを一度保存・更新する方が時間効率が良くなります。

データレイクとは？

データレイク（DL）は、さまざまなデータソースからの構造化・非構造化ローデータを元の形式のまま保存する、スケーラブルなストレージシステムです。

データレイクは、以下のようなほぼすべての種類のデータを保存できます。

• リレーショナルデータベースからの構造化データ
• CSVファイルやXML/JSONオブジェクトなどの半構造化データ
• メール、ドキュメント、PDFファイルなどの非構造化データ
• 画像、音声、動画などのバイナリデータ

ストレージには、クラウドベースとオンプレミスの両方でさまざまな商用ソリューションが利用可能です。データカタログはDLとDWHの両方で使用され、データの保存場所や整理方法に関する情報を提供します。これには、ユーザーがデータレイクやデータウェアハウス内の情報を理解するのに役立つメタデータリポジトリが含まれます。

ウェアハウスとは異なり、データレイクは大規模なデータを安価に保存するように設計されており、以下のようなスケーラブルなオブジェクトストレージシステムがよく使用されます：

• Amazon S3
• Azure Data Lake Storage
• Google Cloud Storage

データレイクの仕組み

データレイクアーキテクチャでは、データは通常ストレージに直接ロードされます。変換前にロードが行われるため、これはELT（抽出・ロード・変換）と呼ばれます。

データレイクのデータパイプラインは、さまざまなデータソースからのデータをそのままの形式で直接データストレージに取り込む（インジェストする）ことから始まります。その後、エンドユーザーがこのデータを抽出し、必要な形式に変換して、レポートなどで視覚化します。

データレイクの主な特徴

• 中央リポジトリ： DLはデータを元の形式で取り込むことができるため、構造化データ、半構造化データ、非構造化データ、バイナリデータをそのまま保存できます。
• ストレージソリューション： データレイクは、オンプレミスとクラウドの両方でさまざまな商用ソリューションを利用して実装できます。オープンフォーマットであるため、データウェアハウスのような制約のあるシステムへのロックインを防ぐことができます。
• データカタログ： DLはデータカタログを使用して、データがどこに保存され、どのように整理されているかをユーザーが理解できるように支援します。データのサイロ化を解消し、ユーザーがすべてのデータソースに簡単にアクセスしてカタログ化できるようにします。
• リソース効率： DLはオブジェクトストレージを活用しており、本質的にスケーラブルで膨大なデータを処理できるように設計されています。

データレイクのメリット

DLの主な利点はその柔軟性にあります。組織は前処理や事前定義されたスキーマを必要とせず、さまざまなソースからローデータを迅速に保存できます。

これにより、複雑なデータアーキテクチャやデータ準備が不要になり、DWHと比較して初期費用を低く抑えることができます。

ただし、レポートを作成する際には、すべてのKPI、指標、集計値をゼロから再計算する必要があり、全部門の作業負荷を考慮すると時間がかかる場合があります。

データレイクが適切に管理されていない場合、膨大な未整理のローデータの中から必要なデータを見つけるのが困難な「データスワンプ（データの沼）」になるリスクがある点には注意が必要です。

データレイクアプローチは、以下のような企業によく推奨されます。

• データ戦略がまだ明確に定義されていない
• データを効率的に処理するリソースが不足している
• 構造を気にせず、大量のデータを迅速に収集する必要がある

たとえばIoTアプリケーションでは、幅広いソースから大量の非構造化データが高速で収集されます。このデータの急激な流入は、従来のDWHでの処理を困難にします。

データレイクハウスとは？

データレイクハウスは、データレイクのストレージと、ウェアハウススタイルのデータ管理・パフォーマンスを組み合わせたデータアーキテクチャです。データレイクの柔軟性と、データウェアハウスのパフォーマンスおよびガバナンスを融合させています。

レイクハウスはデータをオブジェクトストレージ上にオープンフォーマットで保存しつつ、以下を可能にするレイヤーを追加します。

• ACIDトランザクション
• スキーマの適用（エンフォースメント）
• インデックス作成とパフォーマンス最適化
• バージョン管理とタイムトラベル

これにより、データをウェアハウスに複製することなく、データレイクストレージ上で直接アナリティクスのワークロードを実行できるようになります。

人気のレイクハウステクノロジーには以下が含まれます。

• Databricks Lakehouse
• Delta Lake
• Apache Iceberg
• Apache Hudi

レイクハウスが普及している理由

以前は多くの組織がデータレイクとデータウェアハウスを別々に維持しており、それがデータの重複と複雑なパイプラインを引き起こしていました。

レイクハウスは、同じストレージ層でBIアナリティクスと機械学習の両方を可能にすることでアーキテクチャを簡素化します。このアーキテクチャは以下をサポートします。

• バッチアナリティクス
• ストリーミングデータパイプライン
• AIおよびMLワークロード
• 大規模なデータ探索

モダンデータアーキテクチャ：ストレージの先へ

最新のデータプラットフォームは、単なるストレージシステムを超えて拡張しています。組織はますます、ウェアハウス、レイク、レイクハウスに他のアーキテクチャの概念を組み合わせています。

ストリーミングデータパイプライン

多くの最新システムでは、以下のテクノロジーを使用してデータをリアルタイムで処理しています。

• Apache Kafka
• Spark Streaming
• Flink

これにより、リアルタイムのダッシュボードやイベント駆動型のアナリティクスが可能になります。

データメッシュ

データメッシュは、中央のデータチームに依存するのではなく、ドメインチームが独自のデータプロダクトを管理する組織的アプローチです。基本原則には以下が含まれます：

• 分散型のデータオーナーシップ
• ドメイン指向のデータプロダクト
• セルフサービス型のデータインフラストラクチャ
• 強力なガバナンス基準

セマンティックレイヤー

多くの最新プラットフォームでは、セマンティック（意味論的）レイヤーまたはメトリクスレイヤーを使用してビジネス指標を中央で定義し、ダッシュボードや分析ツール全体でKPIの一貫性を確保しています。

これらのアーキテクチャのパターンは、今日のデータ分野における最大のパラダイムシフトの1つである「人工知能（AI）の台頭」によっても形作られています。

AIはデータアーキテクチャをどう変えているか

人工知能は、レポート作成用に設計されたシステムから、リアルタイムのインテリジェントアプリケーション向けに構築されたプラットフォームへとデータアーキテクチャを再構築しています。AIは以下の3つの重要なシフトを推進しています。

1. BIプラットフォームからAI対応データプラットフォームへ： ダッシュボードやレポート作成に最適化されていた従来のアーキテクチャは、機械学習、特徴量エンジニアリング、リアルタイム予測をサポートするように進化しています。これにより、アナリティクスとAIのワークロードを同じデータ上で統合するレイクハウスアーキテクチャの採用が加速しています。
2. 構造化データからマルチモーダルデータへ： AIはテキスト、画像、音声、ログなどの非構造化データに大きく依存しています。そのため、組織はウェアハウスのみのアーキテクチャから脱却し、多様なデータ型を大規模に処理できるデータレイクやレイクハウスへと移行しています。
3. バッチ処理からリアルタイムデータ処理へ： レコメンデーション、不正検出、予知保全など、AIを活用したユースケースでは、バッチ処理だけでなく、低遅延のストリーミングデータパイプラインが必要です。

モダンデータアーキテクチャにおける新しいコンポーネント

AIはデータスタックに新しいレイヤーをもたらします。

• 機械学習の特徴量を管理・再利用するための特徴量ストア（Feature Stores）
• セマンティック検索や検索拡張生成（RAG）を可能にするベクトルデータベース
• データ品質、リネージ、信頼性を確保するための高度なデータガバナンス

データとAIワークフローの融合

データエンジニアリング、アナリティクス、機械学習は、統一されたプラットフォームへと融合しつつあります。組織は別々のシステムを持つ代わりに、データの取り込み（インジェスト）、変換、アナリティクス、モデルのトレーニングと提供が同じ基盤上で動作するアーキテクチャを構築しています。

この融合こそが、レイクハウスアーキテクチャがモダンデータプラットフォームのデフォルトになりつつある主な理由です。

組織はどのアーキテクチャを選ぶべきか？

万能な答えはありません。最適なアーキテクチャは、企業の以下のような状況によって異なります。

• アナリティクスのニーズ
• データ戦略
• データ管理の成熟度
• ガバナンス要件
• AIおよび機械学習のユースケース

実際には、多くの組織がハイブリッドアプローチやレイクハウスベースのアプローチを採用しています。

• 厳選されたビジネス指標とレポート作成のためのデータウェアハウス
• ローデータの取り込みと実験のためのデータレイク
• 同じプラットフォーム上でアナリティクスとAIワークロードの両方をサポートするレイクハウス

AIが事業運営の中核になるにつれ、アーキテクチャの決定は以下のニーズによってますます影響を受けています。

• 非構造化データ（テキスト、画像、ログ）の処理
• 機械学習とAIパイプラインのサポート
• リアルタイムまたはニアリアルタイムのデータ処理の実現

用途別：どれを選ぶべきか？

データウェアハウスを使用すべき場合

• 主な目的がBIダッシュボードである
• 一貫したビジネス指標が必要である
• ほとんどのユーザーが構造化データを扱うアナリストである
• AIのユースケースが限られている、または処理済みのデータに依存している

データレイクを使用すべき場合

• 大量のローデータを取り込む
• 機械学習モデルを実行する
• データスキーマが頻繁に進化する
• データの使用方法を定義する前に柔軟性が必要である

データレイクハウスを使用すべき場合

• アナリティクスとAIの統一プラットフォームが必要である
• チームがBIとMLの両方のワークロードを実行している
• データの重複を減らしたい
• リアルタイムまたはニアリアルタイムのデータ処理が必要である

モダンデータスタックにおけるデータウェアハウスとデータレイクの役割

モダンデータプラットフォームには、通常以下が含まれます。

• 取り込み（インジェスト）ツール
• オブジェクトストレージ
• レイクハウスまたはウェアハウス
• 変換ツール
• セマンティックレイヤー
• BIツール
• 機械学習プラットフォーム

KNIMEのようなツールは、組織がデータウェアハウス、データレイク、レイクハウス環境全体でデータパイプラインを構築・オーケストレーションするのを支援します。

KNIMEがETLおよびELTプロセスをどうサポートするか

KNIMEは、コーディングなしでデータにアクセスし、ブレンドし、分析し、視覚化するためのプラットフォームです。KNIMEは、ETLアーキテクチャとELTアーキテクチャの両方をサポートするデータパイプラインを構築するためのビジュアルインターフェースを提供します。

KNIMEで簡単にできること

• あらゆる種類のデータソースへの接続
• ETLおよびELTプロセスのための自動化されたデータパイプラインの組み立て
• クラウドデータウェアハウスやデータレイクとの統合
• ビジネス要件に必要な指標の実装

KNIMEは、SQLデータベース、NoSQLシステム、クラウドストレージ、ビッグデータプラットフォーム、Webサービスなどと対話するための300以上のコネクタを提供しています。
この柔軟性により、データウェアハウス、データレイク、レイクハウスのプラットフォームとシームレスに連携できます。

モダンデータプラットフォームの構築

本記事では、データウェアハウス、データレイク、データレイクハウスの違いについて探りました。

データウェアハウスは構造化されたアナリティクスに引き続き不可欠ですが、データレイクは大規模なデータストレージに柔軟性を提供します。最新のレイクハウスアーキテクチャはますます両方のアプローチを統合し、組織が同じデータプラットフォーム上でアナリティクスとAIのワークロードを実行できるようにしています。

適切なアーキテクチャの選択は、組織のデータ戦略、インフラストラクチャ、および分析のニーズによって異なります。

よくある質問（FAQ）

データレイクはデータウェアハウスになり得ますか？

いいえ。データレイクとデータウェアハウスは共存できますが、根本的に異なります。データレイクは未処理のデータを保存し、データウェアハウスは前処理されたデータを保存します。この違いに基づいて、データレイク、データウェアハウス、またはその両方の組み合わせが必要かを決定できます。

データレイクはデータウェアハウスよりも高速ですか？

それぞれ異なる要件を満たすように設計されています。データウェアハウスは、高速なクエリとレポート作成に最適化されています。データはすでに処理・クリーニングされているため、クエリが容易で高速です。ただし、入力前に処理が必要なため、データの入力には時間がかかります。一方、データレイクはより大量のデータを保存できるように設計されています。チームが分析のために処理・変換を決定するまで、データは生の形式で保存されます。つまり、データの入力は簡単ですが、データの取得には時間がかかる場合があります。

データマートとは何ですか？

データマートは、マーケティングや財務など、特定の部門やビジネス機能に合わせて調整されたデータウェアハウスの小さなサブセットです。

データウェアハウスとデータマートの違いは何ですか？

データウェアハウスは、組織全体のさまざまなソースからのデータを保存する大規模な中央リポジトリです。多くの部門やプロセス、あるいは組織全体をサポートするように設計されています。
データマートは、マーケティングや営業など、特定の部門やビジネス機能のニーズを満たすために調整された、データウェアハウスのより小さく焦点の絞られたサブセットです。

データウェアハウス層（レイヤー）とは何ですか？

データウェアハウス層は、データ処理パイプラインの段階です。データウェアハウス層には、ローデータを収集する「データソース層」、一時保存用の「ステージング層」、データを変換する「ETL層」、構造化データを保存する「ストレージ層」、クエリとレポート作成のための「アクセス層」、データ管理と監視のための「メタデータ層」が含まれます。