Pass with professional Databricks-Certified-Data-Engineer-Professional日本語 actual quiz materials

運用ワークロードは、外部の変更データキャプチャフィードからの更新を、常時稼働の構造化ストリームジョブとして Delta Lake テーブルに段階的に適用します。このテーブルのデータが最初に移行された際に、OPTIMIZE が実行され、ほとんどのデータファイルのサイズが 1 GB に変更されました。ストリーミング運用ジョブでは、自動最適化と自動圧縮の両方がオンになっていました。最近のデータファイルのレビューでは、テーブル内の各パーティションには少なくとも 1 GB のデータが含まれており、テーブル全体のサイズは 10 TB を超えているにもかかわらず、ほとんどのデータファイルは 64 MB 未満であることがわかりました。
ファイル サイズが小さくなる理由として考えられるのは次のうちどれでしょうか?

• A. Databricks は、MERGE 操作の所要時間を短縮するために、ターゲット ファイル サイズを小さくするように自動調整しました。
• B. Databricks は、各パーティションのデータ量に基づいて、ターゲット ファイル サイズを小さくするように自動調整しました。
• C. テーブルで計算されたZオーダーインデックスがファイルの圧縮を妨げています。C テーブルで計算されたブルームフィラーインデックスがファイルの圧縮を妨げています。
• D. Databricks は、テーブル内のデータの全体的なサイズに基づいて、ターゲット ファイルのサイズを小さくするように自動調整しました。

データエンジニアリングチームは、数千のテーブルとビューを含むエンタープライズシステムをレイクハウスに移行しています。彼らは、ブロンズ、シルバー、ゴールドの一連のテーブルを使用して、ターゲットアーキテクチャを実装する予定です。ブロンズテーブルは、本番環境のデータエンジニアリングワークロードでほぼ独占的に使用され、シルバーテーブルはデータエンジニアリングと機械学習の両方のワークロードをサポートするために使用されます。ゴールドテーブルは、主にビジネスインテリジェンスとレポート作成の目的で使用されます。個人識別情報（PII）はすべてのデータ層に存在しますが、シルバーレベルとゴールドレベルのすべてのデータには仮名化と匿名化のルールが適用されます。
組織は、多様なチーム間でのコラボレーション能力を最大限に高めながら、セキュリティ上の懸念を軽減することに関心を持っています。
このシステムを実装するためのベストプラクティスを示す記述はどれですか?

• A. すべてのテーブルは、作成元のデータベースで使用される同じストレージ コンテナーに存在する必要があるため、組織はデータ分離の要件に応じて数十から数千のデータベースを作成する準備をする必要があります。
• B. デフォルトの Databricks データベースで作業すると、マネージド テーブルが DBFS ルートに作成されるため、マネージド テーブルを操作するときに最大限のセキュリティが提供されます。
• C. すべての本番テーブルを単一のデータベースに Storinq すると、Lakehouse 全体で利用可能なすべてのデータ資産の統合ビューが提供され、すべてのユーザーにこのデータベースの表示権限を付与することで検出が簡素化されます。
• D. データ品質層に基づいてテーブルを別々のデータベースに分離すると、データベース ACL による権限管理が容易になり、管理対象テーブルのデフォルトの保存場所を物理的に分離できるようになります。
• E. Databricks 上のデータベースは単なる論理構造であるため、データベース構成に関する選択は Lakehouse のセキュリティや検出可能性に影響を与えません。

あるデータエンジニアは、複数のサードパーティ製 Python ライブラリを必要とする Databricks ノートブックに取り組んでいます。これらのライブラリの一部は PyPI で入手可能ですが、その他はカスタム開発され、S3 バケットに local.wheel (.whl) および source (.tar.gz) ファイルとして保存されています。目標は、Unity Catalog 対応ワークスペース内の任意の自動化クラスターで実行される複数のジョブ間で、すべての依存関係がインストールされ、正しく利用できるようにすることです。エンジニアは、インタラクティブなノートブックとジョブ全体で一貫した環境設定を確保し、ワークスペースのセキュリティポリシー(インターネットアクセスなし)に準拠する方法で、必要な依存関係をインストールする必要があります。再現性とコンプライアンスを確保しながら、これらの依存関係をインストールおよび管理するには、エンジニアはどのようなアプローチを採用すべきでしょうか？

• A. すべてのノートブックとジョブで %pip install を使用して、PyPl とカスタム S3 パスから直接パッケージをインストールします。
• B. 対話型クラスターのドライバー ノードにすべての依存関係を手動でインストールし、環境をエクスポートして、%conda を使用してジョブ クラスターに再インポートします。
• C. クラスター上の init スクリプトを使用して、ローカル ファイル システムを参照しながら、pip を使用してすべての依存関係をインストールします。
• D. プロジェクト全体の Python ホイール ファイルを作成し、それを Databricks ワークスペース ファイルまたはボリュームにアップロードし、クラスター ライブラリを使用してインストールするか、Databricks アセット バンドル内で宣言された requirements.txt で pip install を実行します。

データエンジニアは、共同ワークスペース内のDatabricksジョブのACLを構成する際に、最小権限の原則を適用したいと考えています。データエンジニアはどのようなアプローチを採用すべきでしょうか？

• A. すべてのユーザーに CAN RUN 権限を付与し、単一の管理グループに CAN MANAGE 権限を付与します。
• B. 各ジョブでの役割に必要な最小限の権限レベル (例: CAN RUN または CAN VIEW) のみをユーザーに割り当てます。
• C. アクセスの問題を回避するために、すべてのユーザーにすべてのジョブに対する CAN MANAGE 権限を付与します。
• D. フォルダー レベルの権限のみを使用し、個々のジョブに権限を設定することは避けてください。

あるデータエンジニアは、Lakeflowの宣言型パイプラインの期待値機能を使用して、入力センサーデータのデータ品質を追跡しています。センサーは定期的に範囲外の不良データを送信し、現在、それらの行に警告フラグを付けて、正常なデータと共にSilverテーブルに書き込んでいます。そこで、新たな要件が課されました。不良行は別の隔離テーブルに隔離し、Silverテーブルには含めないようにする必要があるのです。
これはシルバーテーブルの既存のコードです:
@dlt.table
@dlt.expect("valid_sensor_reading", "reading < 120")
def silver_sensor_readings():
return spark.readStream.table("bronze_sensor_readings")
What code will satisfy the requirements?

• A. @dlt.table
  @dlt.expect_or_drop("valid_sensor_reading", "reading < 120")
  def silver_sensor_readings():
  return spark.readStream.table("bronze_sensor_readings")
  @dlt.table
  @dlt.expect("invalid_sensor_reading", "reading >= 120")
  def quarantine_sensor_readings():
  return spark.readStream.table("bronze_sensor_readings")
• B. @dlt.table
  @dlt.expect_or_drop("valid_sensor_reading", "reading < 120")
  def silver_sensor_readings():
  return spark.readStream.table("bronze_sensor_readings")
  @dlt.table
  @dlt.expect_or_drop("invalid_sensor_reading", "reading >= 120")
  def quarantine_sensor_readings():
  return spark.readStream.table("bronze_sensor_readings")
• C. @dlt.table
  @dlt.expect("valid_sensor_reading", "reading < 120")
  def silver_sensor_readings():
  return spark.readStream.table("bronze_sensor_readings")
  @dlt.table
  @dlt.expect("invalid_sensor_reading", "reading >= 120")
  def quarantine_sensor_readings():
  return spark.readStream.table("bronze_sensor_readings")
• D. @dlt.table
  @dlt.expect_or_drop("valid_sensor_reading", "reading < 120")
  def silver_sensor_readings():
  return spark.readStream.table("bronze_sensor_readings")
  @dlt.table
  @dlt.expect("invalid_sensor_reading", "reading < 120")
  def quarantine_sensor_readings():
  return spark.readStream.table("bronze_sensor_readings")