View/Open

Author
JOHANNES, KRISJON SILITONGA

Date Published
22 Jun 2026

Advisor
Ira Safitri, S.Si., M.Si., M.Sc.,
Fitri Nurjanah, S.Si., M.Mat.,

Subject
Sains Data

Publisher

Pertumbuhan data akademik membutuhkan arsitektur pengolahan data yang mampu mendukung penyimpanan terstruktur dan eksekusi kueri yang efisien. Penelitian ini bertujuan mengevaluasi pengaruh Adaptive Query Execution (AQE) terhadap performa pipeline pada arsitektur Hybrid Data Lakehouse berbasis Apache Iceberg. Sistem dibangun menggunakan Apache Spark, Apache Iceberg, MinIO, Apache Airflow, dan Docker container dengan pola medallion architecture yang terdiri atas layer Bronze, Silver, dan Gold. Dataset sintetis domain akademik terdiri dari 15 tabel dengan total 37.538 baris berukuran 4,11 MB. Eksperimen membandingkan skenario AQE OFF dan AQE ON pada pipeline bronze-to-silver serta enam workload pada layer Silver dan Gold. Evaluasi dilakukan menggunakan metrik runtime, throughput, speedup, distribusi partisi, data skew, dan efisiensi shuffle. Hasil menunjukkan bahwa AQE menurunkan durasi pipeline dari 357,066 detik menjadi 135,261 detik, atau meningkat 62,12%, dengan throughput naik dari 82,67 menjadi 218,22 baris per detik. Peningkatan terutama terlihat pada operasi join dan agregasi melalui shuffle partition coalescing, skew join optimization, dan dynamic partition pruning. AQE tidak selalu menguntungkan pada workload kecil, seperti W3 dan W5, karena biaya adaptif dapat melebihi manfaat optimasi. Dengan demikian, AQE lebih tepat diterapkan secara selektif pada layer transformasi yang melibatkan shuffle, join, dan agregasi.

URI
https://repo.itera.ac.id/depan/submission/SB2607010055

Keyword
Adaptive Query Execution Apache Iceberg Data Lakehouse Apache Spark Medallion Architecture Optimasi Kueri