Analisis Faktor Optimasi untuk Data Warehouse dengan Data Tabungan pada Bank XYZ

Authors

  • Aloysius Adhyatma Herfangsyah Universitas Kristen Duta Wacana
  • Willy Sudiarto Raharjo Universitas Kristen Duta Wacana
  • Antonius Rachmat Chrismanto Universitas Kristen Duta Wacana

DOI:

https://doi.org/10.21460/jutei.2020.41.191

Keywords:

basis data, data warehouse, optimasi, etl, big data

Abstract

Berkembangnya proses teknologi informasi dimanfaatkan oleh banyak perusahaan untuk meningkatkan kinerja bisnisnya, yaitu dengan cara penyajian data yang terintegrasi dan konsisten. Data warehouse merupakan suatu ilmu yang menunjang proses analisis perusahaan, dengan cara menyediakan data yang terintegrasi dari berbagai sumber basis data. Seiring dengan bertambahnya jumlah dan kompleksitas data, perusahaan yang menggunakan media komputer untuk menyimpan datanya akan memerlukan resource yang lebih banyak dari tahun sebelumnya. Pemprosesan data yang banyak ini tentunya memerlukan media penyimpanan berupa basis data yang optimal, sehingga proses analisis dari perusahaan tersebut dapat berjalan secara cepat dan efisien. Pada penelitian ini, penulis akan membangun data warehouse dengan membuat tabel kondisi awal, membuat mapping untuk memasukkan data-data yang diperlukan, membuat tabel optimasi dengan 7 kondisi yang berbeda dari kombinasi partisi, bucketing, dan kompresi, lalu menganalisis performa dari tabel tersebut menggunakan query yang akan sering digunakan untuk analisis sederhana. Performa yang akan dianalisis pada penelitian ini adalah dari segi waktu jalan query dan ruang penyimpanan yang digunakan oleh masing-masing tabel. Berdasarkan pengujian dari penelitian ini dengan menggunakan 3 query, dihasilkan kesimpulan bahwa penggunaan partisi dan bucketing mempercepat rata-rata jalannya query sebesar 28%, sementara penggunaan kompresi data mempengaruhi rata-rata ukuran ruang penyimpanan data sebesar 8 hingga 30 kali lebih kecil jika dibandingkan dengan tabel yang tidak dikompresi, namun penggunaan kompresi ini memperlambat rata-rata jalannya waktu query sebesar  77% atau sekitar hampir dua kali lipat.

References

A. Abdel, “Optimizing Join in HIVE Star Schema Using Key/Facts Indexing”, IETE Technical Review, pp 132-144,2018.

Siallagan M, Sabariah MK, dan Sontya M. “Optimasi Query Database Menggunakan Algoritma Genetik”, Jurnal Fakultas Hukum UII,2008.

A. Ahmad, “Multilevel Data Processing Using Parallel Algorithms for Analyzing Big Data in High-Performance Computing”, International J Parallel Prog,2018.

R. Kaur dan R. Chadha, “Comparative Analysis of Various File Formats in HIVE”, International Journal of Technology and Computing. Vol 3 Issue 6,2017.

MZN. Saavedra dan S. Yu, “A Comparison between Text, Parquet, and PCAP Formats for Use in Distributed Network Flow Analysis on Hadoop”, Journal of Advances in Computer Network. Vol 5,2017.

E. Costa, “Evaluating partitioning and bucketing strategies for Hive-based Big Data Warehousing systems”, Journals of Big Data,2019.

DJ. Dean, “Efficient Data Retrieval in Big-Data Processing Systems”, International Business Machines Corporation,2017.

AT. Hashem, “Multi-objective scheduling of MapReduce jobs in big data processing”, Multimed Tools Appl,2018.

W. Li, “Data mining optimization model for financial management information system based on improved genetic algorithm”, Inf Syst E-Bus Manage,2019.

MM. Rathore, “Real-Time Big Data Stream Processing Using GPU with Spark Over Hadoop Ecosystem”, Int J Parallel Prog,2018.

P. Basanta-Val, “An Efficient Industrial Big-Data Engine”, IEEE Transactions on Industrial Informatics, pp 1361-1369,2017.

.Sachin, “Nuts and Bolts of ETL in Data Warehouse”, Emerging Trends in Expert Appliactions and Security Advances in Intelligent Systems and Computing. Volume 841,2019.

L. Wang, “High performance cloud computing for remote sensing big data management and processing”, Future Generation Computer System, pp 353-368,2018.

M. White, “Big Data vs Data Warehousing”, International Journal of Scientific Research in Computer Science, Engineering and Information Technoloy. Volume 3 Issue 5,2018.

K. Rattanaopas, S. Kaewkeerat dan Y. Chuchuen, “A Comparison of ORC-Compress Performance with Big Data Workload on Virtualization”, Applied Mechanics and Materials. Vol. 855, pp 153-158,2017.

Published

2021-07-13

How to Cite

[1]
A. A. . Herfangsyah, W. S. . Raharjo, and A. R. . Chrismanto, “Analisis Faktor Optimasi untuk Data Warehouse dengan Data Tabungan pada Bank XYZ”, JUTEI, vol. 4, no. 1, pp. 23–32, Jul. 2021.