Berkenalan Dengan Big Data

Halo brewww, kali ini bakal ngebahas soal tentang Big data, mungkin dari kalian ada yang sudah tau maupun tidak. Dalam pembahasan kali ini, gw mau ngebahas soal introduction tentang apa itu big data, teknologi apa yang bisa menghandle big data ini. So stay tune ya  ^_^.

Apakah Itu Big data ?

Word Cloud "Big Data"

Big data adalah sebuah istilah untuk set data yang berukuran yang sangat besar atau kompleks yang dalam memprosesnya atau mengolahnya dengan aplikasi pengolah data traditional sudah tidak memadai atau mumpuni. Istilah lebih singkatnya lagi adalah data tersebut sudah terlalu besar untuk diolah dalam satu mesin saja, jadi membutuhkan sebuah cluster mesin dan cluster pemrosesan data tersebut.

Big data tidak selalu mengenai dari ukurannya yang besar, berikut adalah 3 karakteristik dari Big data atau pada umumnya biasa dikenal dengan istilah 3V yaitu Volume (Jumlah dari Data), Velocity(kecepatan dari data dalam masuk dan keluarnya), Variety(keragaman dari tipe data). Sebenarnya ada tambahan 2V lagi untuk karakteristiknya, antara lain adalah Variability (Inkonsistensi dari kumpulan data) dan Veracity (Kualitas dari data yang diambil).

 

Teknologi Pengolah Big Data ?

 

Teknologi seperti apakah yang bisa menghandle dari konsep big data ini ? Saat ini yang sedang ngetrend adalah hadoop. Jadi apakah itu hadoop ? hadoop adalah sebuah open source project dari apache.org untuk menghandle isu big data. Apache hadoop adalah sebuah open source software framework untuk tempat penyimpanan yang terdistribusi dan prosessing distribusi untuk data set yang sangat besar dalam cluster mesin yang dibangun dari komoditas hardware.

Core dari hadoop sendiri adalah HDFS dan MapReduce, akan tetapi untuk hadoop 2.0 architecture MapReduce dipecah jobnya menjadi MapReduce v2 dan YaRN.

hadoop-distrib-2-100341943-large.idge

Untuk mempermudah management dari service dan component ekosistem dari hadoop, telah hadir Third party Hadoop distribution. Diantaranya adalah Cloudera, hortonworks dan MapR.

Cloudera

xcloudera-logo.png.pagespeed.ic.Nfp6LEvDgd

Cloudera melakukan revolusi mengenai manajemen data perusahaan dengan menawarkan platform terpadu untuk Big Data. Cloudera mempunyai data platform CDH (Cloudera Data Hadoop) untuk memanajemen antar service dan ekosistem dari hadoop itu sendiri

Hortonworks

Hortonworks-Logo

Hortonworks adalah sebuah perusahaan perangkat lunak komputer yang berbasis di Santa Clara, California. Perusahaan ini berfokus pada pengembangan dan support untuk Apache Hadoop. Untuk pengolahan datanya hortonwork menggunakan HDP (Hadoop Data Platform) dan untuk standarisasi, manajemen dan monitoring dari hadoop cluster itu sendiri mereka menggunakan apache ambari.

 

MapR Technology

MapR_logo

MapR adalah perusahaan perangkat lunak perusahaan yang berbasis di California San Jose, yang mengembangkan dan menjual software Apache Hadoop. Perusahaan tersebut mempunyai kontribusi untuk proyek Apache Hadoop seperti HBase, Pig, Apache Hive, dan Apache Zookeeper. MapR mempunyai 3 tipe data platform

  • MapR Filesystem = Mengimplementasikan API HDFS dengan C yang terdistribusi baca-tulis pada file system
  • MapR-DB  = Mengimplementasikan API HBase tetapi memanfaatkan semua keuntungan dari MapR-FS untuk membuatnya lebih kuat, lebih cepat dan lebih mudah dalam mengelola.
  • MapR-Streaming = Mengimplementasikan API Kafka, tapi sekali lagi memanfaatkan MapR-FS untuk menawarkan peningkatan kinerja dan kehandalan dari streams.

 

Berikut pengenalan mengenai dari Big Data, untuk Nextnya gw mau ngebahas soal instalasi ambari dan HDP, kenapa gue memilih itu ? karena yang sudah saya coba implementasikan adalah pakai Hortonworks 😛

Akhir kata semoga bermanfaat untuk kalian semua brew, kalo ada kesalahan atau kekurangan silahkan ditambahkan di kolom komentar ya 😀

Advertisements

tinggalkan curcol

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s