Sunday, May 6, 2018

Memanfaatkan Google Colaboratory dan Google Drive

Bagi kalian yang belajar machine learning dan memiliki keterbatasan sumberdaya maka berikut ini solusi yang menarik dari google. Dimana Google bersedia berbagi GPU Tesla K80 dan RAM yang memadai untuk pengembangan Deep Learning gratis.

Google colabs menyediakan lingkungan pengembangan AI (artificial intellegence) yang didukung oleh pre install lengkap. Hampir semua library pendukung pengembangan seperti python, scikit, keras, numpy, matplotlib, dan lain-lain semua tersedia. Anda tinggal menginstall komponen apa saja yang dibutuhkan dalam pengembangan software yang sedang dibangun, jadi Anda cukup fokus pada AI nya saja.

Di dalam google colaboratoty, secara hard code digunakan jupyter notebook, jadi proses instalasi, coding dan lain-lain menggunakan interface jupyter notebooks.

Yang menarik mode penyimpanan file tidak selalu terikat dengan Google Cloud karena file program dan data dapat dialihkan ke Google Drive kita, sehingga lebih mudah dalam membuat struktur penyimpanannya.

Baiklah berikut ini langkah-langka Google Colaboratory dengan penyimpanan berada di Google Drive:

1. Buat folder baru di Google Drive dengan nama 'Belajar'

2. Buat file Colaboratory baru dengan klik kanan > pilih menu Lainnya > Colaboratory

3. Selanjutnya akan terbentuk file colaboratory baru, rename menjadi SettingAwal.ipynb dan atur python versi 3 dan mode GPU dengan klik menu Edit > Notebook Settings
4. Selanjutnya akan dilakukan konfigurasi seperti berikut ini, nanti kita disuruh memasukkan kode API yang meminta izin akses ke google drive.
!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}

5. Lakukan mounting ke google drive
!mkdir -p drive
!google-drive-ocamlfuse drive
6. Mengubah folder aktif ke google drive
import os
os.chdir("drive/Belajar")
7. Untuk mengetahui apakah lokasi folder colab sudah merujuk ke google drive kita, lakukan perintah:
!ls

8. Kita cek sumberdaya apa yang kita miliki:
import tensorflow as tf
tf.test.gpu_device_name()

from tensorflow.python.client import device_lib
device_lib.list_local_devices()

9. Mengecek RAM
!cat /proc/meminfo

10. Mengecek CPU
!cat /proc/cpuinfo

Gunakan perintah !pip3 list untuk melihat paket yang terinstal dalam colab:


---- !!! Selesai sekarang sudah memiliki komputer handal untuk dibuat research !!!---

Contoh download dataset dari git:
!wget https://raw.githubusercontent.com/vincentarelbundock/Rdatasets/master/csv/datasets/Titanic.csv -P drive/Belajar
Contoh membaca baris data dengan panda:
import pandas as pd
titanic = pd.read_csv(“drive/Belajar/Titanic.csv”)
titanic.head(5)
Contoh clone dari git, yang akan ter-copy ke google drive kita:
!git clone https://github.com/wxs/keras-mnist-tutorial.git
Contoh install package:
1. Keras
!pip install -q keras
import keras
2. PyTorch
!pip install -q http://download.pytorch.org/whl/cu75/torch-0.2.0.post3-cp27-cp27mu-manylinux1_x86_64.whl torchvision
import torch
3. OpenCV
!apt-get -qq install -y libsm6 libxext6 && pip install -q -U opencv-python

import cv2

No comments:

Post a Comment