Import output JSON dari Twitter ke MongoDB | M Reza Faisal

reza

full-time(software-developer,lecturer); part-time(traveller, food-tester);

Import output JSON dari Twitter ke MongoDB

May 5, 2014 by     No Comments    Posted under: I am Software Developer

Karena ngoding iseng untuk mengambil tweet dengan bantuan library Tweetinvi (https://tweetinvi.codeplex.com/) akhirnya dapat juga “beberapa” tweets dalam sebuah file JSON.

blog1

Sayangnya output JSON yang didapatkan kurang friendly untuk dibaca manusia, karena sudah di-minify menjadi sebaris. Hal ini cukup menyusahkan jika ingin mengetahui struktur dari dokumen JSON yang telah didapat. Tetapi untungnya output JSON itu dapat kita lihat secara manusiawi dengan bantuan Online JSON Viewer (http://jsonviewer.stack.hu/) ini. Seperti pada gambar di bawah ini.

blog2

Dari gambar di atas maka dapat dilihat struktur dari output JSON yang telah didapatkan.  Karena ada kebutuhan untuk menyimpan dokumen status ke dalam collection mongodb maka perlu ada “penghilangan” bagian yang tidak diperlukan pada output JSON yaitu bagian search_metadata. Setelah itu juga perlu dilakukan mengedit agar dokumen 0-14 menjadi array yang kira-kira dapat dilihat seperti contoh berikut :

[

    { field1: "Widget 1", field2: "This is Widget 1" },

    { field1: "Widget 2", field2: "This is Widget 2" }

]

Setelah berhasil “dibersihkan” maka tinggal diimport ke mangodb dengan bantuan mongoimport dengan sintaks perintah seperti berikut :

   1: mongoimport.exe --db nama_db --collection nama_collection --type json --file path_dan_nama_file --jsonArray

Sebagai contoh :

C:\Program Files\MongoDB 2.6 Standard\bin>mongoimport.exe --db IlkomUnlamDB --collection Twitter --type json --file WriteLines.txt --jsonArray

connected to: 127.0.0.1

2014-05-04T23:33:05.822+0800 check 9 15

2014-05-04T23:33:05.822+0800 imported 15 objects


C:\Program Files\MongoDB 2.6 Standard\bin>

Dari contoh di atas dapat dilihat telah diimport sebanyak 15 dokumen sesuai dengan jumlah statuses yang dapat dilihat pada gambar di atas.

blog3

Selanjutnya tinggal melakukan data dengan field yang diinginkan. Jika untuk keperlukan text-mining yang mana diperlukan hanya nanti bisa mengambil field text.

dengan perintah :

db.Twitter.find({}, {"text": 1})

Hasil dari perintah di atas akan menampilkan field _id dan text.

Kemudian jika dilihat pada gambar di bawah ini dapat dilihat terdapat beberapa emmeded document di dalam dokumen status seperti dokumen user yang terdapat di dalam dokumen status.

blog4

Nah jika ingin menampilkan field _id, field screen_name dari dokumen user dan field text maka dapat digunakan perintah berikut :

db.Twitter.find({}, {"text":1, "user.screen_name":1})

Selamat mencoba.

Got anything to say? Go ahead and leave a comment!

XHTML: You can use these tags: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>

Fotolia

Fotolia

ShutterStock


Fotolia
© 2013 eSevens
%d bloggers like this: