Cara Mendapatkan Data atau Crawl Data dari Twitter/X dengan Tweet Harvest

Ingin tahu cara mendapatkan data dari Twitter atau X menggunakan Tweet Harvest? Berikut adalah panduan langkah demi langkah yang dapat membantu Anda memahami dan memanfaatkan alat ini secara efektif.

Update Terbaru dan Jawaban atas Pertanyaan Umum

1. Cara Crawl Data Twitter Berdasarkan Search Keyword
2. Mengatasi Kendala pada Versi Sebelumnya
3. Jumlah Data yang Bisa Didapatkan

1. Cara Crawl Data Twitter Berdasarkan Search Keyword

Untuk mengcrawl data dari Twitter berdasarkan kata kunci tertentu, Anda memerlukan Tweet Harvest dan Google Colab. Berikut langkah-langkahnya:

• Dapatkan Twitter Auth Token:
• Login ke akun Twitter Anda.
• Klik kanan pada halaman, pilih “Inspect”.
• Cari auth_token di bagian Application -> Cookies.
• Salin nilai auth_token tersebut.
• Siapkan Google Colab:
• Buka Google Colab dan buat salinan file.
• Pastikan Anda memiliki auth_token yang telah disalin tadi.
• Edit file search keyword sesuai kebutuhan (misal: Jokowi).
• Jalankan Skrip:
• Instal Pandas dan Node.js.
• Jalankan skrip untuk memulai proses crawling.
• Data akan tersimpan dalam format .csv (misal: jokowi.csv).

2. Mengatasi Kendala pada Versi Sebelumnya

Jika Anda mengalami kendala dengan versi sebelumnya, berikut beberapa solusinya:

• Versi yang Direkomendasikan: Gunakan versi 2.60 dari Tweet Harvest yang paling stabil per 30 Maret.
• Rate Limit: Twitter memiliki batasan rate limit yang memungkinkan Anda mendapatkan sekitar 500 tweet setiap 10-15 menit.

3. Jumlah Data yang Bisa Didapatkan

• Rate Limit: Anda dapat mendapatkan sekitar 500 tweet setiap 10-15 menit.
• Total Data: Dalam satu hari, Anda dapat mengumpulkan hingga 2700 tweet atau lebih tergantung pada lamanya proses crawling.
• Tips: Sabar dan pastikan untuk tidak melampaui batas untuk menghindari pemblokiran.

Langkah-Langkah Detail di Google Colab

1. Instal Paket:

   !pip install pandas
   !apt-get install -y nodejs

2. Jalankan Skrip Tweet Harvest:

   !node tweet_harvest.js --auth_token YOUR_AUTH_TOKEN --search_keyword Jokowi --output_file jokowi.csv --lang id --max_tweets 100

3. Verifikasi Hasil:

• Cek hasil dalam file .csv yang telah disimpan.
• Analisis data menggunakan Pandas atau alat analisis lainnya.

Perhatian Penting

• Penggunaan untuk Riset: Tweet Harvest sebaiknya hanya digunakan untuk keperluan riset, seperti skripsi, tesis, atau disertasi.
• Privasi dan Keamanan: Jangan bagikan auth_token Anda dengan orang lain.

Kesimpulan

Dengan mengikuti panduan ini, Anda bisa mendapatkan data dari Twitter secara efektif menggunakan Tweet Harvest. Pastikan untuk mengikuti semua langkah dengan benar dan memperhatikan batasan yang ada untuk menghindari masalah. Jika ada pertanyaan lebih lanjut, tinggalkan komentar di video atau artikel ini.