Website yang tidak ingin dilirik mesin pencari juga dapat membatasi akses boot/crawler search engine melalui robot.txt yang diletakkan pada top level directory website, misalnya xyz.com/robot.txt. Robot.txt merupakan sebuah standart pengecualian untuk membatasi bagian website yang tidsk diperkenankan di-scan. Contoh isi robot.txt :
Dark Web.
Pengertian Deep Web sering rancu dengan Dark Web. Dark Web adalah world wide web yang berada pada jaringan terenkripsi yang hanya dapat diakses dengan cara tertentu, seperti menggunakan software atau konfigurasi yang spesifik. Setelah sobat terhubung dalam jaringan ini, baru sobat dapat mengakses konten didalamnya. dengan demikian dark web adalah bagian dari deep web karena sama-sama tidak dapat diindeks oelh search engine. Konten pada dark web identik dengan hal-hal yang berbau kriminalitas.
Pada gambar diatas menggambarkan bagaimana kurang lebih hubungan suf=rface web, deep web, dan dark web. Digambarkan pada level surface web adalah website-website yang sudah sangat akrabseperti yahoo, google, CNN, dan seterusnya. Pada level deep web adalah database akademis, rekaman medis, data finansial, dan seterusnya. Lalu lihat pada level dark web adalah Tor (Akan dibahas kemudian), protes dunia politik, perdagangan narkoba, dan berbagai aktivitas ilegal. Surface web diestimasi hanya 4% dari keseluruhan konten web pada ilustrasi tersebut.
Selamat datang ke jaringan anonimitas TOR.
Mari mencoba masuk ke dark web dengan menggunakan salah satu jaringan anominitas yang populer didunia yaitu TOR. TOR berasal dari proyek software “The Onion Router” yang mengarahkan lalu lintas internet ke jaringan yang menyembunyikan lokasi dan kerahasiaan user, karena itulah Tor termasuk dalam jaringan anonimitas (anonimity network).
TOR dapat diunduh melalui URL www.torproject.org. Software ini mendukung berbagai sistem operasi populer windows, Mac OS, Linux/unix, dan Android.
Setelah sobat mengunduh dan melakukan instalasi, maka sobat dapat menjalankan Tor browser untuk pertama kalinya, lalu sobat akan diminta untuk melakukan konfigurasi jaringan jaringan Tor seperti yang terlihat gambar dibawah ini.
pada banyak kasus, pilihlah opsi pertama (I would like to make a direct connection to the Tor network, ….). Namun untuk kasus tertentu seperti jika koneksi internet sobat disensor atau melalui proxy, maka pilihlah opsi kedua dan ikuti beberapa langkah konfigurasi. Berikutnya akan terbuka browser Tor seperti yang terlihat pada gambar dibawah ini.
Apakah tampilan Tor browser mengingatkan sobat akan sesuatu?, Ya, mirip dengan tampilan mozilla firefox. Ini tidak mengherankan karen amemang Tor browser merupakan modifikasi dari mozilla firefox, namun tentu dengan penggunaan yang berbeda. Jangan mengintal plugin apapun pada browser Tor karena dikhawatirkan plugin tersebut dirancang untuk membuka identitas sobat.
Tor browser juga menyediakan default search engine yaitu DuckDuckGo (Sobat tentu dapat menggunakan google pada jaringan Tor). Berselancar menggunakan Tor browser dapat mengakses website-website yang diblokir melalui ISP atau proxy. Tor browser mampu mengakses surface web sebagaimana browser pada umumnya. Namun perhatikan jika sobat mengakses www.google.com (Dengan asumsi sobat menggunakan original IP indonesia), kemungkinan sobat tidak akan diarahkan pada www.google.co.id, melainkan pada website google dari negara lain karena IP sobat diubah menjadi IP acak yang anonim pada jaringan Tor, contohnya seperti pada gambar dibawah ini yang menampilkan www.google.fr (Google prancis).
OnionLand.
Selain mengakses surface web secara anonim, Tor browser juga dapat digunakan untuk mengakses konten dark web atau disebut juga onionland, itulah sebabnya sobat melihat logo bawang (Onion) pada Tor browser. Di jaringan ini sobat dapat mengakses website dengan top level domain .onion, bukan .com atau sejenisnya. Kebanyakan domain .onion menggunakan nama domain yang sulit diingat, contohnya http://soupkso3la22lt13.onion/ seperti yang terlihat pada gambar dibawah ini, sebuah website yang mengkritik dunia politik US.
Nama domain diats tidak mudah diingat, dan ini baru satu website. Bagaimana dengan website-website .onion lain yang juga memiliki nama domain “Ajaib”. Dimana sobat dapat menemukannya?, Jangan khawatir, terdapat search engine khusus untuk mencari website-website ini, yaitu Onion link http://onion.link.
Sebagai contoh, pada gambar dibawah ini terlihat Tor browser membuka website onion.link dan mengetikan query “hacking Tools”.
Seperti pada search engine umumnya, Onion link menampilkan hasil pencarian. Namun jika dilihat, URL yang ditampilkan mengandung .onion, jika sobat klik salah satu hasil pencarian (yaitu https://hansamkt2rr6nfg3.onion.link/category/59/), maka akan terlihat seperti pesan error seperti gambar di bawah ini.
Error tersebut terjadi karena sobat belum mengakses url yang sebenarnya, url .onion yang sebenarnya adalah seperti tertulis pada pesan kesalahan yaitu hansamkt2rr6nfg3.onion. Copy paste url .onion tersebut pada tab Tor browser, hasilnya terlihat seperti gambar dibawah ini.
Menggali informasi dengan benar.
Konten raksasa deep webs eharusnya digunakan untuk menambah informasi bermanfaat yang tidak kita temukan pada surface web, dan bukan untuk menemukan hal-hal terlarang yang tidak bermanfaat atau bahkan menjerumuskan. Walaupun tentu saja film atau cerita fiksi lebih sering menyorot hal-hal seperti ini jika menyinggung dark web.
Lebih baik mencari informasi dengan benar, baik pada surface web ataupun pada deep web. Sobat harus selalu mengandalkan google karena ada kalanya terdapat pilihan yang lebih baik, tergantung dari apa yang sobat cari. Contohnya jika sobat mencari informasi sains tentang teorydentuman beasar (Big Bang Teory), jika sobat mencari digoogle dengan keyword “Big Bang Teory” maka hasil pencarian akan terlihat seperti gambar dibawah ini.
Apa yang terlihat?, hasilnya yang dominan bukanlah teory sains big bang, tetapi mengenai acara televisi di amerika berjudul The Big Bang Teory, ini dikarenakan google algoritma google mengutamakan popularitas keyword, sobat terpaksa berubah ke hal yang lebih spesifik lagi seperti “The Big Bang Teory In Sience” atau sejenisnya agar hasil pencarian google tentunya bagi sobat yang memang mencari informasi sains terpercaya.
Dari contoh ini terlihat bahwa kuantitas informasi bukanlah segalanya, sobat dapat mengakses semua informasi dari surface web sampai dark web, namun yang terpenting apakah informasi tersbeut benar-benar dapat bermanfaat bagi sobat.
Referensi : Majalah Pc media.