File "robots.txt" memberi tahu mesin telusur apakah dapat mengakses kemudian merayapi bagian situs Anda (1). File ini, yang harus dinamai "robots.txt", ditempatkan di direktori akar situs
Anda (2). Anda mungkin tidak ingin laman tertentu dari situs Anda dirayapi karena laman tersebut mungkin tidak berguna bagi pengguna jika ditemukan sebagai bagian dari hasil mesin telusur. Jika Anda ingin mencegah mesin telusur merayapi laman Anda, Alat Webmaster Google memiliki pembuat robots.txt untuk membantu Anda membuat file ini. Perhatikan bahwa jika situs Anda menggunakan subdomain dan Anda ingin laman tertentu tidak dirayapi pada subdomain
tertentu, Anda harus membuat file robots.txt terpisah untuk subdomain tersebut. Untuk informasi selengkapnya tentang robots.
txt, sebaiknya Anda membaca panduan Pusat Bantuan Webmaster tentang menggunakan file robots.txt ini.
Terdapat beberapa cara lain untuk mencegah konten muncul di hasil penelusuran, seperti menambah "NONINDEX" ke tag meta robots Anda, menggunakan .htaccess pada direktori yang dilindungi kata
sandi, dan menggunakan Alat Webmaster Google untuk menghapus konten yang telah dirayapi. Insinyur Google Matt Cutts menjelaskan satu per satu hal-hal yang perlu diperhatikan pada setiap metode pemblokiran URL dalam sebuah video yang membantu.
Gunakan metode yang lebih aman untuk konten yang sensitif
Jangan merasa aman begitu saja saat menggunakan robots.txt untuk mencekal materi yang sensitif atau rahasia. Salah satu alasan adalah mesin pencari masih dapat memberi referensi URL yang Anda blokir (hanya menunjukkan URL, tidak ada judul atau snippet) jika ternyata ada tautan ke URL itu di
Internet (seperti catatan perujuk). Tidak hanya itu, mesin telusur yang tidak patuh atau sembarangan yang tidak mengakui Robots Exclusion Standard dapat mengabaikan instruksi dari robots.txt Anda.
Terakhir, pengguna yang ingin tahu dapat memeriksa direktori atau subdirektori pada robots.txt Anda
dan menebak URL dari konten yang Anda tidak ingin perlihatkan. Mengenksipsi konten atau melindunginya dengan kata sandi dengan .htaccess merupakan alternatif yang lebih aman.
(1) Semua bot mesin telusur yang patuh (ditandai dengan simbol pengganti *) seharusnya tidak mengakses dan merayapi konten dengan /images/ atau URL apa pun yang jalurnya dimulai dengan /search.(2) Alamat file robots.txt kita.
Hindari:
memungkinkan laman mirip hasil penelusuran untuk dirayapi - pengguna tidak suka meninggalkan satu laman hasil penelusuran dan membuka laman hasil penelusuran lain yang tidak menambahkan nilai yang signifikan bagi mereka membiarkan terbentuknya URL sebagai hasil dari layanan proxy untuk dirayapi
Hati-hati saat mengunakan tautan rel="nofollow"
Menyetel nilai atribut "rel" dari tautan menjadi "nofollow" akan memberi tahu Google bahwa tautan tertentu pada situs Anda sebaiknya tidak diikuti atau membagikan reputasi laman Anda ke laman yang ditautkan. Menjadikan tautan nofollow adalah menambahkan rel="nofollow" di dalam tag jangkar tautan (1).
Kapan hal ini berguna? Jika situs Anda memiliki blog dengan akses komentar publik aktif, tautan pada komentar itu dapat membagi reputasi Anda kepada laman yang mungkin tidak akan nyaman bagi Anda untuk memberi jaminan. Area komentar blog pada laman sangat mudah terkena spam komentar (2). Menjadikan tautan nofollow yang ditambahkan pengguna memastikan Anda tidak memberikan reputasi laman yang didapat dengan susah payah kepada situs spam.
Menambahkan "nofollow" secara otomatis ke kolom komentar dan papan pesan
Banyak paket perangkat lunak blog secara otomatis menandai nofollow pada komentar pengguna, tapi bagi yang tidak, masih dapat melakukan edit manual untuk nofollow. Saran ini juga berlaku untuk area lain pada situs Anda yang mungkin melibatkan konten yang dihasilkan pengguna, seperti buku tamu, forum, papan-komentar, daftar perujuk, dll. Jika Anda bersedia menjamin untuk tautan yang ditambahkan oleh pihak ketiga (misal: jika pemberi komentar dipercaya di situs Anda), maka tidak perlu menggunakan nofollow pada tautan, namun, menautkan pada situs yang dianggap Google sebagai spam dapat memengaruhi reputasi situs Anda sendiri.
Pusat Bantuan Webmaster memiliki lebih banyak kiat tentang menghindari spam komentar, seperti menggunakan CAPTCHA dan mengaktifkan moderasi komentar (3).
Tentang menggunakan "nofollow" untuk setiap konten, keseluruhan laman, dsb.
Kegunaan lain dari nofollow adalah saat Anda menulis konten dan ingin mereferensikan situs web, tapi tidak ingin memberikan reputasi kepadanya. Sebagai contoh, bayangkan Anda tengah menulis blog dengan topik spam komentar dan Anda ingin menyebutkan sebuah situs yang baru-baru ini memberi spam komentar di blog Anda. Anda ingin memperingatkan yang lain tentang situs itu, jadi Anda menambah tautan situs itu pada konten; namun, Anda tidak ingin membagi reputasi dari tautan itu kepada situs. Ini merupakan saat yang tepat untuk menggunakan nofollow.
Terakhir, jika Anda tertarik untuk mengaktifkan nofollow pada seluruh tautan pada sebuah laman, Anda dapat gunakan "nofollow" pada meta tag robot, yang diletakkan di dalam tag dari HTML laman itu (4). Webmaster Central Blog menyediakan pos yang bermanfaat mengenai penggunaan meta tag robot. Metode ini ditulis sebagai ARTIKEL TERKAIT
- Buat judul laman yang unik, akurat
- Menggunakan meta tag "description"
- Tingkatkan struktur URL Anda
- Buatlah situs agar lebih mudah untuk dinavigasi
- Tawarkan konten dan layanan yang berkualitas
- Tulis teks tautan yang lebih baik
- Optimalkan penggunaan gambar Anda
- Menggunakan tag heading sewajarnya
- Menggunakan robots.txt dengan efektif
- Hati-hati saat mengunakan tautan rel="nofollow"
- Beri tahu Google tentang situs seluler
- Pandu pengguna seluler dengan akurat
- Promosikan situs web Anda dengan cara yang benar
- Manfaatkan alat webmaster gratis
0 comments:
Post a Comment