Cara Mengecualikan Konten WordPress dari Pencarian Google

Bagaimana Mengecualikan Konten & File WordPress dari Google Search

Terkadang Anda perlu mengecualikan konten atau file WordPress tertentu agar tidak diindeks dalam hasil pencarian Google. Indeks, atau “pengindeksan” sebelum munculnya Google dan mesin pencari lainnya adalah kata yang sebagian besar dikaitkan dengan buku. Biasanya berada di belakang sebagian besar buku, dan inilah sebabnya kamus Cambridge mendefinisikannya dalam konteks ini sebagai:


Indeks: daftar alfabet, seperti yang dicetak di bagian belakang buku yang menunjukkan halaman mana subjek, nama, dll. aktif.

Maju cepat ke 1995, selama booming internet, kami memiliki layanan seperti mesin pencari Yahoo, dan pada tahun 1997, pencarian Google telah secara dramatis mengubah cara kami mencari dan mengakses informasi di internet.

Menurut survei yang dilakukan pada Januari 2018, ada 1.805.260.010 (lebih dari 1,8 miliar) situs web di internet, dan banyak dari situs web ini yang tidak mendapat pengunjung sama sekali..

Apa itu Pengindeksan Google?

Ada mesin pencari yang berbeda dengan format pengindeksan yang berbeda, tetapi mesin pencari yang populer termasuk, Google, Bing dan untuk individu yang berpikiran privasi, duckduckgo.

Pengindeksan Google umumnya mengacu pada proses penambahan halaman web baru, termasuk konten digital seperti dokumen, video dan gambar, dan menyimpannya dalam basis datanya. Dengan kata lain, agar konten situs Anda muncul di hasil pencarian Google, mereka pertama-tama harus disimpan dalam indeks Google.

Apa itu Pengindeksan Google?

Google dapat mengindeks semua halaman digital dan konten ini menggunakan laba-laba, perayap, atau bot yang berulang kali merayapi berbagai situs web di Internet. Bot dan perayap ini memang mengikuti instruksi pemilik situs web tentang apa yang harus dirayapi dan apa yang harus diabaikan selama perayapan.

Mengapa Situs Web Perlu Diindeks?

Di era era digital ini, hampir mustahil untuk bernavigasi melalui miliaran situs web yang menemukan topik dan konten tertentu. Akan lebih mudah jika ada alat untuk menunjukkan kepada kami situs mana yang dapat dipercaya, konten mana yang berguna dan relevan bagi kami. Itu sebabnya Google ada dan memberi peringkat situs web dalam hasil pencarian mereka.

Pengindeksan menjadi bagian tak terpisahkan dari bagaimana mesin pencari pada umumnya dan Google pada khususnya bekerja. Ini membantu mengidentifikasi kata-kata dan ekspresi yang paling menggambarkan halaman, dan secara keseluruhan berkontribusi pada peringkat halaman dan situs web. Untuk muncul di halaman pertama Google situs web Anda, termasuk halaman web dan file digital seperti video, gambar dan dokumen, pertama-tama harus diindeks.

Pengindeksan adalah langkah prasyarat untuk situs web untuk peringkat yang baik di mesin pencari pada umumnya dan Google pada khususnya. Menggunakan kata kunci, situs dapat lebih baik dilihat dan ditemukan setelah diindeks dan diberi peringkat oleh mesin pencari. Ini kemudian membuka pintu bagi lebih banyak pengunjung, pelanggan dan pelanggan potensial untuk situs web dan bisnis Anda.

Tempat terbaik untuk menyembunyikan mayat adalah halaman dua Google.

Meskipun memiliki banyak halaman yang diindeks tidak secara otomatis membuat peringkat situs Anda lebih tinggi, jika konten halaman-halaman tersebut berkualitas tinggi juga Anda bisa mendapatkan peningkatan dalam hal SEO..

Mengapa & Bagaimana Memblokir Mesin Pencari dari Konten Pengindeksan

Meskipun pengindeksan sangat bagus untuk pemilik situs web dan bisnis, ada halaman yang Anda mungkin tidak ingin muncul dalam hasil pencarian. Anda bisa mengambil risiko mengekspos file dan konten sensitif di Internet juga. Tanpa kata sandi atau otentikasi, konten pribadi berisiko terpapar dan akses tidak sah jika bot diberikan kontrol bebas atas folder dan file situs web Anda.

Di awal 2000-an, peretas pencarian Google digunakan untuk menampilkan informasi kartu kredit dari situs web dengan permintaan pencarian sederhana. Cacat keamanan ini digunakan oleh banyak peretas untuk mencuri informasi kartu dari situs web e-commerce.

Baru-baru ini Kelemahan keamanan terjadi tahun lalu ke box.com, sistem penyimpanan cloud yang populer. Lubang keamanan diekspos oleh Markus Neis, manajer intelijen ancaman untuk Swisscom. Dia melaporkan bahwa eksploitasi sederhana dari mesin pencari termasuk Google dan Bing dapat mengekspos file rahasia dan informasi dari banyak pelanggan bisnis dan individu.

Kasus seperti ini dapat terjadi secara online dan dapat menyebabkan hilangnya penjualan dan pendapatan bagi pemilik bisnis. Untuk situs web perusahaan, e-niaga, dan keanggotaan, sangat penting untuk pertama-tama memblokir pengindeksan pencarian konten sensitif dan file pribadi dan kemudian mungkin menempatkannya di belakang sistem otentikasi pengguna yang layak.

Mari kita lihat bagaimana Anda dapat mengontrol konten dan file mana yang dapat dirayapi dan diindeks oleh Google dan mesin pencari lainnya.

1. Menggunakan Robots.txt Untuk Gambar

Robots.txt adalah file yang terletak di root situs Anda yang memberikan instruksi kepada Google, Bing, dan mesin pencari lainnya tentang apa yang harus dirayapi dan apa yang tidak. Meskipun robots.txt biasanya digunakan untuk mengontrol perayapan lalu lintas dan perayap web (seluler vs desktop), ini juga dapat digunakan untuk mencegah gambar muncul di hasil pencarian Google.

File robots.txt dari situs web WordPress normal akan terlihat seperti ini:

Agen pengguna: *
Larang: / wp-admin /
Larang: / wp-termasuk /

File robots.txt standar dimulai dengan instruksi untuk agen-pengguna, dan simbol asterisk. Tanda bintang adalah instruksi untuk semua bot yang tiba di situs web untuk mengikuti semua instruksi yang disediakan di bawahnya.

Jauhkan Bot Dari File Digital Tertentu Menggunakan Robot.txt

Robots.txt juga dapat digunakan untuk menghentikan perayapan mesin pencari dari file digital seperti PDF, JPEG atau MP4. Untuk memblokir perayapan pencarian file PDF dan JPEG, ini harus ditambahkan ke file robots.txt:

File PDF

Agen pengguna: *
Disallow: / pdfs / # Blokir direktori / pdfs /.
Disallow: * .pdf $ # Blokir file pdf dari semua bot. Meskipun tidak standar, ini berfungsi untuk mesin pencari utama.

Gambar-gambar

Agen-pengguna: Googlebot-Image
Disallow: /images/cats.jpg #Block gambar cats.jpg untuk Googlebot secara khusus.

Jika Anda ingin memblokir semua gambar .GIF agar tidak diindeks dan ditampilkan di pencarian gambar google sambil mengizinkan format gambar lain seperti JPEG dan PNG, Anda harus menggunakan aturan berikut:

Agen-pengguna: Googlebot-Image
Larang: /*.gif$

Penting: Cuplikan di atas hanya akan mengecualikan konten Anda agar tidak diindeks oleh situs pihak ketiga seperti Google. Mereka masih dapat diakses jika seseorang tahu ke mana harus mencari. Untuk membuat file pribadi sehingga tidak ada yang dapat mengaksesnya, Anda perlu menggunakan metode lain, seperti plugin pembatasan konten ini.

Googlebot-Image dapat digunakan untuk memblokir gambar dan ekstensi gambar tertentu agar tidak muncul di pencarian gambar Google. Jika Anda ingin mengecualikan mereka dari semua pencarian Google, mis. pencarian dan gambar web, disarankan untuk menggunakan agen pengguna Googlebot sebagai gantinya.

Agen pengguna Google lainnya untuk berbagai elemen di situs web termasuk Googlebot-Video untuk video agar tidak berlaku di bagian video Google di web. Demikian pula, menggunakan agen-pengguna Googlebot akan memblokir semua video agar tidak ditampilkan di video google, pencarian web, atau pencarian web seluler.

Robot Tanpa Indeks

Harap diingat bahwa menggunakan Robots.txt bukan metode yang tepat untuk memblokir file dan konten sensitif atau rahasia karena batasan berikut:

  • Robots.txt hanya dapat menginstruksikan perayap yang berperilaku baik; mesin pencari dan bot lain yang tidak patuh hanya bisa mengabaikan instruksinya.
  • Robots.txt tidak menghentikan server Anda dari mengirim halaman dan file ke pengguna yang tidak sah atas permintaan.
  • Mesin pencari masih dapat menemukan dan mengindeks halaman dan konten yang Anda blokir seandainya mereka ditautkan dari situs web dan sumber lain.
  • Robots.txt dapat diakses oleh siapa saja yang kemudian dapat membaca semua instruksi yang Anda berikan dan mengakses konten dan file tersebut secara langsung

Untuk memblokir pengindeksan pencarian dan melindungi informasi pribadi Anda secara lebih efektif, gunakan metode berikut sebagai gantinya.

2. Menggunakan Meta Tag Untuk Halaman tanpa indeks

Menggunakan tag meta tanpa indeks adalah metode yang tepat dan lebih efektif untuk memblokir pengindeksan pencarian konten sensitif di situs web Anda. Berbeda dengan robots.txt, tag meta tanpa indeks ditempatkan di bagian dari halaman web dengan tag HTML yang sangat sederhana:



...

Halaman apa pun dengan instruksi ini di header tidak akan muncul di hasil pencarian Google. Arahan lainnya seperti nofollow dan notranslate juga dapat digunakan memberi tahu perayap web untuk tidak merayapi tautan dan masing-masing menawarkan terjemahan halaman itu.

Anda dapat menginstruksikan beberapa perayap dengan menggunakan beberapa tag meta pada halaman sebagai berikut:



...


Ada dua cara untuk menambahkan kode ini ke situs web Anda. Opsi pertama Anda adalah membuat tema anak WordPress, kemudian di functions.php Anda, Anda dapat menggunakan kait tindakan WordPress wp_head untuk memasukkan noindex atau tag meta lainnya. Di bawah ini adalah contoh bagaimana Anda akan noindex ke halaman login Anda.

add_action ('wp_head', function () {
if (is_page ('login')) {
gaung';
}
});

Opsi kedua Anda adalah menggunakan plugin SEO Anda untuk mengontrol visibilitas halaman. Misalnya, dengan Yoast SEO Anda dapat pergi ke bagian pengaturan lanjutan pada halaman dan cukup pilih “Tidak” untuk opsi yang memungkinkan mesin pencari menampilkan halaman:

Pengaturan Hasil Pencarian SEO Yoast

3. Menggunakan header HTTP X-Robots-Tag untuk file lain

X-Robots-Tag memberi Anda lebih banyak fleksibilitas untuk memblokir pengindeksan pencarian konten dan file Anda. Secara khusus, bila dibandingkan dengan meta tag tidak-indeks dapat digunakan sebagai respons tajuk HTTP untuk setiap URL yang diberikan. Misalnya, Anda dapat menggunakan X-Robots-Tag untuk file gambar, video dan dokumen yang tidak mungkin menggunakan tag meta robots.

Kamu bisa membaca Panduan meta tag robot lengkap Google, tapi inilah cara Anda dapat menginstruksikan crawler untuk tidak mengikuti dan mengindeks gambar JPEG menggunakan X-Robots-Tag pada respons HTTPnya:

HTTP / 1.1 200 OK
Jenis konten: gambar / jpeg
Tanggal: Sab, 27 Nov 2018 01:02:09 GMT
(...)
X-Robots-Tag: noindex, nofollow
(...)

Arahan apa pun yang dapat digunakan dengan tag meta robot juga berlaku untuk X-Robots-Tag. Demikian pula, Anda dapat menginstruksikan beberapa bot mesin pencari juga:

HTTP / 1.1 200 OK
Tanggal: Sel, 21 Sep 2018 21:09:19 GMT
(...)
X-Robots-Tag: googlebot: nofollow
X-Robots-Tag: bingbot: noindex
X-Robots-Tag: otherbot: noindex, nofollow
(...)

Penting untuk dicatat bahwa bot mesin pencari menemukan tag meta Robots dan header HTTP X-Robots-Tag selama proses perayapan. Jadi jika Anda ingin bot ini mengikuti instruksi Anda untuk tidak mengikuti atau mengindeks konten dan dokumen rahasia apa pun, Anda tidak boleh menghentikan halaman ini dan mengajukan URL dari perayapan.

Jika mereka diblokir agar tidak merangkak menggunakan file robots.txt, instruksi Anda tentang pengindeksan tidak akan dibaca, dan karenanya, diabaikan. Akibatnya, jika situs web lain menautkan ke konten dan dokumen Anda, mereka akan tetap diindeks oleh Google dan mesin pencari lainnya.

4. Menggunakan Aturan .htaccess untuk Server Apache

Anda juga dapat menambahkan header X-Robots-Tag HTTP ke file .htaccess Anda untuk memblokir perayap dari halaman pengindeksan dan konten digital dari situs web Anda yang dihosting di server Apache. Tidak seperti meta tag tanpa indeks, aturan .htaccess dapat diterapkan di seluruh situs web atau folder tertentu. Dukungannya terhadap ekspresi reguler menawarkan fleksibilitas yang lebih tinggi bagi Anda untuk menargetkan beberapa jenis file sekaligus.

Untuk memblokir Googlebot, Bing dan Baidu dari merayapi situs web atau direktori khusus, gunakan aturan berikut:

Tulis Ulang Hidup
RewriteCond% {HTTP_USER_AGENT} (googlebot | bingbot | Baiduspider) [NC]
RewriteRule. * - [R = 403, L]

Untuk memblokir pengindeksan pencarian semua file .txt, .jpg, .jpeg, .pdf di seluruh situs web Anda, tambahkan cuplikan berikut:


Header mengatur X-Robots-Tag "noindex, nofollow"

5. Menggunakan Otentikasi Halaman dengan Nama Pengguna & Kata Sandi

Metode di atas akan mencegah konten pribadi dan dokumen Anda muncul di hasil pencarian Google. Namun, setiap pengguna dengan tautan dapat menjangkau konten Anda dan mengakses file Anda secara langsung. Untuk keamanan, sangat disarankan Anda mengatur otentikasi yang benar dengan nama pengguna dan kata sandi serta izin akses peran.

Menggunakan Otentikasi Halaman

Misalnya, halaman yang mencakup profil pribadi staf dan dokumen sensitif yang tidak boleh diakses oleh pengguna anonim harus didorong di belakang gerbang otentikasi. Jadi, bahkan ketika pengguna entah bagaimana berhasil menemukan halaman, mereka akan diminta kredensial sebelum mereka dapat memeriksa konten.

Kata Sandi WordPress Protect

Untuk melakukan ini dengan WordPress cukup mengatur visibilitas posting dilindungi kata sandi. Dengan cara ini Anda dapat memilih kata sandi yang diperlukan untuk melihat konten pada halaman itu. Ini cukup mudah dilakukan berdasarkan per-posting / halaman. Untuk privasi situs yang lebih komprehensif, coba tambahkan salah satu plugin keanggotaan WordPress ini ke situs web Anda.

Harap diingat bahwa halaman yang dilindungi kata sandi atau tersembunyi dari mesin pencari dan pengunjung tidak serta merta melindungi dokumen, video, dan gambar yang dilampirkan pada kontennya. Untuk perlindungan nyata dari unggahan file WordPress Anda, layanan premium seperti Prevent Direct Access Gold sangat direkomendasikan.

Kesimpulan

Dalam perlombaan untuk berada di halaman satu Google, pemilik bisnis mungkin tidak memperhitungkan apa yang bisa dilihat oleh mesin pencari. Baik Anda memblokir bot dari file tertentu, menyembunyikan halaman login khusus, atau melindungi direktori pengguna pribadi dengan kata sandi … ada banyak halaman yang perlu dipertimbangkan untuk tidak diindeks ketika mengenai mesin pencari.

Apakah Anda memiliki pertanyaan tentang mengecualikan konten dari hasil pencarian? Atau mencegah file tertentu diindeks? Tinggalkan komentar di bawah ini!

Jeffrey Wilson Administrator
Sorry! The Author has not filled his profile.
follow me
    Like this post? Please share to your friends:
    Adblock
    detector
    map