چگونه محتوا وردپرس را از جستجوی Google مستثنی کنیم

چگونه محتوا و پرونده های WordPress را از جستجوی Google مستثنی کنیم

بعضی اوقات شما نیاز به محتوا یا پرونده های خاص WordPress از فهرست شدن در نتایج جستجوی Google ندارید. ایندکس یا “فهرست بندی” قبل از ظهور گوگل و موتور جستجوی دیگر کلماتی بود که بیشتر با کتاب مرتبط بود. معمولاً در بیشتر کتابها سکونت دارد و به همین دلیل فرهنگ لغت کمبریج آن را در این زمینه تعریف می کند:


فهرست مطالب: لیست الفبایی ، مانند فهرست چاپ شده در پشت کتاب ، نشان می دهد کدام صفحه یک موضوع ، نام و غیره روشن است.

به سرعت به جلو در سال 1995 ، در طول رونق اینترنت ، ما خدماتی مانند موتور جستجوی یاهو داریم و در سال 1997 ، جستجوی گوگل نحوه جستجو و دسترسی به اطلاعات در اینترنت را به طرز چشمگیری تغییر داده است.

طبق نظرسنجی انجام شده در ژانویه سال 2018 ، 1،805،260،010 (بیش از 1.8 میلیارد) وب سایت در اینترنت وجود دارد و بسیاری از این وب سایت ها به هیچ وجه بازدید کننده ای ندارند..

نمایه سازی گوگل چیست?

موتورهای جستجوگر متفاوتی با فرمت متفاوت ایندکس کردن وجود دارند ، اما موتورهای جستجوی محبوب شامل گوگل ، بینگ و برای افراد دارای امنیت در حریم خصوصی ، duckduckgo هستند.

نمایه سازی گوگل به طور کلی به فرآیند اضافه کردن صفحات وب جدید از جمله محتوای دیجیتالی مانند اسناد ، فیلم ها و تصاویر و ذخیره آنها در پایگاه داده خود اشاره دارد. به عبارت دیگر ، برای اینکه محتوای سایت شما در نتایج جستجوی Google ظاهر شود ، ابتدا باید در فهرست Google ذخیره شود.

نمایه سازی گوگل چیست؟

Google قادر است با استفاده از عنکبوتها ، خزنده ها یا ربات های خود که به طور مکرر وب سایت های مختلف را در اینترنت خزیده اند ، این صفحات و محتوای دیجیتال را فهرست بندی کند. این رباتها و خزنده ها دستورالعمل های دارندگان وب سایت راجع به چه چیزی برای خزیدن و چه چیزی نباید هنگام خزیدن نادیده گرفته شده اند دنبال می کنند.

چرا وب سایت ها باید ایندکس شوند?

در این دوره عصر دیجیتال ، تقریباً غیرممکن است که از طریق میلیاردها وب سایت که موضوع و محتوا خاصی را پیدا می کنند ، حرکت کنید. اگر ابزاری وجود داشته باشد که به ما نشان دهد کدام سایتها قابل اعتماد هستند ، کدام محتوا برای ما مفید و مناسب است بسیار ساده تر خواهد بود. به همین دلیل Google وجود دارد و وب سایتها را در نتایج جستجوی خود قرار می دهد.

نمایه سازی به بخشی ضروری از نحوه عملکرد موتورهای جستجو به طور کلی و Google به طور خاص تبدیل می شود. این کمک می کند تا کلمات و عباراتی را که به بهترین وجه توصیف یک صفحه است ، شناسایی کند و به طور کلی در رتبه بندی صفحه و وب سایت کمک می کند. برای نمایش در صفحه اول Google وب سایت خود ، از جمله صفحات وب و پرونده های دیجیتالی مانند فیلم ، تصاویر و اسناد ، ابتدا باید ایندکس شوید.

نمایه سازی یک قدم ضروری است که وب سایت ها بتوانند در موتورهای جستجو به طور کلی و به طور خاص گوگل رتبه خوبی کسب کنند. با استفاده از کلمات کلیدی ، سایت ها می توانند پس از نمایه سازی و رتبه بندی توسط موتورهای جستجو ، سایتها بهتر دیده و کشف شوند. سپس این درها را برای بازدید کنندگان بیشتر ، مشترکین و مشتریان بالقوه برای وب سایت و تجارت شما باز می کند.

بهترین مکان برای مخفی کردن یک جسد مرده ، صفحه دو گوگل است.

اگر تعداد صفحات ایندکس شده زیادی به طور خودکار باعث نمی شود سایتهای شما در رتبه بالاتری قرار گیرند ، اگر محتوای آن صفحات با کیفیت بالا باشد همچنین می توانید از نظر سئوی پیشرفتی کسب کنید.

چرا و چگونه موتور جستجوگر را از فهرست بندی محتوا مسدود می کنیم

اگرچه نمایه سازی برای وب سایت ها و صاحبان مشاغل بسیار عالی است ، صفحاتی وجود دارند که ممکن است مایل به نمایش در نتایج جستجو نباشید. همچنین می توانید فایلها و محتوای حساس را از طریق اینترنت در معرض خطر قرار دهید. در صورت عدم دسترسی مجدد به رباتها و پوشه های وب سایت ، بدون داشتن گذرواژه یا تأیید اعتبار ، محتوای خصوصی در معرض خطر قرار گرفتن در معرض و دسترسی غیرمجاز است..

در اوایل دهه 2000 هکرها برای نمایش اطلاعات کارت اعتباری از جستجوی Google استفاده کرد از وب سایتهایی با نمایش داده های جستجوی ساده این نقص امنیتی توسط بسیاری از هکرها برای سرقت اطلاعات کارت از وب سایت های تجارت الکترونیکی مورد استفاده قرار گرفت.

یکی دیگر از اخیر عیب امنیتی سال گذشته در box.com رخ داده است, یک سیستم ذخیره سازی ابر محبوب. این حفره امنیتی توسط مارکوس نیس ، مدیر اطلاعات تهدید برای Swisscom در معرض دید قرار گرفت. وی گزارش داد كه بهره برداری ساده از موتورهای جستجو از جمله گوگل و بینگ می تواند پرونده ها و اطلاعات محرمانه بسیاری از مشتریان تجاری و شخصی را افشا كند.

مواردی از این دست به صورت آنلاین اتفاق می افتد و می تواند باعث از دست رفتن فروش و درآمد صاحبان مشاغل شود. برای وب سایت های شرکتی ، تجارت الکترونیکی و عضویت ، بسیار مهم است که ابتدا فهرست بندی جستجوی محتوای حساس و پرونده های خصوصی را مسدود کنید و سپس احتمالاً آنها را در پشت یک سیستم تأیید اعتبار کاربر مناسب قرار دهید.

بیایید نگاهی بیندازیم که چگونه می توانید کنترل کنید که کدام محتوا و پرونده هایی که توسط Google و سایر موتورهای جستجو می توانند فهرست شوند و نمایه شوند.

1. با استفاده از Robots.txt برای تصاویر

Robots.txt فایلی است که در ریشه سایت شما قرار دارد و رباتهای گوگل ، بینگ و سایر موتورهای جستجو را با دستورالعملهایی درمورد خزیدن و چه نه ارائه می دهد. در حالی که معمولاً از robots.txt برای کنترل خزنده ترافیک و وب (موبایل در مقابل دسک تاپ) استفاده می شود ، می تواند از این امر برای جلوگیری از نمایش تصاویر در نتایج جستجوی Google استفاده شود..

یک پرونده robots.txt از وب سایت های معمولی وردپرس به شرح زیر است:

عامل کاربر: *
عدم اجازه: / wp-admin /
عدم اجازه: / wp-شامل /

پرونده استاندارد robots.txt با یک دستورالعمل برای کاربر و یک نماد ستاره شروع می شود. ستاره راهنمایی برای کلیه ربات هایی که به وب سایت می آیند تا تمام دستورالعمل های ارائه شده در زیر آن را رعایت کنند.

با استفاده از Robot.txt فایلهای دیجیتالی خاص را از فاصله دور نگه دارید

از Robots.txt همچنین می توان برای جلوگیری از خزیدن موتور جستجو در فایلهای دیجیتالی مانند PDF ، JPEG یا MP4 استفاده کرد. برای جلوگیری از خزیدن جستجوی فایل PDF و JPEG ، باید به پرونده robots.txt اضافه شود:

فایلهای PDF

عامل کاربر: *
مجاز نیست: / pdfs / # فهرست / pdfs / فهرست را مسدود کنید.
مجاز نیست: * .pdf $ # پرونده های پی دی اف را از همه رباتها مسدود کنید. اگرچه غیر استاندارد است ، برای موتورهای جستجوگر اصلی کار می کند.

تصاویر

نماینده کاربر: Googlebot-Image
مجاز نیست: /images/cats.jpg #Block cats.jpg تصویر مخصوص Googlebot.

در صورتی که بخواهید از نمایه سازی و نمایش تصاویر در جستجوی تصویر گوگل ، در حالی که می توانید سایر قالب های تصویری مانند JPEG و PNG ، سایر نمایه سازی ها را مسدود کنید ، باید از قوانین زیر استفاده کنید:

نماینده کاربر: Googlebot-Image
رد کردن: /***

مهم: قطعه های فوق به سادگی محتوای شما را از فهرست نشدن توسط سایت های شخص ثالث مانند گوگل محروم می کند. اگر کسی بداند کجا باید جستجو کند ، آنها هنوز در دسترس هستند. برای شخصی سازی پرونده ها ، بنابراین هیچ کس قادر به دسترسی به آنها نیست ، لازم است از روش دیگری مانند این افزونه های محدود کننده محتوا استفاده کنید.

از Googlebot-Image می توان برای مسدود کردن تصاویر و یک پسوند خاص از عکس در جستجوی تصویر Google استفاده کرد. در صورتی که می خواهید آنها را از همه جستجوی های Google حذف کنید ، به عنوان مثال جستجو و تصاویر وب ، توصیه می شود به جای آن از یک عامل کاربر Googlebot استفاده کنید.

سایر نمایندگان کاربر Google برای عناصر مختلف در وب سایت شامل Googlebot-Video برای استفاده از فیلم ها در بخش ویدیوی Google در وب است. به همین ترتیب ، با استفاده از نماینده کاربر Googlebot ، همه فیلم ها را نمی توان در نمایش فیلم های Google ، جستجوی وب یا جستجوی وب تلفن همراه مسدود کرد.

ربات های txt بدون فهرست

لطفا بخاطر داشته باشید که استفاده از Robots.txt یک روش مناسب برای مسدود کردن پرونده های حساس یا محرمانه و محتوا به دلیل محدودیت های زیر نیست:

  • Robots.txt فقط می تواند دستورات خزنده را به خوبی نشان دهد. سایر موتورهای جستجوگر و رباتهای سازگار با آن نمی توانند دستورالعملهای آن را نادیده بگیرند.
  • Robots.txt مانع ارسال سرور شما برای ارسال آن صفحات و پرونده ها به کاربران غیرمجاز در صورت درخواست می شود.
  • موتورهای جستجو همچنان می توانند صفحه و محتواهایی را که مسدود می کنید در صورت پیوند از وب سایت ها و منابع دیگر ، پیدا کنند و نمایه سازی کنند.
  • Robots.txt برای هر کسی که می تواند تمام دستورالعمل های ارائه شده شما را بخواند و به طور مستقیم به آن محتوا و پرونده ها دسترسی پیدا کند ، قابل دسترسی است

برای مسدود کردن نمایه سازی جستجو و محافظت بیشتر از اطلاعات خصوصی خود ، لطفاً از روشهای زیر استفاده کنید.

2. استفاده از متا Tag بدون فهرست برای صفحات

استفاده از متا تگ بدون فهرست یک روش مناسب و مؤثر برای مسدود کردن فهرست جستجوی محتوای حساس در وب سایت شماست. بر خلاف robots.txt ، برچسب بدون فهرست در بخش یک صفحه وب با یک برچسب HTML بسیار ساده:



...

هر صفحه با این دستورالعمل در سرصفحه در نتیجه جستجوی Google ظاهر نمی شود. سایر بخشنامه ها مانند nofollow و notranslate همچنین می توانید به خزندگان وب بگویید که پیوندها را خزیده نکنند و ترجمه آن صفحه را به ترتیب ارائه دهند.

می توانید چندین خزنده را با استفاده از چندین برچسب متا در صفحه به شرح زیر آموزش دهید:



...


دو روش برای افزودن این کد به وب سایت شما وجود دارد. گزینه اول شما ایجاد تم کودک وردپرس است ، پس از آن در function.php می توانید از قلاب عمل wp_head وردپرس برای وارد کردن noindex یا هر برچسب متا استفاده کنید. در زیر مثالی از چگونگی نادیده گرفتن صفحه ورود به سیستم آورده شده است.

add_action ('wp_head' ، عملکرد ()
اگر (is_page ('ورود به سیستم')) {
پژواک'؛
}
})؛

گزینه دوم شما استفاده از افزونه SEO شما برای کنترل دید صفحه است. به عنوان مثال ، با Yoast SEO می توانید به صفحه تنظیمات پیشرفته در یک صفحه بروید و به سادگی گزینه های “نه” را انتخاب کنید تا موتور جستجو اجازه دهد صفحه را نشان دهد:

تنظیم نتایج جستجوی جستجوگرها Yoast

3. استفاده از هدر X-Robots-Tag HTTP برای سایر پرونده ها

X-Robots-Tag انعطاف پذیری بیشتری را برای مسدود کردن فهرست بندی جستجوی محتوا و پرونده های شما ایجاد می کند. به طور خاص ، هنگامی که با برچسب متا بدون شاخص مقایسه شود ، می تواند به عنوان پاسخ هدر HTTP برای هر URL اختصاصی مورد استفاده قرار گیرد. به عنوان مثال ، می توانید از X-Robots-Tag برای پرونده های تصویری ، ویدیویی و مستنداتی استفاده کنید که امکان استفاده از برچسب های متا روبات ها امکان پذیر نیست.

تو میتوانی بخوانی راهنمای کامل تگ ربات های Google, اما در اینجا چگونه می توانید به خزندگان دستور دهید که از عکس JPEG با استفاده از برچسب X-Robots در پاسخ HTTP خود استفاده نکنند و ایندکس کنند:

HTTP / 1.1 200 خوب
نوع محتوا: image / jpeg
تاریخ: شنبه ، 27 نوامبر 2018 01:02:09 GMT
(…)
X-Robots-Tag: noindex ، nofollow
(…)

هر بخشنامه ای که می تواند با استفاده از متا تگ ربات ها استفاده شود ، در مورد X-Robots-Tag نیز کاربرد دارد. به همین ترتیب ، می توانید چندین ربات موتور جستجو را نیز آموزش دهید:

HTTP / 1.1 200 خوب
تاریخ: سه شنبه ، 21 سپتامبر 2018 21:09:19 GMT
(…)
X-Robots-Tag: googlebot: nofollow
X-Robots-Tag: bingbot: noindex
X-Robots-Tag: otherbot: noindex، nofollow
(…)

توجه به این نکته مهم است که رباتهای موتورهای جستجو در طی فرایند خزیدن ، برچسبهای متا روباتها و هدرهای HTTP-X-Robots-Tag را کشف می کنند. بنابراین اگر می خواهید این رباتها از دستورالعمل شما پیروی کنند یا از محتویات و اسناد محرمانه پیروی نکنید و ایندکس نکنید ، نباید این صفحه را متوقف کرده و نشانی های اینترنتی را از خزیدن متوقف کنید..

اگر آنها از خزیدن با استفاده از پرونده robots.txt جلوگیری کرده باشند ، دستورالعمل های شما در زمینه نمایه سازی خوانده نمی شوند و بنابراین ، نادیده گرفته می شوند. در نتیجه ، در صورت پیوند دادن سایر وب سایت ها به محتوا و اسناد شما ، آنها هنوز توسط گوگل و موتورهای جستجو دیگر ایندکس می شوند.

4- استفاده از قوانین htaccess برای سرورهای Apache

همچنین می توانید هدر X-Robots-Tag HTTP را به پرونده .htaccess خود اضافه کنید تا کراولرها از صفحات فهرست بندی و محتویات دیجیتالی وب سایت خود که در یک سرور آپاچی میزبانی شده اند ، جلوگیری کنند. بر خلاف برچسب های متا بدون فهرست ، قوانین htaccess را می توان در کل وب سایت یا یک پوشه خاص اعمال کرد. پشتیبانی از عبارات منظم انعطاف پذیری بالاتری را برای شما ایجاد می کند که می توانید چندین فایل را به طور همزمان هدف قرار دهید.

برای جلوگیری از خزیدن یک وب سایت یا دایرکتوری مخصوص Googlebot ، Bing و Baidu ، از قوانین زیر استفاده کنید:

بازنویسی Engine On
بازنویسی٪ {HTTP_USER_AGENT} (googlebot | bingbot | Baiduspider) [NC]
بازنویسی قانون. * - [R = 403، L]

برای مسدود کردن فهرست بندی جستجو در پرونده های .txt ، .jpg ، .jpeg ، .pdf در کل وب سایت خود ، قطعه زیر را اضافه کنید:


هدر مجموعه X-Robots-Tag "noindex، nofollow"

5- استفاده از تأیید هویت صفحه با نام کاربری و رمز عبور

روشهای فوق از نمایش مطالب و اسناد خصوصی شما در نتایج جستجوی Google جلوگیری می کند. با این حال ، هر کاربر با پیوند می تواند به محتوای شما برسد و مستقیماً به پرونده های شما دسترسی پیدا کند. برای امنیت ، به شما توصیه می شود احراز هویت مناسب را با نام کاربری و رمزعبور و همچنین دسترسی به نقش تنظیم کنید.

با استفاده از تأیید اعتبار صفحه

به عنوان مثال ، صفحاتی که شامل مشخصات شخصی کارمندان و اسناد حساس هستند که نباید کاربران ناشناس به آنها دسترسی پیدا کنند ، باید در پشت دروازه تأیید صحت قرار گیرند. بنابراین حتی وقتی کاربران به نوعی مدیریت صفحات را پیدا می کنند ، قبل از بررسی مطالب ، از آنها درخواست اعتبار می شود.

محافظت از رمز عبور وردپرس

برای انجام این کار با وردپرس به سادگی دید یک پست را تعیین کنید رمز عبور محافظت می شود. به این ترتیب می توانید یک رمز عبور مورد نیاز برای مشاهده محتوا در آن صفحه را انتخاب کنید. این کار بسیار ساده است و به صورت هر پست / صفحه انجام می شود. برای جامع تر بودن حریم خصوصی سایت ، سعی کنید یکی از این افزونه های عضویت WordPress را به وب سایت خود اضافه کنید.

لطفاً به خاطر داشته باشید كه صفحات محافظت شده با رمز عبور یا موتورهای جستجو و بازدیدكنندگان لزوماً از اسناد ، فیلم ها و تصاویر متصل به محتوای آن محافظت نمی كنند. برای محافظت واقعی از آپلودهای پرونده وردپرس ، یک سرویس حق بیمه مانند جلوگیری از دسترسی مستقیم طلا به شما توصیه می شود.

نتیجه

در مسابقه ای که در صفحه یکی از Google قرار دارد ، صاحبان مشاغل ممکن است آنچه را که موتورهای جستجو می توانند مشاهده کنند ، در نظر نگیرند. این که آیا شما رباتها را از یک پرونده خاص مسدود می کنید ، یک صفحه ورود به سیستم سفارشی را پنهان می کنید ، یا رمز عبوری از فهرستهای کاربری خصوصی محافظت می کنید … صفحات زیادی وجود دارد که هنگام ورود به موتورهای جستجو ، ایندکس کردن را در نظر نگیرند.

آیا سؤالی درباره محروم کردن محتوا از نتایج جستجو دارید؟ یا جلوگیری از ایندکس شدن فایلهای خاص؟ نظر را در زیر بگذارید!

Jeffrey Wilson Administrator
Sorry! The Author has not filled his profile.
follow me
    Like this post? Please share to your friends:
    Adblock
    detector
    map