موتورهای جستجو را از ایندکس کردن این طراحی وب سایت منصرف کنید معنی آن و نحوه استفاده از آن

اگر در بک ‌اند asp.net جستجو کرده باشید، ممکن است متوجه تنظیماتی شده باشید که می‌گوید «موتورهای جستجو طراحی وب سایت را از فهرست کردن این سایت منصرف کنید» و تعجب کرده‌اید که معنی آن چیست.

یا شاید به دنبال راهی برای مخفی کردن طراحی وب سایت خود از بازدیدکنندگان ناخواسته هستید و به این فکر می کنید که آیا این یک چک باکس کوچک برای حفظ امنیت محتوای طراحی وب سایت شما کافی است یا خیر.

این گزینه به چه معناست؟ دقیقا با طراحی وب سایت شما چه می کند؟ و چرا باید از تکیه بر آن اجتناب کنید - حتی اگر سعی دارید محتوای طراحی وب سایت خود را پنهان کنید؟

در اینجا پاسخ‌ها و چند روش دیگر برای فهرست ‌زدایی طراحی وب سایت و مسدود کردن دسترسی به صفحات طراحی وب سایت خاص وجود دارد.

فهرست مطالب طراحی وب سایت

• "منصرف کردن موتورهای جستجو از نمایه سازی این طراحی وب سایت " به چه معناست؟
• چگونه بررسی کنیم که آیا طراحی وب سایت شما موتورهای جستجو را دلسرد می کند یا خیر
• چگونه از نمایه سازی موتورهای جستجو در asp.net جلوگیری کنیم؟
• راه های دیگر برای جلوگیری از نمایه سازی موتورهای جستجو طراحی وب سایت

"منصرف کردن موتورهای جستجو از نمایه سازی این طراحی وب سایت " به چه معناست؟

آیا تا به حال به این فکر کرده اید که موتورهای جستجو چگونه طراحی وب سایت شما را ایندکس می کنند و سئوی طراحی وب سایت شما را می سنجند؟ آنها این کار را با یک برنامه خودکار به نام عنکبوت انجام می دهند که به عنوان ربات یا خزنده نیز شناخته می شود. عنکبوت ها در طراحی وب سایت "خزیدن" می کنند، از طراحی وب سایت ها بازدید می کنند و تمام محتوای طراحی وب سایت شما را ثبت می کنند.

گوگل از آنها برای تصمیم گیری در مورد نحوه رتبه بندی و قرار دادن طراحی وب سایت شما در نتایج جستجو استفاده می کند، تصاویر را از مقالات شما برای صفحه طراحی وب سایت نتایج جستجو می گیرد و تصاویر شما را به Google Images طراحی وب سایت می کشاند.

وقتی تیک «منصرف کردن موتورهای جستجو طراحی وب سایت از فهرست ‌بندی این طراحی وب سایت » را می ‌زنید، asp.net فایل robots.txt شما را تغییر می ‌دهد (فایلی که دستورالعمل ‌هایی را به عنکبوت‌ ها درباره نحوه خزیدن طراحی وب سایت شما می ‌دهد). همچنین می تواند یک متا تگ به هدر طراحی وب سایت شما اضافه کند که به گوگل و سایر موتورهای جستجو طراحی وب سایت می گوید هیچ محتوایی را در کل طراحی وب سایت شما فهرست نکنند.

کلمه کلیدی در اینجا "دلسردی" است: موتورهای جستجو طراحی وب سایت هیچ تعهدی برای رعایت این درخواست ندارند، به ویژه موتورهای جستجویی طراحی وب سایت که از دستور استاندارد robots.txt که گوگل استفاده می کند استفاده نمی کنند.

خزنده‌های طراحی وب سایت همچنان می ‌توانند طراحی وب سایت شما را پیدا کنند، اما خزنده‌ هایی که به درستی پیکربندی شده‌اند، robots.txt شما را می ‌خوانند و بدون ایندکس کردن محتوا طراحی وب سایت یا نمایش آن در نتایج جستجو، آن را ترک می ‌کنند.

در گذشته، این گزینه در asp.net، گوگل را از نمایش طراحی وب سایت شما در نتایج جستجو باز نمی داشت، فقط محتوای طراحی وب سایت آن را فهرست می کند. همچنان می ‌توانید ببینید که صفحات طراحی وب سایت شما در نتایج جستجو با خطای «هیچ اطلاعاتی برای این صفحه طراحی وب سایت در دسترس نیست» یا «توضیحاتی برای این نتیجه به دلیل robots.txt طراحی وب سایت موجود نیست» ظاهر می ‌شوند.

در حالی که گوگل صفحه طراحی وب سایت را ایندکس نمی کرد، آنها صفحه طراحی وب سایت را به طور کامل پنهان نکردند. این ناهنجاری باعث شد تا افراد بتوانند از صفحاتی که قرار نبودند ببینند بازدید کنند. به لطف asp.net 5.3، اکنون به درستی کار می کند و فهرست بندی و فهرست طراحی وب سایت را مسدود می کند.

می توانید تصور کنید که اگر به طور تصادفی آن را فعال کنید، چگونه سئوی طراحی وب سایت شما را از بین می برد. اگر واقعاً نمی‌خواهید کسی محتوای شما را ببیند، استفاده از این گزینه بسیار مهم است - و حتی در این صورت، ممکن است تنها معیاری نباشد که می‌ خواهید انجام دهید.

چرا ممکن است نخواهید طراحی وب سایت خود را ایندکس کنید؟

طراحی وب سایت ها برای دیده شدن توسط مردم ساخته شده اند. شما می خواهید که کاربران طراحی وب سایت مقالات شما را بخوانند، محصولات شما را بخرند، محتوای طراحی وب سایت شما را مصرف کنند - چرا عمدا سعی می کنید موتورهای جستجو طراحی وب سایت را مسدود کنید؟

چند دلیل وجود دارد که ممکن است بخواهید بخشی یا تمام طراحی وب سایت خود را مخفی کنید.

1- طراحی وب سایت شما در حال توسعه طراحی وب سایت است و برای بازدید عموم آماده نیست.

2-شما از asp.netبه عنوان یک سیستم مدیریت محتوا طراحی وب سایت استفاده می کنید اما می خواهید محتوای گفته شده را خصوصی نگه دارید.

3-شما سعی می کنید اطلاعات حساس را پنهان کنید.

4-شما می ‌خواهید که طراحی وب سایت شما فقط برای تعداد کمی از افراد دارای پیوند یا فقط از طریق دعوت‌ها قابل دسترسی باشد، نه از طریق صفحات طراحی وب سایت جستجوی عمومی.

5-شما می خواهید مقداری محتوا طراحی وب سایت را پشت یک دیوار پرداخت یا دروازه های دیگر قرار دهید، مانند مقالات انحصاری خبرنامه.

6-شما می خواهید ترافیک مقالات قدیمی و قدیمی را قطع کنید.

7-شما می خواهید از دریافت جریمه های سئو طراحی وب سایت در صفحات آزمایشی یا محتوای تکراری طراحی وب سایت جلوگیری کنید.

راه حل های بهتری برای برخی از این موارد وجود دارد - استفاده از یک سرور توسعه آفلاین مناسب، تنظیم مقالات خود به صورت خصوصی یا قرار دادن آنها در پشت رمز عبور - اما دلایل قانونی وجود دارد که ممکن است بخواهید بخشی یا تمام طراحی وب سایت خود را از فهرست خارج کنید.

چگونه بررسی کنیم که آیا طراحی وب سایت شما موتورهای جستجو را دلسرد می کند یا خیر

در حالی که ممکن است دلایل موجهی برای فهرست ‌گشایی طراحی وب سایت خود داشته باشید، اما اینکه بدانید این تنظیمات را بدون معنی روشن کرده ‌اید یا تصادفاً آن را روشن کرده‌ اید، می ‌تواند شوک وحشتناکی باشد. اگر ترافیک صفر دریافت می کنید و مشکوک هستید که طراحی وب سایت شما ایندکس نشده است، در اینجا نحوه تایید آن آمده است.

یک راه ساده این است که کادر «در یک نگاه» واقع در صفحه اصلی طراحی وب سایت داشبورد مدیریت خود را علامت بزنید. فقط وارد باطن خود شوید و کادر را علامت بزنید. اگر «موتورهای جستجو طراحی وب سایت دلسرد» را مشاهده کردید، می ‌دانید که آن تنظیم را فعال کرده‌ اید.

حتی یک راه مطمئن تر این است که robots.txt خود را بررسی کنید. شما به راحتی می توانید این موضوع را در مرورگر بدون حتی ورود به طراحی وب سایت خود تأیید کنید.

برای بررسی robots.txt، تنها کاری که باید انجام دهید این است که /robots.txt را به انتهای URL طراحی وب سایت خود اضافه کنید. به عنوان مثال: https://kinsta.com/robots.txt

اگر Disallow: / را مشاهده کردید، کل طراحی وب سایت شما از ایندکس شدن مسدود شده است.

اگر :Disallo به دنبال یک مسیر URL مانند Disallow: /wp-admin/ را مشاهده کردید، به این معنی است که هر URL طراحی وب سایت با مسیر wp-admin/ مسدود شده است. این ساختار برای برخی از صفحات طراحی وب سایت عادی است، اما اگر، برای مثال، / blog/ را مسدود کند که صفحات طراحی وب سایتی را که می‌خواهید فهرست شوند، مسدود می ‌کند، می ‌تواند مشکلاتی ایجاد کند!

اکنون که asp.net از متا تگ‌ها به جای robots.txt برای فهرست‌ گشایی طراحی وب سایت شما استفاده می ‌کند، باید هدر خود را نیز برای تغییرات بررسی کنید.

وارد باطن خود شوید و به Appearance > Theme Editor بروید. Theme Header (header.php) را پیدا کنید و به دنبال کد زیر بگردید:

همچنین می ‌توانید functions.php را برای تگ noindex بررسی کنید، زیرا می‌توانید از راه دور کد را از طریق این فایل در هدر وارد کنید.

اگر این کد را در فایل های تم خود پیدا کردید، طراحی وب سایت شما توسط گوگل ایندکس نمی شود. اما به جای حذف دستی، بیایید ابتدا تنظیمات اصلی را خاموش کنیم.

چگونه از نمایه سازی موتورهای جستجو در asp.net جلوگیری کنیم؟

اگر می ‌خواهید مراحل اضافی را نادیده بگیرید و مستقیماً به تنظیمات اصلی طراحی وب سایت بروید، در اینجا نحوه فعال یا غیرفعال کردن گزینه « Descourage search enginesدر asp.net آورده شده است.

وارد داشبورد asp.net خود شوید و به تنظیمات > خواندن بروید. به دنبال گزینه Search Engine Visibility با چک باکس با عنوان " Descourage motors search from indexing this site" باشید.

اگر متوجه شدید که این از قبل فعال است و می خواهید طراحی وب سایت شما ایندکس شود، علامت آن را بردارید. اگر می خواهید از ایندکس شدن طراحی وب سایت خود جلوگیری کنید، آن را بررسی کنید (و یادداشتی را در جایی یادداشت کنید که بعداً آن را خاموش کنید!).

اکنون روی Save Changes کلیک کنید، و شما آماده هستید. ممکن است کمی طول بکشد تا طراحی وب سایت شما دوباره فهرست شود یا از نتایج جستجو خارج شود.

اگر طراحی وب سایت شما هنوز فهرست ‌زدایی شده است، می ‌توانید کد noindex را از فایل هدر خود حذف کنید یا به صورت دستی robots.txt را ویرایش کنید تا پرچم «عدم اجازه» را حذف کنید.

بنابراین این به اندازه کافی ساده است، اما چه دلایلی وجود دارد که چرا باید از این گزینه اجتناب کنید، یا حداقل به طور کامل به آن اعتماد نکنید؟

معایب استفاده از گزینه Discourage Search Engines

ساده به نظر می رسد - یک چک باکس را علامت بزنید و هیچ کس نمی تواند طراحی وب سایت شما را ببیند. آیا این به اندازه کافی خوب نیست؟ چرا باید از استفاده از این گزینه به تنهایی اجتناب کنید؟

وقتی این تنظیم یا هر گزینه ای مانند آن را روشن می کنید، تنها کاری که انجام می دهد این است که یک برچسب به هدر یا robots.txt خود اضافه کنید. همانطور که در نسخه های قدیمی asp.net نشان داده شده است که همچنان به طراحی وب سایت شما اجازه می دهد در نتایج جستجو فهرست شود، یک نقص کوچک یا خطای دیگر می تواند منجر به دیدن صفحات طراحی وب سایت ظاهراً پنهان شما توسط افراد شود.

علاوه بر این، این کاملاً به موتورهای جستجو طراحی وب سایت بستگی دارد که درخواست خزیدن در طراحی وب سایت شما را رعایت کنند. موتورهای جستجوی اصلی طراحی وب سایت مانند گوگل و بینگ معمولاً این کار را انجام می دهند، اما همه موتورهای جستجو طراحی وب سایت از دستور robots.txt یکسان استفاده نمی کنند و همه عنکبوت هایی که در طراحی وب سایت می خزند توسط موتورهای جستجو ارسال نمی شوند.

به عنوان مثال، یکی از خدماتی که از خزنده های طراحی وب سایت استفاده می کند Wayback Machine است. و اگر محتوای طراحی وب سایت شما توسط چنین سرویسی نمایه شود، برای همیشه در طراحی وب سایت است.

ممکن است فکر کنید فقط به این دلیل که طراحی وب سایت جدید شما هیچ پیوندی به آن ندارد که از عنکبوت در امان است، اما این درست نیست. وجود روی یک سرور مشترک، ارسال ایمیل با پیوند به طراحی وب سایت شما، یا حتی بازدید از طراحی وب سایت خود در یک مرورگر (مخصوصا کروم) ممکن است طراحی وب سایت شما را در معرض خزیدن باز کند.

اگر می ‌خواهید محتوا طراحی وب سایت را پنهان کنید، اضافه کردن یک پارامتر ایده خوبی نیست و امیدواریم که این کار را انجام دهد.

و بیایید واضح بگوییم، اگر محتوایی طراحی وب سایت که فهرست‌ گشایی می ‌کنید ماهیت حساس یا شخصی دارد، برای پنهان کردن آن مطلقاً نباید به robots.txt یا متا تگ اعتماد کنید.

آخرین اما نه کم اهمیت، این گزینه به طور کامل طراحی وب سایت شما را از موتورهای جستجو طراحی وب سایت پنهان می کند، در حالی که بسیاری از اوقات شما فقط می خواهید صفحات طراحی وب سایت خاصی را از فهرست خارج کنید.

بنابراین به جای یا در کنار این روش چه کاری باید انجام دهید؟

راه های دیگر برای جلوگیری از نمایه سازی موتورهای جستجو طراحی وب سایت

در حالی که گزینه ارائه شده توسط asp.net معمولا کار خود را انجام می دهد، برای شرایط خاص، اغلب بهتر است از روش های دیگری برای پنهان کردن محتوا طراحی وب سایت استفاده کنید. حتی خود گوگل هم می گوید از robots.txt برای مخفی کردن صفحات طراحی وب سایت استفاده نکنید.

تا زمانی که طراحی وب سایت شما یک نام دامنه دارد و روی یک سرور عمومی قرار دارد، هیچ راهی برای تضمین دیده نشدن یا نمایه شدن محتوای طراحی وب سایت شما توسط خزنده ها وجود ندارد، مگر اینکه آن را حذف کنید یا پشت یک رمز عبور یا نیاز به ورود پنهان کنید.

با این حال، چه راه‌های بهتری برای مخفی کردن طراحی وب سایت یا صفحات خاصی در آن وجود دارد؟

موتورهای جستجو طراحی وب سایت را با htaccess مسدود کنید

در حالی که اجرای آن از نظر عملکردی مانند استفاده از گزینه "Descourage search engines" است، ممکن است بخواهید به صورت دستی از htaccess برای جلوگیری از نمایه سازی طراحی وب سایت خود استفاده کنید.

محافظت از صفحات حساس با رمز عبور

اگر مقالات یا صفحات طراحی وب سایت خاصی وجود دارد که نمی خواهید موتورهای جستجو طراحی وب سایت فهرست شوند، بهترین راه برای پنهان کردن آنها محافظت از طراحی وب سایت شما با رمز عبور است. به این ترتیب، فقط شما و کاربران طراحی وب سایتی که می خواهید می توانید آن محتوا را ببینید.

برای طراحی وب سایت تجارت الکترونیک خود به هاستینگ سریع، قابل اعتماد و کاملاً ایمن نیاز دارید؟ webever.ir همه اینها و پشتیبانی 24/7 در سطح جهانی را از کارشناسان WooCommerce ارائه می دهد. برنامه های ما را بررسی کنید

خوشبختانه، این قابلیت در asp.net تعبیه شده است، بنابراین نیازی به نصب هیچ پلاگینی نیست. فقط به صفحات طراحی وب سایت پست بروید و روی صفحه ای که می خواهید پنهان شود کلیک کنید. صفحه خود را ویرایش کنید و منوی Status and Visibility > Visibility را در سمت راست جستجو کنید.

اگر از گوتنبرگ استفاده نمی کنید، روند مشابه است. می توانید همین منو را در کادر انتشار پیدا کنید.

Visibility را به Password Protected تغییر دهید و یک رمز عبور وارد کنید، سپس ذخیره کنید - و محتوای طراحی وب سایت شما اکنون از دید عموم پنهان می شود.

اگر بخواهید از کل طراحی وب سایت خود با رمز عبور محافظت کنید چه؟ نیاز به رمز عبور برای هر صفحه طراحی وب سایت عملی نیست.

کاربران طراحی وب سایت webever.ir خوش شانس هستند: شما می توانید محافظت از رمز عبور را در Sites > Tools فعال کنید، که به نام کاربری و رمز عبور نیاز دارد.

در غیر این صورت، می توانید از یک افزونه محدودیت محتوا طراحی وب سایت (مثلاً محافظت شده با رمز عبور) استفاده کنید. لطفاً آن را نصب و فعال کنید، سپس به Settings > Password Protected رفته و Password Protected Status را فعال کنید. این به شما کنترل دقیق تری می دهد، حتی به شما امکان می دهد آدرس های IP خاصی را در لیست سفید قرار دهید.

یک افزونه asp.net نصب کنید

هنگامی که عملکرد پیش فرض asp.net کافی نیست، یک افزونه خوب اغلب می تواند مشکلات شما را حل کند.

به عنوان مثال، اگر می خواهید صفحات طراحی وب سایت خاصی را به جای کل طراحی وب سایت خود از فهرست خارج کنید، Yoast این گزینه را در اختیار دارد.

در Yoast SEO، می ‌توانید صفحه‌ طراحی وب سایت ای را که می ‌خواهید پنهان کنید باز کنید و به دنبال گزینه زیر تب Advanced بگردید: به موتورهای جستجو اجازه می‌دهید این پست را در نتایج جستجو نشان دهند؟ آن را به No تغییر دهید و صفحه طراحی وب سایت مخفی خواهد شد.

باید توجه داشته باشید که هر دوی این روش‌ها به روش‌های مشابه گزینه پیش‌ فرض asp.net برای جلوگیری از فهرست ‌سازی موتورهای جستجو طراحی وب سایت متکی هستند و در معرض همان نقص ‌ها هستند. برخی از موتورهای جستجو طراحی وب سایت ممکن است درخواست شما را رعایت نکنند. اگر واقعاً می ‌خواهید این محتوا طراحی وب سایت را کاملاً پنهان کنید، باید از روش‌های دیگری استفاده کنید.

راه حل دیگر این است که محتوای طراحی وب سایت خود را دیوار پرداخت کنید یا آن را در پشت یک لاگین مورد نیاز پنهان کنید. افزونه های Simple Membership یا Ultimate Member می توانند به شما در تنظیم محتوای عضویت رایگان یا پولی کمک کنند.

از یک طراحی وب سایت مرحله بندی برای تست استفاده کنید

هنگام کار بر روی پروژه های آزمایشی یا طراحی وب سایت های در حال پیشرفت، بهترین شرط شما برای پنهان نگه داشتن آنها استفاده از یک طراحی وب سایت مرحله بندی یا توسعه است. این طراحی وب سایت ها خصوصی هستند، اغلب بر روی یک دستگاه محلی میزبانی می ‌شوند که هیچ ‌کس جز شما و دیگرانی که اجازه داده‌اید نمی ‌توانند به آن دسترسی داشته باشند.

بسیاری از میزبان‌ های طراحی وب سایت ‌های استیجینگ با قابلیت استقرار آسان را در اختیار شما قرار می‌دهند و به شما اجازه می‌دهند زمانی که آماده هستید، آنها را به سرور عمومی خود هدایت کنید. Webever.ir یک طراحی وب سایت مرحله بندی webever.ir کلیک را برای همه برنامه ها ارائه می دهد.

می ‌توانید با رفتن به طراحی وب سایت ‌ها > اطلاعات و کلیک کردن روی منوی کشویی تغییر محیط، به طراحی وب سایت ‌های استیجینگ خود در webever.ir دسترسی پیدا کنید. روی محیط Staging و سپس دکمه Create a staging environment کلیک کنید. در عرض چند دقیقه، سرور توسعه طراحی وب سایت شما آماده و آماده آزمایش خواهد شد.

اگر به یک راه آسان برای ایجاد یک طراحی وب سایت استیجینگ دسترسی ندارید، افزونه WP STAGING می ‌تواند به شما کمک کند تا نصب خود را کپی کرده و آن را برای دسترسی آسان به یک پوشه منتقل کنید.

از کنسول جستجوی گوگل برای مخفی کردن موقت طراحی وب سایت ها استفاده کنید

کنسول جستجوی گوگل سرویسی است که به شما این امکان را می دهد که مالکیت طراحی وب سایت خود را ادعا کنید. با این قابلیت می ‌توان گوگل را از فهرست ‌بندی موقت صفحات خاص طراحی وب سایت مسدود کرد.

این روش چند مشکل دارد: این روش انحصاری گوگل است (بنابراین طراحی وب سایت هایی مانند Bing تحت تأثیر قرار نخواهند گرفت) و فقط 6 ماه دوام می آورد.

اما اگر می خواهید یک راه سریع و آسان برای خروج موقت محتوای طراحی وب سایت خود از نتایج جستجوی گوگل داشته باشید، این راه برای انجام آن است.

اگر قبلا این کار را نکرده اید، باید طراحی وب سایت خود را به کنسول جستجوی گوگل اضافه کنید. پس از انجام این کار، Removals را باز کنید و Temporary Removals > New Request را انتخاب کنید. سپس روی Remove this URL only کلیک کنید و صفحه طراحی وب سایت ای را که می خواهید پنهان کنید پیوند دهید.

این یک راه مطمئن تر برای مسدود کردن محتوا طراحی وب سایت است، اما باز هم، منحصراً برای Google کار می کند و فقط 6 ماه دوام می آورد.

خلاصه

دلایل زیادی وجود دارد که ممکن است بخواهید محتوا را در طراحی وب سایت خود مخفی کنید، اما تکیه بر گزینه "منصرف کردن موتورهای جستجو طراحی وب سایت از نمایه سازی این طراحی وب سایت " بهترین راه برای اطمینان از دیده نشدن چنین محتوایی نیست.

مگر اینکه بخواهید کل طراحی وب سایت خود را از طراحی وب سایت پنهان کنید، هرگز نباید روی این گزینه کلیک کنید، زیرا در صورت تغییر تصادفی می تواند به سئوی طراحی وب سایت شما آسیب زیادی وارد کند.

و حتی اگر می خواهید طراحی وب سایت خود را مخفی کنید، این گزینه پیش فرض یک روش غیرقابل اعتماد است. باید با محافظت از رمز عبور یا سایر مسدود کردن ها همراه شود، به خصوص اگر با محتوای حساس سر و کار دارید.

آیا از روش های دیگری برای مخفی کردن طراحی وب سایت یا بخش هایی از آن استفاده می کنید؟ در قسمت نظرات به ما اطلاع دهید.