اگه هشدار ایمیلی دریافت کردید یا متوجه خطا Indexed, though blocked by robots.txt در سرچ کنسول Google خود، همانطور که در زیر نشان داده شده ست، متوجه شدید، در این مقاله جرگه، نحوه عیب‌یابی این خطا رو به شما نشان خواهیم داد. همراه این مقاله طراحی سایت ما باشید…

خطای Indexed, though blocked by robots.txt به چه معناست؟

به زبان ساده این خطا به این معنی ست که گوگل صفحه شما رو پیدا کرده و در نتایج جستجو فهرست کرده.
اما پس از اون، یک قانون نیز در robots.txt پیدا کرده که دستور میده صفحه رو از خزیدن نادیده بگیرید.
حالا که گوگل در مورد ایندکس کردن یا عدم ایندکس کردن صفحه سردرگم شده، به سادگی یک هشدار در کنسول جستجوی گوگل ارسال می کنه. به طوری که شما می تونید به این موضوع توجه کنید و یه کاری براش انجام بدید!😒

هنگامی که صفحه رو به قصد جلوگیری از ایندکس شدن صفحه مسدود کردید، باید این رو بدونید؛ اگرچه گوگل در بیشتر موارد به robots.txt احترام می گذاره، اما این به تنهایی نمی تونه از ایندکس شدن صفحه جلوگیری کنه. دلایل زیادی می تونه وجود داشته باشه، مانند یک سایت خارجی که به صفحه مسدود شده شما لینک میده و در نهایت باعث میشه Google صفحه رو با اطلاعات کمی در دسترس فهرست کنه.

از طرف دیگر، اگه صفحه قرار هست ایندکس بشه اما به طور تصادفی توسط robots.txt مسدود شده، باید صفحه رو از robots.txt رفع انسداد کنید تا مطمئن بشید که خزنده‌های گوگل قادر به دسترسی به صفحه هستن.

اکنون که ایدئولوژی اصلی پشت این هشدار رو دریافت کردید، با توجه به CMS و پیاده سازی فنی، دلایل عملی پشت این هشدار می تونه زیاد باشه. از این رو، در این مقاله روشی جامع برای تشخیص خطا و رفع این هشدار رو بررسی خواهیم کرد. همراه ما باشید.

ریپورت را از Google Search Console خارج کنید

برای وب‌سایت‌های کوچک، ممکن هست تنها تعداد انگشت شماری URL تحت این هشدار داشته باشید. با این حال، اکثر وب سایت های پیچیده و سایت های تجارت الکترونیک مسلماً صدها یا حتی هزاران URL دارن. در حالی که استفاده از GSC برای مرور همه پیوندها امکان پذیر نیست، می تونید گزارش رو از سرچ کنسول Google صادر کرده و اون رو با یک ویرایشگر صفحه گسترده باز کنید.

کافی ست روی هشداری که در قسمت داشبوردGoogle Search Console Dashboard → Pages → Why pages aren’t indexed کلیک کنید.

در صفحه بعد، می‌تونید با کلیک روی گزینه Export موجود در گوشه بالا سمت راست، همه URL‌های مربوط به این هشدار رو صادر کنید. از لیست گزینه های ارسال شده، می تونید انتخاب کنید که فایل رو با ویرایشگر صفحه مورد نظر خود دانلود و باز کنید.

اکنون که URL ها رو در آوردید، اولین چیزی که باید با نگاه کردن به اونها بفهمید این هست که آیا صفحه باید ایندکس بشه یا نه. مسیر اکشن فقط به پاسخ شما بستگی داره.

صفحه ها برای ایندکس شدن

اگه تشخیص دادید که صفحه قرار هست ایندکس بشه، باید robots.txt خودتون رو آزمایش کنید و قوانینی رو که مانع از خزیدن Googlebot در اون میشه، شناسایی کنید.

برای اشکال‌زدایی فایل robots.txt، می‌تونید دقیقاً مراحلی رو که در زیر توضیح داده شده، دنبال کنید.

تستر robots.txt را باز کنید

ابتدا به تست robots.txt برید. در اینجا چیزی هست که به نظر میرسه میتونه مشکل شما رو حل کنه.

3.2 URL سایت خود را وارد کنید

سپس، گزینه ای برای وارد کردن URL از وب سایت خود برای آزمایش پیدا خواهید کرد. در اینجا، یک URL از spreadsheet که قبلا دانلود کرده‌ایم اضافه می‌کنید.

User-Agent را انتخاب کنید

بعد، فلش کشویی رو خواهید دید. روی آن کلیک کنید و عامل کاربری رو که می خواهید شبیه سازی کنید (در مورد ما Googlebot) انتخاب کنید.

اعتبارسنجی Robots.txt

در نهایت روی دکمه TEST کلیک کنید.

اگه به URL بر اساس پیکربندی robots.txt دسترسی داشته باشه، خزنده فوراً اعتبارسنجی می‌کنه و بر این اساس آزمایش رو پردازش می‌کنه و پس از اتمام آزمایش، یک پیام موفقیت آمیز نمایش می‌ده.

ویرایشگر کد موجود در مرکز صفحه همچنین رول ها رو در robots.txt شما که دسترسی رو مسدود می کنه، همانطور که در زیر نشان داده شده، برجسته می کنه.

ویرایش و اشکال زدایی

اگر تستر robots.txt رول هایی رو پیدا کرد که از دسترسی جلوگیری می‌کنه، می‌تونید رول رو درست در داخل ویرایشگر کد ویرایش کنید و سپس یه بار دیگه آزمایش رو اجرا کنید.

اگر رول رو اصلاح کردید، عالی ست. اما لطفاً توجه داشته باشید که این یک ابزار اشکال‌زدایی ست و هرگونه تغییری که در اینجا ایجاد می‌کنید در robots.txt وب‌سایت شما منعکس نمی‌شه؛ مگر اینکه محتوا رو در robots.txt وب‌سایت خود کپی و جای‌گذاری کنید.

اگه در ویرایش robots.txt با مشکلی مواجه شدید، لطفاً با پشتیبانی تماس بگیرید.

ویرایش Robots.txt

بنابراین برای افزودن رول های اصلاح شده در robots.txt، به  Rank Math SEO → General Settings → Edit robots.txt در قسمت مدیریت وردپرس خود برید. اگه این گزینه برای شما در دسترس نیست، مطمئن بشید که از حالت پیشرفته در رنک مث استفاده می کنید.

در ویرایشگر کدی که در وسط صفحه شما موجود هست، کدی رو که از robots.txt کپی کردید جای‌گذاری کنید. تست کنید و سپس روی دکمه Save Changes کلیک کنید تا تغییرات منعکس بشه.

صفحه هایی که ایندکس نمی شوند!

اگه تشخیص میدید که صفحه قرار نیست ایندکس بشه، اما گوگل اون رو ایندکس کرده، می تونه یکی از دلایلی باشه که در زیر به اون پرداخته ایم.

صفحات Noindex مسدود شده از طریق Robots.txt

هنگامی که یه صفحه نباید در نتایج جستجو ایندکس بشه، باید با دستور Robots Meta نشان داده بشه و نه از طریق قانون robots.txt.

فایل robots.txt فقط حاوی دستورالعمل هایی برای خزیدن هست. به یاد داشته باشید، خزیدن و نمایه سازی دو فرآیند مجزا هستن.

جلوگیری از خزیدن یک صفحه ≠ جلوگیری از ایندکس شدن یک صفحه

بنابراین، برای جلوگیری از ایندکس شدن یک صفحه، می‌تونید با استفاده از Rank Math یک No Index Robots Meta اضافه کنید.

اما پس از اون، اگه یک متای No Index Robots اضافه کنید و همزمان موتور جستجو رو از خزیدن در این URL ها مسدود کنید، از نظر فنی، به Googlebot اجازه نمیدید که بخزه و بدونه که صفحه دارای یک Meta No Index Robots هست.

در حالت ایده‌آل، باید به Googlebot اجازه بدید تا در این صفحات بخزه و بر اساس No Index Robots Meta، گوگل صفحه رو از فهرست حذف می‌کنه.

توجه: از robots.txt فقط برای مسدود کردن فایل‌ها (مانند تصاویر، فایل‌های PDF، فیدها و غیره) استفاده کنید، جایی که امکان اضافه کردن No Index Robots Meta وجود نداره.

لینک های خارجی به صفحات مسدود شده

صفحاتی که شما از طریق robots.txt غیرمجاز کردید ممکن هست لینک هایی از سایت های خارجی داشته باشن. سپس Googlebot در نهایت سعی می کنه صفحه رو فهرست کنه.

از اونجایی که ربات‌ها رو از خزیدن در صفحه منع کردید، Google اون رو با استفاده از اطلاعات محدود موجود از صفحه پیوند داده شده ایندکس می‌کنه.

برای حل این مشکل، ممکن هست در نظر داشته باشید که با آن سایت تماس بگیرید و درخواست کنید لینک رو به یک URL مرتبط تر در وب سایت خود تغییر بدهند.

تأیید اعتبار در سرچ کنسول گوگل

هنگامی که مشکلات URL ها رو برطرف کردید، به هشدار سرچ کنسول گوگل برگردید و سپس روی دکمه Validate Fix کلیک کنید. حالا گوگل این URL ها رو دوباره بررسی می کنه و در صورت رفع خطا، خطا رو حذف میکنه.

خطا Indexed, though blocked by robots.txt رو میتونید به همین سادگی رفع کنید و از یک طراحی سایت شرکتی و یا فروشگاهی لذت ببرید. هر سوالی در این زمینه دارید برای ما کامنت کنید و بگید به نظر شما بهترین راه رفع این خطا چیه؟