مشکلات رایج robots.txt و نحوه رفع آنها به سادگی

مشکلات رایج robots.txt در طراحی سایت؛ فایل robots.txt شما اولین ایستگاهی ست که خزنده های موتورهای جستجو از سایت شما بازدید می کنن. در سئو سایت شرکتی یا فروشگاهی هنگامی که فایل مشکلی داره، ممکن هست مشکلات فنی جدی در سئو ایجاد کنه که به رتبه شما آسیب برسونه یا بدتر. بنابراین، همیشه یک ایده عالی ست که هر مشکل robots.txt رو بلافاصله برطرف کنید .

لطفاً توجه داشته باشید اگر از افزونه رنک مثل استفاده میکنید این افزونه یک فایل robots.txt مجازی ایجاد می کنه و به شما امکان میده اون رو از طریق داشبورد وردپرس مدیریت کنید. و این بدان معنی ست که شما نیازی به فایل فیزیکی robots.txt در پوشه ریشه وب سایت خود ندارید.

در این مقاله از جرگه، برخی از مشکلات رایج robots.txt در حین استفاده از Rank Math و نحوه رفع اونها رو به شما نشان خواهیم داد.

فایل robots.txt قابل نوشتن نیست!

در تنظیمات ویرایش robots.txt، ممکن هست مانند تصویر زیر با پیغام خطای robots.txt is not writable file مواجه بشید.

این خطا زمانی نمایش داده میشه که Rank Math نتواند فایل robots.txt شما رو تغییر بده. برای حل این مشکل کد زیر رو به سایت خود اضافه کنید. به Rank Math اجازه میده تا فایل robots.txt شما رو ویرایش کنه. برای افزودن فیلتر به سایت خود می تونید به این راهنما مراجعه کنید.

در صورت تمایل، به فایل wp-config.php خود بروید و کد زیر رو جستجو کنید.

توجه: فایل wp-config رو در پوشه اصلی نصب وردپرس خود قرار خواهید داد. می تونید با یک برنامه FTP یا مستقیماً در cPanel به پوشه ریشه خود دسترسی پیدا کنید. اگه نمی تونید به فایل wp-config.php خود دسترسی پیدا کنید، باید برای پشتیبانی با هاست خود تماس بگیرید.

در صورت وجود کد، باید اون رو با کد زیر جایگزین کنید. اگه وجود نداره، کد زیر رو به فایل wp-config.php اضافه کنید.

URL robots.txt یک خطای 404 یا یک صفحه خالی را نشان می دهد!

Rank Math به طور خودکار یک فایل robots.txt در https://yourdomain.com/robots.txt ایجاد می کنه.

هنگامی که URL یک صفحه خالی یا یک خطای 404 رو نشون میده، ممکن هست نشان دهنده وجود یک فایل robots.txt دوم در فهرست اصلی سایت شما باشه. این فایل دیگر با فایل robots.txt Rank Math تداخل داره و باعث می‌شه URL robots.txt خطایی برگردونه.

برای تأیید اینکه سایت شما حاوی فایل robots.txt دیگری ست یا خیر، با استفاده از cPanel یا یک برنامه FTP وارد فهرست اصلی وردپرس خود بشید. اگه از cPanel استفاده می کنید، مانند تصویر زیر به FILES → File Manager برید.

directory ریشه سایت وردپرسی به شما نمایش داده می شه. مرحله بعدی این هست که بررسی کنید آیا فایلی به نام robots.txt در اون وجود داره یا خیر.

اگه فایل robots.txt موجود هست، اون رو انتخاب کرده و مانند شکل زیر روی Delete کلیک کنید.

پس از اتمام، کش وب سایت و سرور خود رو پاک کنید و URL robots.txt خود رو دوباره آزمایش کنید.

اگر directory شما حاوی فایل robots.txt نیست، ممکن هست با مشکلات تغییر مسیر مواجه شده باشید. برای حل این مشکل، قانون بازنویسی قابل اجرا رو به فایل .htaccess در سایت خود اضافه کنید. می تونید به این راهنما در مورد نحوه ویرایش فایل htaccess خود مراجعه کنید.

اگه سایت شما روی سرور Nginx اجرا می شه، کد زیر رو اضافه کنید.

اگه سایت شما روی سرور آپاچی اجرا می شه، کد زیر رو اضافه کنید.

تنظیمات Edit robots.txt وجود ندارد!

گزینه ویرایش فایل robots.txt در Rank Math SEO → General Settings → Edit robots.txt قرار داره، همانطور که در زیر نشان داده شده.

اگر گزینه Edit robots.txt نمایش داده نمی شه، شما از Rank Math در حالت Easy Mode استفاده می کنید. برای تغییر این مورد، به داشبورد وردپرس ← رنک مث بروید و حالت پیشرفته رو مانند تصویر زیر فعال کنید.

اکنون گزینه Edit robots.txt نمایش داده می شه.

 robots.txt گوگل رو از خزیدن در سایت شما مسدود می کنه!

اگر فکر می کنید فایل robots.txt شما مانع از خزیدن گوگل در سایت شما می شود، به ابزار تست روبات ها بروید. فایل robots.txt شما مانند تصویر زیر نمایش داده می شود.

اگه قبلاً از ابزار تست روبات استفاده کردید، ممکن هست نسخه قبلی فایل robots.txt شما نمایش داده شه. این نسخه ممکن هست با فایل robots.txt فعلی شما متفاوت باشه، به خصوص اگه فایل رو از آخرین بازدید خود به روز کرده باشید.

برای اطمینان از اینکه آخرین نسخه فایل robots.txt خود رو مشاهده می کنید، تأیید کنید که تاریخ و زمان کنونی در آخرین نسخه مشاهده شده در فیلد نمایش داده می شه. اگه تاریخ و زمان فعلی نمایش داده نشه، مطابق شکل زیر روی See live robots.txt کلیک کنید.

پس از اتمام، فایل robots.txt فعلی شما نمایش داده می شه. مرحله بعدی بررسی اینکه آیا فایل حاوی کد زیر هست یا خیر.

اگر کد فوق وجود دارد، باید فایل robots.txt خود رو ویرایش کنید تا اون رو حذف کنید. برای ویرایش robots.txt با رنک مث می تونید به این راهنما مراجعه کنید. اگه نمی تونید فایل robots.txt خود رو ویرایش کنید، می تونید برای عیب یابی به این راهنما مراجعه کنید.

همچنین می‌تونید از ابزار تست روبات‌ها برای بررسی اینکه آیا گوگل از خزیدن یک URL خاص در سایت شما مسدود شده ست استفاده کنید. برای انجام این کار، به پایین ابزار تست ربات بروید و URL رو در قسمت ارائه شده قرار دهید. پس از اتمام، روی TEST کلیک کنید.

همچنین باید توجه داشته باشید که نتیجه بر اساس فایل robot.txt نمایش داده شده در Robots Tester Tool هست. اگه این با فایل robots.txt فعلی شما متفاوت هست، ممکن هست نتیجه نادرست باشه.

اگر Google از خزیدن URL مسدود شده باشه، ابزار یک پیغام خطای BLOCKED رو برمی‌گردونه و قانون مسدود کردن رو برجسته می‌کنه، همانطور که در زیر نشان داده شده.

خطای Robots.txt در PageSpeed ​​Insights

اگر یک URL را در PageSpeed ​​Insights بررسی کنید، ممکن هست نشان بده که robots.txt معتبر نیست؛ Lighthouse نتونست پیام خطای فایل robots.txt رو دانلود کنه، همانطور که در زیر نشان داده شده.

این ممکن است زمانی اتفاق بیفته که از یک شبکه تحویل محتوا (CDN) مانند Cloudflare استفاده می کنید. Rank Math یک فایل robots.txt فیزیکی در سایت شما ایجاد نمی کنه. در عوض، زمانی که کاربر از URL robots.txt شما بازدید می کنه، فایل ایجاد و نمایش داده می شه. بنابراین اگه فایل robots.txt شما در https://yourdomain.com/robots.txt موجود هست، می تونید با خیال راحت این خطا رو نادیده بگیرید.

در صورت تمایل، می‌تونید کد زیر رو به فایل robots.txt خود اضافه کنید و دوباره اون رو در PageSpeed ​​Insights آزمایش کنید.

و اینها رفع مشکلات رایج robots.txt هستن که ممکن هست در سایت خود با اون مواجه شوید. امیدواریم بتونید مشکل robots.txt خود رو حل کنید. اگ سؤالی دارید، حتما برای ما کامنت کنید.