ساخت فایل Robots.txt

Robots.txt یکی از مهمترین فایلهای وب سایت است که با کوچکترین اشتباهی تمام تلاش های چند ساله شما را از بین میبرد. با توجه به اهمیت این فایل در سئو تکنیکال و تعیین وضعیت جلوگیری از ایندکس صفحات سایت در گوگل، در این مطلب قصد داریم نحوه ساخت فایل Robots.txt را به شما عزیزان آموزش دهیم.

فایل Robots.txt چیست؟

فایل روبوت Robots.txt ، به فایلی در سایت گفته میشود که وضعیت دسترسی خزنده های گوگل، به بخشهای مختلف سایت را تعیین میکند. در درجه اول، میتوانید تمام مطالبی که نمیخواهید توسط گوگل بررسی و ایندکس شوند را در این فایل فهرست کنید. علاوه بر این، برای برخی از موتورهای جستجو (نه گوگل) تعیین کنید که فایلهای مجاز را چگونه ایندکس کنند.

نکته مهم: برخی از موتورهای جستجوگر از قوانین تعیین شده در فایل robots.txt پیروی نمیکنند!! اما خوشبختانه گوگل یکی از آنها نیست.

فایل robots.txt سایت من کجاست؟

در صورتی فایل Robots.txt در پرونده های سایت شما موجود باشد، با طریق وارد کردن آدرس domain.com/robots.txt در مرورگر، تصویری مشابه با عکس زیر مشاهده خواهید کرد: