یکی از موارد ساده ولی بسیار مهم در سئو سایت ساخت robot.txt سایت هست که باعث میشه سایت به وسیله ربات های موتور های جستوجوگر مثل گوگل و بینگ بهتر ایندکس بشه.
اگر شما این فایل هم در سایتتون نداشته باشید باز هم ربات های گوگل سایت شما را بررسی میکنند اما شاید به دلیل اینکه تعیین نشده موارد ناخواسته ای از سایت را ایندکس کنند که تاثیر بدی به رتبه شما در گوگل بذاره. در ادامه مطلب به این مورد می پردازیم که چطور می توانیم یک فایل robot.txt استاندارد بسازیم.
وجود لینک های زیاد در صفحه باعث افت رنبه سئو میشه و تاثیر منفی داره برای جلوگیری از این تاثیرات منفی می توانید این صفحات را در robot.txt تعیین کنید تا توسط ربات موتور جستوجوگر بررسی نشود
برای اینکه تعیین کنید چه ربات هایی نباید سایت را بررسی کنند می توانید از دستور User-agent استفاده کنید. در سایت http://www.robotstxt.org/db.html تمامی ربات هایی که سایت ها را بررسی می کنند را آورده است و می توانید ربات های مورد نظر را محدود کنید.
robots-txt-and-seo-2.jpg
برای مخفی کردن تمامی تصاویر سایت از موتور جستوجوگر گوگل می توانید از کد زیر استفاده کنید.

User-agent: Googlebot-Image
Disallow: /

توحه کنید که این فایل به جروف بزرگ و کوچیک حساسه و ادرس صفحات باید بر این اساس ثبت بشن. این فایل با پسوند txt در روت سرور قرار میگیره و این قوانین و دستورات را برای ربات ها اجرا میکنه.