چگونه با فایل Robots.txt دسترسی موتورهای جستجو را مدیریت کنیم؟

فایل robots.txt یک ابزار ساده ولی قدرتمند است که به موتورهای جستجو می‌گوید به کدام بخش‌های سایت شما دسترسی داشته باشند و کدام بخش‌ها را نادیده بگیرند. با استفاده صحیح از این فایل می‌توانید ایندکس شدن صفحات غیرضروری را کنترل کرده و عملکرد سئو سایت خود را بهبود دهید.

دستورات اصلی فایل Robots.txt

• دستورات disallow: به موتورهای جستجو می‌گوید که صفحات خاصی را نباید ایندکس کنند.
• دستورات allow: به موتورهای جستجو می‌گوید که صفحات خاصی را حتماً ایندکس کنند.

1. Disallow: مشخص می‌کند که کدام صفحات نباید ایندکس شوند.

User-agent: *
Disallow: /contact-us

2. Allow: مشخص می‌کند که کدام صفحات حتماً ایندکس شوند.

User-agent: *
Allow: /

نمونه کدهای متداول Robots.txt

مسدود کردن کل سایت:

User-agent: *
Disallow: /

اجازه کامل به همه ربات‌ها:

User-agent: *
Allow:

مسدود کردن یک فایل خاص:

User-agent: *
Disallow: /example/file.html

می‌توانید از دستورات disallow و allow را با هم در یک فایل robots.txt استفاده کنید. به عنوان مثال، دستور زیر از موتورهای جستجو می‌خواهد که صفحات تماس با ما و فهرست محصولات را ایندکس نکنند، اما صفحه اصلی را حتماً ایندکس کنند:

User-agent: *
Disallow: /contact-us
Disallow: /products
Allow: /

بستن فایل image در robots.txt

اگر می خواهید گوگل فایل تصاویر شما را در نتایج جستجو تصاویر نشان ندهد می توانید این را در robots.txt تنظیم کنید.

[code] Disallow: /images[/code]

نکات مهم در استفاده از Robots.txt

• robots.txt را همیشه در دایرکتوری ریشه سایت قرار دهید.
• دسترسی به فایل‌های ضروری مثل CSS و JS را مسدود نکنید.
• نقشه سایت (Sitemap) را در robots.txt اعلام کنید: Sitemap: https://example.com/sitemap.xml

اگر در ایجاد یا ویرایش فایل robots.txt خود مشکل دارید، می‌توانید از یک ابزار آنلاین ساخت فایل Robots.txt یا کمک از یک متخصص سئو استفاده کنید.