فایل robots.txt یک ابزار ساده ولی قدرتمند است که به موتورهای جستجو می‌گوید به کدام بخش‌های سایت شما دسترسی داشته باشند و کدام بخش‌ها را نادیده بگیرند. با استفاده صحیح از این فایل می‌توانید ایندکس شدن صفحات غیرضروری را کنترل کرده و عملکرد سئو سایت خود را بهبود دهید.
دستورات اصلی فایل Robots.txt
- دستورات disallow: به موتورهای جستجو می‌گوید که صفحات خاصی را نباید ایندکس کنند.
- دستورات allow: به موتورهای جستجو می‌گوید که صفحات خاصی را حتماً ایندکس کنند.
1. Disallow: مشخص می‌کند که کدام صفحات نباید ایندکس شوند.
User-agent: *
Disallow: /contact-us
2. Allow: مشخص می‌کند که کدام صفحات حتماً ایندکس شوند.
User-agent: *
Allow: /
نمونه کدهای متداول Robots.txt
مسدود کردن کل سایت:
User-agent: *
Disallow: /اجازه کامل به همه ربات‌ها:
User-agent: *
Allow:مسدود کردن یک فایل خاص:
User-agent: *
Disallow: /example/file.htmlمی‌توانید از دستورات disallow و allow را با هم در یک robots.txt استفاده کنید. به عنوان مثال، دستور زیر از موتورهای جستجو می‌خواهد که صفحات تماس با ما و فهرست محصولات را ایندکس نکنند، اما صفحه اصلی را حتماً ایندکس کنند:
User-agent: *
Disallow: /contact-us
Disallow: /products
Allow: /بستن فایل image در robots.txt
اگر می خواهید گوگل فایل تصاویر شما را در نتایج جستجو تصاویر نشان ندهد می توانید این را در robots.txt تنظیم کنید.
[code] Disallow: /images[/code]
نکات مهم در استفاده از Robots.txt
- robots.txt را همیشه در دایرکتوری ریشه سایت قرار دهید.
- دسترسی به فایل‌های ضروری مثل CSS و JS را مسدود نکنید.
- نقشه سایت (Sitemap) را در robots.txt اعلام کنید: Sitemap: https://example.com/sitemap.xml
خطرات و اشتباهات رایج در استفاده از robots.txt:
- مسدود کردن تمام سایت با Disallow: / به طور اشتباه.
- مسدود کردن فایل‌های حیاتی (.css, .js, فونت‌ها).
- استفاده نادرست از Wildcardها (* و $).
نحوه استفاده از Wildcard (* و $):
- مسدود کردن تمام URLهایی که شامل "sessionid" هستند: Disallow: /*sessionid*
- مسدود کردن تمام فایل‌های PHP در یک پوشه خاص: Disallow: /private/*.php
- مسدود کردن تمام URLهایی که با پسوند .jpg ختم می‌شوند: Disallow: /*.jpg$ (اگر نیاز باشد)
ارتباط robots.txt با سرعت سایت و منابع سرور:
- robots.txt می‌تواند به صورت غیرمستقیم روی سرعت سایت و بار سرور تأثیر بگذارد.
- ربات‌ها وقتی می‌خزند منابع سرور (CPU، پهنای باند) را مصرف می‌کنند.
- اگر ربات‌ها را از خزش صفحات بی‌فایده یا تکراری مسدود کنید، آنها کمتر در این صفحات وقت و انرژی صرف می‌کنند.
- این به نوبه خود بار روی سرور شما را کاهش می‌دهد و می‌تواند منجر به کمی بهبود در سرعت پاسخگویی سرور برای کاربران واقعی شود.
اگر در ایجاد یا ویرایش فایل robots.txt خود مشکل دارید، می‌توانید از یک ابزار آنلاین ساخت فایل Robots.txt یا کمک از یک متخصص سئو استفاده کنید.
🎛️ ابزار حرفه‌ای ساخت فایل robots.txt
📄 فایل robots.txt:
آیا فایل robots.txt می‌تواند از ایندکس شدن صفحات جلوگیری کند؟
خیر، فایل robots.txt فقط خزیدن را متوقف می‌کند. برای جلوگیری از ایندکس شدن باید از متا تگ noindex استفاده کنید.
آیا ربات‌ها همیشه از دستورات فایل robots.txt پیروی می‌کنند؟
خیر، برخی ربات‌های مخرب ممکن است دستورات را نادیده بگیرند. برای حفاظت بیشتر از سرور و فایل‌ها از تنظیمات امنیتی استفاده کنید.
چگونه می‌توانم بررسی کنم که فایل robots.txt من به‌درستی کار می‌کند؟
برای بررسی عملکرد صحیح فایل robots.txt خود، می‌توانید از ابزارهایی مانند Google Search Console استفاده کنید. این ابزار به شما کمک می‌کند تا مطمئن شوید که تنظیمات فایل شما درست هستند و هیچ مشکلی در ایندکس شدن صفحات مهم وجود ندارد. همچنین، می‌توانید فایل خود را در ابزارهای آنلاین رایگان بررسی کنید تا مطمئن شوید دستورات به‌درستی وارد شده‌اند.
چگونه می‌توانم یک ربات خاص را مسدود کنم؟
برای مسدود کردن یک ربات خاص، از دستور User-agent به همراه نام ربات استفاده کنید، و سپس دستور Disallow را برای مشخص کردن URLهایی که نباید خزش شوند، اضافه کنید. به عنوان مثال:User-agent: BadBot Disallow: /
آیا می‌توانم فایل robots.txt را برای زیردامنه‌ها (Subdomains) استفاده کنم؟
بله، هر زیردامنه به فایل robots.txt جداگانه خود نیاز دارد. به عنوان مثال، فایل robots.txt برای blog.example.com باید در ریشه آن زیردامنه (blog.example.com/robots.txt) قرار گیرد.
اگر robots.txt نداشته باشم چه اتفاقی می‌افتد؟
اگر فایل robots.txt نداشته باشید، ربات‌های موتورهای جستجو به طور پیش‌فرض اجازه دارند تمام صفحات وب‌سایت شما را خزش و ایندکس کنند. این ممکن است همیشه مطلوب نباشد، به خصوص اگر صفحات خاصی دارید که نمی‌خواهید در نتایج جستجو ظاهر شوند.
آیا استفاده از Allow در robots.txt ضروری است؟
استفاده از دستور Allow در فایل robots.txt دیگر توصیه نمی‌شود و توسط گوگل پشتیبانی نمی‌شود. بهتر است به جای استفاده از Allow، فقط URLهایی را که می‌خواهید ربات‌ها خزش نکنند، در دستور Disallow مشخص کنید.
