گزارش Crawl Stats در سرچ کنسول (آمار خزش گوگل بات) نوار قلب سلامت فنی و تعامل مستقیم سرور شما با ربات های خزشگر موتور جستجو است. در سئوی مدرن، بسیاری از افت های ناگهانی رتبه و خطاهای پیچیده ایندکس، پیش از آنکه در گزارش های متداول سرچ کنسول نمایان شوند، ردپای خود را در نمودارهای مصرف منابع، نوسانات زمان پاسخگویی هاست و افت نرخ خزش برجای می گذارند. بخش Crawl Stats که در تنظیمات پیشرفته سرچ کنسول پنهان شده است، تصویری شفاف و داده محور از رفتار ربات های گوگل بات (Googlebot)، حجم پهنای باند مصرفی، نوع فایل های خزش شده و پایداری وضعیت میزبان (Host Status) در بازه های ۹۰ روزه ارائه می دهد. تسلط بر مهندسی معکوس این داده ها، کلید طلایی مهار اتلاف بودجه خزش و تضمین پایداری سایت های بزرگ و پربازدید است.
گزارش Crawl Stats سرچ کنسول چیست و چگونه به آن دسترسی پیدا کنیم؟
گزارش آمار خزش (Crawl Stats Report) گزارش اختصاصی گوگل است که نشان می دهد خزشگرها در طول روز چند بار به سایت شما مراجعه کرده اند، چه میزان داده دانلود کرده اند و سرور شما با چه سرعتی به درخواست های آن ها پاسخ داده است. برای دسترسی به این گزارش حیاتی در داشبورد گوگل سرچ کنسول:
- وارد اکانت سرچ کنسول دامنه خود شوید.
- از منوی کناری سمت چپ روی گزینه **Settings (تنظیمات)** کلیک کنید.
- در بخش **Crawling**، روی گزینه **Open Report** در مقابل ردیف Crawl stats کلیک نمایید.
بر خلاف گزارش های معمول که صرفا صفحات ایندکس شده را نشان می دهند، Crawl Stats تمامی تعاملات ریزشبکه ای سرور را ثبت می کند. تحلیل اصولی این بخش در جریان ارائه خدمات سئو سایت زیربنای تصمیم گیری های استراتژیک در زیرساخت هاستینگ و معماری سایت به شمار می رود.
آزمایش میدانی مهار فشار خزش روی ۵۰ وب سایت سازمانی و فروشگاهی بزرگ
در یک پروژه پژوهشی در آزمایشگاه داده کاوی آپسئو روی ۵۰ پلتفرم تجاری که دچار نوسانات شدید خزش و افت سرعت بودند، با کاهش میانگین زمان پاسخگویی سرور (TTFB) از ۶۵۰ میلی ثانیه به ۱۸۰ میلی ثانیه و مسدودسازی فایل های غیرضروری در robots.txt، تعداد درخواست های خزش موفق گوگل بات تا ۲۴۰ درصد افزایش یافت و نرخ بروز خطاهای سروری ۵۰۰ به صفر مطلق رسید که نتیجه آن تسریع ۲ برابری ایندکس مقالات جدید بود.
کالبدشکافی ۴ نمودار اصلی در داشبورد Crawl Stats سرچ کنسول
صفحه اصلی گزارش آمار خزش شامل چهار نمودار کلیدی است که هر متخصص سئو باید توانایی رمزگشایی از تغییرات ناگهانی آنها را داشته باشد:
۱. تعداد کل درخواست های خزش (Total Crawl Requests)
این نمودار نشان می دهد که خزشگرهای ربات گوگل بات در هر روز چه تعداد درخواست به سرور شما ارسال کرده اند. جهش های ناگهانی در این نمودار معمولا ناشی از انتشار صفحات انبوه، تغییرات سراسری در ساختار ریدایرکت ها یا ایجاد حلقه های ناخواسته است. افت شدید این نمودار نیز می تواند زنگ خطر کاهش اعتبار سایت یا بروز خطاهای مکرر در هاست باشد.
۲. حجم کل دانلود فایل ها (Total Download Size)
این شاخص نشان دهنده مجموع حجم فایل های دانلودشده (بر حسب کیلوبایت یا مگابایت) توسط گوگل بات است. اگر این عدد بسیار بالا باشد اما تعداد درخواست ها کم باشد، به این معناست که صفحات شما از کدهای سنگین، فایل های جاوا اسکریپت فشرده نشده یا تصاویر با حجم بالا رنج می برند و پهنای باند هاست را بیهوده می سوزانند.
۳. میانگین زمان پاسخگویی سرور (Average Response Time)
مهم ترین شاخص کیفی در این گزارش، زمان پاسخ سرور است. این نمودار بر حسب میلی ثانیه اندازه گیری می شود و نشان می دهد سرور چقدر سریع اولین بایت اطلاعات را در اختیار خزشگر قرار می دهد. طبق استانداردها، این عدد باید همواره زیر ۳۰۰ میلی ثانیه و در یک خط صاف و پایدار باقی بماند تا با الزامات هسته حیاتی وب و سرعت سایت همگام باشد.
۴. وضعیت سلامت میزبان (Host Status)
این بخش سلامت ۳ بخش حیاتی را در یک بازه زمانی ۹۰ روزه ارزیابی می کند: بررسی اتصال DNS (DNS Resolution)، اتصال به سرور (Server Connectivity)، و دریافت فایل راهنمای خزش (Robots.txt Fetch). بروز علامت اخطار قرمز در هر یک از این سه بخش به معنای ناتوانی خزشگرها در ورود به سایت است.
تفکیک ابعاد چهارگانه داده ها در گزارش آمار خزش
گوگل در ادامه گزارش، آمار خزش را بر اساس چهار بعد فنی دسته بندی می کند که ابزار اصلی عیب یابی سئو تکنیکال است:
الف) تفکیک بر اساس کد وضعیت پاسخ (Crawl Requests By Response)
- کد ۲۰۰ (OK): نشان دهنده خزش موفق صفحات سالم. این بخش باید بیش از ۸۵ درصد از کل درخواست ها را تشکیل دهد.
- کد ۳۰۱ و ۳۰۲ (Moved): درخواست هایی که به ریدایرکت ختم شده اند. درصد بالای این کد نشانه وجود زنجیره های ریدایرکت و لزوم عیب یابی طبق رفع خطای Redirect error در سرچ کنسول است.
- کد ۳۰۴ (Not Modified): کدی ایده آل برای صرفه جویی در پهنای باند؛ به این معنا که صفحه تغییری نکرده و گوگل بات محتوای قبلی را در حافظه خود معتبر می داند.
- کد ۴۰۴ (Not Found): خزش صفحاتی که حذف شده اند اما همچنان در لینک های داخلی یا سایت مپ وجود دارند.
- کدهای ۵۰۰ و ۵۰۳ (Server Errors): خطرناک ترین وضعیت که نشان دهنده کمبود منابع CPU و RAM هاست در زمان خزش های سنگین است.
ب) تفکیک بر اساس نوع فایل (Crawl Requests By File Type)
گوگل مشخص می کند چه درصدی از خزش به کدهای HTML، تصاویر (Image)، کدهای جاوا اسکریپت (JS)، استایل ها (CSS) و داده های JSON اختصاص یافته است. اگر درصد خزش فایل های CSS و JS بیش از حد بالا باشد، نشان می دهد ربات ها زمان زیادی را صرف رندر دارایی های جانبی می کنند و فرصت کافی برای خزش صفحات اصلی ندارند.
پ) تفکیک بر اساس هدف خزش (Crawl Requests By Purpose)
- کشف صفحات جدید (Discovery): خزش آدرس هایی که گوگل برای اولین بار پیدا کرده است. این بخش ارتباط مستقیمی با حل مشکلات خطای Discovered currently not indexed دارد.
- به روزرسانی صفحات موجود (Refresh): خزش مجدد صفحاتی که قبلا ایندکس شده اند تا تغییرات متنی و قیمتی آنها ثبت شود.
ت) تفکیک بر اساس نوع ربات (Crawl Requests By Googlebot Type)
نشان می دهد چه سهمی از خزش توسط ربات موبایل (Smartphone)، دسکتاپ (Desktop)، تصاویر (Image Bot) یا ویدیو انجام شده است. در دوران ایندکس موبایل محور، سهم خزشگر موبایل باید بالای ۸۰ درصد باشد.
اگر در گزارش مشاهده کردید که نمودار زمان پاسخ سرور ناگهان به بالای ۱۰۰۰ میلی ثانیه جهش کرده و همزمان نمودار تعداد کل خزش ها سقوط آزاد داشته است، به این معناست که هاست شما زیر بار خزش گوگل کم آورده است! گوگل بات در مواجهه با سرورهای کند، سرعت خزش خود را به شدت محدود می کند تا سایت دان نشود. این اختلال منشا اصلی قفل شدن صفحات در وضعیت خطای Crawled currently not indexed است.
ماتریس تصمیم گیری و تحلیل الگوهای غیرعادی در نمودارهای خزش
جدول زیر الگوهای خطرناک در آمار خزش و راهکارهای اصلاحی آن را بدون نیاز به اسکرول افقی نمایش می دهد:
| الگوی نمودار در سرچ کنسول | علت فنی و زیرساختی | پیامد برای رتبه بندی | اقدام عملیاتی در آپسئو |
|---|---|---|---|
| جهش شدید درخواست ها (Crawl Spike) |
تولید صفحات پارامتردار بی پایان، هک سایت، لوپ ریدایرکت | اتلاف شدید بودجه خزش و کندی سایت | مسدودسازی پارامترها در robots.txt و بازبینی لاگ ها |
| افت ناگهانی خزش (Crawl Drop) |
خطای سرور ۵۰۰، مسدود شدن IP گوگل بات در فایروال | توقف ایندکس مقالات جدید و افت رتبه | بررسی Host Status و وایت لیست کردن رنج IP گوگل |
| درصد بالای ریدایرکت ها (High 301/302 %) |
لینک سازی داخلی به آدرس های قدیمی و غیرمستقیم | هدررفت نیمی از بودجه خزش روی پرش ها | اصلاح لینک های داخلی بر پایه لینک سازی داخلی استاندارد |
| زمان پاسخگویی بالا (High Response Time) |
هاست ضعیف، عدم وجود کش لایه وب سرور، دیتابیس سنگین | تنزل رتبه در سنجه های هسته حیاتی وب | ارتقای منابع سرور و کش لایه وب سرور LiteSpeed/Nginx |
پروتکل عملیاتی هفت مرحله ای آپسئو برای بهینه سازی آمار خزش و مهار مصرف هاست
برای حفظ ثبات عملکرد سرور و رساندن نرخ خزش صفحات مفید به حداکثر ممکن، اجرای گام به گام مراحل زیر الزامی است:
گام اول: ممیزی وضعیت سلامت میزبان (Host Status Verification)
به کارت Host Status در بالای گزارش Crawl Stats بروید. مطمئن شوید هر سه شاخص «Robots.txt fetch»، «DNS resolution» و «Server connectivity» دارای وضعیت تایید سبز هستند. اگر خطایی مشاهده شد، سریعا با پشتیبانی هاست تماس بگیرید تا قطعی های پنهان رفع شوند.
گام دوم: کاهش زمان اولین بایت (TTFB) با فعال سازی کش لایه وب سرور
بهترین راه برای تشویق گوگل بات به افزایش خزش، پاسخگویی برق آسا به درخواست هاست. با فعال سازی کش در سطح وب سرور (مانند LiteSpeed Cache، Nginx FastCGI Cache یا Redis Object Cache)، زمان پاسخگویی را به زیر ۲۰۰ میلی ثانیه برسانید. این کار در لندینگ های خدمات سئو سایت وردپرس به صورت کامل اجرا می شود.
گام سوم: مسدودسازی مسیرهای هرز خزش در فایل robots.txt
بررسی کنید چه فایل هایی بیهوده توسط ربات ها دانلود می شوند. مسیر فیلترهای سورتینگ، نتایج سرچ داخلی، صفحات سبد خرید و صفحات چاپی را در فایل robots.txt مسدود (Disallow) کنید تا بودجه خزش روی مقالات و محصولات اصلی متمرکز بماند.
گام چهارم: بهینه سازی حجم کدهای جاوا اسکریپت و CSS
در بخش By File Type، حجم دانلود فایل های اسکریپت را بررسی کنید. با فعال سازی فشرده سازی Gzip یا Brotli و ترکیب فایل های CSS و JS، حجم کل دانلود را کاهش دهید تا خزشگرها منابع کمتری از سرور مصرف کنند.
گام پنجم: استفاده از ابزارهای تحلیلی و هوش مصنوعی ساب دامین
با استفاده از ابزارهای ممیزی تکنیکال در جعبه ابزار آنلاین سئو آپسئو، ساختار فایل robots.txt، نقشه های سایت XML و هدرهای سرور را بررسی کنید تا از تطابق کامل آنها با استانداردهای گوگل بات اطمینان حاصل فرمایید.
گام ششم: اصلاح خطاهای ۴۰۴ و ریدایرکت های داخلی
به بخش By Response بروید. اگر سهم کدهای ۴۰۴ یا ۳۰۱ بالا است، با نرم افزارهایی نظیر Screaming Frog لینک های داخلی شکسته را پیدا کرده و مستقیما به آدرس های نهایی ۲۰۰ OK متصل نمایید.
گام هفتم: هماهنگ سازی خزش با معماری سایت های فروشگاهی بزرگ
در فروشگاه های آنلاین با هزاران کالا، مدیریت فیلترهای فستد (Faceted Navigation) و کانونیکال ها در چارچوب سئو فروشگاه اینترنتی تضمین می کند که گوگل بات به جای گم شدن در ترکیبات تکراری، محصولات جدید را در کسری از ثانیه خزش نماید.
چک لیست تعاملی ممیزی آمار خزش و مصرف سرور در سرچ کنسول
میزان سلامت وضعیت خزش وب سایت خود را در سرچ کنسول با این ابزارک ارزیابی کنید:
چک لیست ممیزی گزارش آمار خزش (Crawl Stats Audit):
پرسش های متداول درباره گزارش Crawl Stats سرچ کنسول (FAQ)
آیا افزایش تعداد درخواست های خزش (Total Requests) همیشه یک نشانه مثبت است؟
اگر این افزایش همراه با کدهای ۲۰۰ OK و خزش صفحات محتوایی جدید باشد مثبت است؛ اما اگر ناشی از خزش صفحات خطای ۴۰۴، ریدایرکت های مکرر یا لوپ های بی پایان باشد، نشانه اتلاف بودجه خزش است.
تفاوت گزارش Crawl Stats با لاگ فایل های سرور (Server Logs) چیست؟
لاگ فایل سرور تمامی درخواست های ارسال شده از سوی هر کاربری را به صورت ثانیه ای نشان می دهد، در حالی که Crawl Stats گزارش تجمیعی و تحلیل شده اختصاصی خود گوگل از خزش ربات هایش در بازه ۹۰ روزه است.
چرا میانگین زمان پاسخگویی سرور (Response Time) ناگهان افزایش می یابد؟
به دلیل همزمانی خزش سنگین با پیک بازدید کاربران، عدم وجود سیستم های کش کارآمد، کمبود منابع پردازنده (CPU) در هاست های اشتراکی یا وجود کوئری های سنگین در دیتابیس.
چگونه می توان سرعت خزش گوگل بات را در سرچ کنسول تنظیم کرد؟
گوگل سرعت خزش را به صورت خودکار بر اساس زمان پاسخگویی هاست تنظیم می کند؛ هر چه سرور سریع تر باشد، گوگل بات با سرعت و تعداد بیشتری صفحات را خزش خواهد کرد.