خطای Discovered - currently not indexed (شناسایی شده - در حال حاضر ایندکس نشده است) یکی از مبهم ترین و فلج کننده ترین وضعیت های گزارش Page Indexing در گوگل سرچ کنسول است که نشان دهنده مسدود شدن صفحات در صف انتظار خزش گوگل است. در این حالت، موتور جستجو از وجود صفحه شما باخبر شده است (مثلا از طریق نقشه سایت یا یک پیوند داخلی آدرس را پیدا کرده است)، اما به دلیل محدودیت بودجه خزش، کندی پاسخ دهی سرور یا ضعف در سیگنال های اولیه اعتبار، تصمیم گرفته است خزش آن را به تعویق بیندازد و حتی زحمت دانلود کدهای صفحه را به خود نداده است. بر خلاف وضعیت هایی که بعد از خزش رخ می دهند، این خطا ریشه در گلوگاه های عمیق معماری سایت، پرفورمنس هاست و استراتژی توزیع پیج رنک دارد. تسلط بر مهندسی رفع این خطا، قفل ورود هزاران صفحه سرگردان را به دیتابیس نتایج جستجو در سال ۲۰۲۶ باز می کند.
مفهوم عمیق خطای Discovered - currently not indexed در سرچ کنسول چیست؟
برای درک این که چرا گوگل آدرسی را کشف می کند اما وارد آن نمی شود، باید سیستم مدیریت صف خزش (Crawl Queue) موتور جستجو را کالبدشکافی کنیم. گوگل برای هر وب سایت در جهان دو فاکتور اساسی تعریف می کند: اول، ظرفیت خزش مجاز میزبان (Host Load Capacity) که نشان می دهد سرور شما بدون کند شدن توان پاسخگویی به چند درخواست همزمان ربات ها را دارد؛ و دوم، تقاضای خزش (Crawl Demand) که نشان دهنده میزان اشتیاق و محبوبیت محتوای شما در چشمان هوش مصنوعی است.
هنگامی که آدرسی در وضعیت Discovered - currently not indexed قرار می گیرد، گوگل پیام روشنی می دهد: «من آدرس را در لیست کارهای خود یادداشت کرده ام، اما تقاضای خزش یا توان میزبانی سایت به اندازه ای نیست که اولویت بازدید فوری از این صفحه را توجیه کند». اگر صفحات شما ماه ها در این صف خاک بخورند، عملا هیچ ترافیکی جذب نخواهند کرد. شناخت ریشه های این اختلال در فرآیند اجرای خدمات سئو سایت عاملی تعیین کننده برای جلوگیری از حبس شدن بودجه خزش است.
آزمایش میدانی آزادسازی ۱۲۰۰ صفحه قفل شده در صف Discovered - currently not indexed
در یک پروژه مهندسی در آزمایشگاه داده کاوی آپسئو روی ۱۲۰۰ آدرس گرفتار در وضعیت شناسایی شده اما خزش نشده در ۸ پلتفرم فروشگاهی و محتوایی بزرگ، سه اقدام ساختاری شامل «کاهش زمان پاسخ اولیه سرور (TTFB) به زیر ۳۰۰ میلی ثانیه»، «پالایش فایل robots.txt و بستن مسیرهای هرز خزش» و «کوتاه کردن عمق کلیک صفحات به کمتر از ۳ کلیک» انجام شد. نتایج نشان داد که نرخ خزش روزانه گوگل بات تا ۳۴۰ درصد افزایش یافت و ۹۱ درصد از صفحات ظرف مدت ۲۵ روز وارد چرخه خزش و ایندکس رسمی شدند.
کالبدشکافی شش دلیل فنی و زیرساختی برای توقف صفحه در صف Discovered
چرا گوگل بات صفحه ای را می شناسد اما وارد آن نمی شود؟ شش عامل بنیادین در معماری فنی و محتوایی مسبب این اتفاق هستند:
۱. فشار بالا بر سرور و زمان پاسخگویی طولانی (High TTFB & Server Latency)
اگر هاست یا سرور شما ضعیف باشد و زمان ارسال اولین بایت (Time to First Byte) بالایی داشته باشد، گوگل بات برای جلوگیری از از کار افتادن سایت شما، به صورت خودکار سرعت خزش را کاهش می دهد. در این حالت، هزاران صفحه جدید شناسایی می شوند اما در صف انتظار باقی می مانند. این گلوگاه با نظارت مداوم بر تحلیل لاگ فایل سرور قابل کشف و اصلاح است.
۲. هدررفت بودجه خزش توسط پارامترها و صفحات بی ارزش (Crawl Budget Dilution)
اگر سایت شما دارای فیلترهای جستجوی چندگانه، برچسب های بی محتوا، یا صفحات آرشیو پارامتردار باشد، خزشگرها وقت خود را صرف گشتن در این صفحات کم ارزش می کنند و بودجه خزش برای مقالات و محصولات اصلی به پایان می رسد؛ موضوعی که پیوند مستقیمی با پاکسازی محتوای بی کیفیت و لاغر دارد.
۳. عمق کلیک زیاد و ضعف در معماری ساختار درختی (Deep Click Depth)
اگر برای رسیدن به یک صفحه از صفحه اصلی سایت نیاز به بیش از ۳ یا ۴ کلیک متوالی باشد، گوگل آن صفحه را فاقد اولویت تلقی می کند. ساختار لینک سازی درونی باید طبق اصول تدوین شده در معماری و ساختار سایت در سئو به صورت فلت (Flat Architecture) مهندسی شود.
۴. ارسال انبوه صفحات جدید روی دامنه های تازه تاسیس (Domain Crawl Limits)
دامنه های جدید دارای سنجه اعتبار محدودی هستند. طبق محاسبات ماژول اعتبار کل دامنه (siteAuthority)، اگر سایتی تازه کار ناگهان ۵۰۰۰ صفحه در یک روز به نقشه سایت اضافه کند، گوگل بات توانایی پردازش یکباره آن را ندارد و ۹۰ درصد صفحات را در وضعیت Discovered متوقف می سازد.
۵. ارسال آدرس های غیرضروری در نقشه سایت XML (Bloated Sitemap)
اگر فایل `sitemap.xml` سایت شما حاوی صفحاتی با کدهای ریدایرکت ۳۰۱، خطاهای ۴۰۴ یا صفحات نوایندکس باشد، اعتماد گوگل بات به نقشه سایت مخدوش شده و پردازش یو آر ال های جدید نقشه با تاخیرهای طولانی مواجه می شود.
۶. عدم وجود لینک های داخلی متنی (Zero Inbound Internal PageRank)
صفحه ای که صرفا در نقشه سایت قرار دارد اما از هیچ کجای بدنه مقالات یا صفحات فعال سایت پیوند داخلی دریافت نکرده است، یک صفحه ضعیف تلقی می شود. تقویت پیوندها بر پایه استانداردهای لینک سازی داخلی اصولی سریع ترین محرک بیداری خزشگرها است.
برخی سئوکاران هنگام مواجهه با این خطا، از اسکریپت های نامعتبر ارسال انبوه به Google Indexing API برای صفحات غیراستخدامی و غیرخبری استفاده می کنند. ارسال هرزنامه ای هزاران درخواست به API بدون ارتقای توان سرور و ساختار سایت، باعث بسته شدن دسترسی API یا ثبت جریمه های خودکار در سیستم رتبه بندی محتوای مفید گوگل می شود. راهکار اصلی، اصلاح زیرساخت و لینک سازی داخلی است.
تفاوت های کلیدی Discovered در برابر Crawled در سرچ کنسول
جدول مقایسه ای زیر مرزبندی دقیق میان این دو خطای شاخص را برای تصمیم گیری فنی مدیران سئو مشخص می کند:
| شاخص فنی | خطای Discovered - currently not indexed | خطای Crawled - currently not indexed |
|---|---|---|
| مرحله توقف | قبل از خزش؛ ربات هنوز صفحه را باز و دانلود نکرده است. | بعد از خزش؛ ربات صفحه را خوانده اما کیفیت را تایید نکرده است. |
| ریشه اصلی مشکل | کمبود بودجه خزش، کندی TTFB سرور، عمق زیاد لینک ها. | کیفیت محتوا، تکراری بودن متن، هم نوع خواری کلمات. |
| ارتباط با مقاله متناظر | نیازمند بهینه سازی ساختار و سرور | بررسی شده در رفع خطای Crawled currently not indexed |
| نخستین اقدام درمانی | کوتاه کردن عمق کلیک، اتصال لینک از صفحات اصلی، ارتقای سرور. | بازنویسی متن، افزودن ارزش افزوده و ادغام صفحات هم پوشان. |
ماتریس تصمیم گیری و عیب یابی بر اساس الگوی رفتاری سایت
راهنمای زیر مشخص می کند که در هر سناریو، چه اقدامی خطای Discovered را ریشه کن می کند:
| سناریوی بروز خطا در سایت | علت اصلی در لایه زیرساخت | ابزار پایش و ارزیابی | دستورالعمل رفع مشکل در آپسئو |
|---|---|---|---|
| فروشگاه های بزرگ با فیلترهای زیاد | هدررفت خزش روی ترکیبات بی ارزش فیلتر کالا | تنظیمات URL Parameters و robots.txt | بستن پارامترها در سئو فروشگاه اینترنتی |
| سایت های با هاست اشتراکی و کند | افزایش شدید TTFB در زمان خزش همزمان | گزارش Crawl Stats در سرچ کنسول | ارتقای هاست، فعال سازی کش سرور و کلودفلر |
| مقالات جدید وبلاگ های شرکتی | قرار داشتن صفحه در عمق ۴ کلیک و بدون لینک | ابزارهای خزش نظیر Screaming Frog | درج لینک از صفحه اصلی و مقالات پربازدید |
| دامنه های تازه تاسیس وردپرسی | ارسال یکباره هزاران محصول بدون اعتبار دامنه | ابزارهای سئو در جعبه ابزار آنلاین آپسئو | انتشار تدریجی و اجرای خدمات سئو سایت وردپرس |
پروتکل عملیاتی هفت مرحله ای آپسئو برای رفع خطای Discovered - currently not indexed
برای خارج کردن صفحات از صف انتظار و هدایت ربات های گوگل بات به سمت خزش فوری، اجرای دقیق این مراحل الزامی است:
گام اول: کاهش زمان پاسخگویی سرور (TTFB) و افزایش کشش هاست
به بخش **Settings > Crawl stats** در سرچ کنسول بروید. نمودار «Average response time» را بررسی کنید. اگر این عدد بالای ۵۰۰ میلی ثانیه است، سرور شما در حال ارسال سیگنال خستگی به گوگل است. با ارتقای منابع سرور، استقرار کش لایه وب سرور (مانند LiteSpeed Cache یا Nginx FastCGI) و بهینه سازی دیتابیس، این زمان را به زیر ۲۰۰ میلی ثانیه برسانید تا شاخص های هسته حیاتی وب و پرفورمنس سبز شوند.
گام دوم: مسدودسازی مسیرهای اتلاف خزش در فایل robots.txt
تمام مسیرهایی را که صفحات زاید تولید می کنند (مانند صفحات جستجوی داخلی `/search/`، فیلترهای سورتینگ `?sort=`، پارامترهای پیجینیشن عمیق و برچسب های خالی) در فایل robots.txt مسدود (Disallow) کنید تا ربات های خزشگر گوگل بات انرژی خود را صرف صفحات اصلی نمایند.
گام سوم: بازسازی معماری لینک های داخلی و کاهش عمق کلیک (Click Depth)
ساختار سایت را به گونه ای تنظیم کنید که مهم ترین مقالات و محصولات با حداکثر ۲ تا ۳ کلیک از صفحه اصلی در دسترس باشند. ایجاد بخش های «جدیدترین مقالات»، «محصولات مرتبط» و بردکرامب استاندارد (Breadcrumbs) دسترسی خزشگرها را هموار می سازد.
گام چهارم: تزریق پیج رنک از صفحات فعال با فرکانس خزش بالا
صفحاتی در سایت شما وجود دارند که گوگل بات هر روز یا حتی هر چند ساعت یک بار به آن ها سر می زند (مانند صفحه اصلی و مقالات پربازدید). با اضافه کردن لینک مستقیم درون متنی از این صفحات داغ به آدرس های گرفتار در خطای Discovered، ربات ها در همان لحظه متوجه اهمیت صفحه شده و بلافاصله آن را خزش می کنند.
گام پنجم: پاکسازی و بهینه سازی نقشه سایت XML (Clean XML Sitemap)
نقشه سایت خود را بررسی کنید. مطمئن شوید که فقط و فقط آدرس های سالم با کد وضعیت ۲۰۰ OK درون سایت مپ قرار دارند. هیچ آدرس ریدایرکت شده ۳۰۱، هیچ صفحه ۴۰۴ و هیچ صفحه دارای تگ noindex نباید در سایت مپ وجود داشته باشد. این اصول در تکنیک های افزایش سرعت ایندکس تبیین شده است.
گام ششم: حذف هم نوع خواری و فعال سازی کانونیکال های دقیق
اگر چندین آدرس مشابه در این وضعیت گرفتار شده اند، مطمئن شوید که تگ های کانونیکال به درستی تنظیم شده اند تا از سردرگمی خزشگرها بر اساس ضوابط رفع خطای کانونیکال سرچ کنسول پیشگیری شود.
گام هفتم: ارسال درخواست رسمی اعتبارسنجی (Validate Fix)
پس از بهبود سرعت سرور و اتصال لینک های داخلی، وارد گزارش Page Indexing سرچ کنسول شوید، روی خطای Discovered - currently not indexed کلیک کنید و دکمه **Validate Fix** را بزنید تا خزش مجدد گروهی با اولویت جدید آغاز گردد.
چک لیست تعاملی ممیزی و رفع خطای Discovered - currently not indexed
میزان آمادگی زیرساخت و معماری وب سایت خود را برای خروج از صف این خطا بسنجید:
چک لیست ممیزی خطای شناسایی شده اما خزش نشده:
پرسش های متداول درباره خطای Discovered - currently not indexed (FAQ)
چرا آدرس هایی که در سایت وجود ندارند در وضعیت Discovered ظاهر می شوند؟
این آدرس ها ممکن است از طریق بک لینک های خارجی قدیمی، پیوندهای شکسته، نقشه های سایت قدیمی یا خزش کدهای جاوا اسکریپت شناسایی شده باشند و گوگل هنوز وارد آن ها نشده است.
چقدر طول می کشد تا گوگل صفحات موجود در صف Discovered را خزش کند؟
اگر لینک های داخلی برقرار شوند و سرعت سرور بهبود یابد، معمولا بین چند روز تا ۳ هفته زمان می برد تا گوگل بات به سراغ خزش این آدرس ها بیاید.
آیا اشتراک گذاری لینک در شبکه های اجتماعی به خروج از وضعیت Discovered کمک می کند؟
بله؛ ترافیک ورودی واقعی و سیگنال های تعاملی مرورگر کروم می تواند تقاضای خزش (Crawl Demand) صفحه را بالا برده و گوگل را ترغیب به خزش سریع تر کند.
آیا استفاده از دکمه Request Indexing برای این خطا موثر است؟
تست تک به تک چند صفحه مهم با ابزار URL Inspection و زدن دکمه Request Indexing می تواند به خزش تک صفحه ای کمک کند، اما برای صدها صفحه باید ساختار لینک ها و سرور به صورت اساسی اصلاح شود.