زمانی که ربات میزفا تولز در ابزار خزش سایت، عملیات خزش رو انجام بده برخی از صفحات بیارزش رو به صورت پیشفرض حذف میکنه.
- صفحاتی که نوفالو هستند.
- صفحاتی که به خودش کنونیکال نشده.
- صفحاتی که دارای کوئریهای اضافه هست، مخصوصا در وردپرس و سایتهای ووکامرسی.
سوال:
سایت ما هزار تا محصول داره ولی چرا میزفا تولز فقط ۹۰۰ محصول رو مشاهده کرده؟
پاسخ:
مهم نیست شما چقدر محصول داری. ممکنه شما ۱ میلیون محصول داشته باشی و ابزار ما ۱۰۰ تا دونه رو بررسی کنه، نحوه لینک سازی های داخلی اهمیت زیادی داره و اگر لینک سازی های داخلی که انجام دادی مناسب نباشه ربات ما نمیتونه محصولاتت رو پیدا کنه.
سوال:
پس چرا گوگل اکثر آدرسهای ما رو پیدا کرده؟
پاسخ:
ممکنه گوگل این قدرت رو داشته باشه مخصوصا چون سرچ کنسول داره و به کمک سایت مپ خیلی راحت این کار رو میکنه.اگر اینجوری نبود خزنده گوگل هم مثل خزنده میزفا تولز به سختی میتونست به کمک لینک سازی داخلی صفحات شما رو پیدا کنه.
سوال:
میزفا تولز اصلا آدرسهای سایت من رو بررسی نمیکنه! علت چی هست؟
پاسخ:
به احتمال زیاد سرور (یا هاست شما) و یا CDN شما، آی پی سرور خزش ما رو بلاک میکنه که باید طبق این راهنما عمل کنی.
