زمانی که خطاهای زیر در زمان خزش رخ میده که سرور یا هاست شما یا CND سایت شما رباتهای ما رو بلاک میکنن و امکان خزش رو نمیدن. برخی از خطاها:
- 406 Not Acceptable
- 429 Too Many Requests
- 403 Forbidden
- خطا در بخش صفحات (همه صفحات به خطا خورده باشه)
دو نکته مهم:
- هر چند وقت یک بار ممکنه سرورهای خزش میزفا تولز تغییر پیدا کنن و در این مقاله IP های جدید رو درج خواهیم کرد.
- همینطور ممکنه با یک روش مشکل شما حل نشه و مجبور باشید ۲ الی ۳ روش از روش های زیر برید تا مشکل حل بشه.
برای هر سایتی برخی از روشهای زیر کاربرد داره و باید ببینید کدوم روش مناسب هست و برای رفع اون اقدام کنید.
عناوین:
روش ۱ – تغییر سرعت خزش در میزفا تولز
اول باید IP میزفا تولز از لیست بلاک خارج بشه. دو راه هست:
یک: حداقل ۲۴ ساعت صبر کنید (اصولا هاستینگها وقتی بلاک میکنن این بلاکی زیر ۴۸ ساعت هست) و بعد دوباره تست کنید ولی طبق عکس سرعت خزش رو کم کنید مثلا زیر ۱۰ ببرید تا دوباره بلاک نشید.
دو: به هاست تیکت بزنید و بگید ای پی میزفا تولز رو از حالت بلاک خارج کنن و بعد دوباره طبق عکس زیر سرعت خزش کم کنید تا دوباره بلاک نشید.
این متن رو میتونید به هاستینگ ارسال کنید:
لطفا IP زیر را از لیست بلاک خارج کنید، این IP برای ربات وبسایت “میزفا تولز” هست، “میزفا تولز” یک ابزار سئو هست و ربات آن صرفا خزش میکند تا وضعیت سئوی سایت بنده را مورد ارزیابی قرار دهد و هیچ گونه ویژگی منفی ندارد.
194.225.78.193
194.33.127.207
با تشکر از همکاری شما
حتما بعد از اجرای یکی از موارد بالا طبق عکس زیر تنظیمات سرعت خزش رو کم کنید تا دوباره بلاک نشید، پیشنهاد ما عدد زیر ۱۰ هست مثلا ۵ و در نهایت ذخیره کنید و سپس وارد ابزار کاوش -> خزش سایت بشید و دوباره دکمه خزش رو بزنید.
روش ۲ – ارسال تیکت به هاستینگ
اگر روش ۱ جواب نداد روش ۲ رو برید.
راه بعدی به هاست تیکت بزنید و متن زیر کپی کنید رو براشون در تیکت ارسال کنید:
لطفا IP زیر را در لیست سفید سرور دامنه <دامنه خودتون اینجا وارد کنید> قرار دهید، این IP برای ربات وبسایت “میزفا تولز” هست، “میزفا تولز” یک ابزار سئو هست و ربات آن صرفا خزش میکند تا وضعیت سئوی سایت بنده را مورد ارزیابی قرار دهد و هیچ گونه ویژگی منفی ندارد.
194.225.78.193
194.33.127.207
با تشکر از همکاری شما
نکته: البته گاهی وقت ها هاست همکاری لازم رو انجام نمیده و درخواست شما رو به هر دلیلی رد میکنه، در این شرایط به هاستینگتون بگید حداقل ای پی مذکور رو از لیست بلاکها خارج کنه تا دوباره امکان خزش توسط میزفا تولز فراهم بشه.
روش ۳ – اضافه کردن IP در فایل .htaccess
اگر سایت وردپرسی هستید و یا سایت در سرورهای لینوکسی هستید میتونید وارد هاست یا سرور بشید و بعد در پوشه public_html فایل .htaccess پیدا کنید، سپس ویرایش بزنید و کد زیر رو در انتها وارد کنید:
Allow 194.225.78.193
Allow 194.33.127.207اگر روش بالا کار نمیکنه به این دلیل هست که تنظیمات سرور اصلی (که فقط هاستینگها دسترسی دارن) بر تنظیمات شما بازنویسی میشه و تنظیمات شما ظاهرا اثری روی هاست شما نداره.
روش ۴ – اضافه کردن IP در CloudFlare و ArvanCloud
اگر CDN دارید حتما این روش رو هم اجرا کنید و وارد سی دی ان مد نظر بشید و IP میزفا تولز در لیست سفید بذارید.
در CloudFlare وارد مسیر زیر بشید:
Firewall -> Firewall Rules -> Create a Firewall ruleو بعدش دقیقا مثل عکس انجام بدید:
در ArvanCloud وارد مسیر زیر بشید:
گزینه CDN بزنید و سپس وارد بخش تنظیمات فایروال بشید و روی افزودن قانون جدید کلیک کنید و در نهایت مثل عکس زیر کار کنید:
روش ۵ – صبر برای رفع بلاکی
اکثر سرورها و یا هاستها در یک بازه زمانی ایپی ها رو بلاک میکنن، از ۱۵ دقیقه یا ۱ روز ممکنه این موضوع رخ بده، البته هاستینگهای حرفه ای کمتر از یک ساعت رفع بلاک میکنن و شما دوباره میتونید تست کنید ولی احتمال اینکه دوباره بلاک بشید زیاد هست.
روش ۶ – تغییر هاست (مخصوصا اگر ایران نیست)
وقتی هاست خارج شما به این شدت بالا محدودیت داره طبیعتا خیلی از کاربران ایرانی هم هستند که با چند بار بازدید زیاد مشکلاتی رو با هاست شما میخورن و ممکنه شما اطلاع نداشته باشید، اگر از CDN های خارجی و یا سرور (هاست) خارجی استفاده میکنید پیشنهاد میشه به داخل ایران انتقال بدید.
