انجمن پشتیبانی فروشگاه ساز ویرچو

نسخه اصلی: مقابله با Spider های مزاحم
هم اکنون شما در حال مشاهده نسخه ساده شده ای از محتویات انجمن هستید. نسخه اصلی با شکل و قالب بندی مناسب قابل مشاهده است.
سلام...

اگه قسمت پيشنهادات و طرحهاى جديد را مطالعه کرده باشید ، این موضوع که :

اسپایدر یا روبوت (Robot)، نرم افزاری است كه كار جمع آوری اطلاعات مورد نیاز یك موتور جستجوگر را بر عهده دارد. اسپایدر به صفحات مختلف سر می زند، محتوای آنها را می خواند، لینکها را دنبال می کند، اطلاعات مورد نیاز را جمع آوری می كند و آنرا در اختیار سایر بخش های موتور جستجوگر قرار می دهد. كار یك اسپایدر، بسیار شبیه كار كاربران وب است. همانطور كه كاربران، صفحات مختلف را بازدید می كنند، اسپایدر هم درست این كار را انجام می دهد با این تفاوت كه اسپایدر كدهای HTML صفحات را می بیند اما كاربران نتیجه حاصل از كنار هم قرار گرفتن این كدها را.

دیده اید. هیچ تا به حال همچین مشکلی برایتان پیش نیامده که Spider چینی وارد سایتتون بشه و 700 مگابایت اطلاعات سایت شما رو بخونه و بدون اینکه این کار رو به درستی انجام بده ، یعنی فقط دو تا صفحه رو 35000 بار ببینه چه اتفاقی برای پهنای باند شما می افته ؟

این کار رو ما در فروشگاه به روشی خاص با اون مقابله می کنیم. اگه فولدر includes ریشه سایت رو ببینید این فایل رو مشاهده می کنید :spiders.txt

اگه این فایل رو : آپ دیت کنید دیگه چنین مشکلی پیش نمی یاد.اما گاهی اوقات نمی تونید حتی با این کار جلوی اونها رو بگیرید. این بار نویت بلوک کردن آی پی اون هاست .

روش مقابله در سرورهای لینوکس :

فایل htaccess. را باز کنید . این سطر را به انتهای آن اضافه کنید.

deny from 220.181.19.91

به عنوان مثال این آپ پی مربوط به یک Spider چینی هست که شما می تونید آی پی دلخواه رو نیز به آن وارد کنید.
برای اضافه کردن آی پی های این عبارت را deny from به ابتدای آی پی اضافه کنید.

اما از کجا باید بفهمید که چه آی پی و Spider ای در سایتتون در حال گردش و یا بازدید هست . اگه به کنترل پانل سایتتون برید دنبال همچین آیکون یا گزینه ای باشید Web/FTP Stats

و در قسمتی از آن لیست Robots/Spiders visitors را بیابید و نام اون رو ببینید. البته پیدا کردن آی پی اون با این روش کمی دردسر داره که می تونید شما اون رو برای ما بفرستید تا براتون پیدا کنیم .

البته spider های مفید دیگه ای رو می بینید که نباید اونها رو بلوک کنید مانند :

Inktomi Slurp
Googlebot
MSNBot
Alexa) IA Archiver)

فایل آپ دیت رو به سایتتون اضافه کنید.

موفق باشید.

نویسنده : رامین دیبا
ممنون رامين جان مفيد بود
آپ دیت جدید فایل Spiders.txt

فایل رو از اینجا می تونید بگیرید.

موفق باشید.
هههههههههههههههههههههههههههههههههههههههه ههههههههههههههههه

من كه پهناي باندم نا محدوده
هركي هاست مي خواد با ريجستر گلوبال آن و پهناي باند نا محدود با قيمت ارزو ن بياد پيش خودم بهش ميدم
سلام
جلوگیری از هدر رفتن یه پهنا از اصول طراحی وب هست. ربطی به مجانی بودن یا نامحدود بودن نداره. باید ترافیکی رو ایجاد کرد که به رشد سایت کمک کنه نه اینکه مانع سرویس مناسب به کاربران بشه.!!!

موفق باشید.
اینکه برای هر دیتاسنتری ایجاد پهنای باند نامحدود غیرممکنه طبیعیه. هرچقدر هم پهنای باند زیاد باشه بازهم نمیشه گفت نامحدوده. از طرفی مصرف شدن پهنای باند برای هر دیتاسنتری هزینه بر هستش یعنی اینطور نیست که هیچ هزینه ای نداشته باش پس حتما باید جلوی استفاده نادرست از پهنای باند رو گرفت.

همین چند وقت پیش یکی از کاربران با این مشکل جدی روبرو شده بود به طوری که کل پهنای پاند موجودش توسط یک spider در عرض چند روز تمام شده بود این spider بدون اینکه هیچ کار مفیدی انجام بده کل پهنای باند رو تموم کرده بوده این مسئله حتما هم به سرور فشار آورده یعنی شما فکر کنید این همه حجم درخواست در عرض چند روز چقدر استفاده از resource رو بالا می بره. خوشبختانه به کمک این نوشته مشکل دوستمون حل شد.

این نوشته واقعا مفیده رامین جان دستت درد نکنه
خیلی ممنون!
بسیار جالب و عالی بود.
این فایل spider.txt باید ادیت بشه؟ یا همه میتونند همینطوری ازش استفاده کنند؟
نه نیازی به ادیت شما نیست هر چند وقت یه بار من آخرین ورژن رو در محلی که گفتم
قرار می دم و شما بهتر که از اونجا به محل خودش تو سایتتون کپی کنید.
باز هم ممنون!
فایل Spider آپدیت شد!!!

آپ دیت جدید فایل Spiders.txt

فایل رو از اینجا می تونید بگیرید.

موفق باشید.
صفحات: 1 2 3
آدرس URL مرجع