انجمن پشتیبانی فروشگاه ساز ویرچو
مقابله با Spider های مزاحم - نسخه قابل چاپ

+- انجمن پشتیبانی فروشگاه ساز ویرچو (http://forum.e-virtu.com)
+-- نام بخش: پشتيبانى عمومى از پروژه (/forumdisplay.php?fid=1)
+--- نام بخش: راه حلها و نکات مفید (/forumdisplay.php?fid=18)
+--- موضوع مبحث: مقابله با Spider های مزاحم (/showthread.php?tid=313)


مقابله با Spider های مزاحم - ramindiba - 04-12-1385 05:34 بعدازظهر

سلام...

اگه قسمت پيشنهادات و طرحهاى جديد را مطالعه کرده باشید ، این موضوع که :

اسپایدر یا روبوت (Robot)، نرم افزاری است كه كار جمع آوری اطلاعات مورد نیاز یك موتور جستجوگر را بر عهده دارد. اسپایدر به صفحات مختلف سر می زند، محتوای آنها را می خواند، لینکها را دنبال می کند، اطلاعات مورد نیاز را جمع آوری می كند و آنرا در اختیار سایر بخش های موتور جستجوگر قرار می دهد. كار یك اسپایدر، بسیار شبیه كار كاربران وب است. همانطور كه كاربران، صفحات مختلف را بازدید می كنند، اسپایدر هم درست این كار را انجام می دهد با این تفاوت كه اسپایدر كدهای HTML صفحات را می بیند اما كاربران نتیجه حاصل از كنار هم قرار گرفتن این كدها را.

دیده اید. هیچ تا به حال همچین مشکلی برایتان پیش نیامده که Spider چینی وارد سایتتون بشه و 700 مگابایت اطلاعات سایت شما رو بخونه و بدون اینکه این کار رو به درستی انجام بده ، یعنی فقط دو تا صفحه رو 35000 بار ببینه چه اتفاقی برای پهنای باند شما می افته ؟

این کار رو ما در فروشگاه به روشی خاص با اون مقابله می کنیم. اگه فولدر includes ریشه سایت رو ببینید این فایل رو مشاهده می کنید :spiders.txt

اگه این فایل رو : آپ دیت کنید دیگه چنین مشکلی پیش نمی یاد.اما گاهی اوقات نمی تونید حتی با این کار جلوی اونها رو بگیرید. این بار نویت بلوک کردن آی پی اون هاست .

روش مقابله در سرورهای لینوکس :

فایل htaccess. را باز کنید . این سطر را به انتهای آن اضافه کنید.

deny from 220.181.19.91

به عنوان مثال این آپ پی مربوط به یک Spider چینی هست که شما می تونید آی پی دلخواه رو نیز به آن وارد کنید.
برای اضافه کردن آی پی های این عبارت را deny from به ابتدای آی پی اضافه کنید.

اما از کجا باید بفهمید که چه آی پی و Spider ای در سایتتون در حال گردش و یا بازدید هست . اگه به کنترل پانل سایتتون برید دنبال همچین آیکون یا گزینه ای باشید Web/FTP Stats

و در قسمتی از آن لیست Robots/Spiders visitors را بیابید و نام اون رو ببینید. البته پیدا کردن آی پی اون با این روش کمی دردسر داره که می تونید شما اون رو برای ما بفرستید تا براتون پیدا کنیم .

البته spider های مفید دیگه ای رو می بینید که نباید اونها رو بلوک کنید مانند :

Inktomi Slurp
Googlebot
MSNBot
Alexa) IA Archiver)

فایل آپ دیت رو به سایتتون اضافه کنید.

موفق باشید.

نویسنده : رامین دیبا


RE: مقابله با Spider های مزاحم - farhad - 04-13-1385 06:36 قبل‌ازظهر

ممنون رامين جان مفيد بود


مقابله با Spider های مزاحم - ramindiba - 12-27-1385 08:14 قبل‌ازظهر

آپ دیت جدید فایل Spiders.txt

فایل رو از اینجا می تونید بگیرید.

موفق باشید.


RE: مقابله با Spider های مزاحم - aydin - 03-20-1386 01:49 قبل‌ازظهر

هههههههههههههههههههههههههههههههههههههههه ههههههههههههههههه

من كه پهناي باندم نا محدوده
هركي هاست مي خواد با ريجستر گلوبال آن و پهناي باند نا محدود با قيمت ارزو ن بياد پيش خودم بهش ميدم


RE: مقابله با Spider های مزاحم - ramindiba - 03-20-1386 02:07 قبل‌ازظهر

سلام
جلوگیری از هدر رفتن یه پهنا از اصول طراحی وب هست. ربطی به مجانی بودن یا نامحدود بودن نداره. باید ترافیکی رو ایجاد کرد که به رشد سایت کمک کنه نه اینکه مانع سرویس مناسب به کاربران بشه.!!!

موفق باشید.


RE: مقابله با Spider های مزاحم - farhad - 03-20-1386 08:36 قبل‌ازظهر

اینکه برای هر دیتاسنتری ایجاد پهنای باند نامحدود غیرممکنه طبیعیه. هرچقدر هم پهنای باند زیاد باشه بازهم نمیشه گفت نامحدوده. از طرفی مصرف شدن پهنای باند برای هر دیتاسنتری هزینه بر هستش یعنی اینطور نیست که هیچ هزینه ای نداشته باش پس حتما باید جلوی استفاده نادرست از پهنای باند رو گرفت.

همین چند وقت پیش یکی از کاربران با این مشکل جدی روبرو شده بود به طوری که کل پهنای پاند موجودش توسط یک spider در عرض چند روز تمام شده بود این spider بدون اینکه هیچ کار مفیدی انجام بده کل پهنای باند رو تموم کرده بوده این مسئله حتما هم به سرور فشار آورده یعنی شما فکر کنید این همه حجم درخواست در عرض چند روز چقدر استفاده از resource رو بالا می بره. خوشبختانه به کمک این نوشته مشکل دوستمون حل شد.

این نوشته واقعا مفیده رامین جان دستت درد نکنه


RE: مقابله با Spider های مزاحم - azarmig - 04-25-1386 05:24 بعدازظهر

خیلی ممنون!
بسیار جالب و عالی بود.
این فایل spider.txt باید ادیت بشه؟ یا همه میتونند همینطوری ازش استفاده کنند؟


RE: مقابله با Spider های مزاحم - ramindiba - 04-26-1386 04:42 قبل‌ازظهر

نه نیازی به ادیت شما نیست هر چند وقت یه بار من آخرین ورژن رو در محلی که گفتم
قرار می دم و شما بهتر که از اونجا به محل خودش تو سایتتون کپی کنید.


RE: مقابله با Spider های مزاحم - azarmig - 04-26-1386 04:44 قبل‌ازظهر

باز هم ممنون!


مقابله با Spider های مزاحم - ramindiba - 04-26-1386 08:51 قبل‌ازظهر

فایل Spider آپدیت شد!!!

آپ دیت جدید فایل Spiders.txt

فایل رو از اینجا می تونید بگیرید.

موفق باشید.


RE: مقابله با Spider های مزاحم - arman_sp98 - 04-30-1386 05:53 قبل‌ازظهر

ممنون

يعنی هيچ اديتی؟ فقط کپی و پيست ؟ پس اونا چی بود که گفتيد اي پی و اينا پيدا کنيد و اون خط رو به هش اضافه کنيد؟ نيازی به اين کارا نيست ؟


RE: مقابله با Spider های مزاحم - ramindiba - 04-30-1386 01:03 بعدازظهر

مطلب این مبحث رو با دقت بخونید.

فایل spider.txt کاربرد جداگانه دارد.و قفل کردن IP هم مورد دیگری است.


RE: مقابله با Spider های مزاحم - arman_sp98 - 04-31-1386 06:24 قبل‌ازظهر

خوندم که اينو پرسيدم


RE: مقابله با Spider های مزاحم - arman_sp98 - 05-03-1386 02:34 قبل‌ازظهر

[font=Arial][/font]javab bedin lotfan


RE: مقابله با Spider های مزاحم - farhad - 05-03-1386 04:46 قبل‌ازظهر

پست اول رو کامل بخونید نوشته که در صورتی که روش اول جواب نداد نیاز به این کارها هستش ولی اگه همین روش یعنی کپی کردن فایل جوابگو بود نیازی به کار دیگه ای نیست


RE: مقابله با Spider های مزاحم - arman_sp98 - 05-08-1386 11:14 بعدازظهر

باشه ممنون اوميد وارم کپی کردن کار بده


RE: مقابله با Spider های مزاحم - arman_sp98 - 05-09-1386 05:39 قبل‌ازظهر

az koja befahmim kar mide ya na ?


RE: مقابله با Spider های مزاحم - ramindiba - 05-09-1386 06:24 قبل‌ازظهر

از قسمت بازدید کنندگان سایتت تو کنترل پانل!


RE: مقابله با Spider های مزاحم - farhad - 05-10-1386 11:23 بعدازظهر

شما آقا یا خانم arman_sp98 خواهش می کنم تویه ارسال پستاتون یکم دقت کنید وگرنه مجبور میشم برخلاف میلم و برای حفظ نظم انجمن کاری رو بکنم که تا حالا با هیچکدوم از اعضای این انجمن نشده یعنی اکانت کاربریتون رو بن کنم و دسترسی شما رو به انجمن ببندم.
شما مطالب رو کامل نمی خونید و مرتب سوال می کنید تویه این انجمن اگه هم به سوالات جواب داده میشه این وظیفه هیچ کس نیست و تمام کاربرهای این انجمن به خواست خودشون برای کمک به همدیگه اینجا هستن. من پستهای اضافی اینجا رو پاک می کنم و امیدوارم که دیگه تویه ارسالهای خودتون دقت کافی به خرج بدید. از رامین جان هم به خاطر این مساپل عذر می خوام چون ایشون واقعا تویه انجمن خیلی به من و بقیه کمک می کنن.


RE: مقابله با Spider های مزاحم - ariamns - 03-12-1388 02:47 قبل‌ازظهر

بعضي از ربوت ها هستند كه وقتي به سايت وارد مي شوند يه جورايي انگار سايت رو هك هم مي كنند .

به اين صفحه بريد :

http://ariastore.ir/advanced_search.php

خب وقتي روي privacy reports ( به صورت يك چشم پايين مرورگر اكسپلورر ) كليك كنيم نام تعدادي روبوت رو مي بينيم كه البته با اضافه كردن به فايل اسپايدر بلوكشون كردم ولي يه جورايي انگار اون صفحه رو هك كردند . به صورتي كه بعد از كليك روي لينك بالا روي لينك هاي ديگه سايتم كليك كنيد وارد سايت روبوت ask.com مي شيد .

اين رو بايد چيكار كرد . چه جوري مي تونم درستش كنم ؟


RE: مقابله با Spider های مزاحم - goldooneh - 03-12-1388 08:57 قبل‌ازظهر

آقای دیبا لطفا در صورت امکان روش آپدیت کردن فایل رو به بچه ها آموزش بدید نه دانلود مرتب اون رو. اینکار به همه کمک بزرگی می کنه و دانششونو در ارتباط با فروشگاهشون بالا می بره؟

ممنون


RE: مقابله با Spider های مزاحم - ramindiba - 03-13-1388 01:24 قبل‌ازظهر

goldooneh نوشته شده:
آقای دیبا لطفا در صورت امکان روش آپدیت کردن فایل رو به بچه ها آموزش بدید نه دانلود مرتب اون رو. اینکار به همه کمک بزرگی می کنه و دانششونو در ارتباط با فروشگاهشون بالا می بره؟

ممنون


سلام دوست عزیز.

لطفا اولین مطلب این پست رو مطالعه کنید. همه چیز دقیقا توضیح داده شده. جای فایل هم نوشته شده است.
موفق باشید.


RE: مقابله با Spider های مزاحم - mohsen888 - 07-26-1388 01:43 بعدازظهر

فايل رو دانلود نمي كنه آقا رامين اگه ميشه attach كن