صفحات (3): « اولين [1] 2 3 بعدی > آخرين »
مقابله با Spider های مزاحم
نويسنده پيغام
ramindiba
Member
***


ارسالها: 234
گروهها: Registered
ورودى‌ها: ارد 1385
وضعيت: آفلاين
اعتبار: 3
پست: #1
مقابله با Spider های مزاحم

سلام...

اگه قسمت پيشنهادات و طرحهاى جديد را مطالعه کرده باشید ، این موضوع که :

اسپایدر یا روبوت (Robot)، نرم افزاری است كه كار جمع آوری اطلاعات مورد نیاز یك موتور جستجوگر را بر عهده دارد. اسپایدر به صفحات مختلف سر می زند، محتوای آنها را می خواند، لینکها را دنبال می کند، اطلاعات مورد نیاز را جمع آوری می كند و آنرا در اختیار سایر بخش های موتور جستجوگر قرار می دهد. كار یك اسپایدر، بسیار شبیه كار كاربران وب است. همانطور كه كاربران، صفحات مختلف را بازدید می كنند، اسپایدر هم درست این كار را انجام می دهد با این تفاوت كه اسپایدر كدهای HTML صفحات را می بیند اما كاربران نتیجه حاصل از كنار هم قرار گرفتن این كدها را.

دیده اید. هیچ تا به حال همچین مشکلی برایتان پیش نیامده که Spider چینی وارد سایتتون بشه و 700 مگابایت اطلاعات سایت شما رو بخونه و بدون اینکه این کار رو به درستی انجام بده ، یعنی فقط دو تا صفحه رو 35000 بار ببینه چه اتفاقی برای پهنای باند شما می افته ؟

این کار رو ما در فروشگاه به روشی خاص با اون مقابله می کنیم. اگه فولدر includes ریشه سایت رو ببینید این فایل رو مشاهده می کنید :spiders.txt

اگه این فایل رو : آپ دیت کنید دیگه چنین مشکلی پیش نمی یاد.اما گاهی اوقات نمی تونید حتی با این کار جلوی اونها رو بگیرید. این بار نویت بلوک کردن آی پی اون هاست .

روش مقابله در سرورهای لینوکس :

فایل htaccess. را باز کنید . این سطر را به انتهای آن اضافه کنید.

deny from 220.181.19.91

به عنوان مثال این آپ پی مربوط به یک Spider چینی هست که شما می تونید آی پی دلخواه رو نیز به آن وارد کنید.
برای اضافه کردن آی پی های این عبارت را deny from به ابتدای آی پی اضافه کنید.

اما از کجا باید بفهمید که چه آی پی و Spider ای در سایتتون در حال گردش و یا بازدید هست . اگه به کنترل پانل سایتتون برید دنبال همچین آیکون یا گزینه ای باشید Web/FTP Stats

و در قسمتی از آن لیست Robots/Spiders visitors را بیابید و نام اون رو ببینید. البته پیدا کردن آی پی اون با این روش کمی دردسر داره که می تونید شما اون رو برای ما بفرستید تا براتون پیدا کنیم .

البته spider های مفید دیگه ای رو می بینید که نباید اونها رو بلوک کنید مانند :

Inktomi Slurp
Googlebot
MSNBot
Alexa) IA Archiver)

فایل آپ دیت رو به سایتتون اضافه کنید.

موفق باشید.

نویسنده : رامین دیبا




توانمندی این پورتال را در فروشگاههای ما ببینید :
نسخه جدید :

فروشگاه تخصصی نرم افزار کیش و مات

کلوب اینترنت

نسخه قدیمی :

فروشگاه تخصصی تجهیزات بارکدی دیبا

فروشگاه تی تی مارکت

اين ارسال آخرين بار در تاريخ: 04-12-1385 05:36 بعدازظهر ويرايش شده است. شخص ويرايشگر: ramindiba.

04-12-1385 05:34 بعدازظهر
مشاهده وب سایت کاربر پیدا کردن تمامی ارسالهای کاربر
farhad
Administrator
*******
Administrators

ارسالها: 2,376
گروهها: Administrators
ورودى‌ها: تیر 1384
وضعيت: آفلاين
اعتبار: 13
پست: #2
RE: مقابله با Spider های مزاحم

ممنون رامين جان مفيد بود




بهترين و قدرتمندترين برنامه مديريت فروشگاه برروي وب به طور كاملا رايگان و opensource براطلاعات بيشتر به آدرس e-virtu.com مراجعه كنيد.
04-13-1385 06:36 قبل‌ازظهر
مشاهده وب سایت کاربر پیدا کردن تمامی ارسالهای کاربر
ramindiba
Member
***


ارسالها: 234
گروهها: Registered
ورودى‌ها: ارد 1385
وضعيت: آفلاين
اعتبار: 3
پست: #3
مقابله با Spider های مزاحم

آپ دیت جدید فایل Spiders.txt

فایل رو از اینجا می تونید بگیرید.

موفق باشید.




توانمندی این پورتال را در فروشگاههای ما ببینید :
نسخه جدید :

فروشگاه تخصصی نرم افزار کیش و مات

کلوب اینترنت

نسخه قدیمی :

فروشگاه تخصصی تجهیزات بارکدی دیبا

فروشگاه تی تی مارکت

12-27-1385 08:14 قبل‌ازظهر
مشاهده وب سایت کاربر پیدا کردن تمامی ارسالهای کاربر
aydin
Junior Member
**


ارسالها: 4
گروهها: Registered
ورودى‌ها: خرد 1386
وضعيت: آفلاين
اعتبار: 0
پست: #4
RE: مقابله با Spider های مزاحم

هههههههههههههههههههههههههههههههههههههههه ههههههههههههههههه

من كه پهناي باندم نا محدوده
هركي هاست مي خواد با ريجستر گلوبال آن و پهناي باند نا محدود با قيمت ارزو ن بياد پيش خودم بهش ميدم



03-20-1386 01:49 قبل‌ازظهر
پیدا کردن تمامی ارسالهای کاربر
ramindiba
Member
***


ارسالها: 234
گروهها: Registered
ورودى‌ها: ارد 1385
وضعيت: آفلاين
اعتبار: 3
پست: #5
RE: مقابله با Spider های مزاحم

سلام
جلوگیری از هدر رفتن یه پهنا از اصول طراحی وب هست. ربطی به مجانی بودن یا نامحدود بودن نداره. باید ترافیکی رو ایجاد کرد که به رشد سایت کمک کنه نه اینکه مانع سرویس مناسب به کاربران بشه.!!!

موفق باشید.




توانمندی این پورتال را در فروشگاههای ما ببینید :
نسخه جدید :

فروشگاه تخصصی نرم افزار کیش و مات

کلوب اینترنت

نسخه قدیمی :

فروشگاه تخصصی تجهیزات بارکدی دیبا

فروشگاه تی تی مارکت

03-20-1386 02:07 قبل‌ازظهر
مشاهده وب سایت کاربر پیدا کردن تمامی ارسالهای کاربر
farhad
Administrator
*******
Administrators

ارسالها: 2,376
گروهها: Administrators
ورودى‌ها: تیر 1384
وضعيت: آفلاين
اعتبار: 13
پست: #6
RE: مقابله با Spider های مزاحم

اینکه برای هر دیتاسنتری ایجاد پهنای باند نامحدود غیرممکنه طبیعیه. هرچقدر هم پهنای باند زیاد باشه بازهم نمیشه گفت نامحدوده. از طرفی مصرف شدن پهنای باند برای هر دیتاسنتری هزینه بر هستش یعنی اینطور نیست که هیچ هزینه ای نداشته باش پس حتما باید جلوی استفاده نادرست از پهنای باند رو گرفت.

همین چند وقت پیش یکی از کاربران با این مشکل جدی روبرو شده بود به طوری که کل پهنای پاند موجودش توسط یک spider در عرض چند روز تمام شده بود این spider بدون اینکه هیچ کار مفیدی انجام بده کل پهنای باند رو تموم کرده بوده این مسئله حتما هم به سرور فشار آورده یعنی شما فکر کنید این همه حجم درخواست در عرض چند روز چقدر استفاده از resource رو بالا می بره. خوشبختانه به کمک این نوشته مشکل دوستمون حل شد.

این نوشته واقعا مفیده رامین جان دستت درد نکنه




بهترين و قدرتمندترين برنامه مديريت فروشگاه برروي وب به طور كاملا رايگان و opensource براطلاعات بيشتر به آدرس e-virtu.com مراجعه كنيد.
03-20-1386 08:36 قبل‌ازظهر
مشاهده وب سایت کاربر پیدا کردن تمامی ارسالهای کاربر
azarmig
Junior Member
**


ارسالها: 49
گروهها: Registered
ورودى‌ها: تیر 1386
وضعيت: آفلاين
اعتبار: 0
پست: #7
RE: مقابله با Spider های مزاحم

خیلی ممنون!
بسیار جالب و عالی بود.
این فایل spider.txt باید ادیت بشه؟ یا همه میتونند همینطوری ازش استفاده کنند؟



04-25-1386 05:24 بعدازظهر
پیدا کردن تمامی ارسالهای کاربر
ramindiba
Member
***


ارسالها: 234
گروهها: Registered
ورودى‌ها: ارد 1385
وضعيت: آفلاين
اعتبار: 3
پست: #8
RE: مقابله با Spider های مزاحم

نه نیازی به ادیت شما نیست هر چند وقت یه بار من آخرین ورژن رو در محلی که گفتم
قرار می دم و شما بهتر که از اونجا به محل خودش تو سایتتون کپی کنید.




توانمندی این پورتال را در فروشگاههای ما ببینید :
نسخه جدید :

فروشگاه تخصصی نرم افزار کیش و مات

کلوب اینترنت

نسخه قدیمی :

فروشگاه تخصصی تجهیزات بارکدی دیبا

فروشگاه تی تی مارکت

04-26-1386 04:42 قبل‌ازظهر
مشاهده وب سایت کاربر پیدا کردن تمامی ارسالهای کاربر
azarmig
Junior Member
**


ارسالها: 49
گروهها: Registered
ورودى‌ها: تیر 1386
وضعيت: آفلاين
اعتبار: 0
پست: #9
RE: مقابله با Spider های مزاحم

باز هم ممنون!




فروشگاه آمازون کوچولو!
http://shop.nafice.com
04-26-1386 04:44 قبل‌ازظهر
پیدا کردن تمامی ارسالهای کاربر
ramindiba
Member
***


ارسالها: 234
گروهها: Registered
ورودى‌ها: ارد 1385
وضعيت: آفلاين
اعتبار: 3
پست: #10
مقابله با Spider های مزاحم

فایل Spider آپدیت شد!!!

آپ دیت جدید فایل Spiders.txt

فایل رو از اینجا می تونید بگیرید.

موفق باشید.




توانمندی این پورتال را در فروشگاههای ما ببینید :
نسخه جدید :

فروشگاه تخصصی نرم افزار کیش و مات

کلوب اینترنت

نسخه قدیمی :

فروشگاه تخصصی تجهیزات بارکدی دیبا

فروشگاه تی تی مارکت

اين ارسال آخرين بار در تاريخ: 04-26-1386 08:52 قبل‌ازظهر ويرايش شده است. شخص ويرايشگر: ramindiba.

04-26-1386 08:51 قبل‌ازظهر
مشاهده وب سایت کاربر پیدا کردن تمامی ارسالهای کاربر

نمايش نسخه قابل چاپ
فرستادن اين مبحث به يك دوست
مشترك شده در اين مبحث | افزودن اين مبحث به موارد موردعلاقه

پرش در انجمن: