آیا می‌دانستید حدود نیمی از ترافیک اینترنت جهان از ربات‌ها می‌آید؟ اگر وب سایت دارید، به احتمال زیاد حجم قابل توجهی از ترافیک ربات در شبکه شما هم نفوذ کرده و بخش مهمی از بودجه و زمانتان را هدر داده است. این موضوع سبب شده که مدیریت ربات برای هر ‌کسب‌وکار آنلاینی اهمیت پیدا کند؛ تا جایی‌که سرمایه‌گذاری کردن روی یک مدیر ربات خوب یا نرم افزار کاهش ربات در میان کسب‌وکارها به ضرورت تبدیل شده است.

در این مقاله، مفهوم مدیریت ربات را تعریف می‌کنیم و روشن می‌سازیم که مدیر ربات چگونه می‌تواند در کنترل ترافیک ربات‌های خوب و بد و محافظت از امنیت سایت کمک کند.

مدیریت ربات چیست؟

به زبان ساده، مدیریت ربات، روال شناخت فعالیت هر یک از ربات‌ها در فضای آنلاین و به‌ویژه درک هدف آن‌هاست. هدف این است که مدیر ربات بتواند با توجه به فعالیت ربات‌های ورودی، عکس‌العمل مناسب نشان دهد.

دو چالش کلیدی در مدیریت ربات وجود دارد:

● تمایز بین ترافیک انسانی قانونی و ترافیک ربات

● تمایز میان ربات‌های با هدف خوب و هدف مخرب

ربات‌های امروزی بسیار پیچیده‌اند: آنها می‌توانند رفتارهای انسانی مانند استفاده از حرکات غیرخطی ماوس و کلیک‌های تصادفی را تقلید کنند، بنابراین اگر راه‌حل مناسبی نداشته باشید، تمایز بین کاربران انسانی و ربات‌ها بسیار چالش برانگیز است.

از سوی دیگر، باید توجه داشته باشیم که همه ربات‌ها بد نیستند. ربات‌های خوبی وجود دارند که می‌توانند واقعاً برای سایت مفید باشند. به عنوان مثال، Googlebot ربات بسیار مهم گوگل است که در همه وب‌سایت‌ها می‌خزد و آنها را فهرست می‌کند تا مردم بتوانند آن‌ها را در SERP Google پیدا کنند. اگر می‌خواهید سایتتان در گوگل نمایش داده شود، نباید Googlebot را مسدود کنید.

بنابراین، مدیریت صحیح ربات شامل دو چیز است:

● تشخیص درست ترافیک ربات بد

● کنترل و کاهش ترافیک ربات‌های بد

مدیریت ربات چگونه کار می‌کند؟

همانطور که گفته شد، یکی از دو چالش کلیدی در مدیریت ربات، تمایز بین ترافیک انسانی قانونی و ترافیک ربات است. اگر مدیر ربات به اشتباه بازدیدکنندگان انسانی را مسدود کند، حالتی به نام مثبت کاذب یعنی مسدود کردن ترافیک انسانی خوب به‌وجود می‌آید. در مقابل این مفهوم، حالت مثبت واقعی وجود دارد که در آن ربات‌های بد مسدود می‌شوند. از سوی دیگر، اگر ما بیش از حد از ایجاد نتایج مثبت کاذب بترسیم، خطر ورود بیش از حد ربات‌ها افزایش می‌یابد و در عوض باعث ایجاد منفی کاذب یعنی اجازه ورود متقلبان و ربات های بد می‌شود.

گفتیم که ربات‌های مخرب امروزی در تقلید از رفتارهای انسانی بسیار مستعد شد‌ه‌اند. ربات‌ها اکنون می‌توانند از هوش مصنوعی و فناوری‌های یادگیری ماشین برای ایجاد هوشمندانه رفتارهای به ظاهر تصادفی انسانی مانند کلیک و زدن کلید استفاده کنند. بنابراین در حال حاضر برای مقابله با این ربات‌های پیچیده ضرورت دارد که از یک مدیر ربات مبتنی بر هوش مصنوعی استفاده کنیم که بتواند از یادگیری ماشینی نیز بهره ببرد.

نشان دادن یک کپچا به کاربران رویکردی متداول است که در بسیاری از راه‌حل‌های مدیریت ربات استفاده می‌شود. از این طریق می‌توان تشخیص داد که کاربران انسان هستند یا ربات. با این حال، کپچاها نیز دیگر چندان موثر نیستند؛ به خصوص با وجود بسیاری از خدمات مزرعه کپچا که در آن کاربران انسانی قبل از انتقال اتصال به ربات مخرب، کپچا را حل می‌کنند.

برای جلوگیری از مثبت کاذب و منفی کاذب، راه حل مدیریت ربات شما باید بتواند:

●     بازخورد را با استفاده از یک حلقه بازخورد بلادرنگ مدیریت کند تا تغییرات ناگهانی و چشمگیر در رفتار را کاهش دهد.

●     ناهنجاری‌ها را به طور موثر شناسایی کند و کاهش را بر اساس آن تنظیم کند.

●     به طور پویا با الگوهای جدید در زمان واقعی از طریق یادگیری ماشین تکراری(ML) سازگار شود.

●    از هر دو روش اثرانگشت (مرورگر، سیستم عامل، نسخه و غیره) و رویکردهای مبتنی بر رفتار در تشخیص کاربران انسانی و ربات‌ها استفاده کند.

نحوه تشخیص ربات‌های خوب در مقابل ربات‌های بد

همانطور که گفته شد، از دیگر چالش‌های کلیدی در مدیریت ربات، تمایز بین ربات‌های خوب و ربات‌های بد است. بسیاری از اپراتورها، ربات‌های متنوعی را برای انجام وظایف مختلف ایجاد می‌کنند، بنابراین همیشه شناسایی تأثیری که یک ربات می‌تواند داشته باشد واضح نیست.

هم برای ‌کسب‌وکار و هم برای سیستم مدیریت ربات مهم است که انواع مختلف ربات‌های موجود، موارد استفاده بالقوه آن‌ها و تاثیر هر یک بر زیرساخت‌های تجاری و فناوری اطلاعات شناسایی شود.

ربات‌های خوب

خزنده‌های موتورهای جستجو

رایج‌ترین نمونه ربات‌های خوب، خزنده‌های موتور جستجو مانند Googlebot، Bingbot و دیگر ربات‌های عنکبوتی از Yahoo!، Yandex، Baidu و دیگران اند. بدیهی است که این ربات‌ها برای وب سایت مفیدند زیرا به سایت اجازه می‌دهند در این موتورهای جستجوی ایندکس و رتبه بندی شوند.

ربات‌های پارتنر

بسته به مدل کسب‌وکارتان، ممکن است به ربات‌های نمایندگی‌های فروش و خدمات شخص ثالث اجازه دهید محتوای وب‌سایت را scrape کنند. همچنین، راه‌حل‌های شخص ثالث ممکن است از ربات‌ها برای انجام وظایف سودمند خاصی در سایتتان استفاده کنند. به عنوان مثال، ابزار SEO ممکن است ربات خود را برای انجام تجزیه و تحلیل سئو یا بهینه سازی خودکار وب سایت مستقر کند.

تأثیر این ربات‌ها ممکن است متفاوت باشد، اما معمولاً دستورالعمل‌ها و خط‌مشی‌های تنظیم‌شده در فایل robots.txt را دنبال می‌کنند، بنابراین برای مثال اگر از منابع زیادی استفاده می‌کنند، باید بتوانید آنها را کنترل کنید.

انواع حملات ربات که مدیریت ربات از آنها جلوگیری می‌کند

ربات اسکرپرینگ (Scraping)

ربات‌های Scraping از برنامه‌ها و APIها استفاده می‌کنند تا داده‌های ارزشمندی را از آن‌ها استخراج و سپس برای اهداف مضر استفاده نمایند. Scraping می‌تواند قیمت‌ها، محصولات، محتوا و هر چیز دیگری را که در دسترس عموم است هدف قرار دهد. بعضی اسکرپرها مانند ربات گوگل یا ربات ابزار بازاریابی مفید به شمار می‌روند، اما اکثر اسکرپرها عملکرد را بدتر کرده و منابع را تخلیه می‌کنند.

ربات اسکالپر(Scalping)

ربات‌های اسکالپر لذت خرید آنلاین را از بین می‌برند. آنها محصولات جدید نسخه محدود شما را در عرض چند ثانیه می‌خرند یا نگه می‌دارند و را‌ه‌اندازی محصول و تجربه واقعی خریداران را خراب می‌کنند. ربات‌های اسکالپر با نام‌های ربات خرید، یا ربات‌های اسنیکر نیز شناخته می‌شوند.

محصولات محبوب اسکالپرها، بلیط کنسرت و محصولات بسیار پرطرفدار مانند کارت گرافیک و کنسول جدید است. با این حال هر محصولی با نسخه محدود که قیمت خرده‌فروشی نسبتا بالایی داشته باشد مورد توجهشان قرار می‌گیرد.

ربات پر کردن اعتبار

یکی از راه‌هایی که هکرها از آن شیوه به حساب‌های آنلاین دسترسی پیدا می‌کنند، پر کردن اعتبار است. ربات‌های پر کردن اعتبار از دیتا بیس دزدیده شده ی لاگین و پسورد برای دسترسی به حساب‌های کاربری استفاده می‌کنند.

اگر آنها موفق شوند، تصاحب حساب جدی رخ می‌دهد که می‌تواند عواقب جدی و پرهزینه ای داشته باشد. کمترین اتفاقی که ممکن است بیفتد آسیب زیاد به زیرساخت وب‌سایت است؛ حتی می‌توانند وب‌سایت شما را آفلاین کنند.

ربات Brute Force

حملات Brute Force زمانی اتفاق می‌افتند که هکرها ربات‌های خودکار را برای انجام یک سری راه‌حل خرابکارانه برای کشف اطلاعات به‌کار می‌گیرند. رایج ترین حمله brute-force یک رمز عبور است. رباتی که اغلب از طریق میلیون‌ها ترکیب تلاش می‌کند تا اطلاعات محافظت شده با رمز عبور را به دست آورد.

قدرت شلیک ربات‌های بی رحم به این معنی است که می‌توانند تعداد زیادی ترکیب را در مدت زمان بسیار کوتاهی آزمایش کنند. این ربات نیز زیرساخت وب سایت شما را تهدید می‌کند و احتمالاً می‌تواند منجر به افشای اطلاعات محرمانه شود.

ربات ساخت اکانت جعلی

بعضی ربات‌ها برای انجام کار خود نیاز به ایجاد حساب مشتری جعلی دارند. به عنوان مثال، ربات‌های خرید اغلب چندین حساب جعلی ایجاد می‌کنند تا چندین محصول مشابه را به طور همزمان بربایند. این نوع ربات‌ها از طریق صفحه ثبت نام وارد شده و تعداد زیادی حساب کاربری به ظاهر خالی در پایگاه داده کاربران ایجاد می‌کنند.

حساب‌های جعلی فقط برای جمع‌آوری خودکار محصولات استفاده نمی‌شوند. آنها می‌توانند بر بررسی‌های محصول تأثیر بگذارند، اطلاعات نادرست را توزیع کرده و بدافزار را پخش کنند. به نفع شماست که اکانت‌های جعلی را حذف کنید ولی این موضوع بر توانایی کاربر برای ثبت نام در وب سایت یا برنامه تأثیری نمی‌گذارد.

حملات DDoS

یک حمله DDoS از بات‌نت‌ها استفاده می‌کند تا سرور یا شبکه را تحت تأثیر قرار دهد. این امر تا زمانی که سرعت آن به طور قابل توجهی کاهش یابد یا از کار بیفتد ادامه می‌یابد. هدف این است که محصول و خدمات در دسترس کاربران نباشد.

برخی از بات‌نت‌ها این کار را در تعداد زیاد انجام می‌دهند(یک حمله حجمی)، در حالی که سایر حملات DDoS خاص‌تر هستند و یک جنبه خاص از برنامه یا سرور را هدف قرار می‌دهند(مانند نقطه پایانی وردپرس وب‌سایت‌های وردپرس).

ربات تقلب تبلیغات کلیکی

با افزایش روز افزون کسب‌وکارهای اینترنتی تبلیغات آنلاین نیز روزافزون شده است. از مهمترین شیوه‌های تبلیغاتی برای کسب‌وکارها تبلیغات کلیکی است. اینجا نیز ربات‌های خوب و ربات‌های بد نقش به‌سزایی ایفا می‌کنند. ربات‌های خوب، همانطور که در تعریف آمد، از اعتبار لازم برخوردارند و کلیک‌های واقعی مشتریان و کاربرانی را تشکیل می‌دهند که هدف ما بوده اند. با این حال بخش مهمی از کلیک‌های تبلیغات را ربات‌های بد و ورودی‌های نامعتبر تشکیل می‌دهند.

چرا مدیریت ربات مهم است؟

به طور کلی، سه مزیت اصلی برای داشتن یک راه حل مناسب مدیریت ربات وجود دارد:

1. شناسایی در لحظه و شناسایی فعالیت‌های ربات

یک مدیر ربات موثر باید بتواند بین ربات‌های خوب و ربات‌های بد تمایز قائل شود و آنگاه ربات‌های بد که خود را به عنوان کاربران انسانی معرفی می‌کنند، شناسایی کند. بهترین روش مدیر ربات، بهره‌برداری از مزایای ربات‌های خوب واقعی و در عین حال محدود کردن یا مسدود کردن فعالیت‌های ربات‌های مخرب است.

باید خاطر نشان کرد که اگر ربات‌های خوب قصد مخربی نداشته باشند، باز هم همه آنها برای وب سایت مفید نیستند. بنابراین، مدیریت صحیح ربات‌های خوب همچنان برای جلوگیری از اتلاف بی مورد منابع ضروری است. به عنوان مثال، اگر به بازار چین خدمات نمی‌دهید، بنابراین اجازه دادن به ربات‌های خزنده Baidu در سایتتان غیر ضروری است.

یک مدیر ربات کارآمد می‌تواند دسته‌های مختلف ربات‌های خوب را شناسایی کند، اطلاات مربوط به پروفایلینگ ربات‌ها را تعریف کند (تحلیل مبتنی بر اثر انگشت)، و فعالیت‌های ربات را تحلیل کند (تحلیل مبتنی بر رفتار). مدیر ربات باید بتواند به طور دقیق یک ارزیابی در زمان واقعی از قصد ربات انجام دهد.

2. کاهش تاثیر منفی ربات‌ها بر عملکرد وب سایت

همانطور که بحث شد، حتی ربات‌های خوب هم همیشه ۱۰۰ درصد مواقع سودمند نیستند و می‌توانند در مواقعی که ترافیک شلوغ است، منابع را مصرف کنند. یک مدیر ربات مناسب می‌تواند به شما در مدیریت ترافیک ربات خوب با توجه به میزان شلوغی وب سایت و سایر شاخص‌ها کمک کند.

به عنوان مثال، ما می‌توانیم حتی ربات‌های خوب را در ساعات اوج مصرف کاهش دهیم. مدیر ربات می‌تواند ترافیک ربات را در این ساعات تغییر مسیر دهد یا کاهش دهد تا از حداکثر عملکرد وب‌سایت اطمینان حاصل کند و نرخ پرش(که منجر به ضرر در فروش می‌شود) را به حداقل برساند.

3. کنترل فعالیت ربات‌های مخرب

مدیر ربات باید فعالیت‌های مخرب ربات را کنترل کند. ربات‌های بد می‌توانند تأثیرات منفی مختلفی داشته باشند، از سرقت محتوا، انجام حملات اسکالپینگ، راه‌اندازی پر کردن اعتبار و حملات brute force تا یک حمله DDoS در مقیاس کامل. با این حال همانطور که اعمال قوانین استاتیک برای شناسایی ترافیک ربات کافی نیست، اعمال پاسخ‌های ایستا برای ترافیک خودکار پیچیده دیگر کافی نیست. یک مدیر ربات خوب باید برای پاسخ‌های تهاجمی به هر نوع تهدید متفاوتی بهینه شده باشد.

علاوه بر مسدود کردن سخت ربات‌های بد، راه‌حل مناسب مدیریت ربات می‌تواند از روش‌های مختلفی مانند کاهش سرعت یا کاهش سرعت دریافت اطلاعات، هدایت نادرست آن، یا تغذیه آن با اطلاعات جعلی(honey pots) برای کنترل فعالیت‌های خود استفاده کند.

رویکرد صحیح مدیریت ربات دیگر به سادگی مسدود کردن تمام ترافیکی که از ربات‌ها می‌آید نیست، بلکه باید گزینه‌های بیشتری را برای مدیریت انواع مختلف ترافیک ربات در نظر گرفت: از ارائه محتوای جایگزین تا کاهش نرخ ترافیک.