Anti-Scraping

Bien qu’il n’est aucun coté légal le web scraping est massivement utilisé par tous, notamment par les start-up pour agréger en un temps court une grande quantité de contenu mais aussi par les services de paiements (PSD2).
L’entreprise organise également des scrapathons dans l’objectifs de challenger les concurrents et voir si les bots créer peuvent passer les deux challenges proposés. En général le deuxième challenge est priorisé, le premier étant souvent jugé trop simple.

Web scraping

Le web scraping consiste en la récupération de données gratuitement sur des sites webs comme le prix, le nom… . Pour ce faire il faut laisser tourner les robots en permanence. Toutefois leur navigation ID n’est pas séquentielle ce qui permet en général de les différenciés et donc de les bloquer.

Les bots et leur diminution

Ils existent deux types de bots : les « bad bots » et les « good bots ». Nous parlerons surtout des « bad bots » et de leur diminution depuis 2014 où ils représentaient 23% des attaquants. En effet depuis la mise en place de la WAF de plus en plus de bots sont bloqués.

Les différents robots existants :
•Les basics, ceux qui ne possèdent qu’une seule adresse IP
• Les communs, ou autrement dit les browsers headless capable d’exécuter du JAVA script
• Les avancés, qui sont utilisés afin d’automatiser les navigateurs et ont la capacité d’immiter le comportement humain
• Les persistants, les polymorphes disposent de nombreux profils et donc peuvent s’adapter en cas de contre-mesure.

Du fait du que les comportements humains soient stockés, connues et algorithmés on peut se retrouver face à des risques de faux négatifs (robots assimilés aux humains) et de faux positifs (humains assimilés à des robots).