Clients Web (collecte automatique de données sur la toile)

Programmation

DP-WEBCLT      
Durée
      3 jours

 

Objectif

Concevoir des automates sophistiqués d'interrogation de sites Web. Maîtriser tous les aspects des communications exploitant le protocole HTTP.

Description

Des millions de pages Web statiques et surtout une combinaison inépuisable de pages fabriquées qui ne demandent qu'à être consultées. Manuellement à l'aide d'un navigateur ? Non, pas obligatoirement, vous pouvez développer vos propres outils qui simuleront dans les moindres détails les interactions d'un internaute armé de son "browser" surfant sur le réseau des réseaux.

Prérequis

Une connaissance satisfaisante du langage Perl.

Public

Programmeur.

Sujets abordés

  • Introduction
    • Pour quelles raisons programmer vos propres clients ?
    • Le Web et le protocole HTTP
    • Des programmes prêts à l'emploi, plus ou moins spécialisés
      • Détail
      • Capacités et limitations
    • L'interface de programmation
  • Démystifier le navigateur
    • Dans les coulisses d'un document simple
      • requête du navigateur
      • réponse du serveur
      • analyse syntaxique
      • gestion d'un lien hypertexte
    • Récupération manuelle de document
    • Dans les coulisses d'un formulaire HTML
    • Les dessous de la publication de document
  • Le protocole HTTP
    • Format des transactions HTTP
    • Méthodes d'interrogation des clients
    • Les différentes versions du protocole HTTP
    • Codes des réponses du serveur
    • Entêtes HTTP
  • La librairie Socket
    • Communication typique avec les sockets
    • Utilisation des appels de sockets
    • Gestion des sockets côté serveur
    • Code d'une connexion client
    • Votre premier client Web
    • Analyse d'une URL
  • La librairie LWP
    • Quelques exemples simples
    • Description des différents modules LWP
    • Employer LWP
  • Exemples de programmes LWP
    • Clients simples
    • Clients périodiques
    • Clients récursifs
  • Entêtes HTTP
    • Entêtes généraux
    • Entêtes d'une requête du client
    • Entêtes d'une réponse du serveur
    • Entêtes d'entité
  • Aspects connexes
    • Codage des types de données
    • Codage des caractères
    • Langages
    • Jeux de caractères
    • Standard d'exclusion des robots

 

Nos formations
Nous demander un devis pour cette formation

Nous contacter