Você já tentou acessar uma página web através de um programa? Com o framework Scrapy esse acesso a captura de informação fica bem mais fácil e organizado.
Nesse curso você irá conseguir acessar o conteúdo das páginas web de forma rápida e fácil utilizando as boas práticas de web crawlers e do framework Scrapy.