Extração de dados da web com BeautifulSoup e Selenium

Última atualização: 28/01/2026
autor: Isaac
  • A combinação de BeautifulSoup e Selenium permite extrair dados tanto de páginas estáticas quanto dinâmicas.
  • Requests e BeautifulSoup são ideais para HTML direto, enquanto o Selenium automatiza navegadores e JavaScript.
  • Respeito é fundamental. robôsArquivos .txt, legalidade e aplicação das melhores práticas para dimensionar e manter scrapers.
  • APIs e ferramentas sem código, como o Octoparse, são alternativas úteis dependendo do perfil e das necessidades do projeto.

Guia de extração de dados da web com BeautifulSoup e Selenium

Se você tivesse que compilar manualmente preços, avaliações ou listas completas de produtos da internet hoje, provavelmente ficaria frustrado . Copiar e colar linha por linha não é apenas incrivelmente tedioso, mas também um terreno fértil para erros humanos. Felizmente, temos ferramentas como Python , BeautifulSoup e Selenium que nos permitem automatizar todo esse processo de forma controlada e reproduzível.

Neste artigo, vamos analisar de forma completa, porém acessível e prática, como combinar a extração estática de dados com BeautifulSoup e a extração dinâmica com Selenium . Você verá quando usar cada abordagem, como elas se complementam, quais problemas típicos você encontrará (iframes, JavaScript, CAPTCHAs, mudanças estruturais, etc.) e também abordaremos tópicos importantes como legalidade, ética, arquivos robots.txt e alternativas como APIs ou ferramentas no-code.

O que exatamente é web scraping e quando faz sentido usá-lo?

Web scraping é o processo de extrair automaticamente informações de páginas da web projetadas para humanos , transformando esse conteúdo HTML (e às vezes também o gerado com JavaScript) em dados estruturados que podem ser usados: tabelas, JSON, CSV, uploads para um banco de dados, etc.

A ideia é que um programa faça o que um usuário faria em frente a um navegador : visitar URLs, seguir links, localizar partes específicas da página (títulos, preços, comentários, imagens, botões), extrair o conteúdo e salvá-lo para análise posterior.

Os casos de uso mais comuns para a extração de dados da web são muito variados : desde comparar preços de produtos em diferentes sites de comércio eletrônico, monitorar a concorrência, coletar avaliações ou comentários, rastrear menções à marca, gerar leads a partir de listas públicas ou criar conjuntos de dados para projetos de aprendizado de máquina.

No entanto, a extração de dados deve ser sempre o último recurso quando você não tiver uma API oficial ou outra forma estruturada de acessar os dados . É um método frágil (as páginas mudam), pode entrar em conflito com as políticas de uso do site e, se você precisar vasculhar uma grande quantidade de dados irrelevantes para encontrar o que procura, pode ser lento ou consumir muitos recursos.

Antes de escrever uma única linha de código para extração de dados, é aconselhável se fazer algumas perguntas importantes : Existe uma API oficial? Estou violando os termos e condições do site? Estou em conformidade com a legislação local sobre proteção de dados e uso de informações? O uso que pretendo fazer desses dados é legal e ético?

Conceitos e usos de web scraping

Como funciona a web "de verdade": HTML, CSS, JavaScript, iframes e DOM.

Em teoria, um site é bastante simples: HTML para a estrutura, CSS para a aparência e JavaScript para dar vida a ele . Mas quando você começa a analisar sites reais, descobre que o HTML pode ser um pesadelo, o CSS irrelevante para seus dados e o JavaScript uma caixa preta que manipula o conteúdo à vontade.

Ao pressionar Enter no seu navegador, ele envia uma solicitação HTTP para o servidor, recebe uma resposta e a exibe de forma formatada . Se você clicar em "Exibir código-fonte da página", verá o HTML exatamente como foi enviado pelo servidor, antes que o JavaScript modifique o DOM.

O DOM (Document Object Model) é a representação em tempo real da página dentro do navegador . O JavaScript pode adicionar, remover ou modificar nós do DOM depois que o HTML inicial já foi baixado. Portanto, o conteúdo que você vê na tela às vezes não aparece no código-fonte.

Um exemplo típico são os sistemas de comentários como o Disqus, ou conteúdos incorporados de terceiros, que são inseridos por meio de iframes . É possível que, ao inspecionar o HTML original, você não encontre nenhum vestígio do iframe, porque ele é injetado dinamicamente com JavaScript assim que a página é carregada.

Essa diferença entre "visualizar o código-fonte" e o DOM final é o que marca a fronteira entre a raspagem estática e a raspagem dinâmica : na primeira, você vê apenas o HTML que vem do servidor; na segunda, você precisa de um navegador (real ou headless) que execute JavaScript e permita acessar o DOM resultante.

Extração estática de dados com Python, Requests e BeautifulSoup

Extração estática de dados com BeautifulSoup

Sempre que o conteúdo necessário estiver em HTML "tal como está", vindo diretamente do servidor, o método mais simples, rápido e robusto é a raspagem estática . Em Python, isso geralmente é feito combinando a biblioteca requests (para fazer requisições HTTP) com o BeautifulSoup (para analisar e navegar pelo HTML).

O módulo requests permite que você faça uma chamada simples como r = requests.get(url) e, a partir do objeto de resposta, verifique se a solicitação foi bem-sucedida com r.ok ou revise o código de status HTTP e o conteúdo recebido. Ao trabalhar com texto, geralmente é uma boa prática decodificá-lo em UTF-8.

O BeautifulSoup pega o HTML que você baixou e o transforma em uma árvore de objetos Python que você pode pesquisar por tags, atributos, texto, elementos aninhados e muito mais. Basta criar algo como ` soup = BeautifulSoup(response.text, 'html.parser')` para começar a experimentar.

A partir daí, você pode localizar praticamente qualquer elemento usando métodos como find, find_all ou select . Por exemplo, recuperar todos os links em uma página seria tão simples quanto obter todas as tags <a> e ler o atributo href delas.

Um padrão muito típico é iterar por listas repetitivas, como artigos, produtos ou posts de blog . Imagine uma página onde cada tutorial está dentro de uma tag <article> : você poderia pesquisar todas essas tags, entrar em cada uma, localizar o link, o título, a data, etc., e gerar uma lista de dicionário ou um DataFrame do Pandas.

  Tutorial de reparo do Windows do Tweaking.com

O BeautifulSoup também é muito útil para extrair dados de tabelas HTML, como as da Wikipédia . Uma técnica comum é localizar a tag `<table> ` de seu interesse e usar `pandas.read_html` para convertê-la diretamente em um DataFrame, que você pode então exportar para CSV ou processar para análise estatística ou modelos de aprendizado de máquina.

Em projetos mais complexos, a prática comum é encapsular a lógica de extração de dados em funções : uma que baixa e analisa a página, outra que extrai os links relevantes e outra que, a partir de uma URL detalhada, retorna um dicionário com todos os campos de interesse, pronto para ser salvo em um banco de dados.

Não se esqueça de tratar os erros com blocos try-except . Se uma requisição falhar ou a estrutura do HTML for alterada, lançar uma exceção não tratada pode interromper todo o processo. O tratamento de exceções permite que você ignore páginas problemáticas, registre erros e continue.

Raspagem dinâmica: quando o BeautifulSoup já não é suficiente

A extração estática de dados não é suficiente quando o conteúdo desejado é gerado com JavaScript : menus que carregam dados ao clicar, comentários incorporados, listas paginadas que se atualizam sem recarregar a página, campos que aparecem somente após o login, etc.

Nesses casos, mesmo usando `requests.get(url)`, o HTML recebido não contém as informações finais . Você vê apenas templates, scripts minificados, trechos de marcação incompletos e pouco mais. O JavaScript insere os elementos faltantes assim que a página é executada no navegador.

A raspagem dinâmica introduz um navegador real ou "sem interface gráfica" que executa JavaScript e constrói o DOM final . Seu script não apenas baixa a página, ele a "navega": clicando em botões, preenchendo formulários, alternando entre abas, aguardando o carregamento de elementos e, em seguida, extraindo os dados.

A principal ferramenta nessa área é o Selenium WebDriver . Ele foi originalmente projetado para testes automatizados de aplicações web, mas sua capacidade de controlar o navegador o torna um excelente aliado para extrair dados de sites complexos e dinâmicos.

Com o Selenium, você controla o navegador como se fosse um usuário real : pode abrir uma URL, localizar elementos por ID, classe, seletor CSS ou XPath, clicar, enviar texto (para logins, formulários, mecanismos de busca), alternar entre iframes, gerenciar janelas ou abas e, finalmente, ler o DOM retornado por driver.page_source ou extrair texto diretamente dos elementos.

Instalar e configurar o Selenium, drivers e navegadores.

Para trabalhar com o Selenium, você precisa de duas coisas: a biblioteca Python e o driver do navegador que deseja automatizar . Você pode usar o Chrome, o Firefox ou outros navegadores, mas o Chrome e o Firefox geralmente são as opções mais seguras.

A instalação básica em Python é tão simples quanto executar `pip install selenium` . A partir daí, você precisa baixar o driver correspondente (por exemplo, `geckodriver` para Firefox ou `chromedriver` para Chrome), colocá-lo em um local acessível e adicionar esse local ao PATH do seu sistema, caso queira evitar especificar o caminho absoluto no seu script.

No Windows , por exemplo, você colocaria o arquivo .exe do driver em uma pasta de sua escolha e adicionaria essa pasta à variável de ambiente PATH . O processo é semelhante no Linux ou macOS, mas a forma de configurar as variáveis ​​de ambiente é diferente.

Hoje em dia, em muitos casos, basta especificar o caminho do driver ao criar o objeto WebDriver , por exemplo, com o Chrome: configurando um ChromeService com o caminho para o chromedriver e passando esse serviço para webdriver.Chrome juntamente com as opções do navegador.

Você pode usar navegadores com interface visível ou em modo headless . O modo headless economiza recursos e é ideal para automação do lado do servidor, mas é recomendável testar primeiro no modo visível para depurar problemas de interação com a página.

Extração dinâmica real: de logins, iframes e elementos gerados com JS.

Após inicializar o WebDriver, você pode começar a automatizar cenários que seriam problemáticos com o BeautifulSoup . Por exemplo, fazer login em um site que exige nome de usuário e senha antes de exibir as informações necessárias.

O fluxo de trabalho típico com Selenium para uma página protegida por login é: abrir a URL, localizar os campos de nome de usuário e senha, enviar as credenciais, clicar no botão de login e aguardar o carregamento do conteúdo privado . A partir daí, você pode extrair os dados como faria em qualquer outra página.

Outro exemplo poderoso é a contagem de comentários de uma plataforma como o Disqus incorporados em uma página de tutorial . Frequentemente, esses comentários estão dentro de um iframe que nem sequer aparece no HTML inicial: ele é gerado com JavaScript e inserido com um ID como disqus_thread.

Com o Selenium, você pode localizar esse contêiner, alterar o contexto para o iframe correspondente, aguardar o carregamento de elementos como o contador de comentários e ler o valor . Sem o Selenium, usando apenas requests e BeautifulSoup, não há muito que você possa fazer nesse caso.

Iframes e conteúdo tardio significam que simplesmente solicitar `page_source` imediatamente após o carregamento da página não é suficiente . Muitas vezes é necessário usar esperas explícitas (aguardando um elemento `oa` visível) antes de recuperar os dados para evitar ser pego no meio do processo.

Quanto às ferramentas de suporte, além do navegador que controla o Selenium, você pode usar o DevTools para inspecionar o DOM e localizar as classes CSS, IDs ou seletores necessários . Isso é crucial para encontrar padrões repetidos (linhas de tabela, cartões de produtos, blocos de comentários) que você percorrerá em um loop.

  Código de erro 0x80072F8F no Windows: causas, soluções e guia completo

Combinando Selenium e BeautifulSoup: o melhor dos dois mundos

Uma estratégia muito eficaz é usar o Selenium apenas para o que o navegador realmente exige e delegar a análise sintática complexa ao BeautifulSoup . Dessa forma, o Selenium se encarrega de "preparar" a página (cliques, logins, rolagem, filtros) e, em seguida, você passa o HTML resultante para o BeautifulSoup para facilitar a extração.

Por exemplo, imagine que você queira extrair dados de uma página que gera uma tabela com 100 nomes de personagens de Star Wars ao clicar em um botão . Com o Selenium, você pode localizar o botão de opção com o valor 100, clicar nele e, em seguida, localizar o botão "Gerar!" e clicar nele novamente para preencher a tabela.

Uma vez que a tabela esteja no DOM, você pode recuperar `driver.page_source` e passá-la para o BeautifulSoup . A partir daí, você pesquisa a tabela específica (por índice, ID ou classe), itera pelas células `<td>` , limpa o texto (removendo espaços, quebras de linha e caracteres especiais como `u'\xa0'`) e adiciona cada nome a uma lista, verificando se há duplicatas.

Se você repetir esse ciclo em um loop até atingir, por exemplo, 100.000 nomes, o Selenium cuida da parte interativa e o BeautifulSoup da extração . Em seguida, você pode exportar o resultado para um DataFrame do Pandas como um arquivo CSV, perfeito para alimentar um modelo de aprendizado de máquina ou qualquer análise subsequente.

Esse mesmo padrão de "Selenium para interagir, BeautifulSoup para analisar" pode ser aplicado a uma infinidade de sites dinâmicos : você seleciona filtros, muda de página, rola para carregar mais resultados e, quando o DOM já contém o que lhe interessa, você passa o HTML para o BeautifulSoup para extraí-lo com precisão.

Extração de dados em larga escala, projetos reais e ferramentas complementares.

Em um contexto profissional, raramente nos limitamos a um pequeno script: acabamos criando scrapers mais complexos que rastreiam muitas páginas e geram grandes volumes de dados . É aí que ferramentas como o Scrapy entram em cena para escalar e organizar o projeto.

Um exemplo clássico de projeto educacional é a criação de um extrator de notícias para um jornal online como o Página 12. Para isso, você pode usar o requests e o BeautifulSoup para baixar a página inicial, localizar as seções, extrair os links de cada uma e, em seguida, visitar cada artigo de notícias separadamente.

A lógica geralmente é dividida em várias funções: uma para obter as seções, outra para listar os URLs dos artigos de notícias em uma seção e outra para extrair o conteúdo detalhado de cada artigo . Esta última função pode retornar um dicionário com título, data, corpo do artigo, autor, categoria, imagem principal, etc.

Além do texto, é comum baixar conteúdo multimídia associado, como a imagem principal . Para isso, basta localizar o atributo `src` da tag `<img>` desejada e enviar outra solicitação usando `requests.get` para salvar o arquivo no disco.

Na prática, ao fazer muitas requisições para o mesmo site, é essencial ser educado com o servidor : espace as requisições, respeite quaisquer instruções de atraso de rastreamento no arquivo robots.txt e evite iniciar centenas de threads que possam sobrecarregar o site de destino.

O Scrapy entra em cena quando você precisa de raspagem de dados em larga escala : ele fornece uma estrutura completa com spiders, filas de requisições, tratamento de erros, pipelines para processamento e armazenamento de dados, além de recursos para respeitar o robots.txt e as regras de acesso.

Legalidade, ética e robots.txt na extração de dados da web.

Os aspectos legais da extração de dados da web não são preto no branco, mas sim uma área cinzenta que deve ser tratada com cuidado . Só porque algo é tecnicamente acessível não significa que você pode fazer o que quiser com isso.

Há quatro perguntas básicas que você sempre deve se fazer antes de extrair dados de um site : Estou infringindo alguma lei local ou regional? Estou violando os termos e condições de serviço? Estou acessando seções que o proprietário não considera públicas? O uso final que farei dos dados é legítimo?

Um arquivo fundamental que vale a pena revisar é o robots.txt . Você o encontrará adicionando /robots.txt à raiz do seu domínio, por exemplo: https://www.example.com/robots.txt . Nele, o proprietário especifica quais rotas os rastreadores podem visitar e quais ele deseja bloquear.

As diretivas mais comuns são `Disallow`, que marca caminhos indesejados, e `Crawl-delay`, que especifica o número de segundos a aguardar entre as requisições . Embora o arquivo `robots.txt` não seja uma lei em si, respeitá-lo é uma boa prática e geralmente indica a intenção do proprietário do site.

Do ponto de vista da ética profissional, é importante não sobrecarregar os servidores nem extrair informações sensíveis ou privadas . Em caso de dúvidas, o melhor é entrar em contato com os administradores do site ou verificar se eles oferecem uma API oficial ou conjuntos de dados prontos para uso.

Também não devemos nos esquecer das normas de proteção de dados pessoais . Se você pretende processar dados de usuários, opiniões, perfis, etc., deve ter clareza sobre a base legal e as implicações para a privacidade.

Desafios técnicos comuns: mudanças estruturais, anti-bots e escalabilidade.

Um dos maiores problemas na extração de dados da web é que os sites mudam sua estrutura sem aviso prévio . Uma alteração em uma classe CSS, uma reformulação do modelo ou uma nova forma de carregar conteúdo podem quebrar seu programa de extração de dados da noite para o dia.

  Descubra como criar uma impressora online no Home Windows 11/10

Por isso, é importante projetar o código com alguma tolerância a pequenas alterações : não dependa demais de seletores frágeis, verifique se os elementos existem antes de usá-los e escreva funções que sejam fáceis de atualizar quando algo quebrar.

Outra frente são as medidas anti-bot implementadas por muitos sites : bloqueio de IP, detecção de padrões de tráfego, desafios avançados de JavaScript, CAPTCHAs, detecção automática de navegadores, etc.

Para superar essas barreiras, são empregadas técnicas como o uso de proxies (às vezes rotativos), cabeçalhos que simulam navegadores reais, períodos de espera aleatórios entre requisições e navegadores sem interface gráfica que se comportam da maneira mais humana possível . Existem até mesmo navegadores "anti-detecção" e serviços especializados que tentam camuflar a automação.

Com o Selenium, por exemplo, você pode se conectar a navegadores personalizados ou antifraude usando endereços de depuração remota . Alguns serviços permitem que você inicie um navegador com uma impressão digital específica (agente do usuário, hardware , sistema operacional) e se conecte ao WebDriver por meio de uma porta de depuração.

A escalabilidade é outro desafio: à medida que o volume de dados e páginas a visitar aumenta, é necessário paralelizar ou distribuir a extração de dados . Isso pode envolver a execução de vários processos ou até mesmo a implantação de spiders em servidores diferentes, sempre controlando a carga imposta ao site de destino.

Alternativas à extração de dados da web clássica: APIs e ferramentas sem código

Embora a extração direta de HTML seja incrivelmente flexível, nem sempre é a melhor ou a única opção . Em muitos casos, vale a pena explorar alternativas.

A primeira alternativa são as APIs oficiais . Alguns sites expõem endpoints bem documentados que retornam dados em JSON ou XML de forma estruturada e estável. Geralmente, possuem limites de uso, mas, em contrapartida, são muito mais robustas e legalmente mais claras do que extrair dados diretamente do HTML.

Outra opção é adquirir ou reutilizar conjuntos de dados pré-fabricados , sejam eles gratuitos ou pagos. Se você precisa de dados históricos e alguém já os compilou com qualidade razoável, pode não fazer sentido reinventar a roda criando seu próprio sistema de extração de dados.

Para quem não quer ou não pode programar, existem ferramentas de extração de dados sem código, como o Octoparse . Elas oferecem uma interface visual para selecionar os elementos que você deseja extrair, agendar execuções periódicas na nuvem e exportar os resultados para CSV, Excel ou JSON sem escrever uma única linha de código.

O Octoparse costuma ser uma boa opção quando você precisa de velocidade e não tem muita experiência técnica : ele permite extrair dados de sites estáticos e dinâmicos usando navegadores integrados e facilita a automação e o planejamento de tarefas sem ter que se preocupar com o Selenium ou o BeautifulSoup.

A escolha entre BeautifulSoup e uma ferramenta como o Octoparse depende muito do seu perfil e necessidades : se você busca controle preciso, total liberdade e soluções gratuitas, programar com Python é o caminho lógico; se prioriza simplicidade e uma curva de aprendizado curta, um ambiente sem código pode ser mais adequado.

Boas práticas de desenvolvimento: ambientes, erros e organização do código

Ao começar a trabalhar com web scraping, é fácil cair na armadilha de scripts caóticos; por isso, é fundamental aplicar um mínimo de disciplina de desenvolvimento . Criar ambientes virtuais, separar o código em módulos e documentar a função de cada parte evitará muitas dores de cabeça.

Em projetos profissionais, é comum criar uma pasta para o projeto, configurar um ambiente virtual com venv ou pipenv e instalar apenas as dependências necessárias : requests, beautifulsoup4, selenium, pandas, jupyter (caso você vá experimentar em notebooks), etc.

Trabalhar primeiro no Jupyter ou similar pode ajudar na prototipagem e depuração , mas, uma vez que o scraper esteja estável, faz sentido empacotar a lógica em scripts ou módulos reutilizáveis, com funções claras para cada tarefa: baixar, analisar, processar, salvar.

O tratamento de erros com blocos try-except é fundamental na extração de dados da web . Nem todas as páginas respondem corretamente; às vezes ocorrem timeouts, outras vezes as classes HTML mudam e outras ainda um campo está vazio. Em vez de deixar o programa travar, ele captura as exceções, registra qual URL falhou e continua com o restante.

Por fim, é uma boa ideia encapsular a lógica de extração em funções que retornam estruturas homogêneas, como dicionários ou dataframes . Isso facilita o salvamento dos resultados em bancos de dados , arquivos CSV ou JSON, ou até mesmo a integração em fluxos de trabalho mais complexos de análise de dados e inteligência artificial.

Resumindo, a combinação de raspagem estática com BeautifulSoup e raspagem dinâmica com Selenium permite lidar com praticamente qualquer cenário de extração de dados da web, desde uma simples tabela da Wikipédia até um portal com logins, JavaScript complexo e iframes incorporados . Com atenção cuidadosa às considerações legais e éticas, uma boa arquitetura de código e ferramentas auxiliares como requests, pandas ou até mesmo plataformas no-code, você pode transformar montanhas de HTML caótico em informações estruturadas, prontas para tomada de decisões, treinamento de modelos ou para alimentar seus próximos projetos de dados.

Isaac

Isaac

Escritor apaixonado pelo mundo dos bytes e da tecnologia em geral. Adoro compartilhar meu conhecimento por meio da escrita, e é isso que farei neste blog, mostrar a vocês tudo o que há de mais interessante sobre gadgets, software, hardware, tendências tecnológicas e muito mais. Meu objetivo é ajudá-lo a navegar no mundo digital de uma forma simples e divertida.