Como instalar e usar o wget no Mac

Há muitas maneiras de baixar recursos da web. Além do seu navegador, você também pode usar uma ferramenta como wget para baixar recursos da Web enquanto faz outra coisa. Neste artigo, mostramos como baixar e usar o wget no Mac.

O que é wget (e para que é usado)?

Para quem não sabe, wget é um utilitário de linha de comando não interativo de código aberto para ajudá-lo a baixar recursos de uma URL especificada. Por não ser interativo, o wget pode funcionar em segundo plano ou antes mesmo de você fazer login.

É um projeto da equipe GNU, e é ótimo se você tiver uma conexão ruim com a Internet. Isso significa que é robusto em condições não ideais.

Depois de instalar o wget, você executará comandos e especificará um destino para seus arquivos. Nós mostramos a você como fazer isso a seguir.

Como instalar o wget no Mac

Antes de instalar o wget, você precisa de um gerenciador de pacotes. Embora o wget não seja fornecido com o macOS, você pode baixá-lo e instalá-lo usando Cerveja caseira – o melhor gerenciador de pacotes para Mac disponível.

1. Baixe e instale o Homebrew

Para instalar o Homebrew, primeiro abra uma janela do Terminal e execute o seguinte comando:

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

Este usa o curl comando para baixar arquivos que são enviados dentro da instalação Ruby pré-instalada no macOS.

Uma vez que você pressiona Digitar para executar o comando, o instalador fornecerá detalhes explícitos sobre o que acontecerá.

Depois de confirmar, o instalador será executado.

2. Instale o wget na linha de comando

Em seguida, queremos usar o Homebrew para instalar o wget. No Terminal novamente, execute:

brew install wget

O instalador fornecerá atualizações de progresso ao vivo, e há pouco que você precisa fazer aqui. O processo é simples e automatizado. No entanto, se você já tiver o Homebrew instalado, certifique-se de executar brew update para obter as cópias mais recentes de todas as suas fórmulas.

Depois de ver um novo prompt no seu Terminal, você estará pronto para usar o wget no Mac para baixar recursos.

Como usar o wget para baixar recursos da Web

Para baixar um recurso remoto de uma URL usando wget, você deve usar a seguinte estrutura:

wget -O path/to/local.copy http://example.com/url/to/download.html

Isso salvará o arquivo especificado na URL no local especificado em sua máquina.

Se você excluir o -O “flag”, seu local de download será o diretório de trabalho atual.

Por exemplo, queremos baixar uma página da Web para a pasta Downloads:

wget -O /Users/[your-username]/Downloads/status.html https://www.w3.org/Status.html

Embora, para fazer o mesmo sem o -O sinalizador, precisaríamos alterar o diretório (cd downloads) antes de executarmos wget:

wget /Users/[your-username]/Downloads/status.html https://www.w3.org/Status.html

Você obterá os detalhes completos sobre o progresso do download, embora, com a rapidez com que o wget é, essas informações são semelhantes a um resumo do download, em vez de atualizações em tempo real.

Como baixar um diretório recursivo

Para baixar uma árvore de diretórios inteira com wget, você precisa usar o -r/--recursive e -np/--no-parent bandeiras:

wget -e robots=off -r -np https://www.w3.org/History/19921103-hypertext/hypertext/

Isso fará com que o wget siga quaisquer links encontrados nos documentos dentro do diretório especificado. A partir daí, ele realizará um download recursivo de todo o caminho de URL especificado.

Observe também o -e robots=off comando. Isso ignora as restrições no arquivo robots.txt. Em geral, é uma boa ideia desabilitar o robots.txt para evitar downloads abreviados.

Usando sinalizadores adicionais com wget

Você descobrirá que o wget é uma ferramenta flexível, pois usa vários outros sinalizadores adicionais. Isso é ótimo se você tiver requisitos específicos para o download.

Vamos dar uma olhada em duas áreas em nosso foco no controle do processo de download e na criação de logs.

Controlar como o wget fará o download de recursos

Existem muitos sinalizadores para ajudá-lo a configurar o processo de download. Aqui estão apenas alguns dos mais úteis:

• wget -X /absolute/path/to/directory excluirá um diretório específico no servidor remoto.
• wget -nH remove os diretórios “hostname”. Em outras palavras, ele pula o nome de domínio primário. Por exemplo, wget pularia o www.w3.org pasta no exemplo anterior e comece com a History diretório em vez disso.
• wget --cut-dirs=# ignora o número especificado de diretórios na URL antes de iniciar o download dos arquivos. Por exemplo, -nH --cut-dirs=1 alteraria o caminho especificado de “ftp.xemacs.org/pub/xemacs/” para simplesmente “/xemacs/” e reduziria o número de diretórios pai vazios no download local.
• wget -R index.html/wget --reject index.html irá pular quaisquer arquivos que correspondam ao nome de arquivo especificado. Nesse caso, excluirá todos os arquivos de índice. O asterisco
• wget -i file é um curinga, como “*.png”. Isso pularia todos os arquivos com a extensão PNG. --force-html especifica URLs de destino de um arquivo de entrada. Este arquivo de entrada deve estar no formato HTML, ou você precisará usar o
• wget -ncsinalizador para analisar o HTML.wget --no-clobber /
• wget -cnão substituirá os arquivos que já existem no destino.wget --continue /
• wget -t 10 continuará os downloads de arquivos parcialmente baixados.

tentará baixar o recurso até 10 vezes antes de falhar.

wget pode fazer mais do que controlar o processo de download, pois você também pode criar logs para referência futura.

Ajustar o nível de registro

• wget -d Você também pode considerar os seguintes sinalizadores como uma maneira parcial de controlar a saída que você recebe ao usar o wget.
• wget -o path/to/log.txt permite a saída de depuração.
• wget -q permite registrar a saída no diretório especificado em vez de exibir a saída padrão de login.
• wget -v desativa toda a saída do wget, incluindo mensagens de erro.
• wget --no-verbose habilita explicitamente o padrão de saída detalhada do wget.

desativa as mensagens de log, mas exibe mensagens de erro.

Muitas vezes você gostaria de saber o que está acontecendo durante um download, então você não pode usar esses sinalizadores tanto quanto outros. Ainda assim, se você tiver um grande lote de downloads e quiser ter certeza de que pode corrigir qualquer problema, ter um log ou falta de saída é uma abordagem válida.

Conclusão Embora você possa usar seu navegador ou outra GUI para baixar páginas da Web e outros recursos, você pode economizar tempo com a linha de comando. Uma ferramenta como o wget é poderosa – mais do que o seu navegador – e é ágil também. Para uma descrição completa dos recursos do wget, você poderevise a página man GNU do wget

.