Este tutorial aborda os fundamentos do Apify, uma plataforma em nuvem que permite criar e executar web scrapers e ferramentas de automa\u00e7\u00e3o (automation tools) em minutos.<\/p>\n\n\n\n
Com o Apify, voc\u00ea pode extrair dados de qualquer site, automatizar fluxos de trabalho e integrar com outros servi\u00e7os.<\/p>\n\n\n\n
Seja voc\u00ea um entusiasta de dados, um pesquisador ou um profissional de neg\u00f3cios, o Apify oferece um conjunto abrangente de ferramentas para extrair, transformar e analisar dados da web.<\/p>\n\n\n\n
Neste tutorial, vamos gui\u00e1-lo atrav\u00e9s do b\u00e1sico do Apify e mostrar como usar os scrapers do Apify para web scraping.<\/p>\n\n\n\n
Ap\u00f3s criar sua conta e personaliz\u00e1-la, voc\u00ea ser\u00e1 direcionado para o dashboard (painel de controle) do Apify. O dashboard \u00e9 dividido em duas se\u00e7\u00f5es principais:<\/p>\n\n\n\n
Esta se\u00e7\u00e3o oferece acesso r\u00e1pido a guias importantes, independentemente da p\u00e1gina em que voc\u00ea esteja no dashboard. As guias incluem:<\/p>\n\n\n\n
Em ess\u00eancia, a Home \u00e9 uma p\u00e1gina de resumo que te d\u00e1 uma ideia r\u00e1pida do que est\u00e1 acontecendo na sua conta Apify, sem precisar navegar para outras se\u00e7\u00f5es.<\/p>\n\n\n\n
AI<\/code> (Intelig\u00eancia Artificial)<\/li>\n\n\n\n- Automation (Automa\u00e7\u00e3o)<\/li>\n\n\n\n
- Business (Neg\u00f3cios)<\/li>\n\n\n\n
- E-commerce (Com\u00e9rcio Eletr\u00f4nico)
<\/li>\n<\/ul>\n<\/li>\n\n\n\n - Pesquisa:<\/strong> Al\u00e9m das categorias, voc\u00ea pode usar a barra de pesquisa para encontrar actors espec\u00edficos. \u00c9 poss\u00edvel pesquisar com base em:\n
\n- Servi\u00e7os<\/li>\n\n\n\n
- Autores<\/li>\n\n\n\n
- Tecnologia
<\/li>\n<\/ul>\n<\/li>\n\n\n\n - Objetivo:<\/strong> O objetivo principal da Store \u00e9 facilitar a busca pelo “actor” certo para a sua tarefa, oferecendo uma variedade de op\u00e7\u00f5es pr\u00e9-constru\u00eddas.<\/li>\n<\/ul>\n\n\n\n
Em resumo, a Store \u00e9 o local onde voc\u00ea encontra “actors” prontos para usar, sem precisar construir os seus pr\u00f3prios do zero. Ela \u00e9 organizada para facilitar a descoberta de ferramentas relevantes para suas necessidades de web scraping e automa\u00e7\u00e3o.<\/p>\n\n\n\n
\n\n\n\nActors:<\/strong> Hub central para executar tarefas de web scraping e outras tarefas desejadas.<\/h3>\n\n\n\nA aba “Actors” \u00e9 o cora\u00e7\u00e3o do Apify. \u00c9 o hub central para executar tarefas de web scraping e qualquer outra tarefa que voc\u00ea deseje automatizar. \u00c9 aqui que voc\u00ea, de fato, come\u00e7a a tirar proveito do poder dos “actors” do Apify.<\/p>\n\n\n\n
Ao acessar a aba “Actors”, voc\u00ea ter\u00e1 duas op\u00e7\u00f5es principais:<\/p>\n\n\n\n
\n- Procurar actors na loja (Browse actors in Store):<\/strong> Selecione esta op\u00e7\u00e3o para ir diretamente \u00e0 “Store” (Loja). L\u00e1, voc\u00ea encontrar\u00e1 uma vasta cole\u00e7\u00e3o de actors pr\u00e9-constru\u00eddos pela comunidade Apify, prontos para serem usados.
<\/li>\n\n\n\n- Construir seus pr\u00f3prios actors (Build your own actors):<\/strong> Se voc\u00ea tem necessidades muito espec\u00edficas, ou simplesmente prefere criar suas pr\u00f3prias ferramentas, esta \u00e9 a op\u00e7\u00e3o. Escolha-a para iniciar o processo de desenvolvimento do seu actor personalizado. Observa\u00e7\u00e3o: Este tutorial se concentra em usar actors existentes, ent\u00e3o n\u00e3o entraremos em detalhes sobre a constru\u00e7\u00e3o de actors do zero.<\/em><\/li>\n<\/ol>\n\n\n\n
Em resumo, a aba “Actors” \u00e9 o seu ponto de partida. \u00c9 aqui que voc\u00ea decide se quer usar um actor pronto da loja, ou se prefere a flexibilidade de construir um que atenda exatamente \u00e0s suas necessidades. Esta se\u00e7\u00e3o \u00e9 fundamental, porque \u00e9 onde voc\u00ea d\u00e1 o primeiro passo para colocar a automa\u00e7\u00e3o e o web scraping para trabalhar para voc\u00ea.<\/p>\n\n\n\n
\n\n\n\nStorage: Seu Centro de Gerenciamento de Dados no Apify<\/strong><\/h3>\n\n\n\nA aba “Storage” \u00e9 um componente crucial da plataforma Apify, projetada para fornecer a voc\u00ea controle total sobre os dados e arquivos gerados e utilizados em suas atividades de automa\u00e7\u00e3o e web scraping. <\/p>\n\n\n\n
Pense nela como o seu gerenciador de arquivos e banco de dados centralizado dentro do Apify.<\/p>\n\n\n\n
O Que Voc\u00ea Encontra na Aba Storage?<\/strong><\/p>\n\n\n\n\n- Datasets:<\/strong> Se voc\u00ea utiliza o Apify para extrair dados de websites (web scraping), os resultados dessas extra\u00e7\u00f5es s\u00e3o armazenados como datasets<\/em>. Na aba “Storage”, voc\u00ea pode:
\n\n- Visualizar:<\/strong> Ver os dados em formato de tabela, JSON, ou outros formatos convenientes.<\/li>\n\n\n\n
- Pesquisar e Filtrar:<\/strong> Encontrar rapidamente os dados espec\u00edficos de que voc\u00ea precisa.<\/li>\n\n\n\n
- Baixar\/Exportar:<\/strong> Fazer download dos datasets em formatos como CSV, JSON, Excel, XML, HTML para uso em outras ferramentas ou an\u00e1lises.<\/li>\n\n\n\n
- Gerenciar:<\/strong> Organizar seus datasets em pastas (se a funcionalidade estiver dispon\u00edvel), renomear, e excluir datasets antigos ou desnecess\u00e1rios.
<\/li>\n<\/ul>\n<\/li>\n\n\n\n- Key-Value Stores (Armazenamento Chave-Valor):<\/strong> S\u00e3o estruturas de dados simples, mas poderosas, que permitem armazenar informa\u00e7\u00f5es em pares de “chave” e “valor”. Isso \u00e9 \u00fatil para:
- Configura\u00e7\u00f5es:<\/strong> Armazenar configura\u00e7\u00f5es para suas automa\u00e7\u00f5es ou atores (actors).Estado:<\/strong> Manter informa\u00e7\u00f5es sobre o estado atual de uma tarefa em execu\u00e7\u00e3o (por exemplo, a \u00faltima p\u00e1gina visitada em um processo de web scraping).Dados Intermedi\u00e1rios:<\/strong> Armazenar dados tempor\u00e1rios que precisam ser acessados por diferentes partes de uma automa\u00e7\u00e3o.<\/li><\/ul>
Na aba “Storage”, voc\u00ea pode criar, editar e excluir key-value stores, al\u00e9m de visualizar e modificar os valores armazenados.
<\/li>\n\n\n\n- Arquivos:<\/strong> Dependendo das suas necessidades, voc\u00ea pode precisar fazer upload de arquivos para o Apify (por exemplo, arquivos de configura\u00e7\u00e3o, listas de URLs) ou gerar arquivos como resultado de suas automa\u00e7\u00f5es (por exemplo, relat\u00f3rios, arquivos de log).
A aba “Storage” permite que voc\u00ea:\n\n- Fa\u00e7a Upload:<\/strong> Envie arquivos do seu computador para o Apify.<\/li>\n\n\n\n
- Baixe:<\/strong> Fa\u00e7a download de arquivos gerados.<\/li>\n\n\n\n
- Organize:<\/strong> Gerencie seus arquivos em uma estrutura de pastas (se dispon\u00edvel).<\/li>\n\n\n\n
- Exclua:<\/strong> Remova arquivos desnecess\u00e1rios.
<\/li>\n<\/ul>\n<\/li>\n\n\n\n- Monitoramento do Uso:<\/strong> A aba “Storage” tamb\u00e9m fornece informa\u00e7\u00f5es importantes sobre o uso do seu espa\u00e7o de armazenamento. Voc\u00ea pode ver quanto espa\u00e7o est\u00e1 sendo utilizado, quais tipos de dados est\u00e3o consumindo mais espa\u00e7o, e, se aplic\u00e1vel, gerenciar seus limites de armazenamento.<\/li>\n<\/ul>\n\n\n\n
Recursos e Benef\u00edcios<\/strong><\/h3>\n\n\n\n\n- Organiza\u00e7\u00e3o:<\/strong> Mantenha seus dados e arquivos organizados e f\u00e1ceis de encontrar.<\/li>\n\n\n\n
- Acesso R\u00e1pido:<\/strong> Acesse seus dados rapidamente, sempre que precisar.<\/li>\n\n\n\n
- Exporta\u00e7\u00e3o Flex\u00edvel:<\/strong> Exporte seus dados em v\u00e1rios formatos para uso em outras ferramentas.<\/li>\n\n\n\n
- Controle Total:<\/strong> Gerencie seus datasets, key-value stores e arquivos de forma eficiente.<\/li>\n\n\n\n
- Efici\u00eancia:<\/strong> Otimize o uso do seu espa\u00e7o de armazenamento, excluindo dados desnecess\u00e1rios.<\/li>\n<\/ul>\n\n\n\n
Em resumo:<\/strong> A aba “Storage” do Apify \u00e9 uma ferramenta poderosa e essencial para quem trabalha com dados na plataforma. <\/p>\n\n\n\nEla oferece os recursos necess\u00e1rios para armazenar, organizar, gerenciar e exportar seus dados de forma eficiente, garantindo que voc\u00ea tenha controle total sobre as informa\u00e7\u00f5es geradas e utilizadas em suas automa\u00e7\u00f5es e atividades de web scraping. <\/p>\n\n\n\n
Ao manter os dados organizados e sob controle com as ferramentas intuitivas da aba “Storage”.<\/p>\n\n\n\n
\n\n\n\nSchedules:<\/strong> Agende a execu\u00e7\u00e3o de seus actors e tasks em hor\u00e1rios espec\u00edficos.<\/h3>\n\n\n\nA aba “Schedules” oferece uma maneira conveniente de executar seus actors e tasks em hor\u00e1rios espec\u00edficos. Agendar tasks usando express\u00f5es cron \u00e9 uma funcionalidade chave do Apify.<\/p>\n\n\n\n
Com o agendamento, voc\u00ea automatiza a execu\u00e7\u00e3o de tarefas de scraping em intervalos predefinidos, sem a necessidade de interven\u00e7\u00e3o manual.<\/p>\n\n\n\n
A aba “Schedules” \u00e9 particularmente \u00fatil para configurar tarefas recorrentes.<\/p>\n\n\n\n
Ela permite coletar dados periodicamente, sem que voc\u00ea precise estar logado na plataforma Apify.<\/p>\n\n\n\n
Isso \u00e9 especialmente ben\u00e9fico quando voc\u00ea precisa de dados em intervalos de tempo espec\u00edficos e quer garantir sua coleta de forma consistente.<\/p>\n\n\n\n
Assim, voc\u00ea garante que os dados sejam coletados pontualmente, sem precisar de interven\u00e7\u00e3o manual.<\/p>\n\n\n\n
O uso de express\u00f5es cron<\/em> permite uma configura\u00e7\u00e3o precisa e flex\u00edvel dos seus agendamentos.<\/p>\n\n\n\n
\n\n\n\nProxy:<\/strong> Configura\u00e7\u00f5es de proxy.<\/h3>\n\n\n\nA aba “Proxy” \u00e9 dedicada \u00e0s configura\u00e7\u00f5es de proxy dentro do Apify.<\/p>\n\n\n\n
Em resumo, a aba “Proxy” permite que voc\u00ea configure e gerencie as configura\u00e7\u00f5es de proxy que seus actors podem usar durante as opera\u00e7\u00f5es de web scraping e automa\u00e7\u00e3o.<\/p>\n\n\n\n
O uso de proxies pode ser crucial em diversas situa\u00e7\u00f5es, como:<\/p>\n\n\n\n
\n- Contornar Restri\u00e7\u00f5es Geogr\u00e1ficas:<\/strong> Acessar conte\u00fado que \u00e9 bloqueado em determinadas regi\u00f5es.
<\/li>\n\n\n\n- Evitar Bloqueios de IP:<\/strong> Distribuir as requisi\u00e7\u00f5es atrav\u00e9s de m\u00faltiplos endere\u00e7os IP para evitar que seu acesso seja bloqueado por sites que limitam o n\u00famero de requisi\u00e7\u00f5es de um \u00fanico IP.
<\/li>\n\n\n\n- Aumentar o Anonimato:<\/strong> Ocultar seu endere\u00e7o IP real para aumentar a privacidade durante o scraping.<\/li>\n<\/ul>\n\n\n\n
A aba “proxy” oferece um local centralizado para administrar essas configura\u00e7\u00f5es, garantindo que seus actors tenham o acesso e a prote\u00e7\u00e3o necess\u00e1rios para executar suas tarefas de forma eficaz.<\/p>\n\n\n\n
\n\n\n\nSettings:<\/strong> Configura\u00e7\u00f5es em geral.<\/h3>\n\n\n\nA aba “Settings” no Apify \u00e9 a central de controle onde voc\u00ea personaliza a plataforma e seus componentes.<\/p>\n\n\n\n
Nela, voc\u00ea ajusta as configura\u00e7\u00f5es da sua conta, define prefer\u00eancias gerais (como idioma e notifica\u00e7\u00f5es) e, crucialmente, configura os detalhes t\u00e9cnicos dos seus Actors e Tarefas.<\/p>\n\n\n\n
No caso espec\u00edfico dos Actors, voc\u00ea define a build<\/em> (vers\u00e3o), o timeout<\/em> (tempo m\u00e1ximo de execu\u00e7\u00e3o) e a mem\u00f3ria<\/em> alocada.<\/p>\n\n\n\nEssas configura\u00e7\u00f5es s\u00e3o essenciais para garantir que seus Actors rodem sem problemas, evitem o consumo excessivo de recursos e se comportem como esperado.<\/p>\n\n\n\n
A aba “Settings” \u00e9, portanto, fundamental para adaptar o Apify ao seu fluxo de trabalho e otimizar suas automa\u00e7\u00f5es.<\/p>\n\n\n\n
\n\n\n\nBilling:<\/strong> Informa\u00e7\u00f5es de faturamento.<\/h3>\n\n\n\nA aba “Billing” no Apify \u00e9 dedicada \u00e0s informa\u00e7\u00f5es de faturamento da sua conta.<\/p>\n\n\n\n
Voc\u00ea encontrar\u00e1 informa\u00e7\u00f5es relacionadas aos seus custos de uso da plataforma Apify. Isso pode incluir:<\/p>\n\n\n\n
\n- Detalhes do Plano:<\/strong> Informa\u00e7\u00f5es sobre o seu plano atual, incluindo limites de uso e custos associados.
<\/li>\n\n\n\n- Hist\u00f3rico de Faturamento:<\/strong> Um registro das suas faturas anteriores, mostrando os valores cobrados e os per\u00edodos correspondentes.
<\/li>\n\n\n\n- M\u00e9todos de Pagamento:<\/strong> Op\u00e7\u00f5es para gerenciar seus m\u00e9todos de pagamento, como adicionar ou atualizar cart\u00f5es de cr\u00e9dito.
<\/li>\n\n\n\n- Uso de Recursos:<\/strong> Em alguns casos, voc\u00ea poder\u00e1 ver um detalhamento do seu uso de recursos (como tempo de computa\u00e7\u00e3o, armazenamento, etc.) e como isso se relaciona com os custos.
<\/li>\n\n\n\n- Pr\u00f3ximas faturas<\/strong>: Uma previs\u00e3o dos seus gastos.<\/li>\n<\/ul>\n\n\n\n
Em resumo, a aba “Billing” \u00e9 o seu centro de controle financeiro dentro do Apify. \u00c9 onde voc\u00ea acompanha seus gastos, gerencia seus pagamentos e garante que sua conta esteja em ordem.<\/p>\n\n\n\n
\n\n\n\nDocumentation:<\/strong> Documentos sobre o Apify.<\/h3>\n\n\n\nA documenta\u00e7\u00e3o \u00e9 o guia essencial para qualquer aplicativo, como o Apify, funcionando como manual do usu\u00e1rio, solucionador de problemas e refer\u00eancia completa.<\/p>\n\n\n\n
Uma boa documenta\u00e7\u00e3o facilita o uso, oferece suporte \u00e0 resolu\u00e7\u00e3o de dificuldades, detalha todas as funcionalidades e, para aplicativos com APIs, permite que desenvolvedores criem integra\u00e7\u00f5es.<\/p>\n\n\n\n
\n\n\n\nHelp & resources:<\/strong> Aqui voc\u00ea pode encontrar recurso para ajudar com alguma demanda.<\/h3>\n\n\n\nA aba “Help & Resources” \u00e9 o seu centro de suporte e aprendizado dentro do Apify.<\/p>\n\n\n\n
Nela, voc\u00ea encontra tudo o que precisa para dominar a plataforma, solucionar problemas e se manter atualizado.<\/p>\n\n\n\n
Acesse a documenta\u00e7\u00e3o completa, tutoriais em v\u00eddeo, respostas para perguntas frequentes, e links para a comunidade de usu\u00e1rios.<\/p>\n\n\n\n
Se precisar de assist\u00eancia direta, voc\u00ea tamb\u00e9m encontrar\u00e1 informa\u00e7\u00f5es de contato do suporte t\u00e9cnico.<\/p>\n\n\n\n
Se\u00e7\u00e3o Principal<\/h3>\n\n\n\n
\u00c9 onde a maioria das suas tarefas e opera\u00e7\u00f5es acontecem. Voc\u00ea pode gerenciar seus projetos e realizar v\u00e1rias a\u00e7\u00f5es.<\/p>\n\n\n\n
Passo 3: Entendendo os “Actors” do Apify<\/h2>\n\n\n\n
A guia “Actors” \u00e9 crucial, pois \u00e9 o ponto de partida para usar os “actors” do Apify, que s\u00e3o as ferramentas que executam as tarefas de web scraping e automa\u00e7\u00e3o. Voc\u00ea tem duas op\u00e7\u00f5es:<\/p>\n\n\n\n
\n- Browse actors in Store (Procurar actors na loja):<\/strong> Explore uma variedade de actors pr\u00e9-constru\u00eddos pela comunidade Apify. Voc\u00ea pode pesquisar por categoria (AI, automation, business, e-commerce) ou usar a barra de pesquisa para encontrar actors espec\u00edficos.
<\/li>\n\n\n\n- Build your own actors (Construir seus pr\u00f3prios actors):<\/strong> Crie seus pr\u00f3prios actors personalizados. Esta op\u00e7\u00e3o n\u00e3o ser\u00e1 detalhada neste tutorial, que focar\u00e1 na utiliza\u00e7\u00e3o de actors existentes.<\/li>\n<\/ol>\n\n\n\n
Passo 4: Utilizando Actors Prontos da Store<\/h2>\n\n\n\n\n- No dashboard, clique na guia “Store” na se\u00e7\u00e3o de navega\u00e7\u00e3o esquerda.
<\/li>\n\n\n\n - Explore as categorias ou use a barra de pesquisa para encontrar o actor que atenda \u00e0s suas necessidades. O transcript menciona a busca por actors baseados em servi\u00e7os, autores ou tecnologia.
<\/li>\n\n\n\n - Selecione o
Actor<\/code> desejado. Como n\u00e3o h\u00e1 mais detalhes no transcrito, o passo de como iniciar o processo, \u00e9 incerta.<\/li>\n<\/ol>\n\n\n\nPasso 5: Agendando Tarefas (Schedules)<\/h2>\n\n\n\n
A guia “Schedules” permite que voc\u00ea execute seus actors e tasks em hor\u00e1rios espec\u00edficos, automatizando o processo. Isso \u00e9 \u00fatil para coletar dados periodicamente sem precisar estar logado na plataforma Apify.<\/p>\n\n\n\n
\n- Clique na guia “Schedules” na se\u00e7\u00e3o de navega\u00e7\u00e3o esquerda.
<\/li>\n\n\n\n - O transcript menciona o uso de “cron expressions” para agendar tarefas, mas n\u00e3o entra em detalhes sobre como configur\u00e1-las.<\/li>\n<\/ol>\n\n\n\n
Conclus\u00e3o<\/h2>\n\n\n\n
Este tutorial apresentou os conceitos b\u00e1sicos do Apify, incluindo a cria\u00e7\u00e3o de conta, a navega\u00e7\u00e3o no dashboard e a explora\u00e7\u00e3o de actors na Store.<\/p>\n\n\n\n
O Apify oferece uma plataforma poderosa para web scraping e automa\u00e7\u00e3o, permitindo que voc\u00ea extraia dados e automatize tarefas de forma eficiente.<\/p>\n\n\n\n
Explore os diferentes actors dispon\u00edveis e experimente agendar tarefas para automatizar sua coleta de dados.<\/p>\n\n\n\n
Recursos Adicionais<\/h2>\n\n\n\n