Busca automática de preços - como fazer?

[timrgt]

Salve galera!
É o seguinte, estou querendo desenvolver um site que faça busca e comparação de preços, pra brincar mesmo, estilo BuscaPé. O problema é, que pra fazer uma busca manual de preços seria algo muito demorado, e seria algo que teria que ser feito com uma certa periodicidade, complicando mais ainda.

A questão é: existe algum framework ou algo do tipo que faça isso, ou só desenvolvendo o algoritmo na unha? Já imaginei algo que use um banco de dados , mas não tenho a MÍNIMA ideia de como fazer essa busca.

Se alguem tiver alguma ideia, agradeço!

 

[StRuPs]

Algumas lojas como a Amazon (só para exemplificar) tem APIs para buscar produtos e tal, então já é meio caminho hehehe.

Já onde não tem API o jeito é visitar as lojas e extrair os dados. Na real, você teria de fazer um robô e caminhar pelas páginas do site.
Em PHP, usária curl para pegar os dados e e DOMDocument para extrair os elementos do HTMl, e depois persistiria os dados.

Sei lá se foi útil, mas tá aí. uahahuaua

 

[Abutre]

Exatamente isso aí que o strups falou.... esse tipo de "robozinho" se chama web crawler. Só sei isso, não sei como faz.

 

[Luxw]

Dá pra fazer um webcrawler em C# facilmente, é só saber como funciona os requests e respostas HTTP que dá pra pegar as páginas da web direto dos links do google, aí você usa uma expressão regular pra achar o preço, guardar no seu banco de dados e depois fazer uma comparação

 

[JEDI]

O maior problema é se intender dentro dos sites de comercio eletronico, pois eles possuem muitas informações e são bem poluidos.

Se tu quiser algo mais facil usa a base do buscapé pra desenvolver teu projeto. Eles oferecem várias API.

Developer Buscapé Company

Da uma passada lá e vê se da pra fazer o que tu quer.

 

[timrgt]

Beleza

Vou dar uma estudada nesses conceitos aí e ver se consigo entender e desenvolver algo, por hora to tentando ajeitar um template pra ver se consigo deixar do jeito que eu quero, aí vai faltar o webcrawler só.

Obrigado pela ajuda colegas !