renandeassis
(usa XUbuntu)
Enviado em 16/05/2014 - 17:40h
Boa noite!
Eu possuo o código fonte abaixo. Serve para localizar URL's de um determinado domínio.
<?php
// $html = the html on the page
// $current_url = the full url that the html came from (only needed for $repath)
// $repath = converts ../ and / and // urls to full valid urls
function pageLinks($html, $current_url = "", $repath = false){
preg_match_all("/\<a.+?href=(\"|')(?!javascript:|#)(.+?)(\"|')/i", $html, $matches);
$links = array();
if(isset($matches[2])){
$links = $matches[2];
}
if($repath && count($links) > 0 && strlen($current_url) > 0){
$pathi = pathinfo($current_url);
$dir = $pathi["dirname"];
$base = parse_url($current_url);
$split_path = explode("/", $dir);
$url = "";
foreach($links as $k => $link){
if(preg_match("/^\.\./", $link)){
$total = substr_count($link, "../");
for($i = 0; $i < $total; $i++){
array_pop($split_path);
}
$url = implode("/", $split_path) . "/" . str_replace("../", "", $link);
}elseif(preg_match("/^\/\//", $link)){
$url = $base["scheme"] . ":" . $link;
}elseif(preg_match("/^\/|^.\//", $link)){
$url = $base["scheme"] . "://" . $base["host"] . $link;
}elseif(preg_match("/^[a-zA-Z0-9]/", $link)){
if(preg_match("/^http/", $link)){
$url = $link;
}else{
$url = $dir . "/" . $link;
}
}
$links[$k] = $url;
}
}
return $links;
}
header("content-type: text/plain");
$url = "http://189.38.89.46";
$html = file_get_contents($url);
// Gets links from the page:
print_r(pageLinks($html));
// Gets links from the page and formats them to a full valid url:
print_r(pageLinks($html, $url, true));
?>
Neste caso eu coloquei o IP 189.38.89.46 e ele me trouxe as seguintes informações:
Array
(
[0] => /busca/
[1] =>
http://www.twitter.com/midiaville
[2] =>
http://www.facebook.com/midiaville
[3] =>
https://plus.google.com/b/118444379296194920389/118444379296194920389/
[4] => i-cadastro/login.php
[5] =>
http://www.midiaville.com.br/busca/index.php
[6] =>
https://www.midiaville.com.br/redirect/banner/34/
[7] =>
http://www.midiaville.com.br/busca/index.php
[8] =>
https://www.midiaville.com.br/busca/fale_conosco.php
[9] =>
https://www.midiaville.com.br/busca/publicidade.php
[10] =>
https://www.midiaville.com.br/busca/cadastro.php
[11] =>
http://ads.midiaville.com.br/link/16615/
[12] =>
http://ads.midiaville.com.br/link/16615/
[13] =>
http://www.midiaville.com.br/busca/index.php
[14] =>
http://www.midiaville.com.br/busca/categorias.php
[15] =>
http://www.midiaville.com.br/busca/empregos.php
[16] =>
http://www.midiaville.com.br/busca/horario_onibus.php
[17] =>
http://www.midiaville.com.br/busca/cinema.php
[18] =>
http://www.midiaville.com.br/busca/previsao.php
[19] =>
http://www.midiaville.com.br/busca/mapas.php
[20] =>
http://www.midiaville.com.br/busca/consulta-cep.php
[21] => /busca/i-cadastro/login.php
[22] =>
http://www.classificadosjoinville.midiaville.com.br/
[23] =>
http://www.midiaville.com.br/busca/termo_de_uso.php
[24] =>
http://ads.midiaville.com.br/link/16615/
[25] => cadastro.php
[26] =>
http://www.classificadosjoinville.midiaville.com.br/anuncio/coletas-e-entregas-com-motoboys
[27] =>
http://www.classificadosjoinville.midiaville.com.br/anuncio/recepcionista
[28] =>
http://www.classificadosjoinville.midiaville.com.br/anuncio/geminado-semi-novo
[29] =>
http://www.classificadosjoinville.midiaville.com.br/anuncio/mesa-com-4-cadeiras-italia-nova
[30] =>
http://www.classificadosjoinville.midiaville.com.br/anuncio/diarista-elaine
[31] =>
http://www.classificadosjoinville.midiaville.com.br/adicionar-novo/
[32] =>
https://www.midiaville.com.br/redirect/banner/14/
[33] =>
https://www.midiaville.com.br/redirect/banner/14/
[34] =>
https://www.midiaville.com.br/redirect/banner/18/
[35] =>
https://www.midiaville.com.br/redirect/banner/18/
[36] =>
https://www.midiaville.com.br/redirect/banner/12/
[37] =>
https://www.midiaville.com.br/redirect/banner/12/
[38] =>
https://www.midiaville.com.br/redirect/banner/41/
[39] =>
https://www.midiaville.com.br/redirect/banner/41/
[40] =>
https://www.midiaville.com.br/redirect/banner/23/
[41] =>
https://www.midiaville.com.br/redirect/banner/23/
[42] =>
https://www.midiaville.com.br/redirect/banner/35/
[43] =>
https://www.midiaville.com.br/redirect/banner/35/
[44] =>
https://www.midiaville.com.br/redirect/banner/39/
[45] =>
https://www.midiaville.com.br/redirect/banner/39/
[46] =>
https://www.midiaville.com.br/redirect/banner/40/
[47] =>
https://www.midiaville.com.br/redirect/banner/40/
[48] =>
http://www.midiaville.com.br/busca/detalheempresa.php?id=18605
[49] =>
http://www.midiaville.com.br/busca/detalheempresa.php?id=38004
[50] =>
http://www.midiaville.com.br/busca/detalheempresa.php?id=17983
[51] =>
http://www.midiaville.com.br/busca/detalheempresa.php?id=13653
[52] =>
http://www.midiaville.com.br/busca/detalheempresa.php?id=5520
[53] =>
http://www.midiaville.com.br/busca/detalheempresa.php?id=18915
[54] =>
http://www.midiaville.com.br/busca/detalheempresa.php?id=37961
[55] => publicidade.php
[56] => publicidade.php
[57] => noticias.php?id=1147541
[58] => noticias.php?id=1147537
[59] => noticias.php?id=1147543
[60] => noticias.php?id=1147535
[61] => noticias.php?id=1147573
[62] => noticias.php?id=1147572
[63] => noticias.php?id=1147571
[64] => noticias.php?id=1147570
[65] => noticias.php?id=1147626
[66] => noticias.php?id=1147625
[67] => noticias.php?id=1147624
[68] => noticias.php?id=1147623
[69] => noticias.php?id=1147636
[70] => noticias.php?id=1147635
[71] => noticias.php?id=1147634
[72] => noticias.php?id=1147633
[73] =>
http://www.muellerjoinville.com.br/shopping/content/cinema/
[74] =>
http://www.joinvillegartenshopping.com.br/site/cinema.asp
[75] =>
http://www.midiaville.com.br/busca/index.php
[76] =>
https://www.midiaville.com.br/busca/fale_conosco.php
[77] =>
https://www.midiaville.com.br/busca/publicidade.php
[78] =>
http://www.classificadosjoinville.midiaville.com.br/
[79] =>
https://www.midiaville.com.br/busca/cadastro.php
[80] =>
http://www.midiaville.com.br/busca/i-cadastro.php
[81] =>
http://www.midiaville.com.br/busca/categorias.php
[82] =>
http://www.midiaville.com.br/busca/empregos.php
[83] =>
http://www.midiaville.com.br/busca/horario_onibus.php
[84] =>
http://www.midiaville.com.br/busca/cinema.php
[85] =>
http://www.midiaville.com.br/busca/previsao.php
[86] =>
http://www.midiaville.com.br/busca/mapas.php
[87] =>
http://www.midiaville.com.br/busca/publicidade.php
[88] =>
http://www.midiaville.com.br/site/
[89] =>
http://siteswordpress.midiaville.com.br/
[90] =>
http://www.midiaville.com.br/site/servicos/solucoes-em-e-commerce-magento/
[91] =>
http://www.twitter.com/midiaville
[92] =>
http://www.facebook.com/midiaville
[93] =>
https://plus.google.com/b/118444379296194920389/118444379296194920389/
[94] =>
https://www.midiaville.com.br/busca/ssl.php
[95] =>
http://www.midiaville.com.br/site/index.php
[96] =>
https://www.facebook.com/MidiaVille.Guia.Joinville
[97] => '>clique aqui</a> e atualize para sua segurança!
)
Array
(
[0] =>
http://189.38.89.46/busca/
[1] =>
http://www.twitter.com/midiaville
[2] =>
http://www.facebook.com/midiaville
[3] =>
https://plus.google.com/b/118444379296194920389/118444379296194920389/
[4] => http:/i-cadastro/login.php
[5] =>
http://www.midiaville.com.br/busca/index.php
[6] =>
https://www.midiaville.com.br/redirect/banner/34/
[7] =>
http://www.midiaville.com.br/busca/index.php
[8] =>
https://www.midiaville.com.br/busca/fale_conosco.php
[9] =>
https://www.midiaville.com.br/busca/publicidade.php
[10] =>
https://www.midiaville.com.br/busca/cadastro.php
[11] =>
http://ads.midiaville.com.br/link/16615/
[12] =>
http://ads.midiaville.com.br/link/16615/
[13] =>
http://www.midiaville.com.br/busca/index.php
[14] =>
http://www.midiaville.com.br/busca/categorias.php
[15] =>
http://www.midiaville.com.br/busca/empregos.php
[16] =>
http://www.midiaville.com.br/busca/horario_onibus.php
[17] =>
http://www.midiaville.com.br/busca/cinema.php
[18] =>
http://www.midiaville.com.br/busca/previsao.php
[19] =>
http://www.midiaville.com.br/busca/mapas.php
[20] =>
http://www.midiaville.com.br/busca/consulta-cep.php
[21] =>
http://189.38.89.46/busca/i-cadastro/login.php
[22] =>
http://www.classificadosjoinville.midiaville.com.br/
[23] =>
http://www.midiaville.com.br/busca/termo_de_uso.php
[24] =>
http://ads.midiaville.com.br/link/16615/
[25] => http:/cadastro.php
[26] =>
http://www.classificadosjoinville.midiaville.com.br/anuncio/coletas-e-entregas-com-motoboys
[27] =>
http://www.classificadosjoinville.midiaville.com.br/anuncio/recepcionista
[28] =>
http://www.classificadosjoinville.midiaville.com.br/anuncio/geminado-semi-novo
[29] =>
http://www.classificadosjoinville.midiaville.com.br/anuncio/mesa-com-4-cadeiras-italia-nova
[30] =>
http://www.classificadosjoinville.midiaville.com.br/anuncio/diarista-elaine
[31] =>
http://www.classificadosjoinville.midiaville.com.br/adicionar-novo/
[32] =>
https://www.midiaville.com.br/redirect/banner/14/
[33] =>
https://www.midiaville.com.br/redirect/banner/14/
[34] =>
https://www.midiaville.com.br/redirect/banner/18/
[35] =>
https://www.midiaville.com.br/redirect/banner/18/
[36] =>
https://www.midiaville.com.br/redirect/banner/12/
[37] =>
https://www.midiaville.com.br/redirect/banner/12/
[38] =>
https://www.midiaville.com.br/redirect/banner/41/
[39] =>
https://www.midiaville.com.br/redirect/banner/41/
[40] =>
https://www.midiaville.com.br/redirect/banner/23/
[41] =>
https://www.midiaville.com.br/redirect/banner/23/
[42] =>
https://www.midiaville.com.br/redirect/banner/35/
[43] =>
https://www.midiaville.com.br/redirect/banner/35/
[44] =>
https://www.midiaville.com.br/redirect/banner/39/
[45] =>
https://www.midiaville.com.br/redirect/banner/39/
[46] =>
https://www.midiaville.com.br/redirect/banner/40/
[47] =>
https://www.midiaville.com.br/redirect/banner/40/
[48] =>
http://www.midiaville.com.br/busca/detalheempresa.php?id=18605
[49] =>
http://www.midiaville.com.br/busca/detalheempresa.php?id=38004
[50] =>
http://www.midiaville.com.br/busca/detalheempresa.php?id=17983
[51] =>
http://www.midiaville.com.br/busca/detalheempresa.php?id=13653
[52] =>
http://www.midiaville.com.br/busca/detalheempresa.php?id=5520
[53] =>
http://www.midiaville.com.br/busca/detalheempresa.php?id=18915
[54] =>
http://www.midiaville.com.br/busca/detalheempresa.php?id=37961
[55] => http:/publicidade.php
[56] => http:/publicidade.php
[57] => http:/noticias.php?id=1147541
[58] => http:/noticias.php?id=1147537
[59] => http:/noticias.php?id=1147543
[60] => http:/noticias.php?id=1147535
[61] => http:/noticias.php?id=1147573
[62] => http:/noticias.php?id=1147572
[63] => http:/noticias.php?id=1147571
[64] => http:/noticias.php?id=1147570
[65] => http:/noticias.php?id=1147626
[66] => http:/noticias.php?id=1147625
[67] => http:/noticias.php?id=1147624
[68] => http:/noticias.php?id=1147623
[69] => http:/noticias.php?id=1147636
[70] => http:/noticias.php?id=1147635
[71] => http:/noticias.php?id=1147634
[72] => http:/noticias.php?id=1147633
[73] =>
http://www.muellerjoinville.com.br/shopping/content/cinema/
[74] =>
http://www.joinvillegartenshopping.com.br/site/cinema.asp
[75] =>
http://www.midiaville.com.br/busca/index.php
[76] =>
https://www.midiaville.com.br/busca/fale_conosco.php
[77] =>
https://www.midiaville.com.br/busca/publicidade.php
[78] =>
http://www.classificadosjoinville.midiaville.com.br/
[79] =>
https://www.midiaville.com.br/busca/cadastro.php
[80] =>
http://www.midiaville.com.br/busca/i-cadastro.php
[81] =>
http://www.midiaville.com.br/busca/categorias.php
[82] =>
http://www.midiaville.com.br/busca/empregos.php
[83] =>
http://www.midiaville.com.br/busca/horario_onibus.php
[84] =>
http://www.midiaville.com.br/busca/cinema.php
[85] =>
http://www.midiaville.com.br/busca/previsao.php
[86] =>
http://www.midiaville.com.br/busca/mapas.php
[87] =>
http://www.midiaville.com.br/busca/publicidade.php
[88] =>
http://www.midiaville.com.br/site/
[89] =>
http://siteswordpress.midiaville.com.br/
[90] =>
http://www.midiaville.com.br/site/servicos/solucoes-em-e-commerce-magento/
[91] =>
http://www.twitter.com/midiaville
[92] =>
http://www.facebook.com/midiaville
[93] =>
https://plus.google.com/b/118444379296194920389/118444379296194920389/
[94] =>
https://www.midiaville.com.br/busca/ssl.php
[95] =>
http://www.midiaville.com.br/site/index.php
[96] =>
https://www.facebook.com/MidiaVille.Guia.Joinville
[97] =>
https://www.facebook.com/MidiaVille.Guia.Joinville
)
A Minha dúvida é.... Como faço para que o resultado seja todos os
www.empresa.com.br que estão cadastrados neste site?
É preciso que tenha um robô que localize em todas as URL's ?
Agradeço a coloboração é de grande importancia pra mim função.
Obrigado,
Renan!