· 7 years ago · Jun 11, 2018, 10:40 AM
1<title>ПоиÑк robot.txt</title>
2<?php
3 function CheckFile($link){
4 # vk.com - Возникла ошибка, при получении файла
5 # yandex.ru - находит, вычÑитывает размер robots.txt
6 $link = $link.'/robots.txt'; // ÐºÐ¾Ð½ÐºÐ°Ñ‚ÐµÐ½Ð°Ñ†Ð¸Ñ Ñтроки Ñ URL Ñо Ñторокой "robotstxt"
7 $file_headers = @get_headers($link); // подготавливаем headers Ñтраницы
8 if ($file_headers[0] == 'HTTP/1.1 404 Not Found') {
9 return False;
10 } else if ($file_headers[0] == 'HTTP/1.1 200 OK') {
11 return True;
12 }
13 }
14
15 function HasHost($file){
16 if (file_exists($resultfile)){
17 $textget = file_get_contents($resultfile); // Ðачинаем обрабатывать файл, еÑли вÑе прошло уÑпешно
18 htmlspecialchars($textget); // при желании, можно вывеÑти на Ñкран через echo
19 if (preg_match("/Host/", $textget))
20 return True;
21 else
22 return False;
23 }
24 }
25
26
27 if(isset($_GET['link']))
28 if(CheckFile($_GET['link'])){
29 $file_headers = @get_headers($link); // подготавливаем headers Ñтраницы
30 $file = fopen('robots.txt', 'w'); // открываем файл Ð´Ð»Ñ Ð·Ð°Ð¿Ð¸Ñи, поехали!
31 $ch = curl_init(); // Ð¸Ð½Ð¸Ñ†Ð¸Ð°Ð»Ð¸Ð·Ð°Ñ†Ð¸Ñ cURL
32 curl_setopt($ch, CURLOPT_URL, $main_str);
33 curl_setopt($ch, CURLOPT_FILE, $file);
34 curl_exec($ch);
35 fclose($file);
36 curl_close($ch);
37 global $resultfile; // опиÑываем как глобальную переменную
38 $resultfile = 'robots.txt'; // файл, который получили
39 echo $link."\n";
40 echo "Директива Host: ";
41 if(HasHost($resultfile))
42 echo "ЕÑÑ‚ÑŒ";
43 else
44 echo "ОтÑутÑтвует";
45 echo "Размер файла: ".filesize($resultfile)." байт";
46 }
47 else
48 echo "Файл отÑутÑтвует по ".$link;
49?>
50
51<form action = "RobotSearch.php" method = "GET" name = "inputLink" id = "inputLink"/>
52 Введите ÑÑылку на Ñайт:<input type = "text" id = "link" required = 1/>
53 <input type = "submit" value = "Проверить">
54</form>