Парсер каталогов
Парсер каталогов товаров, который не сложно собрать и потом использовать при продажах.
- Описание
- Подробнее
Описание
Многие считают, что парсер – нечто сложное и не понятное. Так ли это?
Я не программист, ни по образованию, ни по роду занятий. Но люблю разбираться в разных вопросах. Поэтому решил разобраться и с парсерами. Тем более, что занялся продажей автомобильных масел и фильтров. Рыться в каталогах – долго и муторно. Охота так, чтобы отжал продавец кнопку, а ему показало, что нужно подать покупателю. Поэтому задача запарсить сайт производителя фильтров, записать все в БД, чтобы было доступно локально.
Все, что будет написано ниже, применимо не только к автомобильным фильтрам, а и к компьютерным комплектующим и прочим товарам, новостям, статьям, блогам.
Процесс установки и настройки WAMPили LAMPописывать нет смысла.
И так, приступим. Для начала надо изучить объект. Открываем страницу каталога. Открываем ее исходник. Любой такой каталог начинается с выбора производителя авто. Исходник содержит производителей и их Id в списке <select>. Это и будет нашей первой таблицей в БД. Создаем ее в PHPMyAdmin, обозвав _car_brand.
Первый столбец brand_id (Primary), второй brand_name. Я эту таблицу заполнил, написав разовую программку, которую тут же стер. Она использовала simple_html_dom и брала данные со страницы каталога. Можно заполнить вручную. Цель этой статьи не в том. Мы решаем дальнейшую проблему, уткнувшись в которую, многие не знают, как поступить, и забрасывают свой парсер.
Все дело в том, что страница меняется на экране динамически путем ajax запросов, при этом ее исходный текст остается неизменным. Т.е. куда то летит запрос и возвращается JSON. Потом на клиенте свежие данные обвешиваются HTML тегами. Вот эти запросы мы и будем формировать.
Создаем файлик poisk.php и открываем его в Notepad++. И начинаем кодить:
<?php
// считываем ИД производителя авто
$brandId=$_REQUEST["selBrand"];
// Если еще не выбирали производителя (1й этап)
if ($brandId == 0){
echo 'ВЫБЕРИТЕ ПРОИЗВОДИТЕЛЯ<form method="POST" action="poisk.php"> <select name="selBrand">';
$database = 'db_6';
$link = mysql_pconnect("mysql.ru", "dbu1", "polk");
mysql_select_db($database) or die("Немогуподключитьсякбазе.");
mysql_query("set character_set_server='utf8'");
mysql_query("set names 'utf8'");
// Берем полный список производителей и выводим
$car_brand = mysql_query("SELECT * FROM _car_brand");
// Цикл по строкам. Кому что не ясно, читаем про работу с БД
while ($brand_id = mysql_fetch_array($car_brand)){
$a=$brand_id[0];
$b=$brand_id[1];
echo '<option value="'.$a.'">'.$b.'</option>';
}
echo '</select> <input type="submit" id="btnAppSearch" name="btnAppSearch" value="Go"/></form>';
}Коротко говоря, считали из базы и вывели полный список производителей…
Дальше интересней. Нам нужна вторая таблица в БД `_car_model с моделями авто. В ней поля (`car_model_id`, `car_model_brand_id`, `car_model_name`). Эту таблицу мы будем заполнять не по циклу, а в процессе работы с программой.
// Если производитель уже выбран
else {
// Считываем прилетел ли ИД модели
$selModel=$_REQUEST["selModel"];
if ($selModel == 0){
// Производитель выбран, но не выбрана модель (2й этап)
$database = 'db_6';
$link = mysql_pconnect("mysql.ru", "dbu1", "polk");
mysql_select_db($database) or die("Немогуподключитьсякбазе.");
mysql_query("set character_set_server='utf8'");
mysql_query("setnames 'utf8'");
// Смотрим имя производителя и его ИД
$car_brand = mysql_query("SELECT * FROM `_car_brand` WHERE `car_brand_id` = '$brandId'");
$brand_id = mysql_fetch_array($car_brand);
$a=$brand_id[0];
$b=$brand_id[1];
// Выводим имя производителя без возможности его сменить, только через обновление страницы
echo '<form method="POST" action="poisk.php">ПРОИЗВОДИТЕЛЬ : <select name="selBrand"><option value="'.$a.'">'.$b.'</option></select>
<a href="poisk.php">СМЕНИТЬ</a>
<br>ВЫБЕРИТЕМОДЕЛЬ : ';
echo '<select name="selModel">';
// Лезем в локальную БД, смотрим, есть ли в ней модели этого производителя
$car_model = mysql_query("SELECT * FROM `_car_model` WHERE `car_model_brand_id` = '$brandId'");
$i=0;
// Если в локальной БД есть модели, то выводим их, счетчик их считает...
while ($model_id = mysql_fetch_array($car_model)){
$c=$model_id[0];
$d=$model_id[2];
echo '<option value="'.$c.'">'.$d.'</option>';
$i++;
}Тут вроде пока все просто, но, как мы помним, наша таблица с моделями на сей момент пуста… Поэтому и список будет пуст. Придётся лезть за ним на сайт.
// Если счетчик не посчитал, значит локально их нет...
if ($i<1){
// Лезем тогда на сайт за моделямиКак уже говорил, в исходнике страницы мы ничего не увидим, поэтому запускаем встроенные в браузер средства отладки. Я пользовался оперой. Поэтому правый клик => посмотреть код элемента. Переходим на вкладку Network, где переходим в под-вкладку XHR. Тут то и отображаются «подпольные» сетевые действия, которые нужно внимательно изучить. Выбираем в списке автомобиль (я выбрал TOYOTA) и кликаем «дальше»… В окне браузера появляется список с моделями, а на нашей вкладке мы видим что добавилась строка get_models/. Выбрав ее, видим много интересного. Видим адрес, по которому браузер отправлял запрос. Дальше нас интересует информация, которую браузер отправлял на сайт: Request headers. И данные, которые браузер передал: FormData. Snoopy.class — нам в помощь.
include ("Snoopy.class.php");
$snoopy = new Snoopy;
// Некоторые параметры Снупи знает, их и указываем от реквеста
$snoopy->accept = "application/json, text/javascript, */*; q=0.01";
// Некоторые параметры ему не известны, поэтому указываем как RAW
$snoopy->rawheaders["Accept-Encoding"] = "gzip, deflate";
$snoopy->rawheaders["Accept-Language"] = "ru-RU,ru;q=0.8,en-US;q=0.6,en;q=0.4";
$snoopy->rawheaders["Connection"] = "keep-alive";
$snoopy->rawheaders["Content-Type"] = "application/x-www-form-urlencoded";
$snoopy->cookies["PHPSESSID"] = '7b60548db34612bc5af6';
$snoopy->cookies["ci_session"] = тут очень много всего было…;
$snoopy->host = "www.filter.com";
$snoopy->rawheaders["Origin"] = "http://www.filter.com";
$snoopy->referer = "http://www.filter.com/catalogue";
$snoopy->agent = "Mozilla/5.0 (Windows NT 6.1; WOW64)";
$snoopy->rawheaders["X-Requested-With"] = "XMLHttpRequest";
// Шапка закончилась, поэтому формируем массив запроса, передаваемый Пост
$submit_vars = array();
$submit_vars["brandId"] = $brandId;
// Ну а это адрес, куда весь запрос наш полетит
$submit_url = "http://www.filter.com/application/get_models/";
Еще раз, для понимания: все эти данные здесь для примера. У каждого сайта они будут свои. У меня, почему то, при передаче Content-Length, такого же, как и в запросе браузера, приходил пустой ответ от сервера. Попробовал не передавать его – работает. Значит параметр не важный для запроса. А вот без этого : $snoopy->rawheaders["X-Requested-With"] = "XMLHttpRequest";
Приходил пустой результат.
С ним сайт отвечает — результат получен!!!
Шлем запрос и получаем результат:
if($snoopy->submit($submit_url,$submit_vars))
{
// Если удачно залезли
$var = $snoopy->results;
// Тут к нам как раз и прилетел JSON, декодируем в массив
$vars = json_decode($var);
//Который потом разбираем
foreach($vars as $value){
$c=$value->app_model_id;
$d=$value->app_model_name;
// Выводим список моделей
echo '<option value="'.$c.'">'.$d.'</option>
';
// И пишем его в БД
$sql = mysql_query("INSERT INTO `db_ 6`.`_car_model` (`car_model_id`, `car_model_brand_id`, `car_model_name`) VALUES ('$c', '$a', '$d')");
}
}
}
echo '</select>';
echo '<input type="submit" id="btnAppSearch" name="btnAppSearch" value="Go"/> </form>';
}Как можно увидеть, таблица с моделями заполняется при первом выборе производителя. При повторном запросе по этому производителю модели будут прилетать из локальной БД. Ну а дальше:
else {
// Оказалось, что выбран и производитель и модель
Проделываем то же самое с get_years, get_eng_vol, дойдя до ягодки get_applications, отправив которой в запросе
$submit_vars = array();
$submit_vars["modelId"] = $selModel;
$submit_vars["year"] = $year;
$submit_vars["eng_vol"] = $eng_vol;
Получим в ответ заветный JSON c {Oil;Air;Fuel;Cabin;Trans}
http://idemitsu.to.net.ru/poisk.php — вот полученный вариант каталога, который можно встроить в сайт или в окно 1с продавца…
Всем удачи и успехов.
