Очистка результатов поиска в реальном времени с помощью Zenserp - Обзор

Google имеет долгую историю, доставляя действительно тяжелые времена разработчикам SEO, пытающимся очистить общедоступные данные со своих страниц результатов поиска. Действительно, парсинг поисковой выдачи официально противоречит условиям обслуживания Big G. Однако эта практика не нарушает Закон о компьютерном мошенничестве и злоупотреблениях (CFAA), и, таким образом, прямые юридические действия со стороны Google, направленные на ограничение этой практики, не принесли результатов. В этой статье мы поговорим о масштабируемом парсинге результатов поиска в реальном времени с помощью Zenserp. Давайте начнем!

Таким образом, хотя на самом деле парсинг не является незаконным и не оскорбляет чьи-либо чувства на практике, разработчикам все же приходится преодолевать препятствия. Это разработано Google, чтобы помешать сбору данных. Общие головные боли включают Captcha и блокировку IP. Однако письма о прекращении противоправных действий отправлялись и раньше, и такая тактика встречается все реже.

Но что, если бы вам вообще не приходилось сталкиваться с этими неприятностями, чтобы получить свои драгоценные данные? Войдите в Zenserp, основное предложение от австрийской SaaS Industries.

Коротко о Зензерпе | Парсинг поисковой выдачи с помощью Zenserp

Zenserp API - это инструмент мечты для SEO-разработчиков, которые ищут готовое решение для устранения распространенных препятствий при парсинге. Его чрезвычайно просто использовать и интегрировать благодаря ориентированному на пользователя циклу разработки SaaS Industries и широкой языковой совместимости (Browser, Curl, Python, Node.js, PHP). Более того, их ненасытный аппетит к отзывам потребителей и запросам функций привел к огромному обновлению API в апреле 2019 года, которое включает в себя полный набор типов данных, включая изображения Google, видео, карты, новости, покупки, а также тенденции.

В сочетании с конкурентоспособными ценами и обслуживанием клиентов мирового класса. У вас действительно есть универсальное решение для ваших проблем со сканированием результатов поиска в Zenserp.

Начало работы с Zenserp

Итак, каково на самом деле использовать Zenserp? Ниже мы рассмотрим процесс начала работы с Zenserp. Затем мы углубимся в их документацию по API, чтобы поближе познакомиться с надежной функциональностью Zenserp.

Обзор приборной панели | Парсинг поисковой выдачи с помощью Zenserp

Предположим, вы только что взглянули на то, что такое Zenserp, вы нажмете ярко-зеленую кнопку «Зарегистрироваться для бесплатного плана» на их домашней странице. Когда вы создали и подтвердили свою учетную запись, нажмите «Войти», чтобы получить доступ к панели управления.

Страница, на которую вы попадаете, отображает обзор вашей наиболее важной информации об использовании, включая ваш ключ API, ежемесячную квоту запросов, использование API с течением времени. Кроме того, документация обо всех возможных неудачных запросах. Также есть удобный раздел Request Builder, который направляет новых пользователей Zenserp к множеству полезных ресурсов. Большую часть этого мы рассмотрим в разделе «Документация» этого обзора, так что держитесь за это крепко.

Давайте кратко рассмотрим все варианты боковой панели:

• Приборная панель - Вы уже здесь! Это просто быстрая ссылка для возврата на страницу обзора в любое время.
• Детская площадка - Эта страница с соответствующим названием предлагает полностью визуальный (т. Е. Без необходимости кодирования) и интерактивный интерфейс, позволяющий вам возиться с различными конечными точками Zenserp. Здесь вы можете сгенерировать несколько примеров ответов и использовать их для настройки своего запроса API. Не полагайтесь на это на все 100%, так как бывают случаи, которые выходят за рамки возможностей этого инструмента. Тем не менее, нам нравится, как у вас есть возможность экспортировать свои эксперименты в код (браузер, Curl, Python, Node.js, PHP), когда вы находите что-то, что действительно работает.
• Документация - Подробно описаны внутренности API Zenserp. Мы подробно рассмотрим это ниже.
• Профиль / Безопасность - Базовая конфигурация учетной записи, включая ваш аватар, контактную информацию и управление паролями. Ничего особенного.
• Биллинг - Состоит из трех опций, где вы можете повысить / понизить / отменить уровень подписки, управлять способом оплаты и идентификатором плательщика НДС, а также свободным полем, в котором вы можете запросить включение текста в свои счета-фактуры Zenserp для упрощения учета.

Все это довольно стандартная плата для любого API, но мы ценим, насколько все просто продумано. Вы получаете то, что видите, и Zenserp не пытается скрыть настройки подписки в темных углах вашего профиля.

Документация по API Zenserp | Парсинг поисковой выдачи с помощью Zenserp

Изложив основы, теперь мы можем перейти к хорошему: документации Zenserp. Здесь вы точно увидите, на что способен API и как его использовать. Хотя полная реализация API в вашем приложении выходит за рамки этого обзора, мы кратко коснемся каждой конечной точки, некоторых ключевых параметров и предоставим несколько примеров ответов.

Базовая функциональность

Страница документации начинается с раздела 'Начало работы', в котором подробно описаны ваши самые основные функции API, способные взаимодействовать со всеми другими конечными точками. Давайте взглянем:

лучшие аддоны nfl для kodi

• Аутентификация - Здесь показано, как использовать ключ API для аутентификации. В заголовке есть пример использования, за которым следуют примеры запросов GET и POST. Очень просто.
• статус - Позволяет запрашивать количество оставшихся запросов в соответствии с лимитами вашей подписки. В конце концов, зачем вообще входить в личный кабинет Zenserp, если ваше приложение может сообщать вам напрямую?
• партия - Добавление этой конечной точки позволяет выполнять до 1000 поисков за один пакет. У вас есть возможность запросить сразу все пакеты, в зависимости от идентификатора пакета, или отправить новый пакет или объединить существующие вместе по мере необходимости.
• Коды ошибок - Zenserp также имеет возможность возвращать ошибки по мере их возникновения. В том числе 403 запрещено, если вы исчерпали свой месячный лимит или использовали неверный ключ API, 404, если результаты не были найдены, или 500. всякий раз, когда возникает ошибка сервера. Не забывайте, что неудавшиеся запросы также отображаются на вашей панели инструментов.

Конечная точка / search | Парсинг поисковой выдачи с помощью Zenserp

Здесь находятся основные функции Zenserp. Путем добавления / поиска к вашему запросу API. Вы получите исчерпывающий массив данных практически обо всем, что вы можете придумать для сбора результатов поиска. Ваш запрос вернет широкий спектр результатов, в том числе:

• Результаты обычного поиска - Запросы органических результатов поиска возвращают все виды данных, включая рейтинг элемента, его заголовок, отображаемый и целевой URL, несколько типов обзоров, является ли ссылка ссылкой Google AMP, строки, представляющие описание страницы, и плюс локальный 3-Pack который содержит бизнес-информацию.
• Платные результаты - Вы также получите полный обзор платных результатов. Возвращаемая информация включает оплачиваемую позицию (вверху, справа или внизу), заголовок, URL-адрес отслеживания AdWords, хлебные крошки, видимый URL-адрес, отображаемый в Google, описание страницы, а также любые оплачиваемые места размещения продуктов (включая позицию, заголовок, связанные изображения, URL и, конечно же, цена).
• Поле для ответа / избранный фрагмент / главная статья - Чистое золото для любого SEO. Легко увидеть, что лучше всего подходит для получения этих желанных позиций в поисковой выдаче, а затем разработать стратегию для воспроизведения этих результатов.
• Похожие запросы / вы имели в виду - Zenserp расширяет возможности поиска ключевых слов, возвращая ценные данные обо всех поисковых запросах, связанных с вашим запросом. Вы также можете предвидеть, как Google реагирует на типичные ошибки, которые пользователи допускают при поиске по вашему запросу.

Вот сокращенная версия примера, который появляется в Зензерп документация с Крысоловом в качестве запроса. Вы можете увидеть различные типы результатов, которые отображаются по порядку: запись в Википедии (1), вопросы, связанные с запросом (2), веб-сайт с точным совпадением доменного имени (3), популярная статья о происхождении Крысолова. (4), а также несколько видео по теме (5). Вы также увидите несколько похожих поисковых фраз и общее количество найденных результатов.

Пример

{ 'query':{ 'apikey':'YOUR-API-KEY', 'q':'Pied Piper', 'url':'https://google.com/search?q=Pied+Piper&hl=en&gl=us&sourceid=chrome&ie=UTF-8' }, 'organic':[ { 'position':1, 'title':'Pied Piper of Hamelin - Wikipedia', 'url':'https://en.wikipedia.org/wiki/Pied_Piper_of_Hamelin', 'destination':'https://en.wikipedia.org › wiki › Pied_Piper_of_Hamelin', 'description':'The Pied Piper of Hamelin is the titular character of a legend from the town of Hamelin (Hameln), Lower Saxony, Germany. The legend dates back to the Middle ...', 'isAmp':false }, { 'position':2, 'questions':[ { 'question':'What is the meaning of the Pied Piper?' }, { 'question':'What is the story of the Pied Piper?' }, { 'question':'Is the pied piper a fairy tale?' }, { 'question':'Is Pied Piper a real company?' } ] }, { 'position':3, 'title':'Pied Piper', 'url':'http://www.piedpiper.com/', 'destination':'www.piedpiper.com', 'description':'The old Pied Piper flute player logo was referencing a fairytale character and in no way was meant to suggest a sexual act involving either the mouth or ear of ...', 'isAmp':false }, { 'position':4, 'title':'The Disturbing True Story of the Pied Piper of Hamelin ...', 'url':'https://www.ancient-origins.net/myths-legends/disturbing-true-story-pied-piper-hamelin-001969', 'destination':'https://www.ancient-origins.net › myths-legends › disturbing-true-story-pie...', 'description':'Aug 14, 2014 - Many are familiar with the story of the Pied Piper of Hamelin. Few realise however, that the story is based on real events, which evolved over ...', 'isAmp':false }, { 'position':5, 'videos':[ { 'title':'Pied Piper', 'url':'https://www.youtube.com/watch?v=VEZ_Ui6d9AM', 'parsed':{ 'source':'YouTube', 'date':'May 2, 2018', 'channel':'BTS - Topic' } }, { 'title':'The True History of The Pied Piper of Hamelin | Fairy Tales ...', 'url':'https://www.youtube.com/watch?v=obIAwAAcAAg', 'parsed':{ 'source':'YouTube', 'date':'Aug 4, 2017', 'channel':'Jen Campbell' } }, { 'title':'The Pied Piper: a modern day fairy tale', 'url':'https://www.wvi.org/child-health-now/video/pied-piper-modern-day-fairy-tale', 'parsed':{ 'source':'World Vision International', 'date':'Aug 22, 2013', 'channel':'WVIAdvocacy' } } ] } ], 'related_searches':[ { 'title':'pied piper instrument', 'url':'https://google.com/search?hl=en&gl=us&q=pied+piper+instrument&sa=X&ved=2ahUKEwj-vPeI3oXnAhVJJBoKHQ6iDYkQ1QIoAHoECBMQAQ' }, { 'title':'pied piper poem', 'url':'https://google.com/search?hl=en&gl=us&q=pied+piper+poem&sa=X&ved=2ahUKEwj-vPeI3oXnAhVJJBoKHQ6iDYkQ1QIoAXoECBMQAg' }, { 'title':'moral lesson of pied piper story', 'url':'https://google.com/search?hl=en&gl=us&q=moral+lesson+of+pied+piper+story&sa=X&ved=2ahUKEwj-vPeI3oXnAhVJJBoKHQ6iDYkQ1QIoAnoECBMQAw' }, { 'title':'the pied piper of hamelin summary', 'url':'https://google.com/search?hl=en&gl=us&q=the+pied+piper+of+hamelin+summary&sa=X&ved=2ahUKEwj-vPeI3oXnAhVJJBoKHQ6iDYkQ1QIoA3oECBMQBA' }, { 'title':'pied piper of hamelin story pdf', 'url':'https://google.com/search?hl=en&gl=us&q=pied+piper+of+hamelin+story+pdf&sa=X&ved=2ahUKEwj-vPeI3oXnAhVJJBoKHQ6iDYkQ1QIoBHoECBMQBQ' }, ], 'number_of_results':34800000 }

Уточнение запроса по типу поиска | Парсинг поисковой выдачи с помощью Zenserp

Помимо запроса поисковой выдачи по умолчанию, вы также можете уточнить свой поисковый запрос Google по типу поиска (изображение, видео, карты, покупки, новости, покупки и т. Д.). Просто установите Тоже (для сопоставления) любой из следующих опций:

• иш - Возвращает результаты поиска картинок Google. Этот запрос возвращает множество данных, включая положение, миниатюры, исходные URL-адреса, заголовки и многое другое. (Для обратного поиска изображений вы запустите URL изображения параметр вместо tbm = иш )
• в - Возвращает результаты поиска Google Video. Вы получите такую ​​информацию, как исходный домен, URL видео, заголовок, описание, а также любые расширения или значки.
• lcl - Еще одна золотая жила данных SEO, lcl Параметр возвращает результаты поиска Google Maps. Вы увидите название компании / местоположения, URL-адреса веб-сайтов, независимо от того, оплачен ли результат, любые звездочки или отзывы, а также важную информацию, такую ​​как адрес, номера телефонов, часы работы, заметные цены и даже тип компании. У вас также есть возможность запросить маршруты к этим предприятиям.
• Это - Вам нужно быть в курсе текущих событий и событий в вашей отрасли? Добавить Это параметр вашего запроса, чтобы возвращать результаты поиска в Новостях Google в режиме реального времени. Просматривайте названия статей, их ссылки, даты публикации (и анализируются вашим API), издателя, краткое описание статьи, а также любые доступные эскизы.
• магазин - Доступ к результатам поиска в Google Покупках с помощью магазин параметр. Давайте взглянем на некоторые образцы результатов (сильно усеченные для удобства чтения) для водонагревателей в Атланте, Джорджия:

Торговая точка

Помимо ядра /поиск конечная точка, Zenserp API также включает /поход по магазинам . Это позволяет вам анализировать страницы товаров в Google Покупках. Вы добавите идантификационный номер продукта параметр к вашему /поход по магазинам запрос, с возможностью указать желаемое географическое местоположение для поиска ( место расположения ), код страны ( gI ) и / или язык веб-интерфейса ( гл ). Вы также можете изменить региональный вариант поиска Google, с которым хотите работать. search_engine .

Конечная точка тренда | Парсинг поисковой выдачи с помощью Zenserp

Запросы Google Trends выполняются путем добавления / тренды на ваш запрос (хотя в документации Zenserp неверно указано, что вам следует использовать /поход по магазинам ). Ваши результаты в Трендах основаны на ключевое слово[] параметр, в котором вы передаете свою ключевую фразу в качестве аргумента в []. В документации Zenserp есть удобное напоминание о том, какие операторы используются в Trends (+ для или, - для исключения, пробел для и и кавычки для точного совпадения), которые будут использоваться в вашем запросе.

Вы можете дополнительно указать часовой пояс ( tz ), ID категории ( Кот ), временное ограничение для ваших результатов (ежечасно, ежедневно, ежемесячно, ежегодно во многих подразделениях). В тип собственности Google для поиска (например, изображения, авиабилеты, YouTube, финансы и т. д.). В гео местоположение или код местоположения Google ( gI ), и даже разрешающая способность в пределах этого региона (по сути, установка того, будете ли вы искать по всей стране, по городу, по региону и т. д.)

Итак, допустим, вы хотели узнать, как Канье Уэст был в тренде за последний месяц. Вы бы сделали такой запрос:

https://app.zenserp.com/api/v1/trends?apikey=YOUR-API-KEY&keyword%5B%5D=kanye%20west&timeframe=today%201-m

Производительность | Парсинг поисковой выдачи с помощью Zenserp

Теперь, когда мы закончили с обзором функций, как на самом деле работает Zenserp? В конце концов, все эти замечательные данные бесполезны, если вы фактически не можете получить к ним доступ из-за упорных усилий Google по сбору программных данных.

По нашему опыту, Zenserp справлялся со своими задачами без сбоев, независимо от того, что мы искали и в какой точке мира нацеливали наши запросы. Секретное оружие здесь - невероятная всемирная прокси-сеть Zenserp, которая перенаправляет ваши запросы туда, куда им нужно, при изменении вашего IP-адреса. Хотя Zenserp не разглашает фактические номера своей серверной сети, она оказалась достаточно надежной, чтобы никогда не выдавать ни одной ошибки, когда мы делали наши тестовые запросы.

Также под капотом Zenserp API находится сложный решатель Captcha. Опять же, у нас нет подробностей о том, как они сделали эту работу. Но сработало, причем стабильно.

Ценообразование

Инфраструктуры Zenserp достаточно для работы любого масштаба. Они предлагают широкий диапазон цен на подписку, так что вы платите только за то, что вам нужно. Какой бы уровень вы ни выбрали, вы можете заплатить небольшую ежемесячную плату или получить 20% скидку на годовой план.

В дополнение к стандартным уровням Zenserp предлагает планы с большим объемом. Это заблокировано в схеме ежемесячной оплаты. Каждый уровень включает в себя все премиум-функции планов СРЕДНИЙ-ОЧЕНЬ БОЛЬШОЙ. И масштабирует вашу ежемесячную квоту в зависимости от того, сколько вы платите:

• ПРЕМИУМ - 599,99 $ и 250 000 запросов в месяц
• ПРОФЕССИОНАЛЬНЫЙ - 1399,99 долларов США и 750 000 запросов в месяц
• ПРЕДПРИЯТИЕ - 1599,99 долларов США и 1000000 запросов в месяц

Парсинг поисковой выдачи с помощью Zenserp

SaaS Industries представила невероятное предложение со своим Zenserp API. Он настраивается и хорошо масштабируется благодаря надежной инфраструктуре. Тем не менее, чрезвычайно просто интегрировать в ваше приложение благодаря простой параметрической логике и широкой совместимости с языками кодирования.

Наше тестирование дало стабильные результаты без каких-либо ошибок. Хотя мы подозреваем, что сервис неуязвим для ошибок масштаба, необходимого крупным предприятиям. Независимо от того, какой тип запроса мы делали, результаты всегда были своевременными и значимыми. Чрезвычайно полезно иметь возможность уточнить свой запрос результатов поиска по типу поиска, и поэтому ясно, что Zenserp предлагает бесценный, но доступный инструмент для любого разработчика SEO.

Если мы и критиковали сервис, так это то, что в документации можно было бы использовать более естественный язык для объяснения ее содержания. Конечно, у опытного разработчика не должно возникнуть проблем с пониманием того, что предлагается, так что это, скорее всего, не проблема. Даже если это так, все уровни оплаты, кроме самых маленьких, включают в себя подключение консьержа и персональную поддержку клиентов, поэтому вы всегда сможете идеально удовлетворить свои потребности.

Заключение

Хорошо, это все, ребята! Я надеюсь, что вам понравилась эта статья «Очистка результатов поиска с помощью Zenserp», и вы сочтете ее полезной. Поделитесь с нами своим мнением. Также, если у вас есть дополнительные вопросы, связанные с этой статьей. Тогда дайте нам знать в разделе комментариев ниже. Мы скоро к тебе вернемся.

Хорошего дня!

Также см: Руководство пользователя при просмотре кэша Chrome в Windows 10