Какой бесплатный/платный API поиска позволяет выполнять программные запросы и кэширование/хранение полученных данных?

Если вы провели серьезные исследования в API поиска, вы знаете, что большинство из них имеют огромное количество ограничений TOS/TOU, которые делают их практически невозможными для использования в чем-либо, кроме самых простых приложений.

Bing 2.0 API, Yahoo Search BOSS, Google Адреса, Google AJAX Search (dead) и другие, слишком ограничивают нас. Мне нужно запускать конечное и относительно небольшое количество запросов (возможно, 500 тыс.) Только один раз, сохраняя конкретные данные из результатов для использования в нашем приложении.

Например, нам нужно сопоставить имена компаний с их целевыми веб-сайтами (мы написали алгоритм, чтобы сделать "наилучшее предположение" из набора результатов, если это необходимо, нам просто нужен набор результатов ваниля). Кроме того, нам нужно сопоставить адрес этой компании.

К сожалению, я могу найти API поиска ZERO, который позволит нам запускать запросы в программном, не-пользовательском порядке.

Мы даже очень хотим дать кому-то холодную и твердую наличность для доступа к данным такого рода; Google, Bing, Yahoo и другие просто, похоже, не хотят наших денег (о чем свидетельствуют их TOSes)...

Любые мысли?

Ответ 1

Свободно доступный индекс в 5 миллиардов веб-страниц, их рейтинг страницы, их графические диаграммы и другие метаданные, размещенные на Amazon EC2.

http://commoncrawl.org/

Их Условия обслуживания (или TOU) довольно разумны и не ограничены:

http://commoncrawl.org/about/terms-of-use/

Ответ 2

Если вы знаете какой-то визуальный базис, я бы предложил поиграть с Bing Ad Intelligence. Это бесплатный плагин Excel, и все, что вам нужно использовать, это бесплатная учетная запись Microsoft.

Предел запроса - 20 000 слов на запрос. Вы можете получить информацию о кликах, впечатлениях, CTR, CPC, средней ставке и общей стоимости. Предел запроса немного ниже, если вы используете более сложные функции исследования ключевых слов.