Мы боролись с этой проблемой в течение нескольких месяцев, но безрезультатно. Богатые контакты на Pinterest работали на нашем сайте, но внезапно они перестали работать, и один за другим исчезли все богатые контакты (название и цена), которые были доступны для контактов нашего сайта.
Например, с этим продуктом, мы явно имеем открытую информацию о графике спереди в разделе заголовка HTML-кода:
<meta property="og:type" content="product" />
<meta property="og:title" content="Backless Gray Lace Tulle Flower Girl Dress with Big Bow" />
<meta property="og:description" content="This dress is made of high quality lace and tulle fabric; Unique Cross back with straight neckline in the front; Big ... Shop now use NYC2018 for 9% off TODAY!" />
<meta property="og:url" content="http://www.princessly.com/backless-gray-lace-tulle-flower-girl-dress-with-big-bow.html" />
<meta property="og:site_name" content="Princessly.com" />
<meta property="og:price:amount" content="49.62" />
<meta property="og:price:currency" content="USD" />
<meta property="og:availability" content="instock" />
В соответствии с их богатыми требованиями к контактам здесь. Все это работает хорошо, когда мы впервые реализовали его на нашем сайте около полугода назад. К сожалению, по какой-то причине он прекратил работу 1 месяц назад. См. контактная страница. Он не показывает ни одну из этих данных с большим количеством контактов.
Когда мы попробуем страницу продукта с помощью богатого булавщика валидатора (https://developers.pinterest.com/tools/url-debugger/), он все еще НЕ работает и продолжает давать эту ошибку для каждого тестируемого нами URL:
Нам не удалось получить данные из вашего URL.
Вот так: http://www.princessly.com/pinterest_error.png
Это не очень полезное сообщение об ошибке. Мы не уверены, что они не могут получить доступ к странице (пустая страница http-кода или что-то еще?) Или просто не найдет там никакой открытой информации о графике.
Мы пробовали все, спрашивая о форумах для веб-мастеров, и обращались к официальной поддержке Pinterest, которая в основном не была полезной, кроме как предоставить нам документы, которые мы уже знали, и обвинил наш сервер в блокировании доступа их бота, но после нескольких подтверждений с нашей командой хостинга вообще не было никаких ошибок относительно доступа Pinterest.com к нашему сайту:
54.85.173.173 - - [11/Oct/2016:21:22:00 -0500] "GET /u-back-ivory-cotton-ruffle-neckline-flower-girl-dress.html HTTP/1.1" 200 22477 "-" "Pinterest/0.2 (+http://www.pinterest.com/)"
54.227.228.14 - - [11/Oct/2016:21:27:20 -0500] "GET /u-back-ivory-cotton-ruffle-neckline-flower-girl-dress.html HTTP/1.1" 200 22477 "-" "Pinterest/0.2 (+http://www.pinterest.com/)"
52.87.185.68 - - [11/Oct/2016:21:28:06 -0500] "GET /u-back-ivory-cotton-ruffle-neckline-flower-girl-dress.html HTTP/1.1" 200 22477 "-" "Pinterest/0.2 (+http://www.pinterest.com/)"
Поскольку мы являемся торговцем женщинами, Pinterest означает значительную сумму продаж. Мы наблюдаем значительное снижение доходов с момента исчезновения колониальных контактов. Мы считаем, что этот вопрос стоит реальных денег, когда мы говорим.
Мы в отчаянии и думаем, что мы должны попробовать наше счастье здесь. Не уверен, что это соответствует запросам программирования, но обязательно включает код HTML и Open Graph и одну из основных социальных сетей, предлагающую API разработчика.
Поскольку мы не можем получить доступ к боттеру Pinterest и тому, как он видит нашу страницу, нам кажется очень ограниченным способом отладить это.
Любая идея, как это происходит и как отлаживать и исправлять ее? Любой разработчик Pinterest здесь мог бы предложить некоторое понимание? Спасибо!
ОБНОВЛЕНИЕ 1
Вот HTTP-ПОЛЬЗОВАТЕЛИ, которые я записал через index.php of Princessly.com за последние 24 часа, которые содержат "Pinterest": http://www.princessly.com/Pinterest.txt
Мой хост WiredTree был достаточно любезен, чтобы все это проверить для меня. Кажется, боты Pinterest действительно смогли получить доступ к моему сайту без проблем.
При проверке журналов доступа для сайта "princessly.com" я вижу успешный доступ из "Pinterest" на сайт "Princessly.com". См. Фрагмент из журналов.
======
194.103.189.40 - - [15/Ноябрь/2016: 03: 32: 31 -0600] "GET/skin/frontend/default/forest_fashion/images/bkg_btn_sprite.png HTTP/1.1" 200 2503 "http://www.princessly.com/skin/frontend/default/forest_fashion/css/styles.css " "Pinterest/0.2 + http://pinterest.com/" 194.103.189.40 - - [15/Ноябрь/2016: 03: 32: 31 -0600] "GET/skin/frontend/default/forest_fashion/images/tabs_border.gif HTTP/1.1" 200 43 " http://www.princessly.com/skin/frontend/default/forest_fashion/css/styles.css" "Pinterest/0.2 + http://pinterest.com/ " 194.103.189.40 - - [15/Ноябрь/2016: 03: 32: 31 -0600] "GET/skin/frontend/default/forest_fashion/images/pager_bg.gif HTTP/1.1" 200 102 " http://www.princessly.com/skin/frontend/default/forest_fashion/css/styles.css" "Pinterest/0.2 + http://pinterest.com/ "
======
Есть ли способ найти имя бота Pinterest, которое я могу обнаружить как HTTP USER AGENT?
Из журналов видно, что тег ботинка Pinterest - "Pinterest/0.2 + http://pinterest.com ".
- Можем ли мы узнать, были ли запрошены запросы, сделанные таймером Pinterest?
Я проверил журналы Apache для IP-адресов, из которых был отмечен доступ к Pinterest, и я не смог найти никаких ошибок времени.
- Как мы узнаем, будем ли мы блокировать запросы AWS?
При проверке я не мог видеть никаких настроек блочных правил для сайта "Princessly.com". Я проверил файл .htaccess и файл robots.txt для сайта. Теперь я включил белый диапазон адресов AWS в соответствии с предоставленной вами ссылкой.
Не могли бы вы проверить информацию сейчас и сообщить мне, есть ли какая-либо панель пользователя для Pinterest или других деталей, чтобы мы могли копать глубже.
ОБНОВЛЕНИЕ 2
Следуя советам @Mackan, я создал несколько одинаковых минимальных страниц одинаково друг с другом и с правильной открытой информацией о графике и загрузил их на несколько разных сайтов. Я записываю все PHP AGER AGENT, которые обращаются к странице:
- Сайты на том же сервере, что и Princessly.com
IP-адрес сайта: 173.199.151.128
http://www.princessly.com/ivory-lace-tulle-wedding-flower-girl-dress-with-sheer-neck-TEST123.php
- FAIL
IP-адрес сайта: 173.199.151.128
- FAIL
IP-адрес сайта: 173.199.151.130
http://www.bintley.com/ivory-lace-tulle-wedding-flower-girl-dress-with-sheer-neck-TEST123.php
- FAIL
- Разный сервер, чем Princessly.com
https://www.thedataplanet.com/ivory-lace-tulle-wedding-flower-girl-dress-with-sheer-neck-TEST123.php
- УСПЕХ
- Другой другой сервер, чем Princessly.com
http://www.formkid.com/ivory-lace-tulle-wedding-flower-girl-dress-with-sheer-neck-TEST123.php
- УСПЕХ
После тестирования с помощью богатого булавщика валидатор кажется, что это проблема сервер. Запрос никогда не доходит до файла PHP для всех сайтов на сервере Princessly.com.
Поддержка WiredTree была очень любезна, чтобы помочь мне найти виновника, но после перехода через более чем 5 сотрудников службы поддержки ничего перспективного пока нет. Мы прошли через .htaccess, Apache conf, modSecurity, брандмауэр, whitelisting Pinterest IPs, AWS IP и т.д. Ничего не работало.
Это действительно странно.
ОБНОВЛЕНИЕ 3
Даже более странно, если вы посмотрите на http://www.princessly.com/Pinterest_agents.txt, вы увидите, что есть INDEED записи "Pinterest/0.2 (+ http://www.pinterest.com/) "там.
Однако, если вы дадите ему ручной тест, он НЕ ПОЛУЧИЛ и НЕ записывает доступ вообще.
Кажется, он прерывается с перерывами, может быть.
Это в значительной степени находится на арене квантовой физики, и я не знаю, что делать сейчас, кроме последнего средства, который заключается в том, чтобы заказать и предоставить новый сервер и перенести Princessly.com там, как это происходит.
Ваша идея?
