Как обойти платный доступ (статьи, блоги и т. д.)

Одна из самых раздражающих вещей в «современной» сети — платный доступ. Все больше и больше издателей предпочитают скрывать свой контент за премиальными подписками или формами регистрации по электронной почте. И в этой статье я собираюсь объяснить, почему существуют платные сети и как их обойти.

Я хочу, чтобы было абсолютно ясно, что я не одобряю акт уклонения от оплаты премиум-контента. Издатели должны быть вознаграждены за свою работу, и я это уважаю. Но проблемы возникают не только у крупных издателей, таких как New York Times.

Многие блоги на Medium прибегают к подозрительной тактике, чтобы заставить людей делиться своими адресами электронной почты. И я постараюсь объяснить как. Другая проблема — когда сайты блокируют доступ со всего региона ЕС из-за правил GDPR. Подробнее об этом скоро.

Если вы хотите пропустить техническую часть, нажмите здесь, чтобы сразу перейти к разделу инструментов.

Что такое платный доступ?

Проще говоря, платный доступ используется для защиты контента веб-сайта, за который нужно платить. Стоимость может быть либо денежной (подписка), либо адресом электронной почты, который поможет расширить информационный бюллетень.

Причина использования платного доступа довольно проста: блокировщики рекламы мешают потокам доходов издателей. И это происходит уже более десяти лет.

Google сообщил в 2017 году, что «[…] более 600 миллионов устройств используют блокировщики рекламы» . Справедливо предположить, что с тех пор это число выросло в геометрической прогрессии.

Если вы крупный издатель и зависите от доходов от рекламы, имеет смысл перейти на модель подписки. Однако мой взгляд на эту тему связан с поисковыми системами.

В частности, как издатели позволяют поисковым системам, таким как Google, сканировать и индексировать их контент, но не позволяют поисковику читать его.

Как поисковые системы получают доступ к платному контенту?

Итак, позвольте мне проиллюстрировать, что произошло и почему я вообще написал эту статью. Проводя исследование для своей статьи об аналитике с открытым исходным кодом, я хотел знать, как блокировщики рекламы влияют на аналитические отчеты.

В частности, как блокировщики рекламы влияют на отчеты таких инструментов, как Google Analytics.

Мой поисковый запрос для этого был: «отслеживание аналитики блокировщиков рекламы» .

А вот результат поиска из Google:

Первый результат получен от Towards Data Science и представляет собой избранный фрагмент . Эти фрагменты — способ Google дать вам быстрый ответ на конкретный вопрос. И они прикрепляются к верхней части страницы результатов поиска, чтобы подчеркнуть авторитет.

Тем не менее, ответ довольно прост, но я хотел узнать больше. Итак, я нажал на ссылку статьи. И это страница, с которой меня приветствовали:

Моя первая мысль? Это чертовски раздражает. Моя вторая мысль? Как Google увидел эту статью и продвинул ее в результатах поиска?

 Конечно, я не пытаюсь оставаться в неведении. Я знаю, что Medium ограничивает количество статей, которые вы можете читать в месяц. Тем не менее, отслеживать, сколько вы прочитали, невозможно. Особенно, учитывая, что вы можете использовать собственные доменные имена для своих блогов на Medium.

В этом случае Towards Data Science публикует свой контент на Medium. А Medium предлагает создателям возможность зарабатывать деньги за публикацию на их платформе. Это больше деловые отношения, чем личный вопрос доверия. Но вот мое недовольство этим.

Чтобы этот контент процветал, он сильно зависит от трафика поисковых систем.

Таким образом, Google Crawler получает бесплатный доступ как для просмотра всего содержимого страницы, так и для его индексации в результатах поиска. И, как мы видели выше, эти результаты поиска могут быть повышены до авторитетного статуса. Что, честно говоря, не имеет никакого смысла.

Позиция Google в отношении платного контента

Google создал официальное руководство по структурированию контента с платным доступом с помощью микроразметки. Вы можете увидеть официальные документы здесь.

В итоге:

• Google не разрешает маскировку контента.
• Контент с платным доступом должен быть размечен точно до раздела, скрытого за платным доступом.

Насколько активно Google применяет эти правила, неизвестно.

Я провел комплексную проверку на пути к науке о данных, и вот код, который они используют на этой конкретной странице:

 mainEntityOfPage: https://towardsdatascience.com/how-much-data-is-missing-from-your-google-analytics-dashboard-20506b26e6d isAccessibleForFree: False cssSelector: .meteredContent

Как мы видим здесь, isAccessibleForFree имеет значение False , а селектор CSS установлен на .meteredContent. Это говорит нам о том, что Medium следует рекомендациям Google по структурированию контента с платным доступом.

Что такое селектор «.meteredContent»?

Этот селектор используется, чтобы сообщить поисковым системам, таким как Google, о том, что существует ограничение на количество бесплатных статей, которые может прочитать пользователь. В случае с Medium это 3 бесплатные статьи в месяц .

По общему признанию, во время охоты, чтобы найти реальные правонарушения со стороны Medium, я вернулся с пустыми руками. Я думаю, логически не имеет смысла, что Google может видеть все статьи, но настоящие читатели могут прочитать только 3 статьи, прежде чем они будут вынуждены зарегистрироваться. Google, кажется, более чем счастлив разрешить такое поведение, и я больше не могу ничего сказать.

 Google открыто заявил, что его больше интересует качество контента, а не его доступность. Первоначально компания опубликовала рекомендации о том, как сообщать издателям о разрешении как минимум 3 бесплатных статей для новых посетителей. Это верно для того, что мы видели с Medium. Но в последние годы Google перешел на структурированную разметку. Подробнее об этом читайте в статье «Как работают алгоритмы поиска» от самого Google.

Заблокировано в ЕС из-за GDPR

В некоторых случаях вы можете столкнуться с веб-сайтами, которые полностью блокируют доступ. Это в значительной степени актуально для американских издателей, которые блокируют доступ для читателей из ЕС. И простая причина тому — GDPR — правила конфиденциальности из Европы.

Хотя изображение выше подразумевает, что веб-сайт «заботится» о посетителях из ЕС, на практике это явно не так. Причина, по которой издатели делают это, заключается в сложных рекламных методах, которые собирают данные о пользователях. И вместо того, чтобы ограничивать, какие данные отслеживаются для определенного региона, некоторые предпочитают полностью блокировать доступ.

Как обойти платный доступ

Хорошо, давайте отбросим всю драму и рассуждения о платном доступе. Вместо этого давайте рассмотрим некоторые инструменты, которые вы можете использовать для быстрого обхода платного доступа.

12-футовая лестница

Самый быстрый способ обойти платный доступ — использовать веб-сайт 12ft Ladder. Все, что вам нужно сделать, это ввести URL-адрес, который ведет к платному доступу, а 12ft сделает все остальное.

 https://12ft.io/[link to the paywalled website]

Что касается того, как это работает, это довольно просто. Новостные сайты, издатели и другие поставщики контента используют платный доступ, но позволяют роботу Google просматривать свои страницы. В этом контексте 12ft просто использует функцию Google Cache, чтобы показать вам полную страницу.

Насколько мне известно, 12ft не поддерживает обход The ​​New York Times.

Обход платного доступа

Браузерное расширение Bypass Paywalls — это проект с открытым исходным кодом, размещенный на GitHub. Чтобы использовать это конкретное расширение, вы должны установить его самостоятельно. Поскольку он недоступен для загрузки ни на торговой площадке Google Chrome, ни в Mozilla.

Само расширение доступно для браузеров Chrome, Firefox и Edge. И последнее, но не менее важное: у проекта более 20 000 звезд на GitHub. Так что он и проверен временем, и к тому же надежен. Полный список сайтов, которые вы можете обойти с помощью этого расширения, находится на самой странице проекта.

Архив

Проект Archive Today работает аналогично многим другим инструментам обхода платного доступа. Он архивирует страницы, как если бы страница была просмотрена поисковой системой, и возвращает вам удобочитаемую версию страницы, которую вы пытаетесь просмотреть.

Этот метод часто используется на таких сайтах, как Hacker News, где люди публикуют истории за платным контентом. Насколько я могу судить, он отлично работает с такими сайтами, как NY ​​Times, Financial Times, The Wall Street Journal и многими другими.

Режим инкогнито

В некоторых случаях веб-сайт будет хранить данные cookie, чтобы отслеживать, сколько бесплатных статей вы прочитали. Как только вы достигнете лимита, вы будете защищены платным доступом. И один из самых простых способов обойти это — использовать режим инкогнито. Также известен как частный режим.

Вы можете получить доступ к Incognito в любом современном браузере, перейдя в « Настройки » и выбрав новое « Приватное окно ». Это просто даст вам «чистый лист» без истории файлов cookie, а это означает, что вы можете продолжить и получить доступ к контенту, скрытому за платным доступом к файлам cookie.

Инкогго

Разработчики Incoggo планируют выйти на рынок блокировщиков рекламы. Но на данный момент они предоставляют бесплатное программное обеспечение для Mac, позволяющее обойти платный доступ. Опять же, это программное обеспечение доступно только для пользователей OSX, хотя скоро должна появиться версия для Windows.

Глядя на их последние новости в блоге, кажется, что проект находится в активной разработке. Это хорошая новость, потому что это означает, что программное обеспечение работает, когда это необходимо. Что касается публикаций и сайтов, которые Incoggo может пропустить, проверьте их официальный сайт.

Этично ли обходить платный доступ?

Я думаю, что все мы работаем на разных уровнях морального компаса. Есть много аргументов, которые нужно иметь с обеих сторон. И, как я упоминал в начале статьи, я считаю, что издатели должны иметь возможность взимать плату за подписку на премиум-контент.

Моя единственная проблема, когда этот процесс становится вымогательством. Другими словами, зачем давать привилегии поисковым системам, таким как Google, а затем блокировать всех остальных пользователей?

Нередко можно прочитать настоящую бесплатную статью со ссылками на издателей, которые добавили платный доступ к своему контенту.

Стоит ли платить 50 долларов в год за то, чтобы прочитать всего одну статью? То же самое касается статей, которые когда-то были бесплатными, но на которые до сих пор ссылаются, несмотря на платный доступ.

В любом случае, я надеюсь, что это руководство дало вам хотя бы несколько полезных выводов.