Jak ominąć paywall (artykuły, blogi itp.)

Jedną z najbardziej irytujących rzeczy w „nowoczesnej” sieci są zapory. Coraz więcej wydawców decyduje się na zablokowanie swoich treści za subskrypcjami premium lub formularzami rejestracji e-mail. W tym artykule wyjaśnię, dlaczego istnieją paywalle i jak je ominąć.

Chcę wyraźnie powiedzieć, że nie akceptuję aktu unikania płacenia za treści premium. Wydawcy powinni być nagradzani za swoją pracę i szanuję to. Ale nie tylko wielcy wydawcy, jak New York Times, powodują problemy.

Wiele blogów na Medium stosuje bardzo podejrzane taktyki, aby zmusić ludzi do udostępniania swoich adresów e-mail. I zrobię co w mojej mocy, aby wyjaśnić jak. Inną kwestią jest to, że strony internetowe blokują dostęp z całego regionu UE z powodu przepisów RODO. Więcej o tym wkrótce.

Jeśli chcesz pominąć część techniczną, kliknij tutaj, aby przejść bezpośrednio do sekcji narzędzi.

Co to jest paywall?

Mówiąc najprościej, paywall służy do ochrony treści witryny, za którą należy zapłacić. Koszt może być pieniężny – subskrypcja – lub adres e-mail, aby pomóc rozwinąć biuletyn.

Uzasadnienie korzystania z paywalla jest dość proste: programy blokujące reklamy utrudniają wydawcom strumienie przychodów. I dzieje się to już od ponad dekady.

Google podało w 2017 r., że „[…] ponad 600 milionów urządzeń używa ad-blockerów” . Można tylko założyć, że od tego czasu liczba ta wzrosła wykładniczo.

Jeśli jesteś dużym wydawcą i zależy Ci na przychodach z reklam, warto przejść na model subskrypcji. Jednak mój punkt widzenia na ten temat jest związany z wyszukiwarkami.

W szczególności, w jaki sposób wydawcy pozwalają wyszukiwarkom takim jak Google indeksować i indeksować swoje treści, ale nie pozwalają wyszukiwarce ich czytać.

W jaki sposób wyszukiwarki uzyskują dostęp do treści płatnych?

Pozwolę sobie więc zilustrować, co się stało i dlaczego napisałem ten artykuł w pierwszej kolejności. Prowadząc badania do mojego artykułu o analityce typu open source, chciałem poznać wpływ blokowania reklam na raporty analityczne.

W szczególności, jak blokowanie reklam wpływa na raportowanie narzędzi takich jak Google Analytics.

Moje zapytanie brzmiało: „śledzenie analityczne programów blokujących reklamy” .

A oto wynik wyszukiwania z Google:

Pierwszy wynik pochodzi z Towards Data Science i jest to wyróżniony fragment . Te fragmenty to sposób Google na udzielenie szybkiej odpowiedzi na konkretne pytanie. I są przyklejone na górze strony wyników wyszukiwania, aby sugerować autorytet.

Niemniej jednak odpowiedź jest dość prosta, ale chciałem wiedzieć więcej. Więc kliknąłem link do artykułu. A oto strona, którą mnie przywitano:

Moja pierwsza myśl? To denerwujące jak diabli. Moja druga myśl? W jaki sposób Google widział ten artykuł i promował go w wynikach wyszukiwania?

 Oczywiście nie staram się być ignorantem. Wiem, że Medium ogranicza liczbę artykułów, które możesz przeczytać w miesiącu. Jednak śledzenie, ile przeczytałeś, nie jest możliwe. Zwłaszcza biorąc pod uwagę, że możesz używać niestandardowych nazw domen dla swoich blogów Medium.

W tym przypadku Towards Data Science publikuje swoje treści na Medium. Medium oferuje twórcom sposób na zarabianie pieniędzy na publikowanie na ich platformie. To bardziej relacja biznesowa niż osobista kwestia zaufania. Ale oto moja skarga na to.

Aby te treści mogły się rozwijać, zależy to w dużej mierze od ruchu w wyszukiwarkach.

Tak więc robot indeksujący Google otrzymuje bezpłatną przepustkę zarówno do przeglądania całej zawartości strony, jak i do indeksowania jej w wynikach wyszukiwania. Jak widzieliśmy powyżej, te wyniki wyszukiwania mogą być promowane do statusu autorytatywnego. Co, szczerze, nie ma żadnego sensu.

Stanowisko Google w sprawie treści płatnych

Google stworzyło oficjalne wytyczne dotyczące struktury treści płatnych za pomocą znaczników schematu. Możesz zobaczyć oficjalne dokumenty tutaj.

W podsumowaniu:

• Google nie zezwala na maskowanie treści.
• Treści płatne muszą być dokładnie oznaczone do sekcji, która jest ukryta za płatną ścianą.

Nie wiadomo, jak aktywnie Google egzekwuje te reguły.

Dokonałem należytej staranności w sprawie Towards Data Science, a oto kod, którego używają na tej konkretnej stronie:

 mainEntityOfPage: https://towardsdatascience.com/how-much-data-is-missing-from-your-google-analytics-dashboard-20506b26e6d isAccessibleForFree: False cssSelector: .meteredContent

Jak widać tutaj, isAccessibleForFree ma wartość False , a selektor CSS jest ustawiony na .meteredContent. Mówi nam, że Medium postępuje zgodnie z wytycznymi Google dotyczącymi struktury treści płatnych.

Co to jest selektor „.meteredContent”?

Ten selektor służy do informowania wyszukiwarek takich jak Google, że istnieje limit liczby bezpłatnych artykułów, które użytkownik może przeczytać. W przypadku Medium to 3 darmowe artykuły miesięcznie .

Trzeba przyznać, że podczas polowania na prawdziwe wykroczenia ze strony Medium wróciłem z pustymi rękami. Myślę, że logicznie rzecz biorąc, nie ma sensu, aby Google widział wszystkie artykuły, ale prawdziwi czytelnicy mogą przeczytać tylko 3 artykuły, zanim zostaną zmuszeni do zarejestrowania się. Wydaje się, że Google jest bardziej niż szczęśliwy, że pozwala na takie zachowanie i niewiele więcej mogę powiedzieć.

 Google otwarcie stwierdziło, że bardziej interesuje go jakość treści niż dbanie o ich dostępność. Firma początkowo opublikowała wytyczne dotyczące informowania wydawców, aby zezwolili na co najmniej 3 bezpłatne artykuły dla odwiedzających po raz pierwszy. Dotyczy to tego, co widzieliśmy z Medium. Ale w ostatnich latach Google przestawił się na znaczniki strukturalne. Przeczytaj więcej na ten temat w artykule „Jak działają algorytmy wyszukiwania” z samego Google.

Zablokowane w UE z powodu RODO

W niektórych przypadkach możesz natknąć się na witryny, które całkowicie blokują dostęp . Jest to w dużej mierze istotne dla wydawców z siedzibą w USA, którzy blokują dostęp dla czytelników z UE. A prosty powód to RODO – przepisy dotyczące prywatności z Europy.

Chociaż powyższy obrazek sugeruje, że strona internetowa „troszczy się” o odwiedzających z UE, wyraźnie nie jest tak w praktyce. Powodem, dla którego wydawcy to robią, są skomplikowane techniki reklamowe, które gromadzą dane o użytkownikach. I zamiast ograniczać, jakie dane są śledzone dla określonego regionu, niektórzy decydują się na całkowite zablokowanie dostępu.

Jak ominąć płatne ściany

W porządku, spójrzmy poza wszystkie dramaty i rozumowanie stojące za płatnymi ścianami. Zamiast tego przyjrzyjmy się niektórym narzędziom, których możesz użyć, aby szybko ominąć paywall.

Drabina 12 stóp

Najszybszym sposobem na ominięcie paywalla jest skorzystanie ze strony 12ft Ladder. Wszystko, co musisz zrobić, to wpisać adres URL, który prowadzi do paywalla, a 12ft zajmie się resztą.

 https://12ft.io/[link to the paywalled website]

Jak to działa, to jest całkiem proste. Witryny z wiadomościami, wydawcy i inni dostawcy treści korzystają z opłat, ale umożliwiają robotowi Google Crawler wyświetlanie ich stron. W tym kontekście 12ft po prostu używa funkcji Google Cache, aby wyświetlić całą stronę.

O ile mi wiadomo, 12ft nie obsługuje ominięcia The New York Times.

Omiń zapory

Rozszerzenie przeglądarki Bypass Paywalls to projekt typu open source hostowany na GitHub. Aby korzystać z tego konkretnego rozszerzenia, musisz je samodzielnie zainstalować. Ponieważ nie jest dostępny do pobrania ani na rynku Google Chrome, ani na Mozilli.

Samo rozszerzenie jest dostępne dla przeglądarek Chrome, Firefox i Edge. Wreszcie projekt ma ponad 20 000 gwiazd na GitHub. Jest więc zarówno sprawdzony w czasie, jak i niezawodny. Pełna lista witryn, które możesz ominąć za pomocą tego rozszerzenia, znajduje się na samej stronie projektu.

Archiwum

Projekt Archive Today działa podobnie do wielu innych narzędzi omijania paywalla. Archiwizuje strony tak, jakby strona była przeglądana przez wyszukiwarkę, i zwraca czytelną wersję strony, którą próbujesz wyświetlić.

Ta metoda jest często stosowana w witrynach takich jak Hacker News, w których ludzie przesyłają artykuły za treściami płatnymi. Z tego, co mogę powiedzieć, działa dobrze z witrynami takimi jak NY Times, Financial Times, The Wall Street Journal i wieloma innymi.

Tryb inkognito

W niektórych przypadkach witryna będzie przechowywać dane plików cookie, aby monitorować liczbę przeczytanych bezpłatnych artykułów. Po osiągnięciu limitu zostaniesz zapłacony. Jednym z łatwiejszych sposobów na obejście tego jest tryb incognito. Znany również jako tryb prywatny.

Możesz uzyskać dostęp do Incognito w dowolnej nowoczesnej przeglądarce, przechodząc do Ustawień i wybierając nowe okno prywatne . Daje to po prostu „pustą kartę” bez historii plików cookie, co oznacza, że ​​możesz przejść dalej i uzyskać dostęp do treści ukrytych za zaporą plików cookie.

Incoggo

Ludzie stojący za Incoggo planują wejście na rynek blokowania reklam. Ale na razie udostępniają bezpłatne oprogramowanie dla komputerów Mac, aby ominąć zapory. Ponownie, to oprogramowanie jest dostępne tylko dla użytkowników OSX, chociaż wkrótce powinna pojawić się wersja dla systemu Windows.

Patrząc na ich najnowsze wiadomości na blogu, wydaje się, że projekt jest aktywnie rozwijany. To dobra wiadomość, ponieważ oznacza, że ​​oprogramowanie działa w razie potrzeby. Jeśli chodzi o publikacje i strony, które Incoggo może pominąć – sprawdź ich oficjalną stronę internetową.

Czy omijanie paywalls jest etyczne ?

Myślę, że wszyscy działamy na różnych poziomach moralnego kompasu. Po obu stronach jest wiele argumentów. I, jak wspomniałem na początku artykułu, uważam, że wydawcy powinni mieć możliwość pobierania opłat abonamentowych za treści premium.

Moim jedynym problemem jest to, że ten proces staje się wymuszeniem. Innymi słowy, po co dawać uprawnienia wyszukiwarkom takim jak Google, a następnie blokować wszystkich innych użytkowników?

Często zdarza się, że czyta się prawdziwy darmowy artykuł, który zawiera linki do wydawców, którzy dodali płatne ściany do swoich treści.

Czy naprawdę warto płacić 50 dolarów rocznie za przeczytanie tylko jednego artykułu? To samo dotyczy artykułów, które kiedyś były darmowe, ale nadal są do nich podlinkowane pomimo płatnej blokady.

W każdym razie mam nadzieję, że ten przewodnik dał ci przynajmniej kilka przydatnych wskazówek.