Як усунути помилки сканування в Google Search Console

1. Категоризація помилок сканування
2. 1. Помилки сайту
3. 2. Помилки URL
4. Висновок

Автор: Джо Робісон (Joe Robison) - засновник і головний консультант SEO-агентства Green Flag Digital, експерт Moz.

В останні роки вебмастера все більше покладаються на Google Search Console як джерело цінних даних. Google також створив безліч довідкових документів, покликаних полегшити користувачам сервісу пошук і усунення помилок.

Можливо, виправляти помилки не так цікаво, як займатися іншими SEO-завданнями. Проте, даний пласт робіт надзвичайно важливий.

Регулярно перевіряючи сайт на наявність помилок сканування і оперативно усуваючи недоліки, ви зможете взяти ситуацію під контроль. В іншому випадку, ресурсу можуть загрожувати серйозні проблеми.

Категоризація помилок сканування

У Search Console помилки сканування поділяються на дві основні групи: помилки сайту і помилки URL. Такий підхід дуже зручний, оскільки проблеми на рівні сайту і на рівні сторінки - це різні речі. Помилки з першої групи зазвичай більш масштабні і впливають на юзабіліті ресурсу в цілому. У свою чергу помилки URL відносяться до конкретних сторінок і, відповідно, менш термінові.

Найшвидший шлях до помилок сканування - через панель управління в Search Console. Головна панель дає загальний огляд ситуації по сайту і включає три найважливіших інструменту для управління їм: «Помилки сканування», «Аналіз пошукових запитів» і «Файли Sitemap».

1. Помилки сайту

Помилки, які містяться в цьому розділі, впливають на роботу сайту в цілому. Google надає дані за останні 90 днів.

При наявності проблем, цей розділ буде виглядати приблизно так:

При відсутності помилок - так:

Як часто перевіряти наявність помилок сайту?

В ідеалі щодня. Це завдання може здатися монотонною, оскільки в більшості випадків все буде в порядку. Однак цим потрібно займатися, щоб потім НЕ картати себе за критичні помилки в роботі сайту.

Як мінімум, перевіряти наявність помилок сайту слід кожні 90 днів. Але краще, все ж, робити це частіше.

A) Помилки DNS

Що це таке?

Помилки DNS (Domain Name System) можуть спричинити за собою величезні проблеми для сайту. Тому вони дуже важливі і завжди йдуть першими.

Наявність помилок цього типу означає, що робот Googlebot не може зв'язатися з сервером DNS - або тому що він не працює, або через проблеми з маршрутизацією DNS для вашого домену.

Чи важливі вони?

Google стверджує, що більша частина помилок, пов'язаних з DNS, не впливає на можливість сканування сторінок роботом Googlebot. Проте, при виявленні серйозної помилки DNS слід діяти негайно.

Поява таких помилок може означати повільне завантаження, а це погіршує досвід користувачів.

Помилки DNS, які ускладнюють Google доступ до сайту, потрібно вирішувати відразу.

як усунути

1. Google рекомендує в першу чергу використовувати інструмент «Переглянути як Googlebot» в Search Console. Якщо потрібно перевірити статус з'єднання з DNS-сервером, можна використовувати тільки функцію «Сканувати». Функція «Отримати і відобразити» потрібна, щоб порівняти, як бачать сайт Googlebot і користувач.

1. Зв'яжіться з DNS-провайдером. Якщо Google не може правильно просканувати та відобразити цю сторінку, цю проблему потрібно вирішити. Перевірте, чи не пов'язана вона з постачальником послуг DNS.
2. Переконайтеся, що сервер видає код помилки HTTP 404 ( «, не знайдено») або 500 ( «внутрішня помилка сервера»). Ці коди відповіді сервера більш точні, ніж помилка DNS.

інші інструменти

ISUP.me - дозволяє відразу дізнатися, чи доступний сайт іншим користувачам або ж проблема тільки з вашого боку.

Web-Sniffer.net - показує поточний HTTP-запит і заголовок відповіді. Корисно використовувати для пункту № 3, наведеного вище.

B) Помилки сервера

Що це означає

Помилки сервера зазвичай означають, що Google не може отримати доступ до сайту, тому що сервер занадто довго не відповідає. Googlebot, який намагається просканувати сайт, може почекати відповіді від сервера протягом певного проміжку часу, після чого він припиняє свої спроби.

Помилки сервера можуть мати місце при великому напливі трафіку, з яким сервер не може впоратися. Щоб уникнути таких проблем, переконайтеся, що хостинг-провайдер може забезпечити безперебійну роботу сервера навіть при різкому збільшенні аудиторії сайту. Всі хочуть, щоб їх сайт став мегапопулярним, але не всі до цього готові!

Чи важливі вони?

Як і помилки DNS, помилки сервера вирішувати потрібно усувати ж, як тільки інформація про них з'явилася в Search Console. Це фундаментальні помилки, які шкодять сайту в цілому.

Перший крок - перевірка можливості зв'язку з сервером DNS. При наявності проблем з підключенням до сервера, Googlebot не зможе просканувати сторінки і покине сайт через якийсь час.

як усунути

Якщо сайт працює нормально, а в Search Console відображається помилка, це означає, що помилки сервера спостерігалися раніше. Хоча на даний момент проблема може бути вирішена, слід внести деякі зміни, щоб запобігти повторній появі таких помилок.

При наявності помилок сервера Google рекомендує наступне:

Перед тим, як приступити до усунення помилок сервера, слід визначити їх тип. В Google виділяють такі типи:

• таймаут
• усічені заголовки
• Скидання підключення
• Усіченого тіло відповіді
• У підключенні відмовлено
• Зв 'язку підключення
• ні відгуку

Як усунути всі ці помилки, можна дізнатися в довідці Search Console.

C) Помилка доступу до файлу robots.txt

Ця помилка означає, що Googlebot не вдається отримати файл robots.txt сайту.

Що це означає

Файл robots.txt потрібен не завжди, а лише в тому випадку, якщо потрібно заборонити Googlebot доступ до певних сторінок сайту.

У Довідці Search Console йдеться наступне:

Чи важлива вона?

Так, це важлива проблема. Для дрібних і щодо статичних сайтів з невеликою кількістю нових сторінок і змін вона не є дуже терміновою. Але її потрібно вирішити.

При щоденному оновленні сайту дана проблема перейде в розряд термінових. Якщо Googlebot не може завантажити файл robots.txt, сканування буде отложено.Такой підхід дозволяє Google уникнути індексування URL, які ви заборонили сканувати.

як усунути

Переконайтеся, що файл robots.txt правильно налаштований. Перевірте, які сторінки ви заборонили сканувати.

Якщо файл налаштований правильно, але помилки як і раніше відображаються, використовуйте інструмент для перевірки заголовків відповіді сервера. Можливо, файл повертає помилку 202 або 404.

В цілому, краще взагалі не мати файлу robots.txt, ніж мати неправильно налаштований. Якщо у вас немає цього файлу, Google буде сканувати сайт в звичайному режимі. Якщо файл повертає помилку, Google відкладе сканування, поки вона не буде усунена.

Незважаючи на те, що файл robots.txt містить лише кілька рядків тексту, він може мати величезний вплив на сайт. Тому важливо регулярно перевіряти його.

2. Помилки URL

На відміну від помилок з попередньої групи, помилки URL зачіпають лише окремі сторінки сайту.

У Search Console проблеми цього роду розділені на кілька категорій - для десктопів, смартфонів і звичайних телефонів. Для більшості сайтів цей розділ охоплює всі відомі проблеми.

Сходіть з розуму від кількості помилок? Позначте все, як виправлені

Багато власників сайтів бачать велику кількість помилок URL, і це їх лякає. Важливо пам'ятати: а) в списку спочатку йдуть найважливіші помилки; б) деякі з цих помилок вже можуть бути усунені.

Якщо ви внесли якісь радикальні зміни на сайт, щоб виправити ці помилки, або ж вважаєте, що вони вже усунені, можна помітити все помилки як виправлені і повторно перевірити розділ через кілька днів.

Якщо причини помилок не були усунені, ці URL знову з'являться в списку після наступного сканування сайту. В такому випадку, потрібно буде з ними розбиратися.

A) Soft 404

«М'які» або помилкові помилки 404 з'являються, якщо неіснуючі сторінки віддають код 200 ( «знайдено») замість 404 ( «, не знайдено»).

Що це означає

Поява на сторінці повідомлення «404 Немає запису» ще не означає, що це сторінка 404.

Для користувача видимою ознакою сторінки 404 є наявність на ній контенту. З повідомлення на сторінці повинно бути зрозуміло, що запитуваний URL відсутня.

Власники сайтів часто додають на такі сторінки список посилань на популярні розділи сайту або іншу інформацію, яка може зацікавити користувачів.

Сервер у відповідь на запит неіснуючої сторінки повинен повертати код відповіді 404 ( «, не знайдено») або 410 ( «видалено»).

На схемі нижче показано, як виглядають HTTP-запити і відповіді:

Якщо ви повертаєте сторінку 404, і вона реєструється як «м'яка» помилка 404, це означає, що код відповіді сервера різнився від 404. Згідно рекомендаціям Google, сервер завжди повинен повертати код відповіді HTTP 404 або 410 при запиті неіснуючої сторінки.

Помилкові помилки 404 також з'являються, якщо на сторінках налаштований 301 редирект на нерелевантні URL, такі як головна сторінка.

Google говорить про помилки soft 404 наступне:

Хоча тут пошуковик дає якісь орієнтири, до кінця незрозуміло, в яких випадках переадресація із застарілою сторінки на головну допустима, а в яких - ні.

На практиці, якщо ви переадресовувати велику кількість сторінок на головну, Google може інтерпретувати ці редіректи як помилкові помилки 404, а не перенаправлення 301.

При цьому при переадресації застарілої сторінки на схожу реєстрація «м'якої» помилки 404 малоймовірна.

Чи важливі вони?

Якщо URL, помічені як soft 404, не є критично важливими для сайту і не «з'їдають» краулінговий бюджет сайту, тоді роботу над ними можна відкласти.

Якщо важливі сторінки сайту реєструються як soft 404, необхідно виправити ці помилки. Сторінки товарів, категорій або генерації лідів не повинні реєструватися як soft 404, якщо це актуальні сторінки. Приділіть особливу увагу тих сторінок, які приносять сайту дохід.

Якщо у вас велика кількість «м'яких» помилок 404 по відношенню до загального обсягу сторінок на сайті, діяти потрібно швидко. Наявність таких помилок може з'їдати бюджет сканування вашого сайту.

як усунути

Неіснуючі сторінки:

• Переконайтеся, що сервер повертає код відповіді HTTP 404 або 410, а не 200;
• Перевірте, щоб за допомогою 301 редіректу застарілі сторінки переадресовувалися на релевантні, схожі сторінки сайту;
• Чи не перенаправляйте велика кількість застарілих сторінок на головну сторінку. Вони повинні повертати помилку 404 або переадресовані на подібні сторінки.

Актуальні сторінки:

• Переконайтеся, що сторінка містить достатню кількість контенту. Сторінки з неінформативним вмістом можуть розцінюватися як помилкові помилки 404.
• Переконайтеся, що контент на сторінці не означає її як сторінку 404, якщо при цьому повертається код відповіді сервера 200.

Soft 404 - це дивні помилки. Вони вносять багато плутанини, оскільки є гібридом сторінок 404 і нормальних сторінок. При цьому причини, що викликають їх появу, не завжди зрозумілі. Переконайтеся, що найважливіші сторінки на вашому сайті не повертають «м'які» помилки 404.

B) 404

Помилка 404 означає, що Googlebot намагався просканувати неіснуючу сторінку. Пошуковий робот знаходить сторінки 404, коли інші сайти посилаються на відсутні сторінки.

Що це означає?

Цей вид помилок сканування найчастіше сприймається невірно. Найчастішою реакцією на них є страх.

При цьому Google стверджує , Що боятися таких помилок не варто:

Тим не менш, це не зовсім так. Не можна ігнорувати помилки 404, якщо їх повертають важливі сторінки на сайті.

В яких випадках помилки 404 потрібно виправляти, а в яких - можна ігнорувати, не завжди зрозуміло. Глава Moz Ренд Фишкин в 2009 році запропонував Наступного корисну пораду (та він досі актуальний):

«Стикаючись з помилками 404, не варто робити ніяких дій до тих пір, поки ці сторінки:

• не отримують важливих посилань з зовнішніх джерел;
• не отримують значної кількості трафіку;
• не мають очевидного URL, який відвідувачі / посилання намір досягти ».

Тут вже важливо розібратися, що вважати важливими зовнішніми посиланнями і значною кількістю трафіку для конкретного URL.

Енні Кушинг з агентства SEER Interactive також вважає за краще метод Фишкина і рекомендує наступне:

Крім того, важливо бути в курсі офлайн-кампаній, подкастів та інших активностей, в яких використовуються запам'ятовуються URL-адреси. Наприклад, це може бути оголошення в журналі з посиланням на спеціальну сторінку сайту і т.п. Такі URL необхідно відстежувати, щоб переконатися, що вони не повертають помилку 404.

Чи важливі вони?

Помилки 404 потрібно терміново виправляти, якщо їх повертають важливі сторінки сайту. В іншому випадку, їх можна ігнорувати.

Бачити сотні таких помилок в Search Console неприємно. Однак поки ви не докопаєтеся до причин, якими вони викликані, вони нікуди не дінуться.

як усунути

Якщо важливі сторінки повертають помилку 404, для її усунення виконайте наступні кроки:

• Переконайтеся, що в CMS сторінка опублікована, а не збережена як чернетку або видалена.
• Переконайтеся, що URL з помилкою 404 - потрібна сторінка, а не один з її варіантів.
• Перевірте, чи відображається ця помилка в www і не-www версіях сайту. Також перевірте http і https версії ресурсу.
• Якщо ви хочете налаштувати переадресацію, переконайтеся, що вона буде вести на релевантну сторінку.

Іншими словами, якщо сторінка застаріла, пожвавите її. Якщо вам це не потрібно, налаштуйте 301 редирект на відповідну сторінку.

Як зробити так, щоб застарілі URL з помилкою 404 не відображалися у звіті

У звіті про помилки першими показуються ті сторінки 404, на які є внутрішні або зовнішні посилання.

Щоб знайти посилання на сторінки 404, потрібно перейти в розділ «Помилки сканування» і вибрати «Помилки URL»:

Потім клікніть на URL, який ви хочете виправити.

У коді сторінки знайдіть посилання:

Щоб застарілі сторінки з помилкою 404 показувалися в звіті, потрібно видалити всі посилання на них з кожної сторінки, яка на них посилається - включаючи інші сайти.

Крім того, посилання на застарілі сторінки можуть міститися в старих файлах Sitemap. У такому випадку потрібно налаштувати код відповіді сервера 404 для цих файлів. Переадресовувати їх на актуальну карту сайту не потрібно.

C) Доступ заборонений

Наявність цих помилок може означати, що Googlebot не вдалося отримати доступ до URL.

Що це означає

Помилки «Доступ заборонений» можуть виникнути з наступних причин:

• Googlebot не вдалося отримати доступ до URL, оскільки для перегляду вмісту на сайті потрібно виконати вхід.
• Файл robots.txt заблокував Googlebot доступ до всього сайту або до окремих його сторінок або каталогам.
• Для роботи з сайтом потрібно аутентифікація за допомогою проксі-сервера, або ж хостинг-провайдер заблокував доступ до сайту для робота Googlebot.

Чи важливі вони?

Якщо заблоковані сторінки важливі, то наявність таких помилок вимагає термінових дій.

Якщо необхідності в скануванні і індексації сторінки немає, ці помилки можна ігнорувати.

Як виправити?

Щоб усунути такі помилки, потрібно прибрати причину, по якій Googlebot не може отримати доступ до сторінки:

• приберіть зі сторінки форму авторизації;
• перевірте налаштування файлу robots.txt і переконайтеся, що він не блокує Googlebot;
• використовуйте інструмент для перевірки файлу robots.txt. З його допомогою ви зможете побачити, як робот Googlebot буде інтерпретувати зміст файлу robots.txt;
• щоб зрозуміти, як Googlebot бачить ваш сайт, використовуйте інструмент «Переглянути як Googlebot».

Проскануйте свій сайт за допомогою Screaming Frog. Він покаже, чи потрібне авторизація на сторінках.

Хоча помилки «Доступ заборонений» не так часті, як 404, вони можуть пошкодити ранжирування сайту. Це можливо в тому випадку, якщо заблоковані важливі сторінки.

D) Помилки невиконання переходу

Що це означає

У цій категорії перераховані URL, на які робот Googlebot не зміг перейти. Найчастіше такі помилки пов'язані з використанням Flash, Javascript і редиректів на сайті.

Чи важливі вони?

Якщо такі помилки пов'язані з важливими сторінками, вони вимагають термінових дій. Якщо ж проблеми виявлені на застарілих URL, або ж мова йде про параметри, які необов'язково індексувати, поспішати не варто. Проте, розібратися з цими проблемами потрібно.

як усунути

Деякі засоби, що використовуються на сайті, можуть ускладнювати процес його сканування роботами пошукових систем. У їх числі - JavaScript, файли cookie, ідентифікатори сеансів, фрейми, DHTML або Flash.

Для перевірки сайту на наявність подібних проблем Google рекомендує використовувати текстовий браузер Lynx або інструмент «Переглянути як Googlebot». Ще один корисний інструмент - розширення User-Agent Switcher для Chrome.

При виникненні проблем зі скануванням параметрів перевірте, як Google їх обробляє. Якщо ви хочете, щоб Google по-іншому обробляв ваші параметри, повідомте Google про зміни за допомогою інструмента «Параметри URL» .

Якщо помилки невиконання переходу пов'язані з редирект, зробіть наступне:

• Перевірте ланцюжка редиректів. Якщо перенаправлень занадто багато (більше 5), Googlebot не буде переходити по всьому ланцюжку.
• При Оновіть архітектуру сайту, щоб на кожну його сторінку вела хоча б одна статична текстове посилання. Мінімізуйте кількість редиректів.
• Не вмикайте URL з переадресацією в файл Sitemap. Включайте цільової URL.

Більше даних про помилки можна отримати за допомогою Search Console API.

інші інструменти

E) Помилки сервера і помилки DNS

У розділі «Помилки URL» також можуть відображатися помилки сервера і помилки DNS. Усувати їх потрібно тими ж способами, які описані для розділу «Помилки сайту».

Нижче - загальна таблиця по помилках URL, яку можна використовувати в якості пам'ятки:

Висновок

Робота над Усунення помилок важліва и потрібна. Бачачі сотні недоліків, спочатку Важко розібратіся, Які з них вімагають терміновіх Дій. Однак з часом ви зможете досить легко відрізняти важливі проблеми від тих, які можна спокійно ігнорувати.

Автор рекомендує всім веб-майстрам ознайомитися з довідковою документацією по Google Search Console. При появі питань можна звернутися до наступних ресурсів:

Search Console - це один з найбільш потужних (і безкоштовних) інструментів для діагностики помилок сайту. Усунення описаних вище проблем допоможе не тільки підвищити позиції ресурсу в пошуку Google, але і поліпшити досвід користувачів і швидше досягти намічених бізнес-цілей.