Цель
Основной целью технической оптимизации является поиск и исправление технических ошибок, которые мешают индексации и ранжированию в поисковых системах. Основные требования Яндекс и Google к техническим составляющим сайтов в общем и целом одинаковы, но есть и несколько отличных друг от друга условий.
Инструменты
Первым и главным инструментом технического анализа является опыт и насмотренность оптимизатора. Многие ошибки сразу бросаются в глаза бывалого сеошника и не требуют долгих поисков. Что же касается сервисов и программного обеспечения, можно выделить три основных категории:
- Программы для ПК
- Расширения для браузера
- Онлайн-сервисы
- SEO-панели Яндекс и Google
Главной программой поверхностного и глубокого анализа у специалистов по SEO уже много лет является Screaming Frog SEO Spider Website Crawler (она же Лягушка). Это парсер с имитацией поискового краулера (поискового паука или поискового бота), который собирает максимально полную информацию о страницах сайта, заголовках, описаниях, ссылках, анкорах, настройках индексации и посещения. В общем инструмент незаменимый. Существуют и другие, менее популярные программы.
Расширения для браузеров по большей части используются для подсветки основных тегов изучаемого сайта, проверки редиректов и систематизации информации о конкретной странице. Сюда же относятся имитаторы браузеров, поисковых ботов, различных устройств и другие помощники. Такие расширения не предоставляют уникальной информации, но здорово экономят время аудита.
К онлайн-сервисам в основном можно отнести различные валидаторы технических файлов сайта (robots.txt, sitemap.xml), службы проверки ответа сервера и доступности страниц, а также замерщики скорости загрузки. Есть даже компании, которые предоставляют услуги почти мгновенного технического аудита, однако данные там будут сильно поверхностные и могут содержать грубые неточности.
Как проводится аудит и техническая оптимизация
Сначала
В первую очередь необходимо проверить основные показатели сайта и далее двигаться к более тонким настройкам. Нужно выяснить, подключен ли сайт к Яндекс Вебмастеру, Яндекс Метрике, Search Console и Google Analytics. Это здорово облегчит изучение ресурса. Проверяем поддержку http2 и скорость загрузки основных типов страниц. Смотрим как выглядит мобильная версия.
Сразу можно обратить внимание на примерную структуру сайта и слешовую вложенность страниц. Смотрим на склейку с и без «www», «http/https» и т.д. по ответам сервера. Проверяем наличие цикличных ссылок и хлебных крошек (по классике именно там и хранятся цикличные ссылки).
CSS и JS
Обязательно нужно проверить, как выглядит сайт с отключенными CSS и JS. Если Google вроде как без проблем индексирует как отдельные скрипты, так и целые страницы на JS, то Яндекс зачастую пропускает такую информацию. Также можно проверить сохраненную копию сайта из поиска. С отключенными стилями и скриптами количество текстовой информации, ссылок, анкоров и картинок должно быть таким же, как и при обычном просмотре. Фиксируем наличие скрытого или лишнего контента.
Коды ошибок
Все несуществующие страницы сайта должны отдавать ответ сервера 404 и выводить соответствующую страницу с ошибкой 404. На странице должна быть ссылка на главную страницу.
При помощи Screaming Frog можно быстро проверить ответ сервера всех страниц сайта (в этом случае сервер локальный). Все полезные страницы должны давать ответ 200. Страницы с ответом 404 могут указывать на наличие битых ссылок, устраняем. Страницы с ответом 301, 302 указывают на наличие переадресации. Здесь смотрим более детально, возможно, переадресация сделана специально.
Теги и дубли
Также проверяем все возможные дубли на сайте. Дубли страниц, дубли заголовков Title, дубли заголовков H1. Да и вообще наличие этих заголовков на всех страницах. Имеем ввиду, что H1 должен встречаться на странице строго 1 раз. Уровень вложенности страниц не должен быть слишком высоким, на 5 уровень и выше поисковой краулер может уже не доходить.
Пагинация
Если на сайте используются листинги с большим количеством карточек, а наличие раздела с блогом есть почти у любого сайта, то на таких страницах обязательно должна быть пагинация. Бесконечная лента тоже имеет место быть, но если ее не дополнить пагинацией, то могут быть проблемы с индексирование. Индексироваться должна только первая страница пагинации, остальные деоптимизируются и закрываются от индексации (но не от посещения) или помечаются как неканонические.
Robots
Проверяем наличие и структуру robots.txt Должны быть отдельные разделы для разных поисковиков. Смотрим, какие команды прописаны в Allow и в Disallow, ищем подозрительные записи. Стили, скрипты и шрифты должны быть открыты для индексирования. Также можно прогнать файл robots.txt через валидатор, дабы не упустить опечатки и неявные ошибки в командах.
Карты сайта
Сайт должен обязательно иметь xml-карту. Если уровень вложенности страниц на сайте больше 2, тогда понадобится и html-карта. Файл sitemap.xml также можно проверить валидатором. Лучшей проверкой будет сравнение результатов парсинга страниц сайта из xml-карты и spider-краулингом с галавной. Разницу можно сопоставить в экселе через WPR и выяснить, каких страниц недостает, возможно, sitemap.xml не обновляется или обновляется слишком редко.
Индексация
Если заказчик предоставляет доступ к Яндекс Вебмастеру, Яндекс Метрике, Search Console и Google Analytics, это хорошие новости. Можно сравнить количество проиндексированных страниц с фактическим и выписать малозначимые страницы для дальнейшей оптимизации. Также сравниванием количество индексации в Яндекс и Google и делаем выводы. Проверяем, загружена ли sitemap в обоих сео-панелях. К метрикам посещений я присматриваюсь только если счетчики корректно установлены и настроены.
Сайт должен присутствовать на картах Яндекс и Google (2ГИС тоже не помешает). Соответственно карточки в «Бизнесах» поисковиков должны также быть. Не забываем проверить какой регион указан в Вебмастере, при необходимости поменять на корректный.
Заключение
Мы бегло рассмотрели суть технического аудита и оптимизации любого сайта. На сегодняшний день часть вышеописанной работы можно заменить или ускорить при помощи AI-ассистентов. Но выявить и устранить все проблемы помогут только насмотренность и опыт квалифицированного seo-специалиста.
Автор: Андрей Степанюк