Погана індексація сайту – одна із серйозних проблем вебмайстрів. Чому сайт або його окремі сторінки досі не в індексі? Щоб відповісти на це запитання, необхідно провести невеликий аналіз. Нижче наведено список основних причин поганої індексації, який можна використовувати як чекліст для вирішення проблеми.
Основні причини
Існує 5 основних причин, через які сайт або його окремі документи можуть не заходити в індекс (або робити це важко). Ось вони:
— Робот не знає про сайт чи документ
- Сайт або його частина недоступна для робота
— Сайт знаходиться у чорному списку
— Є технічна помилка
— Окремі сторінки чи розділи показують погану якість
Нижче докладно розписано кожен перерахований вище пункт.
Робот не знає про сайт/документ
Робот може не знати про сайт (не включити його до свого розкладу) з різних причин.
— Минуло мало часу
Для того, щоб робот дізнався про сайт або нову сторінку, потрібен час, коли він знайде посилання (внутрішнє чи зовнішнє), або коли хтось зайде на сайт із браузера зі встановленим тулбаром, або ви навмисно повідомите роботу про появу нового документа. Прискорити потрапляння документа до розкладу індексації можна за допомогою адурилки.
Також, якщо ви вже за логами сервера бачите, що робот заходив на сайт, а сторінки в індексі не з'явилися, потрібно почекати апдейта. В основний індекс сторінки можуть потрапляти за кілька годин до Google.
— На сайт/документ не стоїть посилань
Якщо сайт оновлюється рідко, то робот на нього також заходитиме рідко і при додаванні нових сторінок потрібно переконатися, що на них стоять посилання з головної або можна поставити посилання з інших зовнішніх ресурсів (з метою підказки роботу про нові документи).
Сайт або його частина недоступна для робота
Навіть якщо пошуковик вже знає про сайт, ми можемо усвідомлено або несвідомо закривати йому доступ до окремих розділів та документів.
— Домен не делегований (або знятий з делегування за скаргою)
Переконайтеся, що придбаний вами домен делегований і доступний за доменним ім'ям не тільки вам, але й іншим користувачам мережі. Попросіть своїх знайомих з іншого міста зайти на сайт і перевірити, чи він відкривається.
Також у зв'язку з ухваленням закону про піратство деякі сайти можуть знімати з делегування. Це рідкісний випадок, але якщо ви розміщуєте піратський контент (фільми онлайн, музичні кліпи та аудіотреки, ігри та іншу інтелектуальну власність), цілком можливо, що на вас подали скаргу. Про це зазвичай попереджають.
- Закритий через robots.txt
Відкрийте файл /robots.txt у кореневій папці (якщо він існує) і переконайтеся, що в ньому не закриті потрібні розділи. Наприклад, частою ситуацією є закриття від індексації папки зі скриптами або шаблонами, де лежать і зображення, що призводить до відсутності індексації зображень. Або розробники перед викочуванням нового сайту в процесі тестування додають директиву “Disallow: /” (що означає заборону на індексацію всього сайту) і забувають її прибрати.
- Закритий через meta-robots
Тег meta-robots розміщується всередині тегів <head> і є другим способом заборонити індексування документа. Деякі CMS (наприклад, WordPress) дозволяють цим гнучко керувати, але не кожен редактор згадує приділити цьому увагу після запуску та наповнення сайту первинним контентом.
— Закритий через IP або User-Agent
Це питання потрібно вирішувати із хостером. У свій час пошуковик Yahoo так приділяв увагу великим сайтам, що клав хостинг і власники хостингу блокували бота за ip-адресою. Іноді (але дуже рідко) ip-адреса випадково потрапляє в чорний список. Це легко перевірити, аналізуючи логи сервера (access_log) щодо наявності в них ознак відвідування сайту пошуковою системою.
Попросіть ваших програмістів перевірити, чи не блокують вони своєю системою важливі запити роботів.
— Закрито через http-заголовки X-ROBOTS-TAG
Метод, що рідко використовується, але http-заголовки також можна використовувати для заборони індексації тих чи інших сторінок. Перевірте за допомогою будь-яких інструментів (наприклад, плагіна Firebug для Firefox), які заголовки віддають сторінки вашого сайту і чи є в них x-robots-tag.
- Використовує flash або ajax-навігацію
Пошукові роботи погано індексують flash чи ajax-елементи сайту. Якщо в них прихована навігація, це може ускладнити індексацію сайту та розпізнавання його структури. Щоб побачити сайт як робот, можна використовувати панель для веб-майстрів Google (меню "Сканування" - "Подивитися як Googlebot").
— Важливі елементи на сайті закриті у noindex
Закриваючи щось “непотрібне”, можна також закрити і потрібно краще не використовувати noindex, я неодноразово стикався з ситуаціями, коли він тільки шкодив при некоректному використанні. Можливо, саме через надлишок тегів noindex робот не бачить достатньо унікального контенту і тому не додає сайт до індексу.
Сайт знаходиться у чорному списку
Є кілька причин, через які сайт потрапляє до чорного списку пошукової системи, приводячи, природно, до відсутності індексації. Ось основні з цих причин:
— На сайт накладено санкції
Іноді накладення санкцій очевидно, іноді ми можемо про це не думати (наприклад, при купівлі домену). У будь-якому випадку варто переконатися, що домен чистий. Зазвичай, до накладення санкцій наводять такі особливості сайту:
Маніпулює видачею агресивними методами оптимізації (наприклад, приховує seo-контент або підміняє контент для користувачів, просувається спамом за каталогами або форумами і при цьому не має великого авторитету).
Створено лише для пошукових систем (не несе цінності користувачеві)
Є афіліатом вже існуючого сайту (вже є аналогічний сайт на іншому домені того ж власника)
Має погану історію домену
Який сайт існував на домені перед тим, як ви його придбали, можна подивитися на сервісі WebArchive. Бажано це робити до купівлі домену.
- Ресурс поширює віруси
Трапляється, що сайти зламують та розміщують на них шкідливий код. Коли пошуковик це виявляє, то не продовжує індексувати сайт доки не відновить довіру. Щоб вчасно дізнатися про проблему злому, потрібно використовувати (і моніторити) панель для веб-майстрів.
Є технічна помилка
Нерідко причиною поганої індексації сайту виявляється елементарна технічна помилка, усунення якої швидко виправляє проблему.
- Некоректний http-заголовок
Код відповіді сервера повинен бути "200" для сторінок, які повинні потрапити в індекс. Перевірити це можна різними інструментами, наприклад, плагін Firebug.
- Некоректний DOCTYPE
Я стикався з декількома випадками, коли перед DOCTYPE у html-коді стояли додаткові теги (<?xml або <script>), що перешкоджають сторінкам потрапляти до індексу. Потрібно переконатися, що код відповідає HTML-стандартам і робот легко може визначити тип контенту та його основні блоки.
- Некоректні редиректи
Перший випадок некоректного редиректу – це використання 302-го замість 301-го. При цьому старі сторінки не будуть замінюватися на нові в індексі, оскільки використовується тимчасовий редирект замість постійного. Другий випадок поганої індексації через редиректи - це використання тега rel = "canonical" з прописанням однієї і тієї ж канонічної сторінки для всіх документів.
— Проблеми з кодуванням
Є кілька способів повідомити роботу про кодування документа: мета-теги, http-заголовки та сам контент. Зазвичай, процес визначення кодування не становить для пошукових систем праці, але бувають рідкісні випадки, коли http-заголовки говорять про одне, мета-теги про інше, а сам контент написаний у третьому кодуванні і тоді в індекс потрапляє просто набір символів, що показує погану якість контенту .
Переконайтеся, що з кодуванням ваших документів все гаразд.
Існують і інші технічні причини поганої індексації, які трапляються набагато рідше і так просто їх не знайти, необхідно підключати спеціаліста.
Окремі сторінки або розділи показують погану якість
Якщо з сайтом все відмінно в технічному плані і до нього немає претензій щодо використання агресивних методів оптимізації, пошукова система поступово індексує сайт. Для початку він дає невелику квоту на кількість необхідних проіндексованих сторінок. Якщо після накопичення статистики він бачить, що сторінки показують хорошу якість, квота збільшується і більше сторінок може потрапити до індексу. Так пошуковик заощаджує свої ресурси, індексуючи лише потрібні документи. Які ж ознаки говорять про хорошу чи погану якість документів?
— Контент вже існує на інших сайтах (не унікальний)
До індексації пошуковик не знає, чи унікальний контент містить документ, тому на першому етапі сторінки сайту можуть добре індексуватися. Але якщо ваш контент вже десь зустрічається точнісінько - в-точ, то пошуковику немає сенсу знову додавати його в індекс і при цьому вони не беруть участь у пошуку, якщо немає інших сигналів, що змушують робота змінити своє рішення.
— Контент вже існує в інших розділах цього сайту
Тут йдеться про внутрішні дублі контенту, зазвичай це сторінки сортування, пейджингу та сторінок для друку. Всі подібні сторінки, які мало відрізняються одна від одної, підуть у додатковий індекс, який не бере участі в пошуку. Необхідно переконатися, що кожна сторінка сайту має цінність для користувача і ці цінності не перетинаються між документами, кожен цінний за своїм.
— Об'єм унікального тексту на сторінці менше 500 символів
Малий обсяг унікального тексту ускладнює пошукові алгоритми визначити цінність цього контенту для користувача. До того ж, на таких обсягах контенту складно підтримувати унікальність між сторінками свого та чужих сайтів. Часто сторінки з об'ємом менше 80-100 слів (близько 500 символів) насилу потрапляють до індексу (попадають лише за хорошого ВІЦ). Якщо це ваш випадок, подумайте, чи варто цим сторінкам бути в індексі, і якщо так, то що ще ви можете додати на них для збільшення контенту (наприклад, відгуки, коментарі, характеристики або відео-огляд).
— Документи розділу мають шаблонні заголовки та тексти
Пошуковики не люблять шаблонність, коли між сторінками змінюється лише одне-два слова та решта контенту залишається однаковим, і намагаються не індексувати багато шаблонних сторінок. Якщо хочете, щоб сторінки потрапляли до індексу, прописуйте їх заголовки та мета-описи вручну, або використовуйте безліч шаблонів замість одного для всього сайту.
— Сторінки розділу більше 4-го рівня вкладеності
Чим більший рівень вкладеності сторінки, тим менша її вага і важливість для пошуку (для користувача також). Потрібні для індексації сторінки, які лежать далеко вглиб сайту, необхідно виносити на 2-3 рівень вкладеності за допомогою додаткової перелінковки.
- Велика кількість 404 сторінок
При виявленні безлічі помилок пошуковик повинен визначати патерни і не стукають туди, де свідомо (з великою ймовірністю) сторінка також буде з 404 помилкою. У зв'язку з цим потрібно періодично моніторити свій сайт на предмет різних помилок через вже згадану панель вебмайстрів або спеціалізованих програм.
- Повільна швидкість віддачі документів
Повільна швидкість віддачі документів через проблеми у хостингу чи CMS не дозволить роботу швидко індексувати сайт. Він продовжуватиме його сканувати, але не так швидко, якби документи віддавалися моментально. Проста оптимізація швидкості завантаження сайту може суттєво покращити його індексацію.
Звичайно ж, існують інші причини поганої індексації сайту. Якщо жодна з перелічених вище ознак вам не підходить, необхідно зв'язатися зі службою підтримки пошукової системи, або зв'язатися зі спеціалістами.
0 Коментарі