Zkontrolujte index nebo ne. Hledat index

Čas na čtení: 11 minut

Technická vylepšení pro splnění požadavků SEO a optimalizace struktury webu jsou primárními aspekty při propagaci zdroje, ale pokud o něm vyhledávače nevědí, to znamená, že není indexován, pak je propagace nemožná.

Co je indexování? Jedná se o přidání informací o zdroji do databází vyhledávacími roboty. Další hodnocení se provádí na základě indexovaných stránek. Nabízíme několik jednoduchých a přehledných způsobů, jak zkontrolovat stránky, které vyhledávače vidí.

1. Kontrola indexování stránek prostřednictvím panelu Yandex.Webmaster a Google Search Console

Bezplatná a spolehlivá metoda využívající služby pro webmastery.

Yandex.Webmaster

Po dokončení ověření přejděte na panel a klikněte na kartu „Indexování“ - „Stránky ve vyhledávání“. Zde jsou webové stránky, které se účastní vyhledávání Yandex.

Na stránce „Moje weby“ můžete také zobrazit počet stažených a indexovaných stránek ve službě.

Pro analýzu lze ze služby stáhnout seznam stránek jako soubor ve formátech .xls a .csv.

Google Search Console

Podobně jako webmaster Yandex procházíme autorizací účet Google, zadejte službu search.google, zadejte adresu URL webu a klikněte na tlačítko „Přidat zdroj“.

Po potvrzení práv k webu, chcete-li zkontrolovat indexování zdroje na panelu Google Webmaster, přejděte na kartu „Index“ - „Pokrytí“.

Je třeba vzít v úvahu, že informace v Google Search Console jsou přibližné, protože přehled zobrazuje statistiky po posledním procházení, to znamená, že počet stránek se může v aktuální době ověření lišit.

Příklady kontroly indexování stránek

2. Kontrola počtu indexovaných stránek v PS pomocí operátorů

Pomocí operátoru dokumentu "site" je možné vidět přibližný počet stránek v indexu. Chcete-li použít tento parametr, zadejte do vyhledávacího pole „site:address_of_the_site_of_interest“, například „site:https://www.bordur32.ru“.

3. Analýza indexování stránek pomocí pluginů a rozšíření

Aby se předešlo zadávání operátorů do řádku prohlížeče před URL, používá se tato automatizovaná metoda. Stáhněte si bezplatný bookmarklet pro prohlížeč (malý skript uložený v záložkách) a na stránce klikněte na speciální ikonu.

odkaz

Rozšíření můžete nainstalovat pomocí odkazu

4. Sledování indexovaných stránek pomocí online služeb

Dalším způsobem kontroly indexování je použití zdrojů třetích stran. Přejděte například na webovou stránku a.pr-cy.ru, zadejte adresu URL a klikněte na „Analyzovat“.

Indexování stránek lze zkontrolovat v jiných službách, například: seogadget.ru, xseo.in a další.

5. Programy pro sledování indexování stránek

Pro analýzu webu a kontrolu stránek v indexu existují bezplatné (Site-Auditor) a placené programy (Semonitor). Vybraný software stáhnout a nainstalovat na PC. Do vstupního řádku přidejte adresu URL kontrolovaného webu.

Kontrola indexování stránek

Někdy potřebujete nejen zjistit, kolik stránek je indexováno v Yandex a Google, ale také musíte určit, zda je konkrétní stránka indexována. To lze provést následujícími způsoby:

1. Na panelu webmastera:


2. operátor "url".

Do vyhledávacího pole zadejte speciální operátor. Požadavek bude vypadat takto: „url:adresa_stránky_zájmu“.

3. "Informace" operátora

Ve vyhledávači systém Google můžete použít operátor „info“. Dotaz ve vyhledávacím poli bude vypadat takto: „info: adresa_stránky_zájmu“

Proč web nemusí být indexován

V ideálním případě by stránky zdrojů měly být indexovány a měl by být uveden jejich počet vyhledávače ah by mělo být přibližně stejné. Ale není tomu tak vždy. Podívejme se na důvody, které narušují indexování stránek.

Chyby v souboru robots.txt

Soubor robots.txt je Textový dokument ve formátu .txt umístěném v kořenovém adresáři webové stránky, což zakazuje nebo umožňuje indexování stránek roboty PS. Nesprávné použití direktiv tedy může zablokovat celý web před indexováním resp jednotlivé stránky zdroj.

Chybí soubor sitemap.xml

Mapa webu (soubor sitemap.xml) je speciální dokument umístěný v kořenovém adresáři obsahující odkazy na všechny stránky zdroje. Tento soubor pomáhá vyhledávacím robotům rychle a efektivně indexovat zdroj. Proto musíte přidat pouze ty stránky, které by měly být zahrnuty do indexu.

Nové stránky

Proces indexování nového zdroje nějakou dobu trvá. Proto v tomto případě stačí počkat a nezapomenout řídit proces indexování.

Soukromá nastavení

V některých CMS, jako je WordPress a Megagroup, je možné skrýt stránky před indexováním prostřednictvím panelu správce webu;

Štítek "noindex"

Stránky lze zavřít z indexu v kódu pomocí meta tagu name="robots" content="noindex, nofollow" />. Musíte zkontrolovat jeho přítomnost a buď jej odstranit z kódu, nebo nahradit „index“ a „sledovat“.

Nevyžádané stránky

Dalším důvodem může být velký počet nevyžádané stránky, které neposkytují užitečný a jedinečný obsah v rámci webu. Takové stránky je třeba uzavřít z indexování, aby nevznikaly problémy s indexováním zdrojů a robot neztrácel čas návštěvou těchto stránek.

Důvodem, proč stránky zdrojů nejsou indexovány, mohou být také chyby při procházení, blokování stránek v souboru .htaccess, duplicitní stránky, nejedinečný obsah, nízká doba provozu hostingu, pomalá rychlost načítání stránek, zákazy a filtry PS.

Závěry SEO specialisty Web Centra

Hlavním cílem majitele webu i SEO specialisty je dosáhnout indexování potřebných stránek zdroje. Chcete-li to provést, musíte pravidelně sledovat stránky ve vyhledávání Yandex a Google, kontrolovat služby pro webmastery na chyby na webu, naplnit je jedinečným a užitečným obsahem, sledovat a optimalizovat rychlost načítání zdroje.

Chcete-li urychlit proces indexování, musíte potvrdit práva k webu v Yandex.Webmaster a Google Search Console a umístit do nich odkaz na soubor sitemap.xml, můžete také odeslat důležité stránky zdroje k opětovnému procházení .

Toto téma jsme podrobně probrali ve videu na našem kanál YouTube

Logická úvaha na téma: "Jak zkontrolovat, kolik stránek je v indexu vyhledávače."

A numerické výpočty, které ukazují, jak jsem vyrovnal rovnováhu tím, že jsem studoval, co bylo indexováno, co ne a proč.

Rozhodl jsem se na to podívat blíže a vše urovnat.

Podívejme se na příklad Yandex a Google.

Problém indexování aneb co jsou indexy.

Problém indexování neustále trápí majitele jakéhokoli webu. Pokud jsou webové stránky zařazeny do indexů vyhledávačů, zajišťuje to stabilní a hlavně bezplatnou návštěvnost. Stránky se účastní výsledků vyhledávání a návštěvníci sami vyhledávají informace a končí na vašem webu. To je skvělé!

No a konečně se stránky začínají stabilně indexovat.

Nyní se majitelé obávají, aby se každý nový článek dostal do vyhledávání co nejrychleji, a sní o tom, že stránky navštíví takzvaný „rychlý robot“.

K tomu se doporučuje pravidelně přidávat informace na svůj web a zveřejňovat odkazy na nové články v sociálních sítích, zejména a .

To lze snadno provést pomocí .

Ale život jde dál, algoritmy se mění. Pokud web dříve navštívil rychlý robot a článek skončil ve vyhledávání Yandex během několika hodin, pak si nedávno (listopad 2014) mnoho webmasterů stěžovalo, že to trvá několik dní.

Také jsem si všiml, že poté, co jsem před publikováním začal přidávat informace na stránku ve službě Yandex webmaster (což mi specialisté tohoto vyhledávače důrazně doporučili), nový článek se objeví ve vyhledávání až při dalších výsledcích vyhledávání Yandex. Uběhne jen pár dní.

Dopadne to asi takto: váš text už máme v kapse, stejně od nás neutečete a my nemusíme spěchat.

Jak můžete v tomto případě zjistit, že článek již byl indexován?

Dělám to pomocí rozšíření Prohlížeč Google Chrome.

Stejné rozšíření mám nainstalované v prohlížeči Opera. Umožňuje jakékoli otevřít stránku určit, zda je indexován nebo ne.

Jak sami přidat stránku do indexu Google.

Google je v tomto ohledu efektivnější. Umožňuje komukoli vynutit přidání nové stránky do indexu. Dá se to udělat. Zde musíte nejprve vybrat záložku „Zobrazit jako Googlebot“, kde pak máte možnost sami přidat stránku do indexu, pokud zadáte její URL.

Jak se říká: je to dobré pro vás a není to špatné pro nás.

Tímto způsobem můžete přidat až 500 stránek za měsíc.

A co kvantitativní ukazatele indexování webu?

Kolik stránek je v indexu vyhledávače?

Nejjednodušeji se na to podíváte ve službách pro webmastery vyhledávačů.

Řekněme, že mám na svém webu 106 článků a 10 stránek (toto lze vidět na administrativním panelu webu) plus domovskou stránku nebo zpravodajský kanál. Pak je snadné vypočítat (106+10+1=117). To znamená, že na mapě webu bude celkem 117 adres URL.

Mimochodem, můžete také vidět ukazatele dalšího a hlavního indexu Google pro jeho stránky. S ním se ukázalo, že mají k sobě mnohem blíž.

Bohužel, na mém blogu WordPress je spousta šmejdů.

Eh, musíme se naučit vytvářet webové stránky na profesionálnější úrovni. Místo použití hotových šablon...

Ukazuje se, že stránky je potřeba stavět tak, aby na nich nebyl duplicitní obsah a všechny odkazy na stránky tam byly okamžitě využity, tzn. do hlavního indexu.

Možná WordPress do tohoto bodu jednou doroste.

Mezitím se ukazuje, že pokud používáte krátké odkazy na stránky, nepřispívá to k SEO (optimalizaci). A pokud použijete CNC odkazy, získáte duplicitní obsah.

Těším se na vaše komentáře.

Jaké myšlenky jste o tom měli?

Pokud se vyskytnou problémy s indexováním, musíte nejprve zkontrolovat robots.txt a sitemap.xml.

Každý vyhledávač má velkou databázi, kde uvádí všechny weby a nové stránky. Tato báze se nazývá „index“. Dokud robot dokument HTML neproleze, nezanalyzuje a nepřidá do indexu, neobjeví se ve výsledcích vyhledávání. Přístup k němu bude možný pouze prostřednictvím odkazu.

Co znamená „indexování“?

Nikdo vám o tom neřekne lépe než specialista na indexování Yandex:

Indexování je proces, během kterého vyhledávací robot prochází stránky webu a zahrnuje (nebo nezahrnuje) tyto stránky do indexu vyhledávače. Vyhledávací robot prohledává veškerý obsah, provádí sémantickou analýzu textového obsahu, kvalitu odkazů, audio a video soubory. Na základě toho všeho vyhledávač vyvozuje závěry a umístí web do žebříčku.

Dokud bude stránka mimo index, nikdo se o ní nedozví, kromě těch, kterým můžete distribuovat přímé odkazy. To znamená, že zdroj je k dispozici pro prohlížení, ale není ve vyhledávači.

Proč potřebujete index?

Stránky musí být viditelné, aby se mohly propagovat, růst a rozvíjet. Webový zdroj, který se nevyskytuje v žádném PS, je k ničemu a neprospívá ani uživatelům, ani jeho vlastníkovi.

Obecně platí, že zde je celé video ze školy webmasterů Yandex, pokud se na něj podíváte celé, stanete se prakticky odborníkem na problematiku indexování:

Na čem závisí rychlost indexování?

Hlavní body, které určují, jak rychle se váš web může dostat do pozornosti vyhledávacích robotů:

  • Věk domény (starší Doménové jméno, tím více jsou pro něj roboti přízniví).
  • Hosting (PS nemají bezplatný hosting vůbec rádi a často ho ignorují).
  • CMS, čistota a platnost kódu.
  • Rychlost obnovení stránky.

Co je to rozpočet procházení?

Každý web má rozpočet na procházení – tedy počet stránek, po jehož překročení nemůže být zahrnut do indexu. Pokud je KB webu 1000 stránek, pak i když jich máte deset tisíc, v indexu jich bude jen tisíc. Velikost tohoto rozpočtu závisí na tom, jak autoritativní a užitečný je váš web. A pokud máte problém takového charakteru, že stránky nespadají do indexu, pak jako možnost musíte, ať to zní jakkoli triviálně, web vylepšit!

Indexování stránek

Při vytváření nového webu je potřeba správně vyplnit soubor robots.txt, který vyhledávačům sdělí, zda lze zdroj indexovat, které stránky procházet a na které nesahat.

Soubor je vytvořen v txt formátu a je umístěn v kořenové složce webu. Samostatnou záležitostí jsou pořádní roboti. Tento soubor primárně určuje, co a jak budou roboti na vašem webu analyzovat.

Vyhledávačům obvykle trvá několik týdnů až několik měsíců, než vyhodnotí nový web a vloží jej do databáze.

Pavouci pečlivě skenují každý povolený dokument HTML a určují vhodné téma pro nový mladý zdroj. Tato akce se neprovádí během jednoho dne. S každým novým procházením bude PS do své databáze přidávat další a další dokumenty HTML. Navíc čas od času bude obsah přehodnocen, v důsledku čehož se může změnit pozice stránek ve výsledcích vyhledávání.

Metaznačka robots a částečně kanonická také pomáhají spravovat indexování. Při kontrole struktury a řešení problémů s indexováním byste měli vždy hledat jejich přítomnost.

Google nejprve indexuje stránky nejvyšší úroveň. Když je potřeba indexovat nový web se specifickou strukturou, je domovská stránka první stránkou, která má být indexována. Poté, bez znalosti struktury webu, vyhledávač zaindexuje to, co je nejblíže lomítku. Později jsou indexovány adresáře se dvěma lomítky. To znamená, že i když jsou odkazy v obsahu vysoké, nemusí být nutně indexovány jako první. Je důležité vytvořit optimální strukturu, aby důležité sekce nebyly umístěny za nimi velké množství lomítka, jinak si Google bude myslet, že se jedná o stránku nízké úrovně.

Indexování stránek

Když se Yandex a Google se stránkou již seznámí a „přijmou“ ji do své vyhledávací databáze, roboti se vrátí ke zdroji, aby naskenovali nové přidané materiály. Čím častěji a pravidelně je obsah aktualizován, tím pečlivěji jej budou pavouci sledovat.

Říká se, že plugin PDS ping pro vyhledávání Yandex pomáhá s indexováním - https://site.yandex.ru/cms-plugins/. Chcete-li to provést, musíte nejprve na svůj web nainstalovat vyhledávání Yandex. Ale necítil jsem z toho velký prospěch.

Když je zdroj dobře indexován, je mnohem jednodušší zobrazit jednotlivé, nové stránky ve vyhledávání. Nicméně analýza neprobíhá vždy jednotně a stejnou rychlostí pro všechny současně aktualizované html dokumenty. Nejnavštěvovanější a nejpropagovanější kategorie zdroje vždy vyhrávají.

Jaké zdroje informací mají vyhledávače o adresách URL?

Kdysi dávno jsem najal rychlého robota, aby pracoval na konkurentovi, který si neobnovil doménu, aby byl ve výsledcích vyhledávání nižší - to nepřineslo žádný výsledek.

Jak zkontrolovat indexování

Kontrola viditelnosti html dokumenty prováděny odlišně pro Google a Yandex. Ale obecně není nic složitého. To zvládne i začátečník.

Ověření v Yandexu

Systém nabízí tři hlavní operátory, které vám umožní zkontrolovat, kolik HTML dokumentů je v indexu.

Operátor „site:“ zobrazuje absolutně všechny stránky zdrojů, které jsou již v databázi.

Zadáno do vyhledávacího pole takto: site:site

Operátor „host:“ umožňuje zobrazit indexované stránky z domén a subdomén v rámci hostingu.

Do vyhledávacího pole zadáno následovně: host:site

Operátor „url:“ – zobrazuje konkrétní požadovanou stránku.

Zadáno do vyhledávacího pole takto: url:site/obo-mne

Kontrola indexování pomocí těchto příkazů vždy poskytuje přesné výsledky a je nejlepší jednoduchým způsobem analýza viditelnosti zdrojů.

Kontrola Google

PS Google vám umožňuje zkontrolovat viditelnost webu pomocí jediného příkazu, jako je site:site.

Google má ale jednu zvláštnost: příkazy zpracovává jinak se zadaným www a bez něj. Yandex tak nerozlišuje a dává naprosto stejné výsledky, a to jak s registrovaným www, tak bez něj.

Kontrola operátory je „nejstaromódnější“ metoda, ale pro tyto účely používám plugin prohlížeče RDS Bar.

Ověření s webmasterem

V služby Google Webmaster a Yandex Webmaster můžete také vidět, kolik stránek je v databázi PS. K tomu je potřeba být v těchto systémech registrován a přidat do nich svůj web. Můžete se k nim dostat pomocí následujících odkazů:

Podstata je následující: stačí zadat adresy stránek a služba vám poskytne výsledky:

Nekontroluje to moc rychle - budete tam muset čekat asi 3 minuty, ale bezplatný nástroj a stížností je málo. Stačí jej nainstalovat do okna na pozadí a pustit se do podnikání, za pár minut budou výsledky hotové.

Je možné indexaci urychlit?

Rychlost načítání HTML dokumentů můžete ovlivnit vyhledávacími roboty. Chcete-li to provést, měli byste dodržovat následující doporučení:

  • Zvyšte počet sociálních signálů tím, že budete povzbuzovat uživatele, aby sdíleli odkazy ve svých profilech. Nebo můžete přijímat tweety z živých účtů v Prospero (klout 50+). Pokud si vytvoříte vlastní Twitter whitelist, vezměte v úvahu, že jste dostali mocnou zbraň k urychlení indexování;
  • Přidávejte nové materiály častěji;
  • Můžete začít točit Direct pro nejlevnější dotazy ve vašem tématu;
  • Zadejte adresu nová stránka v Addurilki ihned po jeho zveřejnění.

Vysoký behaviorální faktory na webu mají také pozitivní vliv na rychlost aktualizace stránky ve vyhledávání. Nezapomínejte proto na kvalitu a užitečnost obsahu pro lidi. Web, který se uživatelům opravdu líbí, si určitě oblíbí vyhledávací roboty.

Obecně je v Google vše velmi snadné – stránku můžete přidat do indexu během několika minut tak, že ji naskenujete v panelu webmastera (procházet položku/zobrazit jako Googlebot/přidat do indexu). Stejným způsobem můžete rychle přeindexovat potřebné stránky.

Slyšel jsem také příběhy o lidech, kteří posílali adresy URL prostřednictvím pošty Yandex, aby se rychleji dostali do indexu. Podle mě je to nesmysl.

Pokud se vyskytne skutečný problém a všechny předchozí rady nepomohly, nezbývá než přejít k těžkému dělostřelectvu.

  • Nakonfigurujeme hlavičky Last-modified (tak, aby robot kontroloval aktualizace pouze dokumentů, které se skutečně změnily od jeho posledního volání);
  • Odstraňujeme odpadky z indexu vyhledávače (tyto odpadky lze nalézt pomocí komparátoru);
  • Skryjeme všechny nepotřebné/nevyžádané dokumenty před robotem;
  • Vytváříme další soubory Sitemap.xml. Obvykle roboti z tohoto souboru přečtou až 50 000 stránek, pokud máte stránek více, musíte vytvořit více sitemap;
  • Nastavení serveru.

Zvažme otázku, jak určit počet indexovaných stránek ve vyhledávačích. To lze provést různými způsoby. Co je index se dočtete v článku Index vyhledávače.

Informace o počtu stránek v indexu jsou otevřené a přístupné všem. Každý webmaster tedy může zkontrolovat naprosto jakýkoli web.

1. Kolik stránek indexuje Yandex

1.1. Prostřednictvím požadavků v Yandexu

Pojďme domovská stránka Yandex (yandex.ru nebo ya.ru) a do vyhledávání zadejte následující dotaz:

stránky: www.site.ru | url:site.ru nebo hostitel: www.site.ru | url:site.ru

V reakci na to Yandex zobrazí počet indexovaných stránek:

1.2. Prostřednictvím panelu Yandex Webmaster

Panel webmaster.yandex.ru má speciální kartu pro indexované stránky:

Zde můžete vidět počet stránek, které robot zná, počet vyloučených stránek a datum poslední návštěvy robota na webu. Je však třeba poznamenat, že pouze majitelé stránek mohou používat webmastera Yandex, protože se jedná o „soukromé“ informace.

2. Kolik stránek indexuje Google?

2.1. Prostřednictvím dotazů Google

Stejně jako Yandex má Google speciální dotaz, který zobrazuje všechny známé stránky webu. Přejděte na hlavní stránku google.ru a zadejte:

site:site.ru

Tento dotaz zobrazí všechny známé stránky. Chcete-li zjistit, které stránky jsou zahrnuty v takzvaném „hlavním indexu“, musíte na konec požadavku přidat ampersand:

site:site.ru/&

2.2. Prostřednictvím Google Webmaster Panel

V panelu google.com/webmaster K dispozici je speciální karta „Google Index“ -> „Stav indexování“:

Kromě diskutovaných metod existují i ​​metody univerzální.

3. Univerzální metody

3.1. Zjistěte indexování prostřednictvím speciálních služeb

Volám mnoho speciálních služeb různé systémy analytici. Mezi nejoblíbenější patří například:

Zde můžete získat informace o počtu indexovaných stránek ve více vyhledávačích najednou.

Jak můžete rychle zjistit, zda je stránka, která je pro vás důležitá, zahrnuta v indexu vyhledávače? A obecně, kolik stránek webu „vidí“ vyhledávače? V tomto příspěvku jsem popsal metody, které SEO specialisté nejčastěji používají, a připravil bonus pro čtenáře.

Při indexování stránky robot vyhledávače přidává informace o webu do databáze. Další vyhledávání probíhá na indexovaných stránkách. Nezaměňujte indexování a procházení.

Robot může rychle procházet celý web. A přidávání do rejstříku je pomalé, nepřidává se některé stránky nebo neodstraňují stránky z rejstříku.

Chcete, aby byly všechny stránky vašeho webu rychle indexovány? Poradíme vám s optimální strategií propagace SEO:

1. Zkontrolujte indexování na panelu webmasterů

Tento základní metoda kontroluje webmastera nebo vlastníka webu.

Google. Musíte jít do Search Console a na kartě „Google Index“ vyberte „Stav indexování“.

Yandex. Procházíme autorizací v Yandex.Passport, přejděte na Yandex.Webmaster a postupujte podle cesty „Indexování stránek“ - „Stránky ve vyhledávání“. Další možnost: „Indexování stránek“ - „Historie“ - „Stránky ve vyhledávání“. Zde vidíte dynamiku změn počtu stránek ve vyhledávání.

Chcete-li použít tuto metodu, musíte mít určitou úroveň přístupu k panelu webmastera. Příklad dobrého indexování stránek. Počet kvalitních stránek roste a jsou přidávány do indexu.
Problémy s indexováním vypadají takto:

Snímek obrazovky ukazuje web, kterému je zablokováno indexování v souboru robots.txt