Web sitesi arama motoru sonuç sayfasında listelenmeyebilir. Bu sayfada görünmeyen web adresi ise ziyaretçi trafiği alamaz. Bunun olması çeşitli sebeplere bağlı olarak gerçekleşebilir. Web yöneticileri tarafından bilinçli olarak tercih edilmemesi durumunda noindex hatası söz konusu demektir.
Noindex hatası için düzeltme yapılması gerekir. Google Search Console Dizin Raporları web sitesinde yer alan ve URL’leri ilgilendiren kapsam hatalarına yönelik bilgi alınabilecek bölümdür. URL’lerin dizinde yer almama sebepleri bu raporlardan anlaşılır.
Noindex etiketi arama motorlarının web sayfasını indexlemesi ve dizine eklemesi istenmediğinde kullanılan etikettir. Bu etiket web yöneticilerinin tercihi doğrultusunda kullanılabilir. Web yöneticileri bazı durumlarda sayfaların arama motoru sonuç sayfasında görünmesini ve listelenmesini istemediğinde noindex etiketini kullanır.
Google noindex kuralı robot.txt dosyasında belirtileceği zaman bu durum Google tarafından desteklenmez. Bu durumda web yöneticileri noindex kuralını dizine eklemek için bunu kontrol edecek diğer kurallarla birleştirir. Bir web sitesi oluşturulduğunda arama motorlarında görünmesi istenir. Bu sayede ziyaretçiler sitede aradıklarını kolaylıkla bulabilecektir.
Arama motorlarında görünür olmak isteyen bir web adresi index aldığında belirli kriterler doğrultusunda arama motorlarında görünür hale gelir. Bu sayede de kullanıcı trafiğine açılır. Robots.txt dosyasına eklenecek noindex etiketiyle web sayfasının endekslenerek dizine eklenmesi engellenebilir.
Sitede noindex etiketi olması halinde site index almayacaktır. Bunun sebepleri arasında kullanılan yazılım programları, yapılan tasarım ve bazı durumlarda da SEO eklentileri yer alabilir. Bu etiket kaldırılmadığı sürece site arama motorlarında görünmez.
Robots.txt bir komut dosyası olarak kabul edilir. Bu dosyada arama motorlarına sitenin hangi bölümleri eklenebilir, hangi dizin taramaları gereklidir ya da hangi arama motoru yazılımı giriş iznine sahiptir gibi bilgiler yer alır. Arama motorları siteye geldiğinde ilk taramayı bu dosya üzerinden yapar. Bu tarama sırasında izin verildiği kadar site ile ilgili bilgileri tarayabilir.
Sitede izin verilmiş olan bölümleri taradığında ise dizine ekleme yapar. İzin verilmeyen bölümler dizine eklenemez. Robots.txt sayesinde sitenin hangi bölümleri Google arama motorları tarafından taranabilir bunun sınırları belirlenir. Robot.txt dosyaları verilen komutlar doğrultusunda çalıştığından arama motorları tarama yapacağı zaman izin verildiği ölçüde çalışma yapabilir.
Bazı durumlarda komutlar bilinçli olarak verilirken bazı durumlarda hata oluşması nedeni ile Google arama motorları tarama sırasında hataya takılır ve siteyi sonuç sayfasında gösteremez. Bu hatanın giderilebilmesi için problemin neden kaynaklandığının anlaşılması zorunludur. Aksi durumda web adresi yeterli ziyaretçi tarafından görülemez.
Her web adresinin Robot.txt dosyası vardır. Bu dosya hatasız bir şekilde hazırlanmış olmalıdır. Komutların yanlış verileceği bir dosya web sitesinin verimli çalışmasını engeller. Dosyada hatalı komutlar olması durumunda arama motorları Robot.txt dosyasını dikkate almaz. Bu dosyanın sitenin kök dizininde yer alması zorunludur. Alt klasörde veya başka bir sayfada yer almaması gereken Robots.txt dosyası’na ait URL’nin de standart olması gerekir.
Dosya düz metinden oluşmalıdır. Buna ilaveten UTF-8 karakter kodlamasının da olması gerekir. Dosya istenilen şekilde değiştirilip düzenlenebilme özelliğine sahiptir. Sitenin erişildiği URL ile Robot.txt dosyasının URL’si de aynı olmalıdır. Https protokolü kullanıldığında ise dosyanın adresi de protokole uygun düzenlenmelidir.
Google search console dizin raporları ile web sitesi takip edilebilir. Web adresinin dizin durumunu takip etmeye yarayan Google search console dizin raporları sayesinde index çalışmasını etkileyebilecek kapsam hatalarının görülebilmesi olanaklı hale gelir. Google search console dizin raporları aracılığı ile çeşitli işlemler gerçekleştirilebilir.
Bunlar arasında; site haritalarının takibi, URL kaldırma çalışmaları yer alır. Google search console dizin raporlarına ulaşmak istendiğinde Google search console açılmalıdır. Web adresinin kaydedildiği mülke girildikten sonra da sol yönetim panelinden dizin raporları görülebilir. Dizin raporlarının alt sekmesine bakıldığında da kapsam, URL kaldırma ve site haritası görülebilir.
Google search console dizin raporlarına ulaşmak isteyenler 3 farklı bölüme de giriş yapabilir. Bu bölümler URL kaldırma, kapsam ve site haritaları olarak ayrılır. Bu özelliklerin web sitesindeki index raporları üzerinde direkt etki gücü bulunur. Web sitesinin index durumlarını etkileyebilen bu 3 bölüm index hatalarının anlaşılmasına yönelik bilgiler içerir.
Google search console dizin raporları sayesinde web sitesi ile ilgili olarak çok önemli bilgilere ulaşılabilir. Sitedeki URL’ler Google tarafından algılanır. Bu algılamanın ne yönde olduğunun anlaşılabilmesi için dizin raporlarındaki bilgilere ihtiyaç duyulur. Bu sayede tüm URL’lerin kapsam dahilinde olup olmadığı da anlaşılabilir.
Kapsam raporları inceleneceği zaman ise hata, uyarı, geçerli ve hariç bırakıldı kısımlarına göz atılması gerekir. Bu kategorilerde yer alan bilgiler analiz edildiğinde web sitesinin Google tarafından ne şekilde algılandığı netleşir.
Web sitesi bazı durumlarda arama motoru sonuçlarında görülmez. Web sitesinin arama motorlarında görünmemesi demek ziyaretçilerin bu adrese erişim sağlayamayacağı anlamına gelir. Arama motorlarında görünmeyen bir web adresi ise işlevsel değildir. Ziyaretçinin web adresini görememesi bu adrese ulaşması yönünde en büyük engeldir.
Yukarıdaki kategoriler incelendiğinde ise web adresinin arama motorlarında görünüp görünmediği, görünmüyor ise ne sebeple bunun gerçekleştiği anlaşılabilir. Raporlar sayesinde web adresinin dijital görünürlüğü, organik trafik kaybedilmiş ise bunun nedenleri, sitenin index almaması halinde de bu durumun nedenleri raporlardan anlaşılabilir.
Search console kapsam hatası ile herhangi bir hataya bağlı olarak arama sonuçlarına yansımayan URL’ler görülebilir. Birden fazla sayıda olabilen kapsam hatası aşağıdaki gibi sıralanabilir:
URL Noindex işareti kapsam raporlarında görünen ve URL’lerin bazılarının noindex etiketine sahip olduğunu ifade eden bir bilgidir. Etiket varsa URL’ler indexlenmez. Web yöneticisi raporda yer alan URL’leri isteyerek noindex etiketi altında Google’a sunabilir. Bu durumda web sitesinin Google tarafından indexlenmesi bilinçli olarak engellenmiş demektir.
URL’lerin index alması istenmesine rağmen hata alıyorsa buna müdahale edilmesi zorunludur. Aksi durumda Google arama motorlarında web sitesi görünmeyecektir. Web yöneticisi bu tarz bir durumla karşı karşıya kaldığında yapması gerekenler olur.
Öncelikle kontroller yapılarak URL’lerin noindex etiketine sahip olup olmadığına bakılır. Bir URL için noindex etiketi kullanıldığında o URL’ye yönelik olarak sitemap üzerinde olup olmadığının da anlaşılması gerekir. Kapsam hataları söz konusu olduğunda noindex etiketi tarafından hariç bırakıldı uyarısı da alınabilir.
Noindex tarafından hariç bırakıldı kapsam hatası da noindex hatası ile aynı sonucu verir. Bu hatanın sebebi de diğer problemle benzer nedenlerden ortaya çıkar. Google tarafından sayfanın noindex olarak etiketlenmesi hata olarak görülmediğinden web sitesi arama motorları tarafından gösterilmeyecektir.
Bununla birlikte Google sayfanın noindex olarak etiketlenmesini hata olarak görmese de site sahiplerine sitenin hariç bırakıldığını haber verir. Bu tarz bir sorunla karşılaşıldığında durumdan etkilenen URL’nin kontrol edilmesi icap eder. Noindex bilinçli olarak kullanılmadı ise müdahale edilerek düzeltilebilir.