Arama motorlarına ait botların sitenizi taraması ve doğru indexlemesi doğal ziyaretçi, dolayısıyla satış şansı için kaçınılmazdır. Özellikle Opencart için Türkçe kaynaklarda paylaşılan robots.txt önerilerini görünce kanım donuyor. Gayet güzel SEO altyapısı bulunan bir yazılımı doğru yapılandırarak, arama motorlarından güzel sonuçlar almak kaçınılmazdır.
Robots.txt Nedir ve Ne İşe Yarar?
Robots.txt dosyası, web sitenizi ziyaret eden arama motoru botlarına (Googlebot, Bingbot gibi) hangi sayfaları tarayabilecekleri ve hangi sayfalardan uzak durmaları gerektiği konusunda talimat veren basit bir metin dosyasıdır. Bu dosya, sitenizin belirli bölümlerini arama sonuçlarından gizlemek veya tarama hızını kontrol etmek için kullanılır.
Robots.txt Dosyasının Temel Amaçları:
- Tarama Hızını Kontrol Etmek: Özellikle büyük ve karmaşık web sitelerinde, robots.txt dosyası sayesinde arama motorlarının hangi sayfaları öncelikli olarak tarayacağını belirleyebilir, böylece tarama hızını optimize edebilirsiniz.
- Gizli Tutmak İstenen Sayfaları Korumak: İçerik üretimi sürecinde olan sayfalar, test siteleri veya sadece belirli kullanıcı gruplarına yönelik sayfalar gibi bazı sayfaları arama motorlarından gizlemek isteyebilirsiniz. Robots.txt bu durumda size yardımcı olur.
- Duplicate Content Sorununu Azaltmak: Çok fazla benzer içeriğe sahip sayfalarınız varsa, robots.txt dosyası sayesinde arama motorlarına hangi sayfanın indekslenmesi gerektiğini belirterek duplicate content sorununu azaltabilirsiniz.
- Sunucu Yükünü Azaltmak: Çok fazla trafiğe maruz kalan sayfalarınız varsa, robots.txt dosyası sayesinde bu sayfaları geçici olarak arama motorlarından gizleyerek sunucu yükünü azaltabilirsiniz.
Robots.txt Dosyasının Yapısı:
Robots.txt dosyası çok basit bir yapıya sahiptir. Bu dosyada kullanılan temel direktifler şunlardır:
- User-agent: Hangi arama motoruna talimat verildiğini belirtir.
- Disallow: Belirtilen URL’lere erişimi engeller.
- Allow: Belirtilen URL’lere erişime izin verir.
- Sitemap: Site haritasının konumunu belirtir.
User-agent: *
Disallow: /admin/
Disallow: /cgi-bin/
Allow: /images/
Sitemap: https://www.orneksite.com/sitemap.xmlBu örnekte, tüm arama motorlarına (/admin/ ve /cgi-bin/ dizinleri hariç) tüm sayfaları taramaları izin verilirken, yalnızca /images/ dizinindeki dosyaların taranmasına izin verilir. Ayrıca, site haritasının konumu da belirtilmiştir.
Opencart Robots.txt Nasıl Olmalıdır?
Opencart‘a özel “robots.txt” oluştururken yaygın hatalardan biri; tüm bilgileri botlardan önlemektir. Ne kadar çok şeyi botlardan sakınırsanız, arama motorlarında oluşan sonuçlar o kadar daraltılmış olacaktır. Özellikle zengin sonuçlar almak için doğru yapıda bir bot dosyası oluşturmanız faydalıdır.
Aşağıda ki örnekte gereğinden fazla engel konulan bir yapı göreceksiniz. Benim fikrime göre bu yapı oldukça yanlıştır.
User-agent: *
Disallow: /*&limit
Disallow: /*?limit
Disallow: /*?sort
Disallow: /*&sort
Disallow: /*?order
Disallow: /*&order
Disallow: /*?price
Disallow: /*&price
Disallow: /*?brand_tabletpc
Disallow: /*&brand_tabletpc
Disallow: /*?color_default
Disallow: /*&color_default
Disallow: /*?filter_tag
Disallow: /*&filter_tag
Disallow: /*?mode
Disallow: /*&mode
Disallow: /*?cat
Disallow: /*&cat
Disallow: /*?dir
Disallow: /*&dir
Disallow: /*?color
Disallow: /*&color
Disallow: /*?product_id
Disallow: /*&product_id
Disallow: /*?minprice
Disallow: /*&minprice
Disallow: /*?maxprice
Disallow: /*&maxprice
Disallow: /*?route=checkout/
Disallow: /*?route=account/
Disallow: /*?route=product/search
Disallow: /*?page=1
Disallow: /*&create=1
Disallow: /?route=information/contact
Disallow: /*?route=affiliate/
Disallow: /*?keyword
Disallow: /*?av
Disallow: /admin/
Disallow: /system/
Disallow: /catalog/Aşağıda ki örnekte ise oldukça sade, doğru ve sonuç odaklı bir yapı göreceksiniz;
User-agent: *
Disallow: /*&limit
Disallow: /*?sort
Disallow: /*&sort
Disallow: /*?route=checkout/
Disallow: /*?route=account/
Disallow: /*?route=product/search
Sitemap: https://www.[site haritası linki]Bazı robotlar web sitenizi taciz edebilir. Bu durum “Meta-ExternalAgent” yüzünden başıma geldi ve birkaç saatte web sitesinin yavaşlanmasına ve hatta kapanmasına sebep oldu. Benzer bir durum yaşamamak için aşağıda ki yapıyı da kullanabilirsiniz;
User-agent: *
Disallow: /*&limit
Disallow: /*?sort
Disallow: /*&sort
Disallow: /*?route=checkout/
Disallow: /*?route=account/
Disallow: /*?route=product/search
User-agent: SemrushBot
Disallow: /
User-agent: DotBot
Disallow: /
User-agent: MauiBot
Disallow: /
User-agent: AhrefsBot
Disallow: /
User-agent: MJ12Bot
Disallow: /
User-agent: Meta-ExternalAgent
Disallow: /
Sitemap: https://www.[site haritası linki]Hitiniz bol olsun! 🙂
