Untuk SEO lanjutan kali ini kita dapat mengontrol file mana yang bisa di rambati oleh crawler dan mana yang tidak. Karena bagi blogger sangatlah penting untuk meningkatkan SEO dengan mengaktifkan dan menyeting file robot.txt didalam blognya. File robot.txt ini berada di root situs kalian, Robot.txt itu sendiri adalah aturan memblokir atau mengakses crawler tertentu ke jalur file yang ditentukan dalam situs tersebut.
Adapun cara mengaktifkan atau setting robot.txt tersebut sebagai berikut :
1. Login ke www.blogger.com kalian
2. Klik di setting
3. Geser ke arah kanan pada Enable Custom Robot.txt
4. Masih di tempat yang sama, Klik Custom Robot.txt
5. Setelah di klik maka akan muncul seperti di bawah ini
6. Kemudian copy kode di bawah ini dan pastekan ke dalam kotak tersebut di atas.
Disallow : /Nogooglebot/
Allow : /
Sitemap : https://www.(url situs kalian).com/sitemap.xml
Berikut ini adalah maksud dari kode diatas :
Agen pengguna yang bernama googlebot tidak diizinkan meng-crawl url atau alamat situs apa pun yang diawali dengan >> http://www.example.com/nogooglebot/
semua agen pengguna diizinkan meng-crawl isi seluruh situs.
File peta situs pada situs terletak di >> Sitemap : https://www.example.com/sitemap.xml
Demikian artikel ini dibuat semoga bermanfaat bagi kalian yang mendalami SEO dan bagi penulis yang sedang meng-optimasi blognya.
%2B2014.jpg)
0 comments: