Tutorial: Cara Membina Fail Robots.txt Untuk Laman Web & Blog

cara-bina-fail-robots-txt

Fail robots.txt adalah antara salah satu fail terpenting dalam mana-mana laman web dan blog. Ia diibaratkan sebagai ‘jaga’ kepada laman web kita. Melaluinya, kita sebagai pemilik laman web boleh menetapkan folder apakah yang boleh dan tidak boleh diakses oleh bot-bot enjin carian.

Bagaimana Fail Robots.txt Boleh Membantu?

Jika anda menjual eBook secara online, mungkin anda mempunyai satu folder rahsia untuk menyimpan produk eBook anda. Di dalam folder ini terdapat fail ZIP & PDF produk eBook anda dan sudah semestinya anda tidak mahu ia disenaraikan di Google bukan?

Jika disenaraikan di Google, sudah pasti semua orang boleh akses & download eBook yang anda jual itu. Siapa mahu rugi?

Jadi, di sinilah fail robots.txt ini memainkan peranannya. Kita boleh memberi arahan kepada bot enjin carian supaya mengabaikan folder  ini.

Apa Kaitannya Dengan SEO?

Dalam SEO, ‘rukun’ yang perlu dituruti adalah:

Pastikan laman web diindeks terlebih dahulu sebelum lakukan optimasi.

Berdasarkan pengalaman saya, ramai rakan-rakan yang ‘cemas’ apabila laman web mereka tidak muncul dan ‘lesap’ dari Google.

Sebenarnya, tiada apa yang perlu dirisaukan. Besar kemungkinan perkara itu berlaku adalah kerana fail robots.txt ini tidak dibina dengan betul sahaja.

Melainkan anda melakukan SPAMMING (black hat SEO), itu memang wajar dibuang sahaja daripada Google.

Jadi, fail robots.txt merupakan ‘prerequisite‘ yang perlu anda buat sebelum fikir lebih jauh tentang SEO laman web.

Jelas?

Bagaimana Untuk Membina Fail Ini?

Untuk membina fail robots.txt ini, caranya mudah sahaja. Anda boleh memilih mana-mana cara berikut yang anda fikirkan selesa:

Cara #1:

Bina dahulu di komputer menggunakan perisian text editor seperti Notepad > muat naik ke akaun web hosting.

Cara #2:

Buat terus di dalam akaun web hosting.

Struktur Fail Robots.txt

Fail ini mengandungi 1 baris wajib dan diikuti dengan beberapa baris pilihan yang boleh ditambah berdasarkan keperluan kita.

Contoh fail robots.txt adalah seperti berikut:

Di dalam baris pertama, ‘User-agent: *‘ bermaksud kita memberi kebenaran kepada semua jenis bot dari semua jenis enjin carian untuk masuk dan melakukan ‘crawling’ terhadap laman web kita.

Manakala di dalam baris kedua & ketiga, ‘Disallow: /folder-rahsia/‘ adalah contoh arahan yang diberikan kepada bot-bot tersebut agar mengabaikan folder-folder yang kita senaraikan. Dalam contoh ini, ‘folder-rahsia‘ dan ‘folder-sulit‘ tidak akan di-crawl oleh bot-bot ini dan akan diabaikan daripada disenaraikan di Google.

Tip: Selain meletakkan nama folder, anda juga boleh meletakkan nama fail seperti ‘/rahsia.html‘. Ini juga akan memberi arahan kepada bot enjin carian agar mengabaikan fail ‘rahsia.html‘ tersebut.

Di Mana Perlu Letak Fail Ini?

Fail robots.txt ini perlu diletakkan di bahagian ‘root’ pada akaun web hosting anda. Sebagai contoh, di dalam folder ‘public_html‘. Ini penting kerana bot-bot di atas akan mencari fail ini secara automatik apabila mereka sampai ke laman web kita.

Jika kita salah meletakkan fail ini di dalam folder lain, maka arahan yang kita tetapkan di dalam fail itu tidak akan dipedulikan oleh bot-bot tersebut.

Boleh Tunjuk Contoh Macamana Nak Buat?

Sudah pasti boleh!

Tonton video tutorial berikut untuk melihat cara step-by-step membina fail robots.txt. Di dalam video ini, saya menggunakan Cara #2, iaitu membinanya terus melalui akaun web hosting.

Nota: Anda juga boleh rujuk panduan yang disediakan oleh pihak Google di sini untuk melihat lebih banyak contoh arahan fail robots.txt.

***

Kesimpulannya, fail robots.txt ini bertindak sebagai ‘pengawal’ laman web anda. Anda mungkin boleh melakukan kerugian jika fail ini diabaikan. Selamat mencuba!

Kredit: vectorcharactersvectorcharacters.

Minat Nak Belajar SEO Lebih Mendalam?

Masukkan nama & emel anda di bawah dan kami akan hantarkan tips berkaitan SEO secara PERCUMA dari semasa ke semasa kepada anda.


About Zulhilmi Zainudin

Pengasas bersama Prospek Digital dan pengasas Bina Blog Dot Com Sendiri. Berpengalaman lebih 5 tahun dalam pemasaran digital dan sangat obses dengan SEO & content marketing.

Speak Your Mind

*

Shares