คลังเก็บป้ายกำกับ: crawler

Robots.txt คืออะไร

คุณเคยสงสัยหรือไม่ว่า เหตุใดบางหน้าในเว็บไซต์จึงปรากฏบน Google ขณะที่บางหน้ากลับไม่ถูกค้นพบ ทั้งที่อยู่ในเว็บไซต์เดียวกัน หลายคนคิดว่า Google สามารถเข้าถึงทุกหน้าของเว็บไซต์ได้โดยอัตโนมัติ แต่ความจริงแล้ว เจ้าของเว็บไซต์สามารถกำหนดได้ว่าหน้าใดควรให้ Google เข้าถึง และหน้าใดควรถูกจำกัดการเข้าถึง

เครื่องมือสำคัญที่ทำหน้าที่นี้คือ Robots.txt ไฟล์เล็กๆ ที่อยู่เบื้องหลังเว็บไซต์ แต่มีผลต่อการรวบรวมข้อมูลและการทํา seo อย่างมาก หากตั้งค่าไม่ถูกต้อง อาจทำให้บทความสำคัญหายไปจากผลการค้นหาโดยไม่รู้ตัว อ่านเพิ่มเติม

โพสท์ใน SEO HUB | ติดป้ายกำกับ , , , , , , , , , , , | ใส่ความเห็น