ซอฟต์แวร์สไปเดอร์คืออะไร?

'ซอฟต์แวร์สไปเดอร์' เป็นโปรแกรมไร้คนขับที่ดำเนินการโดยเสิร์ชเอ็นจิ้นที่ท่องเว็บเหมือนกับที่คุณทำ เมื่อเข้าเยี่ยมชมแต่ละเว็บไซต์ จะบันทึก (บันทึกลงในฮาร์ดไดรฟ์) คำทั้งหมดในแต่ละไซต์และบันทึกแต่ละลิงก์ไปยังไซต์อื่น จากนั้นจะ 'คลิก' ที่ลิงก์ จากนั้นไปอ่าน จัดทำดัชนี และจัดเก็บเว็บไซต์อื่น

ซอฟต์แวร์สไปเดอร์มักจะอ่านและจัดทำดัชนีข้อความทั้งหมดของแต่ละเว็บไซต์ที่เข้าชมในฐานข้อมูลหลักของเครื่องมือค้นหาที่ทำงานอยู่ เมื่อเร็วๆ นี้เอ็นจิ้นจำนวนมาก เช่น AltaVista ได้เริ่มสร้างดัชนีหน้าเว็บไซต์เพียงบางหน้าเท่านั้น โดยรวมแล้วประมาณ 500 หน้าแล้วหยุด เห็นได้ชัดว่านี่เป็นเพราะเว็บมีขนาดใหญ่มากจนไม่สามารถจัดทำดัชนีทุกอย่างได้ จำนวนหน้าที่แมงมุมจะจัดทำดัชนีนั้นไม่สามารถคาดเดาได้ทั้งหมด ดังนั้นจึงเป็นความคิดที่ดีที่จะส่งหน้าที่สำคัญแต่ละหน้าในไซต์ของคุณโดยเฉพาะซึ่งคุณต้องการสร้างดัชนี เช่น หน้าที่มีคำหลักที่สำคัญ

ซอฟต์แวร์สไปเดอร์เป็นเหมือนบรรณารักษ์อิเล็กทรอนิกส์ที่ตัดสารบัญของหนังสือแต่ละเล่มในห้องสมุดทุกแห่งในโลก จัดเรียงเป็นดัชนีหลักขนาดมหึมา แล้วสร้างบรรณานุกรมอิเล็กทรอนิกส์ที่เก็บข้อมูลว่าข้อความใดอ้างอิงถึงข้อความอื่น ซอฟต์แวร์สไปเดอร์บางตัวสามารถสร้างดัชนีเอกสารได้มากกว่าหนึ่งล้านเอกสารต่อวัน สิ่งสำคัญคือต้องเข้าใจว่าสไปเดอร์ของเครื่องมือค้นหาทำเพียงสองสิ่ง:

พวกเขาจัดทำดัชนีข้อความ
พวกเขาติดตามลิงก์

ในการประชุม Search Engine Strategies เมื่อเร็ว ๆ นี้โดย SearchEngineWatch.com หนึ่งในวิทยากรรับเชิญ Shari Thurow จาก Grantastic Designs ได้กล่าวถึงประเด็นนี้และทำซ้ำหลายครั้งเพื่อแสดงให้เห็นถึงความสำคัญ: 'เครื่องมือค้นหาดัชนีข้อความและตามลิงก์ พวกเขาจัดทำดัชนีข้อความและติดตามลิงก์ นั่นคือทั้งหมดที่พวกเขาทำ'

ประเด็นของเธอมีความสำคัญและเป็นศูนย์กลางในการทำความเข้าใจธรรมชาติของสไปเดอร์ของเครื่องมือค้นหา หากข้อความในเว็บไซต์ของคุณอยู่ในภาพกราฟิก เครื่องมือค้นหาจะไม่สามารถจัดทำดัชนีได้ หากคำหลักสำคัญทั้งหมดของคุณที่คุณหวังว่าจะได้รับการจัดอันดับรวมอยู่ในกราฟิก ไม่ใช่ในข้อความ HTML ไซต์ของคุณจะไม่ได้รับการจัดอันดับ โปรดจำไว้ว่า เสิร์ชเอ็นจิ้นจะไม่สร้างดัชนีรูปภาพหรืออ่านรูปภาพ แต่จะจัดทำดัชนีข้อความและติดตามลิงก์ นั่นคือทั้งหมดที่ หากคุณไม่มีข้อความบนหน้าที่สามารถดูได้ จำนวนคำหลักในเมตาแท็กของคำหลักจะไม่ช่วยให้คุณได้รับการจัดอันดับ

สิ่งที่แมงมุมเห็นในเว็บไซต์ของคุณจะเป็นตัวกำหนดว่าเว็บไซต์ของคุณมีรายชื่ออยู่ในดัชนีอย่างไร เครื่องมือค้นหากำหนดความเกี่ยวข้องของไซต์ตามระบบการให้คะแนนที่ซับซ้อนซึ่งเครื่องมือค้นหาพยายามเก็บเป็นความลับ ระบบนี้จะเพิ่มหรือลบคะแนนตามสิ่งต่างๆ เช่น จำนวนครั้งที่คำหลักปรากฏบนหน้า ตำแหน่งที่ปรากฏบนหน้า และจำนวนคำที่พบทั้งหมด หน้าที่ทำคะแนนได้มากที่สุดจะแสดงที่ด้านบนสุดของผลการค้นหา ส่วนที่เหลือถูกฝังไว้ที่ด้านล่างไม่เคยจะพบ

เมื่อซอฟต์แวร์สไปเดอร์เข้าชมไซต์ของคุณ มันจะบันทึกลิงก์ใดๆ บนหน้าเว็บของคุณไปยังไซต์อื่นๆ ในฐานข้อมูลขนาดใหญ่ของเครื่องมือค้นหาใดๆ ลิงก์ทั้งหมดระหว่างไซต์จะถูกบันทึก เสิร์ชเอ็นจิ้นรู้ว่าไซต์ใดที่คุณเชื่อมโยง และที่สำคัญกว่านั้น ไซต์ใดที่เชื่อมโยงถึงคุณ เอ็นจิ้นจำนวนมากจะใช้จำนวนลิงก์ไปยังไซต์ของคุณเพื่อบ่งบอกถึงความนิยม และจากนั้นจะเพิ่มอันดับของคุณตามปัจจัยนี้