SEO排名元素：搜尋引擎的爬取（Crawl）
搜尋引擎在排名網頁之前，其實會派出一個『蜘蛛機器人（Crawler）』進到你的網頁、認識你的內容
這個步驟的專有名詞叫做『爬取（Crawling）』
簡單來說，
搜尋引擎必須要能先爬到你的東西、才有排名的可能
就跟圖書館一樣，要決定哪本書可以放在借閱排行榜的前面，館藏就必須要先有那一本書才可以
如果作者一開始沒有授權出版，圖書館就永遠不可能借得到這本書執行SEO的最大錯誤與悲劇：把Google爬蟲擋在門外
搜尋引擎會派出很精銳爬蟲機器人，
在網際網路上，以非常高的效率來認識瞬息萬變的數位世界
但爬蟲會很尊重每個網頁管理人的意願：
你可以透過一本『爬蟲專用的說明書』，自由指定哪些內容可以給它看、哪些不行
比如說：官網購物車和金流設定頁面，或者是會員登入的後台介面，
這些多半是你不希望別人可以透過Google輕易查到的東西
那你就能在爬蟲專用的說明書上面備註：請勿進入
而這本說明書的專有名詞就叫『robots.txt』
這本說明書當中，有一個對技術不熟的行銷人來說相當致命的『開關』，往往被列入最悲劇的SEO錯誤設定之一：
就是不慎把整個網站設定成爬蟲不能進來
由於它的切換就像開關一樣，只需要在robots.txt輸入幾個字，所以一個不小心就很可能把整站的SEO全部『關掉』
這也是經常被忽略的一個重大風險
讓爬蟲能夠很方便地探索網頁，是影響SEO排名非常深遠的因素
爬蟲探索網路世界，有點像線上遊戲即時戰略的『開地圖』一樣
擔任先鋒的角色如果能搶先一步探索全局，那麼他的『視野』與對戰場的掌握就會佔有先機
Google的爬蟲基本上是很聰明、有效率的，
絕大部分的時候都能做得很好
不過我們還是可以透過優化的手法讓它發揮得更淋漓盡致、取得更好的排名、讓搜尋引擎『最佳化』
幫助搜尋引擎爬取網頁、提升排名的技巧
要達到這個目的，大概有幾個重點項目，整理如下：
留言