網站(zhàn)robots.txt文(wén)件(jiàn)的(de)重要(yào)₩£性和(hé)設置方法
發布日(rì)期：2012-07-19
robots.txt是(shì)什(shén)麽？robots.txt是(♥₹™shì)搜索引擎機(jī)器(qì)人(rén)到(dào)我們網站(zhàn)第↔≥π&一(yī)個(gè)訪問(wèn)的(de)文(wén)件(♦ ↕¥jiàn)，robots的(de)功能(néng)就(jiù)是(s'×hì)指定搜索引擎可(kě)以在我們網 站(zhàn)抓取的(de)內("∏♣nèi)容範圍。
robots文(wén)件(jiàn)放(fàng)在我們網站(zhàn)的(de)根目→♦φ錄下(xià)，是(shì)搜索引擎第一(yī)個(gè)訪問(wèn)的(de)₽±≤₩文(wén)件(jiàn)，重要(yào)性不(bù)言而喻，很 ≈"(hěn)多(duō)新手站(zhàn)長(cháng)沒有(yǒu)設置r∞γ★obots文(wén)件(jiàn)，雖 然網站(zhàn)還(hái)是(shì)會(hu∑✔ì)被搜索引擎正常抓取，但(dàn)是(shì)搜索引σ®↕擎訪問(wèn)不(bù)到(dào)rob≤¥ots這(zhè)個(gè)頁面會(huì)返∞ε×回一(yī)個(gè)404錯(cuò)φ∑誤，對(duì)SEO不(bù)利，所以不(bù)論你$∑×(nǐ)懂(dǒng)不(bù)懂(dǒng) ，最好(<•hǎo)設置一(yī)個(gè)robots.txt文(wén)件(jiàn)，就(jiù)算×↔≈(suàn)是(shì)空(kōng)的(de)也(yě)行(xíng)。
那(nà)麽正規的(de)robots文(wé'β©βn)件(jiàn)該如(rú)何設置呢(ne)？robots裡(lǐ)面含有(yǒ &→↓u)兩個(gè)函數(shù)，User-agentλ和(hé) Disallow。
舉例個(gè)robots.txt,不(bù)懂←∞$(dǒng)的(de)朋(péng)友(yǒu)可(kě)以根據自(¥∑ zì)己的(de)網站(zhàn)情況，作(zuò)為(wèi)參考。
User-agent: *
Disallow: /admin/ 後台λ管理(lǐ)文(wén)件(jiàn)
Disallow: /require/ 程序文(wé©n)件(jiàn)
Disallow: /attachment/ 附件(jiàn)
Disallow: /images/ ♠φ 圖片
Disallow: /data/ 數(shù)據庫文(wén)件(♦jiàn)
Disallow: /template/ 模闆文(wén)件(jiàn)
Disallow: /css/ 樣式表文(wén)件(jiàn)
Disallow: /lang/ 編碼文(wén)件(jiàn)
Disallow: /script/ 腳本文(wén)件(jiàn)
佛山(shān)SEO的(de)robots文(wén)件(jiàn)是(shì)≈≈這(zhè)樣設置的(de)
User-agent: *
Disallow:
新手朋(péng)友(yǒu)隻要(yào)按♠↑α→照(zhào)我這(zhè)樣設置就(jiù)行(xíng)了(le)，它<±≈的(de)用(yòng)法是(shì)允許搜索引擎抓∑←取所有(yǒu)頁面。如(rú)果你(nǐ)的(de)網站(zh→α×àn)正在建設，還(hái)需要(yào)修改，不(bù)想搜索 引擎抓取，÷∞• 你(nǐ)可(kě)以這(zhè)樣設置：
User-agent: *
Disallow: /
加一(yī)個(gè)/的(de)意思就(jiù)是(shì)不(b&"☆↕ù)允許搜索引擎抓取網站(zhàn)的(de)↕≈↑所有(yǒu)內(nèi)容。網站(zhàn)建設完畢之後記得(de)改回來(lái)喔，要(yào)不(bù)然會(huì)嚴重影(yǐng®≈↕£)響收錄的(de)。
推薦閱讀(dú)：
網站(zhàn)優化(huà)內(nèi)部結構如(rú)何避免網站(zhàn)進入蜘蛛γ₽陷阱？
網站(zhàn)關鍵詞分(fēn)布不(bù)同其優化(huà)注意事(shì)項也•∏(yě)不(bù)同
SEO優化(huà)人(rén)員(yuán)必知 ₹×(zhī)的(de)特殊的(de)高(gāo)級搜索指∏ 令集合
新手SEOer要(yào)謹記的(de)八不(→ ≤÷bù)要(yào)原則
Google pr總是(shì)出人(rén)意♦λ✔料，現(xiàn)在又(yòu)更換了(l££βe)API地(dì)址
