公司網(wǎng)站制作商業(yè)網(wǎng)站中存在大量無效URL不利于搜索引擎收錄

這些無效URL不會被收錄反倒有負(fù)面作用, 對此越來越多的人考慮iframe + robots禁止。如果只將過濾部分代碼放進(jìn)iframe, 很多人認(rèn)為這部分內(nèi)容不屬于當(dāng)前頁面, 也即隱藏了內(nèi)容。但其依然是客觀存在的, 搜索引擎是可以發(fā)現(xiàn)iframe中的內(nèi)容和鏈接的, 依然有爬行這些URL的可能性, 所以還要加robots禁止爬行。
