Визначення Web Spidering і веб-сканерів

Павуки - це програми (або автоматизовані сценарії), які "сканують" через Інтернет, шукаючи дані. Павуки подорожують через URL-адреси веб-сайтів і можуть витягувати дані з веб-сторінок, таких як адреси електронної пошти. Павуки також використовуються для подачі інформації, що міститься на веб-сайтах, до пошукових систем.

Павуки, які також називають пошуком веб-сканерів в Інтернеті і не всі є дружніми у своїх намірах.

Спамери веб-сайти павуків для збору інформації

Google, Yahoo! а інші пошукові системи не єдині зацікавлені в скануванні веб-сайтів, а також шахраї та спамери.

Павуки та інші автоматизовані інструменти використовуються спамерами для пошуку адрес електронної пошти (в Інтернеті цю практику часто називають «збирання») на веб-сайтах, а потім використовують для створення списків спаму.

Павуки також є інструментом, який використовуються пошуковими системами для отримання додаткової інформації про ваш веб-сайт, але не знято, веб-сайт без інструкцій (або "дозволів") про те, як сканувати ваш сайт, може представляти серйозні ризики інформаційної безпеки. Павуки подорожують за посиланнями, і вони дуже вміють знаходити посилання на бази даних, програмні файли та іншу інформацію, до якої ви, можливо, не хочете, щоб вони мали доступ.

Веб-майстри можуть переглядати журнали, щоб побачити, що павуки та інші роботи відвідали свої сайти. Ця інформація допомагає веб-майстрам дізнатися, хто індексує їхній сайт і як часто.

Ця інформація корисна, оскільки дозволяє веб-майстрам точно налаштувати свій SEO і оновити файли robot.txt, щоб заборонити певним роботам сканувати їх сайт у майбутньому.

Поради щодо захисту вашого сайту від небажаних роботів роботів

Існує досить простий спосіб зберегти небажані сканери з вашого веб-сайту. Навіть якщо ви не стурбовані тим, що шкідливі павуки сканують ваш сайт (заплутані адреси електронної пошти не захистять вас від більшості сканерів), вам все одно доведеться надавати пошуковим системам важливі інструкції.

Всі веб-сайти повинні мати файл, розташований у кореневому каталозі, який називається файлом robots.txt. Цей файл дозволяє вказувати веб-сканерам, де ви хочете, щоб вони переглядали сторінки індексу (якщо інше не зазначено в метаданих певної сторінки, щоб вони не були індексовані), якщо вони є пошуковою системою.

Подібно до того, як ви можете повідомити бажаним сканерам, де ви хочете, щоб вони переглядали, ви також можете повідомити, де вони можуть не перейти, і навіть заблокувати певні сканери з усього веб-сайту.

Важливо мати на увазі, що добре підібраний файл robots.txt матиме величезне значення для пошукових систем, і навіть може бути ключовим елементом у підвищенні продуктивності вашого веб-сайту, але деякі роботи-роботи все ще ігноруватимуть ваші інструкції. З цієї причини важливо завжди зберігати оновлене програмне забезпечення, додатки та програми.

Пов'язані статті та інформація

У зв'язку з поширеністю збирання інформації, яка використовувалася для зловмисних (спам) цілей, у 2003 році було прийнято законодавство про заборону певних практик. Ці закони про захист прав споживачів підпадають під дію закону CAN-SPAM від 2003 року.

Важливо, щоб Ви зайняли час для ознайомлення з Законом CAN-SPAM, якщо Ваш бізнес бере участь у будь-якій масовій розсилці або збиранні інформації.

Ви можете дізнатися більше про анти-спам-закони і як працювати зі спамерами, і що ви, як власник бізнесу, можете не робити, прочитавши наступні статті:

• Закон CAN-SPAM 2003
• Правила CAN-SPAM Act для неприбуткових організацій
• 5 CAN-SPAM Правила Малі підприємства повинні розуміти