Web Domain Intelligence: виявляємо та усуваємо шкідливі сайти

Основою для цієї статті послужили численні кіберінциденти, пов’язані з появою у пошукових інтернет-системах різноманітних шкідливих сайтів – фішингових сторінок, клоак, дорвеїв. Ці ресурси свідомо вводять користувачів в оману та ведуть деструктивну діяльність в інтернеті. У цьому матеріалі я розкажу яку загрозу вони представляють та як самостійно виявити і знешкодити такі сайти.

ЗМІСТ

Що таке шкідливі сайти і чому це небезпечно?
Як виявляти шкідливі сайти?
Аналіз шкідливих сайтів
SEO аналіз
OSINT/Reverse аналіз
Історія IP/Domain
Webint/Threat аналіз
Сканери, чекери, краулери, парсери, аналізатори
Як подати скаргу і забанити шкідливий сайт (домен)?
Додаткові джерела і посилання

Що таке шкідливі сайти і чому це небезпечно?

Шкідливий сайт (англ. Malware website, Malicious site, Suspicious site) – це електронний ресурс або додаток, який будь-яким чином порушує правила, вимоги, стандарти інтернету; веде протиправну, шахрайську діяльність, наносить шкоду користувачам та відвідувачам, а також іншим електронним ресурсам; застосовує заборонені техніки/тематики, прийоми публікації/обробки інформації, нехтує нормативно-правовими актами, які регулюють законодавство в інтернеті.

За типом та змістом шкідливі сайти можна умовно поділити на:

☠️ Фішингові сайти (Phishing) – це фальшиві підроблені сайти, які видають себе за легітимні ресурси, часто маскуючись під популярні онлайн-сервіси. Все зводиться до того, щоб заманити користувача на фішингову сторінку та перехопити будь-яким чином його дані (cookie, токени, сесії, логіни, паролі);
☠️ Bot-net – це організовані в єдину мережу шкідливі електронні ресурси, зокрема веб-сервери, які можуть здійснювати несанкціоновані масові шкідливі операції: проводити DDoS-атаки, несанкціонований парсинг, краулінг, постинг, спамінг та інше;
☠️ Дорвеї (Doorways) – це автоматично згенеровані та оптимізовані під ключові слова сайти, які маскуються під інформаційні сайти. Можуть також несанкціоновано парсити/перехоплювати/вбудовувати унікальний контент інших сайтів (Spoofing, Hijacking, Hotlinking). Заробляють на монетизації трафіка (кліки, переходи, перегляди, скачування) і партнерських програмах. Цей вид шахрайства існує давно й входить до технік “BlackHat SEO”, коли пошукова оптимізація здійснюється з використанням заборонених методів;
☠️ Клоаки (Cloaking) – це ціла мережа сайтів-дорвеїв, організованих в одну велику “клоаку”, яка є автоматизованою і розприділеною системою. Діє за різними алгоритмами, в залежності від браузера, User-Agentа, IP-адреси, країни відвідувача.

Приклади шкідливих веб-сайтів — Приклади шкідливих Malware-сайтів. На прикладі №1 зображено шкідливий сайт, який маскується під пошукову систему. На ній десятки дорвеїв, які являють собою єдину клоаку. При переході на них, спрацьовує скрипт, який автоматично переправляє відвідувача на сторонні сайти. На прикладі №2 зображено вигляд сайту дорвея, який імітує статейник. При взаємодії відвідувача з сайтом – відбуваються ланцюжкові перенаправлення на різні інші токсичні сайти (chain redirect). На прикладі №3 показано як шкідливий сайт закликає користувача до дії – підписатись на оновлення. Насправді, при натисканні відбувається взаємодія вашого браузера з сайтом зловмисника.

Приклади деструктивної діяльності шкідливих сайтів:

Плагіат, незаконне використання авторського контенту. Сайт-крадій публікує на своїх сторінках ваш контент, привласнюючи собі. Він поступово знецінюється, перестає бути унікальним. Пошукова система розбавляється додатковими результатами, за рахунок чого відбувається каннібалізація ключових слів й позиції вашого сайту знижуються. Бували випадки, коли сайт крадія здобував вищий рейтинг, аніж оригінальний. Відповідно пошукова система показувала його вище/частіше у результатах пошукової видачі або взагалі сприймала за першоджерело. Попередити такі атаки можна і треба різними способами: а) обов’язково вказувати копірайт на своєму сайті, із зазначенням правила на повторне використання. Наприклад, тільки за наявності гіперпосилання на ваш сайт; б) використовувати онлайн-системи моніторингу та захисту контенту від повторного використання, наприклад DMCA, Copyscape. Вони будуть вчасно виявляти плагіат та сповіщати вас про це.
Штучне заниження позицій у пошуку, викликання проблем з індексацією. Подібна техніка часто використовується недобросовісними конкурентами. Токсичний сайт у великих кількостях регулярно розміщує різні нетематичні посилання на ваш сайт, використовуючи заборонені ключові слова. Відповідно наростає негативна зворотна посилальна масса (десятки, сотні, а деколи й тисячі токсичних посилань за короткий період). Пошуковик це виявляє і трактує як: 1) зв’язок/співпрацю з сайтом сумнівної якості; 2) сигналом низької якості. Відповідно, починає застосовувати до обох сайтів алгоритми очищення пошукової видачі від спаму (Google Пінгвін, Google Панда або Google Колібрі). Діагностувати такі симптоми складно, оскільки Google не повідомляє про свої дії. У висновку сайт, незважаючи на якісний контент, частково або повністю зникає з видачі ТОПу і втрачає відвідуваність. Іноді рятує система відхилення зворотніх посилань, відома як Google Disawov Tools або повне перезавантаження контенту на новому домені.
Штучна накрутка трафіку, проведення DoS/DDoS атак. Організована бот-нет мережа, створена на базі великої кількості зламаних, інфікованих сайтів, під управлінням зловмисників регулярно відсилає на ваш сайт хаотичні HTTP-запити. У висновку, відвідуваність аномально зростає, допоки навантаженість не стає критичною і сервер, не взмозі впоратись з такою кількістю завдань, віддає код помилки 504, що означає відмову в обслуговуванні (DDOS, Distribute Denial of Service). По-перше, пошукова система аномальний ріст трафіка може розцінити як штучне нарощування трафіку (накрутка), а тривалу недоступність сайту як негативний фактор ранжування. У висновку, все це відобразиться на авторитеті і доступності вашого сайту. Тим часом зловмисники можуть зробити “хід конем” – відправити запит на видалення вашого сайту з пошукової видачі як такого якого більше не існує через функцію Google Remove Outdated Content.
Веб-спам. Зловмисники, використовуючи бот-нет мережу зламаних сайтів, через систему коментування вашого сайту або відкриту реєстрацію, публікують спам у величезних кількостях. У висновку, співвідношення якісного і неякісного контенту аномально змінюється, ваш сайт стає заспамленим і нерелевантним. Відповідно зменшується довіра збоку користувачів і пошукових систем.
Фішинг і перехоплення даних. Шкідливі сайти часто можуть мімікрувати під легітимні ресурси і використовуватися як інструмент для викрадення облікових даних відвідувачів, перехоплення конфіденційної інформації, завантаження шкідливого коду – руткітів і троянів на пристрій користувача.
Публікація і показ незаконного контенту. Токсичні ресурси, дорвеї, можуть використовувати для масової публікації неправдивого або забороненого контенту. Введення в оману, нагнітання, проведення інформаційно-психологічних атак. Публікації дописів, які посягають на честь та гідність інших людей. Також можуть використовуватись для монетизації незаконного контенту, показу забороненої реклами.

ЧИТАЙТЕ ТАКОЖ: Хакери - хто вони? Антологія субкультури хакерів

Як виявляти шкідливі сайти?

Виявлення шкідливих сайтів потребує певних навичок та спостережливості. Зокрема:

Регулярно ознайомлюватися з результатами пошукової видачі (Search Engine Result Pages, SERP): використовуючи ключові слова та різноманітні Google-дорки, просунуті пошукові оператори (Advanced Google Search Operators);
Перевіряти позиції сайту у пошуковій видачі та проводити аналіз конкурентів;
Перевіряти контент на плагіат і унікальність;
Аналізувати канали лідогенерації і зворотні посилання: джерела трафіку, анкори, якість “донорів” (тематичні/нетематичні/спамні);
Фіксувати будь-які зміни на сайті: в контенті, вихідному коді, аналізувати логи (Access/Erro Log Files) та блокувати відвідувачів з підозрілих IP-адрес/User-Agent;
Перебувати у курсі останніх новин і подій з кібербезпеки: підписатись на основні блоги і канали інформації, дізнаватись про нові типи атак і кіберзагрози, тестувати та досліджувати вразливості, пов’язані з тими чи іншими технологіями, знайдені в роботі тих чи інших CMS-систем тощо.

Аналіз шкідливих сайтів

SEO аналіз

SEO PowerSuite – люксовий набір з 3-х інструментів WebsiteAuditor, SeoSpyGlass і LinkAssistant для керування просуванням та оптимізацією сайту у пошукових системах. Підтримка OS Windows/Linux.
SEO Screaming Frog Analyser – популярна програма для аудиту електронних ресурсів.
XENU – популярний парсер, дає можливість просканувати усі URL-посилання сайту, включаючи биті і приховані.
Ahrefs – популярний онлайн-сервіс для пошуку та аналізу зворотніх посилань (backlinks), а також іншої веб-аналітики.
Similar Web – авторитетний сервіс пошукової аналітики. Покаже такі дані як вік домену, канали трафіку, позиції та багато іншого.
Serpstat – популярний онлайн-сервіс для перегляду різноманітних SEO-метрик домену, наприклад історія трафіку, ключові слова.
Semrush – аналіз сайту по даним компанії SEMRUSH.
SEranking – аналогічно попередньому.
Mangools – сервіс відомого SEO-експерта Браяна Діна.
Ubersuggest – сервіс відомого веб-аналітика Ніла Пателя.
SiteWorthTraffic – аналітика відвідуваності сайту.
Website SEO Checker – аналіз різноманітних показників рейтингу сайту: DA, PA, TF, CF та ін.
Alexa Rank Checker – аналіз рейтингу сайтів по даним компанії Alexa.
MOZ Checker – аналіз сайту по даним компанії MOZ.
Webarchive – всесвітній електронний архів, де зберігаються кешовані сайти веб-сайтів. Дозволить проаналізувати попередній контент, версії сайту за різні періоди, колишніх власників.
Builtwith, Wappalyzer – сервіси аналізу технологій, які використовує сайт.
PublicWWW – пошук сайтів, які використовують схожий код і технології.
Duplichecker, Siteliner, Advego Plagiatus – пошук дубльованого контенту, плагіату, перевірка унікальності контенту.
Backorder – пошук звільнених доменів.

OSINT/Reverse аналіз

Історія IP/Domain

DNS History
Complete DNS History
DNS Records History – Security Trails
Whois History
Whoxy Whois History
BigDomainData Whois History
Whoisology (Whois Cached Data)
SSL History
Web Archive (Wayback Machine)
Archive.ph
DNSlytics Reverse History API
DNSlytics Hosting History API
Історія IP/DNS (SecurityTrails)
IknowWhatYouDownload
curl --request GET \ --url https://api.securitytrails.com/v1/history/example.com/whois \ --header 'APIKEY: xxxxxxxxxxxxxxxxxxxx' — отримання історії WHOIS з допомогою API SecurityTrails.
curl --request GET --url https://api.securitytrails.com/v1/history/chtyvo.org.ua/dns/a --header 'APIKEY: xxxxxxxxxxxxx' --header 'accept: application/json' – отримання історії DNS з допомогою API SecurityTrails.

ЧИТАЙТЕ ТАКОЖ: Створюємо пентест-лабораторію смартфонів на Android в OS Linux

Webint/Threat аналіз

ZoomEye — кібер-пошукова система.
GreyNoise — Threat Intelligence платформа.
Shodan — кібер-пошукова система.
Censys — кібер-пошукова система.
Criminal IP – Threat Intelligence платформа.
Radar QRator – Threat Intelligence платформа.
Synapsint – Threat Intelligence платформа.
Lupovis – короткі відомості по IP-адресі.
AlienVault — Threat Intelligence платформа.
URLhaus Database — Threat Intelligence платформа.
Maltiverse Threat Analyser — аналізатор вразливостей і кібер-загроз.
CyberGordon — чекер шкідливих сайтів.
Cisco Umbrella — Threat Intelligence платформа.
URLscan — чекер посилань.
UrlDNA — аналізатор доменів.
URLvoid — чекер посилань.
Inteltechniques IP

Сканери, чекери, краулери, парсери, аналізатори

BurpSuite — інструмент аудиту і тестування безпеки.
OWASP Zap — сканер і аналізатор веб-сайтів.
Acunetix Vulnerability Scanner — сканер і інструмент тестування безпеки веб-сайтів.
WPScan — аналізатор, сканер, інструмент тестування сайтів на WordPress.
WP-Detect – аналізатор шаблона і плагінів WordPress.
Mozilla Observatory – швидкий аналіз HTTP-заголовків.
H-X Vulnerability Scanner – онлайн-сканер вразливостей, базований на Zap.
Qualys SSL Labs – аналіз TLS/SSL.
Qualys WebAppScanner – сканер веб-додатків.
Check Your Website – технічний аудит веб-сайту.
ProjectDiscovery Scan – Vulnerability-сканування.
HostedScan – автоматичне сканування, аудит веб-безпеки.
BeagleSecurity – автоматичний скан веб-безпеки.
ImmuniWeb – експрес-сканер веб-безпеки.
Web-Check – чекер веб-сайтів.
Netcraft Check – чекер веб-сайтів.
Cloudflare Radar – чекер сайтів під’єднаних до Cloudflare.
NMAP — сканер мережевих портів.
Nikto — сканер вразливостей мережевих ресурсів.
Nuclei – сканер вразливостей електронних ресурсів.
SpiderFoot – OSINT/Threat Intelligence сканер.
Screaming Frog – краулер веб-сайтів.
Metagoofil — парсер файлів і аналізатор метаданих.
Joomscan — сканер, аналізатор вразливостей сайтів на CMS Joomla.
Dirb — парсер директорій, пошук прихованих файлів.
TheHarvester — мережевий сканер-парсер для OSINT.
Photon — краулер веб-сайтів.
Hybrid Analysis (Falcon Sandbox) — пісочниця для тестування шкідливих посилань, сайтів, файлів.
Joe SandBox — пісочниця для тестування malware.
AnyRun — ще одна пісочниця.
VirusTotal — аналіз шкідливих посилань та файлів.

👉 Читайте спецматеріал: Зовнішній аудит безпеки веб-додатків. Алгоритм і методика роботи

Як подати скаргу і забанити шкідливий сайт (домен)?

Щоб забанити будь-який сайт, необхідно зібрати доказову базу й аргументовано довести його причетність до шкідливої діяльності. Правила використання доменних імен в інтернеті регламентує Міжнародна корпорація з присвоєння імен і номерів в інтернеті (Internet Corporation for Assigned Names and Numbers, ICANN). Нижче перелік найпоширеніших порушень, на підставі яких можна сформувати скаргу (complaint):

Домен використовує некоректні дані для відображення у WHOIS. Це означає, що власник домену надав неправдиву, застарілу або неповну інформацію в реєстраційних даних. Такі порушення можуть включати фіктивне ім’я власника, вигадану адресу, неіснуючий номер телефону або електронну пошту, що ускладнює ідентифікацію реального власника домену. Відсутність достовірної інформації у WHOIS може вказувати на спробу уникнути відповідальності або маскувати незаконну діяльність, пов’язану з доменом. Це є порушенням правил ICANN, які зобов’язують власників доменів забезпечувати точність і своєчасність даних у реєстраційній базі.
Домен порушує авторське право. Наприклад, видає себе за вашу особу (impersonal). Незаконно парсить, публікує, поширює контент інших електронних ресурсів (тексти, заголовки, зображення і т.д.). Це значить, що власник сайту займається несанкціонованим парсингом й присвоєю собі чужу інтелектуальну працю. Зазвичай, це проблема авторського права (DMCA Notice and Procedure for Copyright Infringement Claims) і вирішується такими шляхами: через скаргу на email-адресу власника, з проханням вилучити незаконно опублікований контент; через скагу провайдеру; через суд. Проблема у тому, що шкідливі сайти не містять жодних email-адрес для зворотного зв’язку, а провайдери (реєстратори/хостери) не мають права розголошувати їх персональні дані третім сторонам без рішення суду.
Домен використовує чужу торгову марку. Це значить, що домен використовується для проведення будь-яких несанкціонованих, протиправних дій, з метою ошукати користувача і пошукові системи, ввести в оману (misleading customers). Доменне ім’я або контент сайту незаконно включає зареєстровану торгову марку (або її варіацію), яка належить іншій фізичній чи юридичній особі. Таке використання може вводити користувачів в оману щодо зв’язку між сайтом і власником торгової марки, що порушує права на інтелектуальну власність. Такі дії є порушенням прав власника торгової марки та можуть призвести до блокування домену або судових розглядів відповідно до законодавства про захист інтелектуальної власності.
Домен використовується для фішингу. Це означає, що домен експлуатується з метою обману користувачів шляхом створення підроблених веб-ресурсів, які імітують офіційні сайти банків, платіжних систем, соціальних мереж чи інших популярних сервісів. Домен збирає персональні дані. Наприклад, паролі облікових записів, приватну переписку, номери кредитних карток і будь-яку іншу чутливу, особисту, службову інформацію.Основною метою таких сайтів є збір конфіденційної інформації користувачів, такої як логіни, паролі, номери банківських карт, персональні дані тощо. Фішингові сайти часто використовують схожі доменні імена (тайпсквотинг) або підроблені сертифікати безпеки, щоб переконати користувача в їхній легітимності. Використання домену для фішингу є серйозним порушенням міжнародних правил і може стати підставою для негайного блокування ресурсу.
Домен містить шкідливий код. Наприклад, скрипти або інше шкідливе програмне забезпечення. Сюди належать: malware, spyware, adware, шелли, трояни, шкідливі редиректи та інші елементи, котрі можуть нашкодити потенційному користувачу, відвідувачу і т.д.
Домен розголошує конфіденційну інформацію. Наприклад, використовується для розкриття чужих, особистих, персональних даних, даних третіх осіб/сторін без їхньої згоди. Публікує засекречені, службові матеріали.
Домен використовується для тролінгу, булінгу, антиреклами.
Домен публікує заборонені законом матеріали. Наприклад, ~~порнографія~~, інструкції для незаконних дій. Матеріали, що порушують моральні чи етичні норми. Матеріали, які заохочують, пропагують, прямо чи опосередковано, закликають до злочинів, насильства, або виправдовують їх. Домен містить матеріали, які заохочують, пропагують, розпалюють національну, расову чи релігійну ворожнечу, дискримінацію.
Домен використовує техніки BlackHat SEO та обманює пошукові системи. Як вже було сказано, це техніки та дії, які суперечать правилам і рекомендаціям пошукових систем. До них можна віднести: дорвеї, клоакінг, спамдексінг, клікджекінг, хіджекінг тощо.
Домен розповсюджує неліцензійні матеріали. Торрент-трекери, онлайн-кінотеатри та інше. Тобто, будь-які матеріали, які не призначені для вільного розповсюдження.
Домен порушує роботу інших електронних ресурсів. Здійснює веб-атаки: SPAM/BruteForce/DDOS, приводить до збоїв і помилок сторонніх сайтів. Підпадає під статтю №363 ККУ.
Домен здійснює продаж наркотичних речовин або будь-яких інших нелегальних товарів, які заборонені законом.

ЧИТАЙТЕ ТАКОЖ: Великий гайд по XSS. Міжсайтовий скриптинг: атаки і захист

Скаргу необхідно підготувати грамотно, в юрисдикції і на мові тої країни, в якій розташована організація. У вигляді обгрунтованого звіту (так званий Abuse Report) з позначкою “Конфіденційно”, який включає: скріншоти, відео, будь-які логи, архівні копії, технічні дані. Далі відправити у відповідні інстанції, зазначивши кінцеву мету або вимогу. Наприклад, повне або тимчасове блокування домену, внесення у чорні списки (блекліст) і т.д.

Реєстратори доменних імен:

Хостинг-провайдери:

Google Abuse Report:

Відкриті бази даних:

Антифрод і антивірусні системи:

Соціальні мережі:

Computer Security Incident Response Team (CERT/CSIRT):

CERT-UA
CERT-PL
National Cyber Security Center (NCSC) (United Kingdom)
National Cyber Security Center (NCSC) (Ireland)
NCSC Report Suspicious Site
NCSC Report Scam Website
Microsoft Security Responce Center (MSRC)
Microsoft Report Unsafe Site
Microsoft Submit File for Malware Analysis
ReportFraud.ftc.gov
Internet Crime Compliant Center IC3 (United States)
CIRCL Incident Repsonse
CISA Report Phishing Website
Reporting Canadian Anti-Fraud Center