Кіберпошукові системи для дослідників і аналітиків безпеки

Одне із завдань спеціаліста з кібербезпеки — проводити ефективну розвідку з відкритих джерел, моніторити електронні ресурси, вчасно виявляти нові загрози та вразливості, уміло оцінювати ризики. Щоби автоматизувати та полегшити цей процес, спеціалістами були розроблені кіберпошукові системи, які цілодобово індексують мережу інтернет, збираючи інформацію по всім ресурсам: сайтам, серверам, цифровим пристроям, базам даних, онлайн-сервісам. Пропоную ознайомитись з добіркою кращих кіберпошукових систем для дослідників з кібербезпеки.

ЗМІСТ

SHODAN
Censys
ZoomEye
FOFA
Netlas
HUNTER
BinaryEdge
LeakIX
Onyphe
IntelligenceX
PublicWWW
Grep.app
SearchCode
Grayhat Warfare

SHODAN

Shodan.io – це культова онлайн-платформа для пошуку і аналізу ресурсів та пристроїв у мережі Інтернет. З її допомогою можна професійно досліджувати комп’ютерні мережі та інформаційні системи, аналізувати структуру інтернету, тенденції і статистику захищеності інтернет-ресурсів по усьому світу. Платформа розроблена програмістом Джоном Матерлі у 2009 році. Назва “Shodan” почерпнута від однойменного персонажа з серії відеоігор жанру кіберпанк “System Shock”. Користування безкоштовне, але обмежене лімітами використання. Для того аби комфортно себе почувати в Shodan рекомендується перейти на базовий тариф “Membership” з одноразовою платою 49$, що дасть пожиттєве членство, збільшить ліміт пошуків і відкриє додаткові опції, такі як Raw Data, Monitoring, History, Maps, API, Downloads та інші. З рештою тарифних планів можна ознайомитися тут.

Особливості функціоналу:

Величезна база даних і багатофункціональний пошук цифрових ресурсів за різними категоріями, критеріями, тегами і т.д.;
Мікросервіс Internet Exposure Observatory, який показує статистику по країнам;
3D-мапа пристроїв 3D map of Industrial Control Systems (ICS), знайдених краулером Shodan ICS Radar;
Сервіс визначення приманок Honeypots;
Рандомний шукач у стилі кіберпанк Shodan 2000;
Вбудований шукач експлойтів;
Підтримка API;
Підтримка CLI (Сommand Line Interface);
Власний додаток для браузера Shodan Browser Extension.

Приклади пошукових запитів:

LiteSpeed city:Berlin — пошук веб-серверів типу LiteSpeed за вказаним містом;
LiteSpeed country:DE — пошук веб-серверів типу LiteSpeed за вказаною країною;
joomla hostname:.com — пошук веб-сайтів на CMS Joomla у заданій доменній зоні;
ssl:”*[.]com” http.title:”index of / “ — пошук вразливих сайтів в заданій зоні з лістингом директорій;
port:2083,8443 country:EC — пошук об’єктів в заданій країні, які містять зазначені відкриті порти;
Recursion: enabled country:”DE” — пошук вразливих DNS-серверів;
webcam has_screenshot:true country:”KR” — пошук веб-камер зі знайденим скріншотом по зазначеній країні;
webcamxp country:US— пошук доступних веб-камер за вказаною країною;
title:camera — пошук мережевих камер в інтернеті;
Server: IP Webcam Server “200 OK” — пошук IP-камер;
“Network Camera VB-M600” 200 ok server: vb — пошук мережевих камер конкретної моделі;
server: webcam — пошук серверів керування веб-камерами;
“App-webs” “200 OK” — пошук камер марки Hikvision;
ip:XXX.XXX.XX.X–XXX.XXX.XX.XXX camera — пошук камер за вказаним діапазоном IP-адрес;
net:XXX.XXX.XX.X/24 camera — пошук камер за вказаним CIDR;
os:windows port:3389 has_screenshot:yes — пошук Windows-серверів з відкритим RDP-доступом і показаним скріншотом;
anonymous@ login ok. port:”21" — пошук вразливих FTP-серверів з Anonymous-доступом;
“220” “230 Login successful.” port:21 — пошук потенційно доступних FTP-серверів;
“230 login successful” port:”21" vsFTPd 2.3.4 country:RU— пошук вразливих FTP-серверів з застарілим програмним забезпеченням;
country:gb city:london product:MySQL — пошук серверів MySQL-баз даних за вказаними містом і країною;
http.component:"WordPress" — пошук сайтів, створених на CMS WordPress;
http.html:”* The wp-config.php creation script uses this file” — пошук витоків файлу конфігурації WordPress;
/wp-admin/wp-install.php — пошук скриптів встановлення WordPress;
wp-admin/setup-config.php — пошук сайтів WordPress вразливих до WPSetup Hack;
http.html:"index of /" http.html:"wp-config.php.txt"
http.html:"index of /" http.html:"wp-config.txt"
http.html:"index of /" http.html:"wp-config.php.bak"
http.html:"index of /" http.html:"wp-config.php.old"
http.html:"index of /" http.html:"wp-config.php.backup"
http.html:"index of /" http.html:"wp-config.php.zip"
http.html:"index of /" http.html:"wp-config.php.tar.gz"
http.html:”* The wp-config.php creation script uses this file” — пошук сайтів WordPress з помилокою конфігурації (розкриття wp-config.php);
html:”Vesta” — пошук сайтів, розгорнутих на хостинг-панелі VestaCP;
http.title:”dashboard” — пошук серверів з робочими екранами — дашбордами;
http.title:”control panel” — пошук серверів з панелями керування;
http.title:”Index of /” — пошук електронних ресурсів з відкритим лістингом директорій;
http.title:”Index of /” http.html:”.pem” — пошук вразливих Apache-серверів з лістингом директорій;
http.html:"index of /" http.html:"backup" — пошук резервних копій;
http.html:"index of /" http.html:"tar.gz" — пошук стиснених архівів;
"/phpinfo.php" — пошук серверів з доступною інформацією в файлі phpinfo;
http.html:"index of /" http.html:"database"
http.html:"index of /" http.html:".sql"
http.html:"index of /" http.html:".db"
http.html:"index of /" http.html:"db_backup"
http.html:"index of /" http.html:"mysql.dump"
http.html:"index of /" http.html:".mdb"
http.html:"index of /" http.html:"config.xml"
mysql port:”3306" — пошук серверів з відкритим MySQL-портом;
"product:MongoDB" mongodb port:27017 — пошук серверів з базою даних MongoDB;
"MongoDB Server Information { "metrics":" "Set-Cookie: mongo-express=" "200 OK" — пошук вразливих MongoDB серверів;
“port:5432 PostgreSQL” — пошук PostgreSQL-серверів;
kibana content-legth:217 — пошук відкритих дашбордів Kibbana;
port:9200 json port:"9200" all:elastic — пошук Elastic-серверів;
“product:Memcached” — пошук серверів або електронних ресурсів з модулем Memcached;
remote desktop “port:3389” — пошук серверів з відкритим RDP-портом;
“Authentication: disabled” port:445 product:”Samba” — пошук SAMBA серверів без аутентифікації;
“QuickBooks files OverNetwork” -unix port:445 — пошук QuickBooks серверів;
port:23 console gateway — пошук серверів з відкритим доступом по протоколу Telnet;
“root@” port:23 -login -password -name -Session — пошук серверів з правами доступу root по протоколу Tenet;
“RFB 003.008” — пошук VNC-серверів без аутентифікації;
“authentication disabled” port:5900,5901 — VNC без аутентифікації;
html:”def_wirelesspassword” — пошук сторінок входу до маршрутизаторів;
http.title:”Nordex Control” — пошук вітряних турбін Nordex;
country:in os:”windows server 2003" — пошук серверів у зазначеній країні за вказаною операційною системою;
joomla 1.5 country:US — пошук сайтів на базі CMS Joomla у зазначеній країні;
“authentication disabled” port:5900,5901 — пошук вразливих VNC-серверів;
http.title:”Massachusetts Institute of Technology” — пошук серверів із текстовими заголовками;
http.html:’ua-1592615' — пошук по коду Google Analytics;
http.title:”Metabase” — пошук серверів на базі Metabase;
device: “voip phone” — пошук пристроїв VoIP телефонії;
ssl:”Cobham SATCOM” — пошук роутерів супутникової мережі;
uhp vsat terminal software -password — пошук пристроїв морського радіозв’язку;
“Server: CANON HTTP Server” — пошук серверів принтерів;
“Laser Printer FTP Server” — пошук вразливих принтерів з відкритим доступом;
http.html:"index of /" http.html:"web.config"
http.html:"index of /" http.html:".env"
http.html:"index of /" http.html:".svn"
Printer Type: Lexmark — пошук принтерів з доступною мережевою службою CUPS;
port:23 “Password is not set” — пошук принтерів з вікритим доступом;
“Location: /main/main.html” debut — пошук сторінок входу в адмін-панель принтерів;
hacked — пошук будь-яких зламаних пристроїв;
http.title:”0wn3d by” — пошук зламаних серверів з вказаним флагом;
“HACKED FTP server” — зламані FTP-сервери;
HACKED-ROUTER — зламані роутери;
“attention”+”encrypted”+port:3389 — пошук RDP-серверів, зламаних програмами-шифрувальниками;
http.html:"index of /" http.html:"pwd"
http.html:"index of /" http.html:"pass.txt"
http.html:"index of /" http.html:"password"
http.html:"index of /" http.html:"password.txt"
http.html:"index of /" http.html:"passwords.txt"
http.html:"index of /" http.html:"passwords.zip"
http.html:"index of /" http.html:".log"
http.html:"index of /" http.html:"access.log"
http.html:"index of /" http.html:"error.log"
http.html:"index of /" http.html:"php_error.log"
http.html:"index of /" http.html:"debug.log"
http.html:"index of /" http.html:".git"
http.html:"index of /" http.html:"gitconfig"
product:DrayTek/Vigor3220 – пошук роутерів DrayTek Vigor;
vuln:rce – пошук пристроїв, що мають уразливості, пов’язані з віддаленим виконанням коду;
vuln:heartbleed – пошук пристроїв, уразливих до OpenSSL Heartbleed;
vuln:cve-2014-0160 – пошук пристроїв, порушених конкретною вразливістю;
vuln:Apache – пошук вразливостей, пов’язаних із сервером Apache;
cwpsrv + http.status:200 – пошук вразливих серверів з CentOS Web Panel;
title:"Hikka userbot" – пошук Telegram-ботів Hikka для автоматизації дій користувача;
http.html:"<script src=\"/dana-na/\"" – пошук серверів Pulse Secure VPN;
http.favicon.hash:-631559155 – пошук серверів Global Protect Portal;
Siemens PLC – пошук SCADA-систем Siemens.

Пошук в Shodan можна здійснювати за категоріями, тегами, скріншотам і favicon зображеннями.

Більше прикладів на Github 1 і 2, а також в Twitter (X).

Підказка: Якщо перед вами стоїть завдання просто перевірити якийсь електронний ресурс, то можна скористатись швидким запитом по URL :shodan.io/host/hostname — де замість “hostname” треба підставити домен або IP-адресу, яку шукаєте.

Кілька слів про Shodan CLI. Це потужний модуль, який дозволяє використовувати усі функції пошукової системи Shodan засобами командого рядка. Знаходить чимало цікавого, що можна непомітити у веб-інтерфейсі.

Щоб розпочати роботу з Shodan CLI, необхідно спочатку отримати персональний API-ключ в налаштуваннях акаунта і встановити Python-бібліотеку на локальній системі:

pip install shodan
sudo apt install python3-shodan
shodan init YOUR_API_KEY

У разі помилок рекомендую звернутись до офіційної документації.

Приклади команд Shodan CLI:

shodan count apache — покаже кількість результатів у пошуковій видачі Shodan;
shodan stats wordpress — покаже статистику за вказаним запитом;
shodan host <ip_address> — покаже зведену інформацію по вказаному IP;
shodan domain <example.com> — покаже зведену інформацію по вказаному домену;
shodan search vsftpd 2.3.4 country:cn --fields ip_str > file.txt — пошук вразливих FTP-серверів по заданій країні з отриманням списку IP-адрес та збереження виводу команди у файлі;
shodan download --limit 100 proftpd anonymous@ login ok. port:”21" product:”ProFTPD” — завантаження результатів Shodan в файл по заданим критеріям пошуку;
shodan search webcamxp country:us — пошук активних комп’ютерних веб-камер (Windows Web Camera) по заданій країні;
search camera geo:XX.XX,XX.XX — пошук веб-камер або інших об’єктів за GPS-координатами.

Документація по роботі з Shodan CLI>>

Існує також інструмент ShodanSpider для взаємодії з сервісами Shodan.

Висновок: SHODAN — надзвичайно корисний, зручний та захоплюючий інструмент. Цілий метавсесвіт, який дозволяє подорожувати нетрями цифрових активів. Він допоможе виявляти різноманітні тонкощі й деталі ІТ-систем, визначати операційні системи, програмні засоби та їх версії, знаходити відкриті мережеві порти та ресурси у відкритому доступі, аналізувати вразливості по CVE й надавати важливі інсайди. Все залежить від ваших потреб і фантазії. У плані функціональності, це ідеальна пошукова система для пентестера і дослідника безпеки.

Censys

Censys.io — це провідна кіберпошукова платформа, розроблена у 2013–2015 роках в Мічиганському університеті Закіром Дурумеріком. Подібно Shodan, Censys дозволяє зібрати чимало цінної інформації про електронні ресурси. Наприклад, версію програмного забезпечення, відкриті порти, дізнатись виробника та провайдера, активні мережеві сервіси, інтерфейси й багато іншого. Інформація у базі Censys оновлюється в режимі онлайн. Пропонуєть безкоштовний (до 250 запитів в місяць) і платний доступи.

Особливості функціоналу:

Багатофункціональний пошук;
Різні форми представлення даних;
Історичні та статистичні дані;
Вбудований WHOIS-аналізатор;
Перегляд Raw Data (JSON);
Візуалізатор даних;
Визначення геолокації по IP;
Підтримка API і CLI;
Колекція запитів Censys Postman;
Інтеграція з популярними сервісами і платформами: Maltego, NMAP, Recon-NG та інші;
Вичерпна документація.

Приклади пошукових запитів:

ip: {“XXX.XX.XXX.X/XX”} — пошук ресурсів за вказаною підмережею CIDR;
ip: [X.XX.X.X TO X.XX.XXX.XXX] — пошук ресурсів за вказаним діапазоном IP;
location.country_code: DE and services.service_name: {“FTP”, “Telnet”} — пошук мережевих інтерфейсів FTP/Telnet;
services.http.response.body: powershell.exe — ресурси з Windows Poweshell;
(“Schneider Electric” OR Dell) AND ip:23.20.0.0/14 — пристрої з вказаними назвами та діапазоном IP-адрес;
services.port: {22, 23, 24, 25} — пошук серверів з зазначеними відкритими портами;
same_service(services.service_name: “ELASTICSEARCH” AND services.port: 443) — пошук серверів ElasticSearch;
services.http.response.status_code: 500 — пошук серверів з кодом відповіді 500;
services.software.product: “Raspberry Pi” — пошук Raspberry Pi пристроїв;
scada AND location.country_code:US — пошук SCADA-систем за вказаною країною;
services: (http.response.status_code=200 and http.request.uri:"/weblogin.htm" and (http.response.html_title:"Vigor" or http.response.favicons.md5_hash="208b1c5af9e2cc7d46e3ec5bf4d12001")) – пошук пристроїв DSL-роутерів Vigor;
metadata.manufacturer:"axis" – пошук пристроїв від виробника AXIS (відеокамери).

Створюйте власні пошукові запити на базі штучного інтелекту – Censys GPT.

Встановлення Censys CLI:

pip install censys
python3 -m censys config

Приклади команд Censys CLI:

python3 -m censys view X.X.X.X
python3 -m censys subdomains example.com
python3 -m censys search ‘services.service_name: ELASTICSEARCH’ | jq -c ‘.[] | {ip: .ip}’
python3 -m censys search ‘services.http.response.html_title: “Dashboard”’
python3 -m censys search ‘ip: XXX.XXX.XXX.X/XX’ — pages -1 | jq -c ‘[.[] | .ip]’

Документація по Censys Python CLI>>

До речі, французький девелопер Christophe Tafani-Dereeper розробив власний інструмент Censys Subdomain Finder для пошуку субдоменів на базі Censys API.

Висновок: Censys – інструмент для професіоналів, який підійде для різноманітних задач, не лише з кібербезпеки. Пошукова система справляє враження довершеної, чіткої та функціональної платформи, суттєво допомагаючи спеціалістам у рутинному процесі пошуку, збору та обробки інформації.

ZoomEye

ZoomeEye — це кіберпошукова система, заснована у 2008 році інженерами з “404 Laboratory” IT-компанії “Knownsec” (Китай). Завдяки великій кількості глобальних технічних вузлів, ZoomEye безперервно сканує інтернет 24/7/365, включаючи усе підряд: веб-сайти, додатки, сервіси, компоненти, служби, електронні ресурси, бази даних, мережеві інтерфейси, ІТ-системи, IoT-пристрої і т.д. Ця пошукова система фактично охопила весь кіберпростір, а тому від “ока” ZoomEye в прямому сенсі не сховаєшся. І в цьому основна відмінність платформи — здатність пролазити в найпотаємніші закутки інтернету і розкривати дані. Зареєстровані користувачі позбавлені лімітів та отримують більше можливостей. Однак, повний “фарш” і ексклюзив доступні на преміум-тарифах.

Особливості функціоналу:

Багатофункціональний, багатоцільовий пошук ресурсів за тегами, категоріями;
Пошук по файлам (.txt), зображенням, фавіконкам;
Деталізований, масовий експрес-аналіз, агрегаційний аналіз;
Підсвітка тегів (тип, категорія ресурсу);
Показ знайдених вразливостей і їх класифікація по базі CVE;
Пошук з допомогою географічної мапи;
Глобальний монітор інтернет-статистики;
Інструмент пошуку пов’язаних (асоціативних) доменів і субдоменів (Domain/IP Association);
Масовий аналіз, користувач може завантажити і проаналізувати список IPv4-адрес (до 1000);
Завдяки опції Subscription можна поставити на регулярний моніторинг список IP-адрес або доменів — сповіщення приходитимуть на електронну пошту;
Пошук за розподіленими категоріями Topics, Component;
Отримані в системі дані можна експортувати в форматах TXT/JSON;
Рейтингова система учасників платформи;
Підтримка API та CLI.

ЧИТАЙТЕ ТАКОЖ: Як захистити поштовий сервер від спаму, спуфінгу і фішингових атак?

Приклади пошукових запитів:

hostname:example.com — шукати по вказаному домену/хосту;
site:example.com — шукати усі ресурси пов’язані з вказаним доменом;
dig:”baidu.com 220.181.38.148" — шукає дані утиліти dig для вказаних домену та IP-адреси;
XXX.XX.XXX.XXX +site:”example.com” — пошук конкретного домену на вказаній IP-адресі;
port:80 — шукати по вказаному мережевому порту;
ip:"8.8.8.8" — пошук по IP-адресі (підтримуються IPv4/v6);
cidr:52.2.254.36/24 — шукати по вказаному діапазону CIDR;
service:"ssh" — пошук служби SSH і ресурсів, що з нею пов’язані;
device:"router" — пошук пристроїв за вказаним типом/назвою;
device:"webcam" – пошук веб-камер;
os:"RouterOS" — пошук операційних систем;
title:"Cisco" — пошук будь-яких документів та ресурсів з вказаним текстом;
industry:"energy" — пошук по назві індустрії;
org:"北京大学" — шукати по назві компанії/організації;
isp:"Lifecell" — шукати по назві провайдера/виробника;
asn:42893 — шукати по номеру провайдера;
service:"ssh" service:"http" — пошук SSH або HTTP-ресурсів;
device:”router”+after:"2020–01–01" — пошук інформації по роутерам після зазначеної дати;
country:"CN"-subdivisions:"beijing" — шукати по країні Китай, мінусуючи зазначену область-регіон (subdivision);
(port:"80"+subdivisions:"California")+before:"2020–01–01" — шукати ресурси на порту 80 в Каліфорнії за зазначену дату;
ssl:"google" — шукати SSL-сертифікати, пов’язані із зазначеним хостом;
app:"Cisco ASA SSL VPN" — шукати по назві додатка;
filehash:"0b5ce08db7fb8fffe4e14d05588d49d9" — пошук по хешу файлу.

Встановлення ZoomEye CLI:

pip3 install zoomeye
zoomeye init -apikey "yourapikey"

Основні команди ZoomEye CLI:

zoomeye ip XX.XX.XXX.XX — пошук по IP;
zoomeye domain example.com 0 — пошук ресурсів за вказаним доменом (якщо вказати 1 — шукатиме субдомени);
zoomeye search “telnet” -num 1 — пошук ресурсів з активною службою Telnet із зазначеною кількістю показаних результатів;
zoomeye search “telnet” -count — статистика по зазначеному ресурсу;
zoomeye history “XXX.XX.XX.XX” -num 1 — історія за вказаною IP-адресою (доступно на платних тарифах).

Варто зауважити, що ZoomEye зберігає історію пошуків. Але її можна очистити в панелі керування акаунтом.

Висновок: ZoomEye — це потужна систематизована база даних, котра може стати серйозним конкурентом для SHODAN. Питання поки лише у якості. ZoomEye бере кількістю — парсить і зберігає гори інформації. віжішу та чистішу інформацію, позбавлену похибок. Окрім того, не всі функції виявились доступними в ZoomEye CLI — у веб-інтерфейсі все-таки зручніше. Для дослідника, аналітика, пентестера ZoomEye — це must-have.

FOFA

FOFA – це флагманська кіберпошукова система китайського виробництва, заснована дослідницькою компанією з кібербезпеки Beijing Huashun Xin’an Technology Co., Ltd. Містить понад 4 мільярди різноманітних відбитків даних. За функціоналом, мало чим поступається Shodan і ZoomEye. А в деякому плані і перевищує їх. Система пропонується як безкоштовна, однак деякі запити і функції потребують VIP-тарифу. Можна також придбати розширені запити за спеціальні пойнти F-points (доступна оплата через PayPal).

Чим може бути корисною FOFA?

Управління зовнішньою поверхнею атак (EASM): шукайте та ідентифікуйте загальнодоступні цифрові активи, аналізуйте та оцінюйте їх ризики безпеки, виявляйте кореляцію між ними та покращуйте управління вразливостями і реагування на кіберінциденти;
Виявлення активів: виявлення та ідентифікація цифрових активів, класифікація та категоризація, кореляція і аналіз залежностей, оцінка безпеки активів і управління ризиками;
Придушення незаконних/зловмисних веб-сайтів: ідентифікація шкідливих сайтів та IP-адрес, ідентифікація кореляції, аналіз даних про загрози тощо;
Обізнаність про ситуацію безпеки: моніторинг у режимі реального часу, пошук уразливостей і загроз, збір розвідувальних даних (Network Intelligence/Web Domain Intelligence).

Особливості функціоналу:

Пошук практично усіх видів цифрових ресурсів;
Результати з різних країн світу, включаючи Україну;
Інтерактивна мапа для пошуку по країні;
Пошук по хешам, фінгерпринтам, фавіконкам;
Пошук за датою;
Бібліотека шаблонів пошуку. Можливість створення власних шаблонів;
Підсвітка результатів актуальними тегами;
Дружній та функціональний веб-інтерфейс з різними темами (темна/світла);
Підтримка різних форматів представлення даних;
Категоризація результатів видачі, предметний пошук (Rule Search Subject);
Легкий синтаксис, велика кількість операторів пошуку;
Велика кількість фільтрів для вибірки результатів;
Експорт результатів в CSV/JSON з можливістю вибору полів;
Підтримка API та інтеграції з іншими додатками;
Підтримка CLI GoFOFA;
Модуль Open Site Discovery (FOFA Hub);
Модулі для MALTEGO;
Бонуси за внесення нової інформації в систему FOFA (Asset Reward Plan);
GitHub документація Awesome FOFA.

Приклади пошукових запитів:

host="test.baidu.com" – пошук по вказаному хосту, субдомену;
host*="*test*" – знайти всі домени, що містять ключове слово «test», незалежно від їхньої позиції в доменному імені;
domain="example.com" – пошук за вказаним доменом;
banner="mysql version" – пошук електронних ресурсів з mysql;
banner="mysql version" && banner*="5.?.*" – пошук електронних ресурсів з mysql відповідної версії;
protocol*="smtp*" – пошук по протоколу;
protocol=="smtp" – точний пошук по протоколу;
protocol=="smtp" && country="JP" – пошук за вказаною країною;
cloud_name*="Cloudflare" – пошук ресурсів заданого постачальника;
domain="example.com" && port*="????" – пошук чотиризначних портів за вказаним доменом;
port="80" – пошук електронних ресурсів на порту 80;
port="80" && base_protocol="tcp" – пошук електронних ресурсів на вказаному порту за типом протоколу;
ip="X.X.X.X" – пошук за IP-адресою;
ip="X.X.X.X/24" – пошук електронних ресурсів по сегменту мережі;
ip="X.X.X.X" && port="80" – комбінований пошук ресурсів за вказаними даними;
app="Cisco-router" – пошук інтернет-пристроїв вказаного виробника;
app="Cisco-router" | app="Cisco-firewall" – одночасний пошук за декількома параметрами;
os="centos" – знайти ресурси на базі вказаної операційної системи;
server="Miscrosoft-IIS/10" – знайти ресурси на базі вказаного сервера;
header="apache" – пошук ресурсів які містять в HTTP-заголовках зазначене слово;
asn="X.X.X.X" – пошук за ASN-номером провайдера;
org="LLC Baxet" – пошук за точною назвою організації;
title="login" – пошук веб-сторінок за заданим заголовком Title;
region="Pennsylavia" && type="Subdomain" – пошук ресурсів заданого типу у заданому регіоні;
icon_hash="xxxx" – пошук ресурсів які містять іконку із заданим хешем (для отримання хешу – перетягнути іконку в пошук);
body="/wp-content/plugins/elementor" – пошук ресурсів за вказаним кодом в HTML-тілі ресурсу;
js_name=js/jquery.js – пошук електронних ресурсів, які містять вказаний файл JavaScript;
body_hash: xxxxx – пошук за хешем об’єктів в HTML Body;
header_hash="xxxx" – пошук по хешу заголовків;
sdk_hash="xxxx" – пошук по хешу додатків SDK;
status_code="504" && country="UA" – пошук серверів із вказаним кодом відповіді у заголовках по заданій країні;
cname="example.example.com" | cname_domain="example.com" – пошук за CNAME-записами;
&& after="2024-01-04" – шукати ресурси, які з’явилися після вказаної дати;
&& before="2024-01-05" – шукати ресурси які з’явилися до вказаної дати;
country="UA" && is_domain=true – пошук доменів по вказаній країні;
title="404 Not Found" && is_ipv6=true – пошук ресурсів з заданим заголовком Title та ipv6-адресами;
country="UA" && is_fraud=true – пошук ресурсів з індикатором “Suspected Fraud”, які можливо шкідливі, заражені або зламані;
country="UA" && is_honeypot=true – пошук ресурсів з індикатором “Honeypot”, що можуть використовувати як приманки, “медові пастки” для зловмисників;
(app="xxxx") && (is_fraud=true || is_honeypot=true) – багаторівневий пошук;
cert.subject.org="*.example.com" – пошук SSL-сертифікатів отриманих вказаним електронним ресурсом;
cert.issuer.org="cPanel, Inc" – пошук SSL сертифікатів виданих для організації;

Реальні кейси застосування FOFA на практиці:

Висновок: FOFA – один з кращих сервісів для кібер-досліджень та розслідувань. Підійде для пошуку маркерів/ідентифікаторів зловмисних ресурсів, векторів атак, вразливих серверів відповідно до CVE, дослідження активності APT-груп за маркерами та ідентифікаторами, виявлення додаткових фінгерпринтів… Гігантська база і велика кількість успішних Threat Intelligence-кейсів свідчать про високу ефективність й практичність даного сервісу. Ним користуються професіонали. Однозначно рекомендується усім, хто дотичний до кібербезпеки.

Netlas

Netlas — це потужна кіберпошукова система для збору інформації по електронним ресурсам: IP-адреси, доменні імена, веб-сайти, сервери, додатки, IoT-пристрої та інші цифрові активи. Netlas сканує інтернет-мережу використовуючи такі протоколи як HTTP, FTP, SMTP, POP3, IMAP, SMB/CIFS, SSH, Telnet, SQL та інші. Зареєстрованим надаються безкоштовний і платний доступи, які відрізняються кількістю та доступністю функцій. Сервіс можна оплатити криптовалютою. Мінімальний тарифний план – Freelancer за 49$/міс. Отримайте розширений безкоштовний доступ за нашим реферальним посиланням.

Особливості функціоналу:

Пошук по домену, хосту, за тегами, хешами, фавіконками та ін.;
Пошук ресурсів за вказаною геолокацією (країна, місто, область);
DNS-розвідка, пошук та аналіз DNS-записів;
Пошук схожих доменів (сквоттінг-пошук);
Reponse та Whois інформація по кожному знайденому ресурсу;
Пошук інформації у базі даних Whois;
Формування улюблених списків, групування результатів;
Оперативна статистика по кожному знайденому ресурсу;
Інтерактивна мапа для вибору країни пошуку;
Історичні дані, підсвітка тегів;
Модуль IP/Domain info – пошук інформації за IP-адресою або доменом;
Модуль Responses Search – пошук служб та пристроїв, публічнодоступних в інтернеті;
Модуль DNS Search – пошук інформації з DNS зони. Підтримується як прямий, так і зворотний DNS-пошук (rDNS);
Модуль IP Whois Search – пошук інформації про IP-адреси з протоколу WHOIS;
Модуль Domain Whois Search – пошук інформації про домени з протоколу WHOIS;
Модуль Certificates Search – пошук сертифікатів.
Модуль Discovery для дослідження ІТ-інфраструктури, побудови мережевої карти, планування, виявлення поверхні атак (Surface Attack);
Модуль сканер (тільки на Premium-тарифах);
Експорт результатів: JSON, CSV, YAML, RAW;
Підтримка Regex-виразів;
Підтримка API та CLI;
Додаткові Python-скрипти для пошуку та обробки даних в Netlas.io;
Додаток до браузера Chrome;
Вичерпна документація по сервісу;
Підтримка тем у веб-інтерфейсі;
Реферальна програма.

Приклади пошукових запитів:

(tag.category:webmail) AND geo.country:(“BG”) — пошук поштових клієнтів і серверів по заданій країні;
asn.name:VODAFONE — отримати відомості про провайдера;
cve.name: CVE-2017–0145 — пошук вразливостей по базі CVE;
cve.has_exploit:* — пошук експлойтів;
cve.severity:critical — пошук критичних вразливостей;
mysql.server.version:5 — пошук MySQL-серверів зазначеної версії;
(uri:/http:\/\/.*\/login\/?/) AND geo.country:("UA") – пошук ресурсів з публічнодоступними сторінками входу (за вказаною інформацію у URL), по заданій країні;
((uri:/http:\/\/.*\/login\/?/) AND geo.country:("UA")) AND whois.asn.number:("198820") – пошук ресурсів з публічнодоступними сторінками входу (за вказаною інформацію у URL), по заданих країні і провайдеру;
(uri:/https?:\/\/files\..*/ AND http.status_code:200) AND geo.country:("UA") – пошук за URL-адресою з допомогою regex-виразів;
(smtp.banner:EXIM) AND geo.country:("UA") – пошук smtp серверів на базі вказаного програмного забезпечення по заданій країні;
(smtp.banner:Postfix) AND geo.country:("UA") – аналогічно попередньому;
(http.body:(camera AND online)) AND geo.country:("IT") – пошук веб-сторінок зі словами «камера» та «онлайн» у заданій країні;
http.status_code:(301 OR 302) – пошук ресурсів за кодом відповіді;
domain:/(.*\.)?whatsapp\.[a-z]*/ – пошук ресурсів за вказаним доменом;
path:"/wp-admin" – пошук сторінок входу в WordPress за вказаним шляхом;
ns:*.gov.ua – пошук NS-серверів за вказаною доменною зоною;
a:1.1.1.1 – знайти усі ресурси із вказаним A-записом;
mx:*.zoho.com – знайти усі сервери із вказаним MX-записом;
domain:/whatsapp\.[a-z0-9-]*/ – пошук DNS-зон із зазначеною назвою домена;
domain:/(.*\.)?whatsapp\.[a-z0-9-]*/ – пошук DNS-зон субдоменів для вказаного домена;
("index of") AND geo.country:("UA") – пошук ресурсів з публічнодоступним індексом директорій по вказаній країні;
domain:example.com – аналіз DNS-зони вказаного домену;
http.title:"Mail server" – пошук веб-ресурсів за заголовком Title;
(ssh:* geo.country:UA) !port:22 – пошук ssh-серверів за вказаною країною;
(port:8090 protocol:http) AND geo.country:("UA") – пошук ресурсів на вказаному порту;
(prot7:imap port:993) AND geo.country:("UA") – пошук ресурсів по imap протоколу у заданій країні;
domain:facebook.com~ – пошук схожих доменів за звучанням, написанням;
domain:facebook.com~2 – пошук схожих домені із вказаною похибкою;
geo.city:"Lviv" – пошук ресурсів за вказаним містом;
zone:cn mx:*.google.com – пошук DNS-зони ресурсів вказаної доменної зони із зазначеним доменом в MX-записах;
!txt:"v=spf1" mx:* zone:gov level:2 – пошук DNS-зон за вказаними txt і mx записами;
ip:[195.6.151.68 TO 195.6.151.70] – надати дані whois для ресурсів вказаного IP-діапазону;
\*.name:*FACEBOOK* – пошук даних Whois за вказаним ім’ям;
abuse:/.*\.edu(\.[a-zA-Z0-9]*)?/ – пошук електронних адрес на вказаному домені у базі Wois для відправки Abuse-звітів;
registrant.email:*@gmail.com – пошук реєстрантів доменів за вказаним доменом електронної пошти;
registrant.email:domain@fb.com – пошук реєстрантів доменів за вказаною повною електронною адресою;
certificate.issuer_dn:"Let's Encrypt" – пошук SSL-сертифікатів за видавцем;
certificate.subject_dn:"example.com" – пошук SSL-сертифікатів для вказаного домену;
domain:*.example.com – пошук субдоменів для вказаного домену;
domain:/(.*\.)?example.com/ a:* – пошук субдоменів;
(https.contacts.email:*) AND host:*.example.com – пошук адрес електронної пошти компанії.

ЧИТАЙТЕ ТАКОЖ: Методології у сфері ІТ: ITIL, COBIT, PRINCE2 та інші

✔️ Більше запитів до пошукової системи Netlas>>
✔️ GitHub — Netlas OSINT Dorks

Мушу відзначити, що розробники “Нетлі” постаралися на славу – відчувається глибинний підхід, подача інформації і веб-інтерфейс на висоті. Усе відлагоджено й інформативно як на долоні. На виході отримуємо безліч упорядкованої і упакованої інформації — і WHOIS, і CVE, і контакти, і субдомени, і сертифікати. Користувачу залишається лише “засмакувати” отримані дані:

В Netlas є також окремий розділ Datastore, де можна придбати готові вибірки даних:

Також хочу зауважити, що пошукова система веде історію пошукових запитів і аналітику щодо використання сервісу. Логи доступні в налаштуваннях профіля.

Встановлення Netlas CLI:

pip install netlas
netlas host -a "YOUR_API_KEY"

Основні команди Netlas CLI:

netlas --help
netlas count --help
netlas host "1.1.1.1"
netlas search "host:1.1.1.1"
netlas search --datatype domain "domain:*.example.com"
netlas search -d whois-domain -i registrant domain:example.com
netlas download -d domain -c 7 -i domain:"*.example.com" | jq -r .data.domain
netlas download -d domain -c 7 -i domain:'a:"X.X.X.X/16"' | jq -r .data.domain
while IFS= read -r line; do netlas download --all host:\"$line\"; done \
< targets.txt > responses.json – пошук результатів для вказаного списку цілей (IP-адрес) зі збереження у файл JSON (дані можна відсортувати командами cat responses.json | jq -r ".data.isp" | sort -u, cat responses.json | jq -r '.data.whois.asn | "(.name) (.number[0])"' | sort -u, cat responses.json | jq -r '.data.geo | "(.country) (.city)"' | sort -u).

Посібники і кейси з практичного застосування Netlas:

Висновок: Netals – добротний, гарно продуманий і задокументований сервіс з ексклюзивними функціями, зроблений від душі для тих, хто цінує якість. Але його складно назвати безкоштовним, і новачку тут буде не легко. Використання Netlas вимагає певного розуміння і призначене в основному для ІБ-професіоналів, аналітиків, пентестерів, які вивчають поверхню атак, збирають статистичні й розвідувальні дані, займаються тестуваннями на проникнення, ведуть OSINT-розслідування тощо. У їхніх руках Netlas стане потужним інструментом.

HUNTER

HUNTER — це кіберпошукова система для інтернет-дослідників, заснована у 2022 році. Охоплює більш ніж 17 біліоннів даних: інтернет-сервісів, ip-адрес, мережевих пристроїв та інтерфейсів. Містить різноманітні фільтри і оператори для цільового пошуку. Доступ повністю безкоштовний, але бажаючі можуть перейти на тарифний план з необмеженими запитами і додатковим функціоналом. Порівняно з іншими сервісами, ціни досить демократичні, починаючи від $9.9 за 30 днів користування.

Особливості функціоналу:

Комплексний пошук по всім типам електронних ресурсів і протоколам;
Пошук по хешам;
Перегляд історичних даних: за останній тиждень, місяць, рік;
Підтримка моніторингу зі сповіщенням по email (можа додати до 6-ти IP-адрес);
Фільтри результатів пошуку;
Компактний і зручний інтерфейс;
Підтримка API;
Масовий пошук IP/Domain по API.

Приклади пошукових запитів HUNTER:

ip=="1.1.1.1" – пошук інформації за IP-адресою;
ip.port=="443" – пошук за вказаним TCP-портом;
protocol=="rdp" – точний пошук за вказаним протоколом (список підтримуваних протоколів);
protocol.transport=="udp" – точний пошук за транспортним протоколом;
protocol.banner="nginx" – пошук за баннером вказаним у протоколі;
ip.country="UA" – пошук за вказаною країною;
ip.state="California" – пошук за вказаним регіоном;
ip.city="Lviv" – пошук ресурсів за вказаним містом;
header.status_code=="402" – пошук ресурсів з кодом відповіді 402;
header.server=="Litespeed" – пошук веб-серверів на базі інформації з HTTP-заголовків;
header="elastic" – пошук ресурсів по даних в HTTP Response Header;
header.content_length=="691" – пошук ресурсів за довжиною контенту, вказаною в HTTP-заголовках;
web.title="Login"&&web.title!="Webmail" and ip.country=="Ukraine" – пошук веб-сторінок із зазначеним заголовком, без “Webmail” по вказаній країні;
domain.suffix=="google.com" – точний пошук за вказаним суфіксом домену (пошук субдоменів);
web.body="wordpress" – пошук інформації в HTML-тілі веб-ресурсів;
product.name="WordPress" and product.version="6.0" – пошук різноманітних додатків за вказаною назвою та версією;
favicon_hash="значення md5" – пошук по хешу фавіконки;
tls-jarm.hash=="xxxx" – пошук по хешу TLS JARM;
tls-jarm.ans="xxxx" – пошук по хешу TLS JARM ANS;
cert.subject="google.com" – пошук SSL-сертифікатів для заданого домену;
cert.subject_org="google" – пошук SSL-сертифікатів для конкретної організації;
cert.issuer="Let's Encrypt Authority X3" – пошук за типом SSL-сертифікату;
cert.issuer_org="Let's Encrypt" – пошук за видавцем сертифікату;
cert.sha-1=="xxxx" – пошук сертифікатів з алгоритмом SHA1;
cert.sha-256=="xxxx" – пошук сертифікатів з алгоритмом SHA256;
cert.sha-md5=="xxxx" – пошук сертифікатів за алгоритмом MD5;
cert.serial_number=="xxxx" – пошук сертифікатів за серійним номером;
cert.is_expired=="true" – пошук протермінованих сертифікатів;
cert.is_trust=="true" – пошук довірених сертифікатів;
ip.port_count>"2" – пошук портів з 2-ма IP-адресами;
as.number=="136800" – пошук провайдерів за номером;
as.name="CLOUDFLARE" – пошук провайдерів за назвою;
as.org="PDR" – пошук провайдерів за організацією.

Ознайомитись з керівництвом по синтаксису Hunter>>

З мінусів можна відмітити хіба що відсутність вичерпної документації і експорту результатів.

Якщо запитуваного ресурсу не знайдено, пошукова система запропонує перенаправити вас до Shodan, Censys та Fofa.

Висновок: Hunter справляє враження справжньої пошукової системи, де можна знайти все – навіть ресурси вузької географічної, локальної прив’язки. Це проста та компактна система, яка однаково підійде і новачкам, і професіоналам. З її допомогою я підготував не одне інтернет-дослідження й зібрав вичерпну статистику за різними сегментами інтернету.

BinaryEdge

Binaryedge.io — це кіберпошукова система, заснована швейцарською компанією BinaryEdge в Цюриху. Завдяки своїй великій мережі сканерів і хонейпотів, регулярно сканує інтернет на наявність цифрових ресурсів і поповнює базу новими результатами. Користувачу безкоштовно надається 250 запитів на місяць. Необмежений функціонал представлений на тарифних планах.

Особливості функціоналу:

Велика кількість різноманітних пошукових запитів, підтримка комбінацій;
Наявність фільтрів пошуку: ICS, Malware, Database, Webserver, IoT, Сamera;
Пошук за різними критеріями, категоріями, протоколами, інтерфейсами: RDP, VNC, Bluekeep, X11, SSH, RSYNC, SMB та ін;
Пошук за датою, баннерами, хешами;
Пошук за тегами (категоріями) для полегшення виявлення потрібних ресурсів;
Модуль Domains – пошук субдоменів за вказаним доменом;
Модуль Images — пошук скріншотів входу в системи DEDICATED серверів (“дедиків”);
Модуль Sensors — аналіз пошукових ботів і краулерів. Виявлення Honeypots;
Модуль Torrents – моніторинг торентів (доступний на тарифних планах);
Підтримка API (деякі запити безкоштовні);
Підтримка Python CLI;
Перегляд історичних записів через API;
Повна документація.

Приклади пошукових запитів:

ip:"X.X.X.X/16" – пошук за відповідним діапазоном IP;
port:80 – пошук за відповідним портом TCP;
ip:"X.X.X.X/16" port:80 – пошук ресурсів на вказаному діапазоні і порту;
ip:"X.X.X.X/22" device:router – пошук роутерів у вказаному сегменті мережі;
protocol:tcp – пошук ресурсів за протоколом;
country:UA – пошук по країні;
country:UA port:25 – пошук ресурсів на заданому порту по вказаній країні;
asn:1234 – пошук за номером ASN провайдера;
country:UA asn:xxxx – пошук ресурсів у країні за номером провайдера;
web.path:"index.php" – пошук веб-ресурсів за інформацією в URL;
web.server:apache – пошук веб-серверів;
web.status.code:200 – пошук веб-ресурсів із вказаним кодом відповіді сервера;
web.title:amazon – пошук веб-ресурсів за заголовком Title;
web.body.content:wordpress country:UA – пошук інформації в HTTP-тілі ресурсу по вказаній країні;
ip:"X.X.X.X/22" web.body.content:username – пошук веб-сторінок з формою авторизації у вказаній підмережі;
web.rendered.content:bitcoin – пошук за веб-контентом;
web.headers.accept:"json" – пошук за інформацією HTTP-заголовків веб-ресурса;
web.headers.header_order:"user_agent,host,connection" – пошук за різними фінгерпринтами HTTP-заголовків веб-ресурса;
web.body.sha256:"xxxx" – пошук за хешем тіла веб-документу;
type:mongodb – пошук за типом ресурсів;
product:"MikroTik router ftpd" – пошук пристроїв за назвою продукту;
ipv6:true – шукати ipv6 адреси;
"Example Org" type:ssl – пошук ssl-сертифікатів відповідної організації;
has_screenshot:true – пошук “дедиків” зі скріншотами входу;
tag:IOT – пошук за тегом;
created_at:2018-09-01 – пошук за датою;
banner:admin – пошук за баннером;
banner_sha256:0fc17 – пошук за хешем;
cpe.keyword:"cpe:/a:lighttpd:lighttpd" – пошук за ключовим словом cpe;
device:webcam – пошук типу пристроїв;
extrainfo:"PHP/5.4.19" – пошук ресурсів за вказаною технічною інформацією в HTTP-заголовках;
country:UA extrainfo:"PHP/5.4.19" – пошук за вказаною технічною інформацією по заданій країні;
name:http – пошук http-ресурсів;
ostype:Windows – пошук операційних систем;
version:1.1.0 – пошук версій;
rdp.reason:error – пошук rdp-серверів із зазначеними параметрами;
bluekeep.vulnerable:NLA – пошук bluekeep-серверів;
vnc.auth_enabled:false – пошук vnc-серверів із зазначеними параметрами;
vnc.version:"3.8"
vnc.title:android
x11.vendor:"The X.Org Foundation" – пошук серверів інтерфейсом X11;
ssh.algorithms.compression:zlib – пошук ssh-серверів із вказаним алгоритмом;
ssh.algorithms.encryption.keyword:"aes256-cbc"
ssh.banner.keyword:"SSH-2.0-OpenSSH_LeadSec"
ssh.cyphers:"ssh-rsa"
ssh.fingerprint:"c0:76:ed"
ssl.cert.issuer.common_name:microsoft
ssl.cert.issuer.organization_name:microsoft
ssl.cert.issuer.organizational_unit_name:microsoft
ssl.cert.issuer.organizational_unit_name.keyword:"CloudFlare Origin SSL Certificate Authority“
ssl.cert.issuer.distinguished_name:"Common Name: SUV, Organization: SUV999, State/Province: CA, Country: HK"
ssl.cert.issuer.locality_name:"Scottsdale"
ssl.cert.issuer.state_or_province_name:"Greater Manchester"
ssl.cert.not_after:[2018-12-01 TO 2019-01-01]

Повний список пошукових запитів>>

Приклади використання API:

curl 'https://api.binaryedge.io/v2/query/ip/xxx.xxx.xxx.xxx' -H 'X-Key:API_KEY' – детальна інформація по IP, список нещодавніх подій для вказаного хоста, включно з деталями відкритих портів і служб;
curl 'https://api.binaryedge.io/v2/query/ip/historical/xxx.xxx.xxx.xxx' -H 'X-Key:API_KEY' – історичні записи IP-адреси (до 6 місяців включно);
curl 'https://api.binaryedge.io/v2/query/image/ip/xxx.xxx.xxx.xxx' -H 'X-Key:API_KEY' – відомості про віддалені робочі столи (RDP), знайдені на хості. Список скріншотів і подробиць, витягнутих із них для вказаного хосту, включно з оптичним розпізнаванням символів і даними до 2 місяців;
curl 'https://api.binaryedge.io/v2/query/torrent/ip/xxx.xxx.xxx.xxx' -H 'X-Key:API_KEY' – детальна інформація про торренти, які передає хост. Список нещодавніх торрент-подій для вказаного хоста, включно з деталями однорангового пристрою та торрента;
curl 'https://api.binaryedge.io/v2/query/torrent/historical/xxx.xxx.xxx.xxx' -H 'X-Key:API_KEY' – детальна інформація про торренти, передані хостом, з даними до 6 місяців;
curl 'https://api.binaryedge.io/v2/query/dataleaks/email/user@example.com' -H 'X-Key:API_KEY' – перевірка витоків даних за вказаною електронною адресою;
curl 'https://api.binaryedge.io/v2/query/dataleaks/organization/example.com' -H 'X-Key:API_KEY' – перевірка витоків за доменом;
curl 'https://api.binaryedge.io/v2/query/dataleaks/info' -H 'X-Key:API_KEY' – отримати інформацію по витокам даних;
curl 'https://api.binaryedge.io/v2/query/score/ip/xxx.xxx.xxx.xxx' -H 'X-Key:API_KEY' – перевірити ступінь ризику IP-адреси (наявність вразливості, надійність);
curl 'https://api.binaryedge.io/v2/query/cve/ip/xxx.xxx.xxx.xxx' -H 'X-Key:API_KEY' – отримати список CVE для вказаної IP-адреси;
curl 'https://api.binaryedge.io/v2/query/domains/subdomain/example.com' -H 'X-Key:API_KEY' – отримати список субдоменів за вказаним доменом;
curl 'https://api.binaryedge.io/v2/query/domains/dns/example.com' -H 'X-Key:API_KEY' – отримати список записів DNS;
curl 'https://api.binaryedge.io/v2/query/domains/ip/8.8.8.8' -H 'X-Key:API_KEY' – повернути список доменів A та AAAA записи яких містять вказану IP-адресу;

Більше запитів в офіційній документації.

Логічна карта дослідження поверхні атак з допомогою BinaryEdge:

Зауважу, що система веде статистику використання і збирає деякі користувацькі метадані: операційна система, браузер, URL-адреса переходу тощо.

Висновок: BinaryEdge – якісна пошукова система, яка чудово підійде для дослідження Інтернету речей (IoT), вивчення поверхні атак при проведенні пентестів складних ІТ-систем, пошуку шкідливих/вразливих ресурсів, збору інформації про мережеві інтерфейси тощо.

LeakIX

LeakIX — це кіберпошукова система для пошуку вразливих інтернет-ресурсів та публічних витоків даних. Заснована у 2020 році в Бельгії. Результати включають IP-адреси, домени, SSL, фінгерпринти (як JARM, так і LKX) та багато іншого. Усі дані збираються з відкритих джерел. Пропонується безкоштовний і платний доступи з розширеним функціоналом (починаючи від €25/місяць).

Особливості функціоналу:

Багатофункціональний пошук, підтримка групованих запитів;
Пошук публічних витоків даних (Leaks);
Пошук ресурмів з вразливостями (CVE, Log4J, Path Disclosure/Traversal, LFI/RFI, RCE, OWASP TOP 10 та ін.);
Пошук вразливих веб-сайтів та CMS;
Пошук ресурсів із проблемами конфігурації, застарілими компонентами;
Пошук за категоріями вразливостей;
Пошук ресурсів з публічнодоступним файлом PHP.INFO;
Пошук публічних витоків Git-директорій (GitConfigHttpPlugin);
Пошук веб-сайтів з DotDsStoreOpenPlugin;
Пошук свіжостворених серверів зі стартовою сторінкою Apache/NGINX та ін.;
Вбудована платформа для обміну інформацією про вразливості (система звітів);
Система сповіщень (alerts);
Модуль візуалізації;
Рейтингова система користувачів;
Модуль статистики;
Підтримка API і CLI;
LeakiX Python Client;
Власне розширення для браузера Firefox;
Повна документація.

ЧИТАЙТЕ ТАКОЖ: SQL-ін'єкції та експлуатація вразливостей MySQL. Пентестинг з SQLmap.

Приклади пошукових запитів:

+host:example.com — пошук витоків даних по вказаному домену;
+port:80 — пошук вразливих ресурсів на вказаному порту;
+port:80 +country:"Ukraine" +events.leak.severity:"critical" — пошук ресурсів з критичними вразливостями по заданій країні;
+country:"Ukraine" +events.leak.severity:"critical"
+target_name ++plugin:"GitConfigHttpPlugin" – пошук ресурсів з витоком директорії /.git;
+country:"Ukraine" +plugin:"TraversalHttpPlugin" – пошук ресурсів з критичними вразливостями Directory Traversal;
+country:"Ukraine" +plugin:ApacheStatusPlugin – пошук ресурсів з відкритою сторінкою статусу сервера Apache, яка містить конфіденційні дані (опис вразливості);
+country:"Ukraine" +tag:"joomla — пошук вразливих сайтів на Joomla по заданій країні;
+country:"Ukraine" +tag:"wordpress" — пошук вразливих сайтів на WordPress по заданій країні;
+plugin:CentosWebPanelPlugin +country:"Ukraine" – пошук публічнодоступних хостинг-панелей Centos Web Panel;
plugin:wordpress seo — пошук сайтів за вказаним плагіном;
+header.server:"Apache" — пошук веб-серверів Apache;
ip:”X.X.X.X/24" — пошук по підмережі;
asn:xxxx – пошук за номером провайдера;
protocol:mysql – пошук за вказаним протоколом;
"Location: /home/" – пошук за директорією;
jarm:"xxxx" – пошук за хешем JARM;
ssl.certificate.not_before:>2023-03-10 – пошук сертифікатів за вказану дату;
+ssl.certificate.issuer_name:"FortiGate" – пошук ssl-сертифікатів вказаного видавця;
+(country:"France" host:"fr") – пошук доменів по вказаній країні та заданою доменною зоною;
+geoip.continent_name:"Europe" -country:"Ukraine" – пошук ресурсів за заданою географічною прив’язкою;
+port:445 +country:"Indonesia" +plugin:"SmbPlugin" – пошук відкритих портів з сервісом SMB в зазначеній країні.

Приклади використання API:

curl -H 'accept: application/json' "https://leakix.net/search?scope=leak&page=0&q=searchquery"
curl -H 'accept: application/json' "https://leakix.net/host/X.X.X.X"
curl -H 'accept: application/json' "https://leakix.net/domain/example.com"
curl -H 'accept: application/json' "https://leakix.net/api/subdomains/example.com"
wget --header="api-key: your-api-key" "https://leakix.net/bulk/search?q=searchquery" -O results.json

З можливих мінусів – для переходу на тарифний план LeakiX вимагає ідентифікації особи через додаток Idenfy.

Висновок: LeakiX – швидка та креативна пошукова машина в дусі OpenSource, яка стане в пригоді як любителям, так і професіоналам. Зокрема, сподобається баг-хантерам, дослідникам, адміністраторам, CSIRT та CERT командам безпеки. Платформа не відстежує онлайн-активність користувачів.

Onyphe

Onyphe.io — це кіберпошукова система, заснована французькою компанією Sisyphus в 2017 році. Збирає дані про цифрові активи в режимі 24/7. Надається безкоштовний доступ з суттєвими обмеженнями. Повний функціонал платний і присутній на тарифних планах.

Особливості функціоналу:

Пошук за доменом, IP-адресою, протоколом, хешем;
Пошук onion-ресурсів у мережі TOR;
Показ історичних записів, актуальних на момент сканування;
Пошук наявності вразливостей, аналіз кіберзагроз (Cyber Threat Intelligence);
Підтримка різних категорій пошуку: Datascan, Vulnscan, Riskscan та інші;
Підтримка власного синтаксису пошукових запитів Onyphe Query Language (OQL);
Дослідження і виявлення поверхні атак (Attack Surface Management);
Підтримка API та CLI;
Наявність Python-додатку та різноманітних інтеграцій;
Наявність документації по функціоналу.

Приклади пошукових запитів:

protocol:rdp – пошук протоколів;
os:windows – пошук операційних систем;
domain:example.com – пошук інформації за доменом;
domain:google.com protocol:ssh – пошук інформації за вказаним протоколом на заданому домені;
category:datascan port:110 transport:tcp – пошук ресурсів за вказаним портом і протоколом;
subdomains:domain.example.com – пошук інформації по субдомену;
hostname:example.com – пошук даних про хост;
data:"hello world" – пошук за вказаними даними;
data:confidential – пошук конфіденційних даних;
data:"do not disclose" – пошук за вказаними даними;
data:confidential data:“do not disclose” – пошук даних за вказаними критеріями;
ip:8.8.8.8 – пошук інформації за вказаною IP-адресою;
ip:8.8.8.0/24 – пошук за вказаною підмережею;
organization:google – пошук за організацією;
tld:google – пошук за типом доменів;
category:datascan domain:google.com protocol:rdp -monthago:3 – пошук історичних даних у заданому домені та протоколі;
category:datascan device.class:“vpn server” – пошук публічнодоступних VPN-серверів за останні 30 днів;
category:datascan app.http.title:confluence – пошук http-ресурсів за заголовком Title;
category:datascan app.http.component.productvendor:roundcube – пошук поштових клієнтів Roundcube;
category:datascan asn:AS15169 – пошук даних за вказаним номером провайдера;
category:datascan domain:google.com -exists:cve – пошук потенційних CVE-вразливостей;
category:vulnscan domain:google.com -exists:cve – пошук підтверджених CVE-вразливостей;
category:vulnscan cve:CVE-2018-9276 – пошук за вказаним номером CVE;
category:synscan asn:AS198820 os:Windows port:3389 – SYN-сканування за вказаними критеріями;
category:datascan productvendor:Cisco – пошук пристроїв за вказаним постачальником;
category:datascan app.ftp.anonymous:true – пошук вразливих FTP-серверів;
category:threatlist source:sniffer – пошук ботнетів;
category:threatlist source:alienvault – пошук кіберзагроз по базі AlienVault;
category:threatlist source:phishtank – пошук кіберзагроз по базі Phishtank;
category:threatlist source:openphish – пошук кіберзагроз по базі Openphish;
category:threatlist source:emergingthreats – пошук кіберзагроз по базі Spamhaus та інших;
category:threatlist source:binarydefense – пошук кіберзагроз по базі Binarydefense;
category:threatlist threatlist:"Urlhaus - malware URLs" – пошук шкідливих URL-адрес;
category:threatlist type:url – пошук шкідливих URL-адрес;
category:threatlist type:ip – пошук шкідливих IP-адрес.

Мінуси – відсутність можливості завантажити результати. Відсутній окремий пошук за країною.

Сервіс аналізує користувацькі запити, веде журнали доступу й зберігає їх 12 місяців. Як зазначається в Політиці конфіденційності: “Крім того, ми ретельно відстежуємо запити безкоштовних користувачів, щоб виявити будь-які спроби зловживань, і видаляємо облікові записи порушників без попереднього повідомлення. Ми створили пошукову систему Big Data for Cyber Defense, а не Cyber Offense”.

Висновок: Onyphe – потужна система, яка підійде для збору даних про цифрові активи, пошуку витоків і вразливостей, проведення розвідки з відкритих джерел (OSINT), дослідження поверхні атак і криміналістичного аналізу. Однак, більшість “плюшок” та функцій доступні лише в рамках комерційного користування.

IntelligenceX

Intelx.io — це унікальна інформаційно-пошукова платформа, заснована у 2018 році Пітером Клейсснером в Празі, Чехія. Краулер Intelx цілодобово сканує інтернет/даркнет на наявність витоків, парсить вміст публічнодоступних файлів/папок, формуючи величезний архів даних. Таким чином у його базі можна знайти різноманітні набори та масиви даних. Щоправда, більшість результатів доступні лише на комерційних тарифах.

Особливості платформи IntelligenceX:

Пошук по доменам, URL-адресам, IP-адресам (IPv4/IPv6, CIDR), MAC-адресам, хешам;
Пошук по email, кредитним карткам, номерам телефону, ідентифікаційним номерам і т.д.;
Пошук по Bitcoin і Ethereum гаманцям, адресам, IBAN (International Bank Account Number);
Пошук по відкритим базам даних банків, установ, компаній, організацій, мобільних операторів, онлайн-сервісів і т.д.;
Пошук по даркнету, TOR/I2P-мережі, інтернет-форумам, телеграм-каналам;
Парсинг структури веб-сайту (у вигляді дерева каталогів);
Парсинг WebArchive та WHOIS;
Пошук інформації про компанію/бізнес (електронні пошти, номери, файли, документи, імена, логіни і паролі співробітників і т.д.);
IntelligenceX зберігає архів історичних даних результатів, подібно до того, як Wayback Machine з archive.org зберігає історичні копії веб-сайтів;
Розділ Tools з додатковими OSINT-інструментами;
Дорки для швидкого пошуку витоків даних;
Інтеграції з іншими платформами;
Intelligence X Public SDK, який включає Python CLI і дозволяє працювати з API.

З готовими кейсами роботи Intelx.io можна ознайомитися тут.

Приклади команд для роботи з CLI:

intelx.py -search example.com -apikey xxxxx -limit 100
intelx.py -search example.com -buckets "pastes, darknet.tor"
intelx.py -search xxxx --view
intelx.py -search example.com --phonebook
intelx.py -search example.com --phonebook --emails
intelx.py -download xxxxx -name test.txt

Висновок: IntelligenceX в основному буде корисний для задач Open Source Intelligence (OSINT), наприклад пошук секретних матеріалів, витоків даних (Data Breaches/Leaks), футпринтів (footprints), точок входу і компрометації (Indicators of Compromise), конкурентна розвідка (Business Intelligence). Пентестер може використати ці дані для планування і моделювання атак.

PublicWWW

PublicWWW — це пошукова система на основі вихідного коду, яка дозволяє шукати електронні ресурси за будь-яким елементом у веб-коді (назвою, сніппетом, сигнатурою).

Особливості функціоналу:

Пошук сайтів, створених на однаковій CMS;
Пошук CMS різних версій;
Пошук сайтів на базі компонентів різних верчмій;
Пошук сайтів на базі скриптів, модулів, плагінів, віджетів;
Пошук ресурсів, які використовують однаковий код Google AdSense чи Google Analytics;
Пошук сайтів, створених на одному шаблоні (template);
Пошук ресурсів з однаковими HTTP-заголовками, cookie, токенами, формами та іншими веб-елементами;
Пошук ресурсыв за CSS/JS файлами;
Готові шаблони пошуку;
Підтримка CLI (додаток Python).

Приклади пошукових запитів:

“generator\” content=\”WordPress 4.6.1" — пошук сайтів на CMS WordPress вказаної версії;
“WordPress 4.7” site:com — ще один спосіб пошуку сайтів на WordPress конкретної версії по заданій країні;
site:com “/style.css?ver=4.7.23” — пошук сайтів на WordPress версії 4.7.23 у вказаній доменній зоні;
site:net “/themes/twentytwelve/” — пошук сайтів на WordPress з вказаною темою;
site:xyz “/wp-content/plugins” — пошук сайтів на WordPress з папкою плагіни;
“generator\” content=\”Joomla” — пошук сайтів створених на CMS Joomla;
“X-Content-Encoded-By: Joomla! 1.5” — пошук сайтів на CMS Joomla вказаної версії;
“/sites/all/themes/” — пошук сайтів на CMS Drupal;
“UA-19778070-” — пошук ресурсів по коду Google Analytics;
“et_divi_theme” “@divi-module” — пошук сайтів, створених з допомогою візуального конструктора Divi;
“Server: nginx/1.4.7” — пошук сайтів на серверах Nginx вказаної версії;
"Yoast SEO" site:ua — пошук сайтів в заданій доменній зоні, у коді яких зустрічається вказаний рядок, пошук WordPress-сайтів з плагіном Yoast.
"/wp-admin/setup-config.php" site:en — пошук вразливих сайтів до WPSetup Attack в заданій доменній зоні.

Більше прикладів як шукати на PublicWWW>>

Висновок: PublicWWW досить серйозна та корисна пошукова система. З її допомогою пентестер може знайти сайти, які використовують однакові компоненти: скрипти, плагіни, шаблони й проексплуатувати їх. Може також бути корисним для пошуку інфікованих сайтів за вказаним зразками шкідливого коду.

Grep.app

Grep.app — це пошукова система по репозиторіям GitHub. В базі понад півмільйона проіндексованих публічних GIT-сховищ. Можна шукати скрипти, файли, програми або просто текст на просторах GitHub.

Пошукова система підтримує регулярні вирази та чутлива до регістру. В системі діють фільтри:

Пошук за мовами програмування: Python, PHP, JSON, JavaScript, HTML, YAML.
Пошук за категоріями: published, src, tests, docs, exploits, languages, packages, spec.
Пошук за репозиторіями.

SearchCode

SearchCode — це унікальна пошукова система вихідного коду, яка була започаткована у 2010 році Беном Бойтером, одним з програмістів, які стояли біля витоків пошуковика DuckDuckGo. На сьогодні у базі SearchCode 20 мільярдів рядків проіндексованого коду та більше 100 мов програмування.

Пошук здійснюється по усім доступним базам репозиторіїв (Github, Bitbucket, Google Code, Codeplex, Sourceforge, Fedora Project та інші). Можна відфільтрувати результати з допомогою панелі фільтрів:

Сервіс також існує у вигляді автономного додатка, який має три версії: Starter (безкоштовна), Basic, Pro.

Grayhat Warfare

Grayhat Warfare — це пошукова OSINT-платформа для виявлення витоків даних, публічнодоступних хмарних сховищ, наприклад Amazon S3 buckets, Azure Blob Storage, Google Cloud Storage, а також шортлінків URL Shorteners Exposed. Сервіс сканує та індексує відкриті файли, дозволяє знайти ключі API, креденшали, токени, особисту інформацію тощо.

Приклади пошукових запитів:

config.json, config.yml, .env, database.yml – пошук файлів конфігурацій;
id_rsa, private_key.pem, *.ppk – пошук ключів доступу.
passwords.txt, passwords, credentials.csv, xlsx – пошук облікових даних.
aws_access_key, google_api_key, firebase_config.json, secrets.json – пошук API-токенів та конфігурацій AWS;
s3.amazonaws.com, aws-bucket-list.txt, s3_backup.zip – пошук специфічних файлів сервісів Amazon S3;
backup.zip, database.sql, dump.tar.gz, users.db, sql – пошук резервних копій, дампів, баз даних;
invoice.pdf, financial_report.xlsx, accounting.csv – пошук фінансових документів;
company_policy.pdf, internal_memo.docx, employees_list.xlsx – пошук корпоративних документів;
error.log, debug.log, acess.log, system_logs.txt – пошук логів, системних журналів.

Більше ключових запитів тут.