Робота з інформаційними витоками та базами даних

Для будь-якого хакера, аналітика, осінтера важливо уміти швидко знаходити дані та орієнтуватися в потоках інформації, яка безкінечно циркулює по цифровим просторам. Робота з витоками і базами – не з найскладніших, але вона вимагає професійності, системності та уважності, адже саме від неї залежатиме швидкість роботи і ефективність пошуків. Рекомендуємо також попередньо ознайомитися зі статтями про альтернативні метапошукові та кіберпошукові системи, а також зворотний пошук зображень.

ЗМІСТ

Розгортання робочої лабораторії. Інструментарій.
Накопичувачі для локального зберігання даних
Програмне забезпечення
Команди пошуку даних в ОС Linux
Браузери, веб-переглядачі
Хмарні накопичувачі
Шифрування даних
Де шукати витоки даних?
Інтернет-бази, онлайн-сервіси, платформи
Telegram
Twitter
GitHub-репозиторії
Хмарні сховища
Пастебіни
Хакерські форуми
Торент-трекери
Google
DarkWeb
Інші джерела
Додаткові посилання

Розгортання робочої лабораторії. Інструментарій.

Для професійної роботи з великими об’ємами даних рекомендується розгорнути на локальному комп’ютері робочу лабораторію, яка складається з: софта, сервісів, інструментів, утиліт. Це звільнить вас від монотонної нудної роботи і автоматизує процеси. Замість того, щоб днями сидіти і перелопачувати вручну гори непотрібної інформації, ви зможете “одним кліком” знаходити потрібні дані та працювати з “вершками”.

Накопичувачі для локального зберігання даних

Для зберігання даних вам знадобляться дискові накопичувачі SSD або HDD об’єму до 4-6 Тб. Бази даних є досить великими, тому менше брати немає сенсу.

SSD (Solid State Drive) – є більш дорожчими, заснованим на новій технології, гарантують цілісність та швидкість доступу/зберігання/передачі даних.
HDD (Hard Disk Drive) – дешевші, твердотілі накопичувачі, але значно повільніші при роботі з великими обсягами інформації.

Обирайте накопичувачі виходячи зі своїх власних потреб та фінансових можливостей, притримуючись правила: “Чим більше – тим краще”.

За типом, рекомендується обирати зовнішні диски, так-звані “карманчики”, які не прив’язані до комп’ютера і їх можна легко під’єднати до будь-якого девайсу/платформу, використовувати в різних обставинах та умовах, наприклад сховати/транспортувати/зашифрувати.

USB-флешки для зберігання важливих даних використовувати не надійно і не ефективно.

Програмне забезпечення

Навігатори, файлові менеджери, аналізатори

Знадобляться для швидкого та ефективного пошуку/аналізу інформації по великих обсягах даних, збережених на локальних дисках.

Filelocator Pro – пошук по файлам для Windows;
Recoll – пошук по файлам для Linux.

Вієвери, переглядачі, редактори

Emacs – безкоштовний текстовий редактор в Unix-подібних систем, який є частиною проєкту GNU;
Vim – вбудований текстовий редактор терміналу Linux з широким функціоналом, але складним керуванням;
SublimeText – швидкий, простий і популярний редактор коду з широким функціоналом, сумісний з різними операційними системами;
Visual Studio Code – професійний IDE-комбайн для роботи з вихідним кодом;
Notepad++ – редактор коду для Windows-систем. Підійде для швидкого редагування і перегляду;
SciTE Editor – редактор для Windows/Linux систем для перегляду і редагування SQL-дампів баз даних;
Dadroit JSON Viewer – знадобиться для перегляду JSON-файлів різного об’єму;
DB Browser for SQLite – переглядач баз даних SQLite;
UltraEdit – добротний платний редактор/вієвер з розширеними функціями, сумісний з різними ОС (у тому числі Linux) і форматами. Підійде для порівняння файлів, відкриття дампів, перегляду різного типу контенту, габаритних файлів. Має зручний та компактний інтерфейс, рекомендуємо;
EmEditor – універсальний платний вієвер гігантських файлів (100 Гб +) найрізноманітнішого типу, кодування, формату. Автоматично впорядковує SQL-файли. Вважається одним з найшвидших. Але підтримує лише ОС Windows.

ЧИТАЙТЕ ТАКОЖ: ТОП сервісів для експрес-аудиту безпеки веб-сайтів

Робота з SQLite

DB Browser for SQLite
LiteCLI
sudo apt-get install sqlite3
pacman -S sqlite

Архіватори

7zip – один з кращих та найнадійніших архіваторів;
WinRAR – класичний архіватор RAR, з його допомогою можна створювати також SFX-архіви.

Команди пошуку даних в ОС Linux

Ці команди можуть замінити чимало спеціальних, платних додатків й суттєво скоротити час у пошуку.

split -b 1G -d <large_file_path> <file_name_for_parts> – розбиває великі файли на частини;
grep -iR "password\|username\|key\|secret" . – рекурсивний пошук секретів в поточній папці і всіх підкаталогах;
grep -iR "password\|secret\|key\|api" . – рекурсивний пошук api-токенів, ключів;
grep -iR "admin_password\|site_password\|login" . – рекурсивний пошук логінів, паролів;
find . -type f \( -name "*.bak" -o -name "*.old" -o -name "*.sql" \) – рекурсивний пошук файлів певних розширень;
grep -iR "keyword" . – пошук за ключовим словом;
grep -HEronasi '.{,16}password.{,64}' . – шукати слово password в поточній директорії і всіх піддериректоріях;
grep -Ril "psac-post-image-bg" /home/example.com/public_html – шукає файли зі згадуваним рядком у всіх вкладених папках за вказаною директорією. Класна штука.
grep -Ril "firwl-section-caption" /home/example.com/public_html/wp-content/themes/firwl – знайти всі файли у папці зі згадуваним словом;
grep -rnw '/home/' -e 'query' – показати згадки в файлах в заданій папці;
grep -Ril "Penetration" /root/UA/ – знайти всі файли з зазначеним ключовим словом;
grep -E -o -r "[A-Za-z0-9][A-Za-z0-9._%+-]+@[A-Za-z0-9][A-Za-z0-9.-]+\.[A-Za-z]{2,6}" /etc – знайти і підсвітити email у всіх файлах в папці, на виході подається список;
pdfgrep -ril "Гуляйполе" /disc1/BOOKS_LIBRARY – пошук PDF-файлів з зазначеним вмістом;
find -type f -name 'zsh' – знайти файл за вказаним ім’ям;
find -type d -name 'zsh' – знайти папку за вказаним ім’ям;
find / -type f \( -name "*.ods" -o -name "*.xlsx" \) – пошук файлів із зазначеними розширеннями у вказаній директорії;
ls | wc -l – порахувати кількість файлів в папці;
grep -rnoP "кіберм\w*" /home/dir/ – шукати рекурсивно файли у папці, які містять слово, що починається з “кіберм…”.
Bash-скрипт для пошуку по документам.

Браузери, веб-переглядачі

Знадобляться для швидкого веб-серфінгу, пошуку і передачі інформації, вивантажування/завантажування даних.

Рекомендується використовувати тільки стабільні та стійкі браузери, які не містять телеметрії, витримують велику кількість вкладок, закладок, плагінів, підтримують сучасні формати файлів і технології.

Google Chrome / Chromium – годиться тільки для розважальної і домашньої роботи, а тому не рекомендуємо.

Firefox Developer Edition – версія браузера Mozilla Firefox з додатковими інструментами та режимами роботи;
Mullvad Browser – популярний форк TOR/Mozilla Firefox браузерів з відключеною телеметрією;
TOR Browser – класичний браузер для веб-серфінгу в даркнеті;
Librewolf – ще один форк браузера Mozilla Firefox з ухилом в сторону приватності.

Хмарні накопичувачі

Mega – безкоштовний сервіс для зберігання великих файлів, баз даних, підтримує синхронізацію з різними ОС;
Playbook – для медіа-даних, містить розумний пошук, надає до 4 Тб безкоштовного простору;
Mediafire – безкоштовний сервіс для розміщення маленьких файлів, для тимчасового шарингу файлів за посиланням.

ЧИТАЙТЕ ТАКОЖ: Техніки маскування файлів: File Extension Spoofing

Шифрування даних

Ці програмні засоби допоможуть надійно зашифрувати файли:

Де шукати витоки даних?

Інтернет-бази, онлайн-сервіси, платформи

Intelligence X – одна з найпотужніших баз публічних витоків даних. Містить терабайти даних. Можна знайти практично будь-яку інформацію по будь-якому заданому критерію (phone, domain, email), однак доступ платний і не дешевий.
Akula.st – база даних витоків.
Have I Been Pwned – популярна онлайн-база витоків за електронною поштою, надає лише інформацію про назву витоку.
Have I Been Zuckered – перевірка номерів телефону на наявність в глобальному витоку даних Facebook в Серпні 2019.
Cybernews Leaked Passwords – онлайн-сервіс перевірки паролів на витік від творців порталу Cybernews.
Cybernews Personal Data Leak Check – ще один чекер витоку персональних даних (phone/email) від творців порталу Cybernews.
BreachDirectory – ще один аналог HaveIBeenPwned.
Scattered Secrets – перевіряє паролі та інші дані на витоки.
DEHASHED – база даних витоків паролів з платним доступом.
SNUSBASE – база даних витоків.
iHUNT INTEL FRAMEWOK – фреймворк для пошуку різних витоків даних та проведення OSINT-досліджень.
LEAK CHECK – база даних витоків.
Identity Leak Checker – база даних витоків по email.
BUGMENOT – містить відкриті, скомпрометовані дані авторизації (логіни/паролі) до різних популярних сайтів, онлайн-сервісів.
Leak-Lookup – база даних витоків.
ProxyNova – база даних витоків.
Library of Leaks – база даних витоків.
Public Cloud Security Bereaches – довідкова інформація по інформаційним витокам у різних системах.
vx-underground – різноманітні матеріали і масиви даних від спільноти хакерів vx-underground.
Dark Web Informer – інформаційний портал, присвячений витокам даних. Сповіщає про нові “зливи”.
DDoSecrets Public Dataserver – різні зливи і масиви інформації зібрані хакерами: файли, додатки, документи, торенти.
InfoCon – база даних матеріалів з різних хакерських конференцій.
B1nd.net – інформаційний портал про витоки даних.
Leak.sx – база даних різних витоків різного контенту, облікових записів.
RansomLook – інформаційна база витоків даних.
Doxbin – текстова база компрометуючих даних на різних персон, віртуальних і реальних осіб, користувачів інтернету.
InsecureWeb – платформа для онлайн-моніторингу витоків даних різного типу (email, domain, ip та ін.).
WikiLeaks – всесвітньовідомий архів витоків, заснований Ассанжом.
BF Database Search – пошук витоків в базі даних Breach Forums.

Telegram як додаток є досить дієвим для пошуку різноманітної інформації – вона у ньому відкрита як на долоні. Достатньо встановити Desktop-клієнт, вступити у потрібні пабліки і далі просто моніторити їх, користуючись пошуком та сповіщеннями.

Читайте спецматеріал як використовувати Telegram.

Twitter

Дана платформа також може послужити цінним джерелом пошуку витоків. Ресурси, які стануть в пригоді:

GitHub-репозиторії

В плані пошуку витоків інформації Github може бути “золотою копалиною”, адже чимало розробників розміщують вихідний код з конфіденційними даними у публічних репозиторіях GitHub. І питання часу, поки вони будуть розкриті. Сучасні інструменти розвідки дозволяють швидко та ефективно виявляти витоки на Github. Окрім того, для фахівців з безпеки GitHub служить своєрідним майданчиком для публікації різноманітних даних, часто можна зустріти секретні посилання і підбірки витоків.

DeepDarkCTI – великий Github-каталог електронних ресурсів, які можуть бути корисними у пошуку інформації;
Gist Github Search – пошук витоків по відкритим репозиторіям GitHub;
Github Code Search – пошук по вихідному коду розмішеному в користувацьких репозиторіях GitHub.
datagrove2 files
Email and password breach collection
FreeDataBreaches
KR. Labs Breach Compilation List

ЧИТАЙТЕ ТАКОЖ: Malware Development: Створення, шифрування і розгортання троянських додатків в Windows

Хмарні сховища

Public Buckets – пошук даних у публічних бакетах на платформі Grayhat Warfare.
Google Drive Dedigger – пошук публічнодоступних документів Google Drive.
Document Cloud – пошук різноманітних політичних, секретних документів з журналістських розслідувань, файли ЗМІ.

Пастебіни

Пастебіни – це онлайн-майданчики для публікації невеликих текстових даних: замітки, копіпасти, уривки або фрагменти тексту. Вони можуть бути тимчасовими або постійними, їх рідко хто банить, і вони можуть містити чимало цікавої, корисної, навіть конфіденційної інформації. Нижче список сервісів, які дозволяють юзерам публікувати пастебіни.

Хакерські форуми

Хакерські інтернет-форуми також служать важливим джерелом інформації. На них часто публікується унікальні дані з безкоштовним, але обмеженим доступом.

Повний перелік хакерських форумів дивіться тут.

Торент-трекери

Аналогічно, є важдивим джерело інформації.

Повний перелік дивіться тут.

Google

Пошукова система Google відрізняється тим, що пролазить у всі “діри”, де доступ не заборонено, а тому часто у її пошуку з’являється чимало витоків конфіденційної, службової та іншої інформації.

Процес виявлення витоків можна розбити на пошук з допомогою операторів Google Dorks та програмованим пошуком на базі Google Cusom Search Engine (CSE).

Google Dorks:

inurl:forums/leaks/
inurl:forums/databases/
inurl:/forums/Базы-данных
intitle:"Database Leaks" inurl:forum
inurl:forums/database-leaks
inurl:forums/leaks
inurl:forums/leaks/ OR inurl:forums/databases/ OR inurl:/forums/Базы-данных OR inurl:forum/leaks/ OR inurl:forum/databases/ OR inurl:/forums/Базы-данных OR inurl:forums/leak/ OR inurl:forum/database/
inurl:forums/leaks/ OR inurl:forums/databases/ OR inurl:forum/leaks/ OR inurl:forum/databases/ OR inurl:forums/leak/ OR inurl:forum/database/
site:* filetype:csv
site:s3-eu-central-1.amazonaws.com fileptype:pdf

👉 Більше дорків Google >>

Google CSE:

👉 Більше пошукових систем на базі CSE >>

DarkWeb

Список пошукових систем ДаркВебу:

IACA Dark Web Search – підбірка форм для одночасного запуску пошуку в різних пошуковиках TOR.
ahmia.fi – один з кращих пошуковиків по мережі TOR з відкритим вихідним кодом.
Torch
TOR66
OnionLand Search
BobbySearch – пошукова система з підказами.
GDark
Danex.io

Інші джерела

Shorteners Grayhat Warfare – пошук інформації по шортлінкам.
Spadok.org.ua. Підбірка електронних бібліотек