Робота з інформаційними витоками та базами даних

Для будь-якого хакера, аналітика, осінтера важливо уміти швидко знаходити дані та орієнтуватися в потоках інформації, яка безкінечно циркулює по цифровим просторам. Робота з витоками і базами – не з найскладніших, але вона вимагає професійності, системності та уважності, адже саме від неї залежатиме швидкість роботи і ефективність пошуків. Рекомендуємо також попередньо ознайомитися зі статтями про альтернативні метапошукові та кіберпошукові системи, а також зворотний пошук зображень.

Розгортання робочої лабораторії. Інструментарій.

Для професійної роботи з великими об’ємами даних рекомендується розгорнути на локальному комп’ютері робочу лабораторію, яка складається з: софта, сервісів, інструментів, утиліт. Це звільнить вас від монотонної нудної роботи і автоматизує процеси. Замість того, щоб днями сидіти і перелопачувати вручну гори непотрібної інформації, ви зможете “одним кліком” знаходити потрібні дані та працювати з “вершками”.

Накопичувачі для локального зберігання даних

Для зберігання даних вам знадобляться дискові накопичувачі SSD або HDD об’єму до 4-6 Тб. Бази даних є досить великими, тому менше брати немає сенсу.

• SSD (Solid State Drive) – є більш дорожчими, заснованим на новій технології, гарантують цілісність та швидкість доступу/зберігання/передачі даних.
• HDD (Hard Disk Drive) – дешевші, твердотілі накопичувачі, але значно повільніші при роботі з великими обсягами інформації.

Обирайте накопичувачі виходячи зі своїх власних потреб та фінансових можливостей, притримуючись правила: “Чим більше – тим краще”.

За типом, рекомендується обирати зовнішні диски, так-звані “карманчики”, які не прив’язані до комп’ютера і їх можна легко під’єднати до будь-якого девайсу/платформу, використовувати в різних обставинах та умовах, наприклад сховати/транспортувати/зашифрувати.

USB-флешки для зберігання важливих даних використовувати не надійно і не ефективно.

Програмне забезпечення

Навігатори, файлові менеджери, аналізатори

Знадобляться для швидкого та ефективного пошуку/аналізу інформації по великих обсягах даних, збережених на локальних дисках.

• Filelocator Pro – пошук по файлам для Windows;
• Recoll – пошук по файлам для Linux.

Вієвери, переглядачі, редактори

• Emacs – безкоштовний текстовий редактор в Unix-подібних систем, який є частиною проєкту GNU;
• Vim – вбудований текстовий редактор терміналу Linux з широким функціоналом, але складним керуванням;
• SublimeText – швидкий, простий і популярний редактор коду з широким функціоналом, сумісний з різними операційними системами;
• Visual Studio Code – професійний IDE-комбайн для роботи з вихідним кодом;
• Notepad++ – редактор коду для Windows-систем. Підійде для швидкого редагування і перегляду;
• SciTE Editor – редактор для Windows/Linux систем для перегляду і редагування SQL-дампів баз даних;
• Dadroit JSON Viewer – знадобиться для перегляду JSON-файлів різного об’єму;
• DB Browser for SQLite – переглядач баз даних SQLite;
• UltraEdit – добротний платний редактор/вієвер з розширеними функціями, сумісний з різними ОС (у тому числі Linux) і форматами. Підійде для порівняння файлів, відкриття дампів, перегляду різного типу контенту, габаритних файлів. Має зручний та компактний інтерфейс, рекомендуємо;
• EmEditor – універсальний платний вієвер гігантських файлів (100 Гб +) найрізноманітнішого типу, кодування, формату. Автоматично впорядковує SQL-файли. Вважається одним з найшвидших. Але підтримує лише ОС Windows.

Робота з SQLite

• DB Browser for SQLite
• LiteCLI
• sudo apt-get install sqlite3
• pacman -S sqlite

Архіватори

• 7zip – один з кращих та найнадійніших архіваторів;
• WinRAR – класичний архіватор RAR, з його допомогою можна створювати також SFX-архіви.

Команди пошуку даних в ОС Linux

Ці команди можуть замінити чимало спеціальних, платних додатків й суттєво скоротити час у пошуку.

• split -b 1G -d <large_file_path> <file_name_for_parts> – розбиває великі файли на частини;
• grep -iR "password\|username\|key\|secret" . – рекурсивний пошук секретів в поточній папці і всіх підкаталогах;
• grep -iR "password\|secret\|key\|api" . – рекурсивний пошук api-токенів, ключів;
• grep -iR "admin_password\|site_password\|login" . – рекурсивний пошук логінів, паролів;
• find . -type f \( -name "*.bak" -o -name "*.old" -o -name "*.sql" \) – рекурсивний пошук файлів певних розширень;
• grep -iR "keyword" . – пошук за ключовим словом;
• grep -HEronasi '.{,16}password.{,64}' . – шукати слово password в поточній директорії і всіх піддериректоріях;
• grep -Ril "psac-post-image-bg" /home/example.com/public_html – шукає файли зі згадуваним рядком у всіх вкладених папках за вказаною директорією. Класна штука.
• grep -Ril "firwl-section-caption" /home/example.com/public_html/wp-content/themes/firwl – знайти всі файли у папці зі згадуваним словом;
• grep -rnw '/home/' -e 'query'  – показати згадки в файлах в заданій папці;
• grep -Ril "Penetration" /root/UA/  – знайти всі файли з зазначеним ключовим словом;
• grep -E -o -r "[A-Za-z0-9][A-Za-z0-9._%+-]+@[A-Za-z0-9][A-Za-z0-9.-]+\.[A-Za-z]{2,6}" /etc  – знайти і підсвітити email у всіх файлах в папці, на виході подається список;
• pdfgrep -ril "Гуляйполе" /disc1/BOOKS_LIBRARY – пошук PDF-файлів з зазначеним вмістом;
• find -type f -name 'zsh'  – знайти файл за вказаним ім’ям;
• find -type d -name 'zsh'  – знайти папку за вказаним ім’ям;
• find / -type f \( -name "*.ods" -o -name "*.xlsx" \) – пошук файлів із зазначеними розширеннями у вказаній директорії;
• ls | wc -l  – порахувати кількість файлів в папці;
• grep -rnoP "кіберм\w*" /home/dir/ – шукати рекурсивно файли у папці, які містять слово, що починається з “кіберм…”.
• Bash-скрипт для пошуку по документам.

Браузери, веб-переглядачі

Знадобляться для швидкого веб-серфінгу, пошуку і передачі інформації, вивантажування/завантажування даних.

Рекомендується використовувати тільки стабільні та стійкі браузери, які не містять телеметрії, витримують велику кількість вкладок, закладок, плагінів, підтримують сучасні формати файлів і технології.

Google Chrome / Chromium – годиться тільки для розважальної і домашньої роботи, а тому не рекомендуємо.

• Firefox Developer Edition – версія браузера Mozilla Firefox з додатковими інструментами та режимами роботи;
• Mullvad Browser – популярний форк TOR/Mozilla Firefox браузерів з відключеною телеметрією;
• TOR Browser – класичний браузер для веб-серфінгу в даркнеті;
• Librewolf – ще один форк браузера Mozilla Firefox з ухилом в сторону приватності.

Хмарні накопичувачі

• Mega – безкоштовний сервіс для зберігання великих файлів, баз даних, підтримує синхронізацію з різними ОС;
• Playbook – для медіа-даних, містить розумний пошук, надає до 4 Тб безкоштовного простору;
• Mediafire – безкоштовний сервіс для розміщення маленьких файлів, для тимчасового шарингу файлів за посиланням.

Шифрування даних

Ці програмні засоби допоможуть надійно зашифрувати файли:

• VeraCrypt
• TrueCrypt
• GPG

Де шукати витоки даних?

Інтернет-бази, онлайн-сервіси, платформи

• Intelligence X – одна з найпотужніших баз публічних витоків даних. Містить терабайти даних. Можна знайти практично будь-яку інформацію по будь-якому заданому критерію (phone, domain, email), однак доступ платний і не дешевий.
• Akula.st – база даних витоків.
• Have I Been Pwned – популярна онлайн-база витоків за електронною поштою, надає лише інформацію про назву витоку.
• Have I Been Zuckered – перевірка номерів телефону на наявність в глобальному витоку даних Facebook в Серпні 2019.
• Cybernews Leaked Passwords – онлайн-сервіс перевірки паролів на витік від творців порталу Cybernews.
• Cybernews Personal Data Leak Check – ще один чекер витоку персональних даних (phone/email) від творців порталу Cybernews.
• BreachDirectory – ще один аналог HaveIBeenPwned.
• Scattered Secrets – перевіряє паролі та інші дані на витоки.
• DEHASHED – база даних витоків паролів з платним доступом.
• SNUSBASE – база даних витоків.
• iHUNT INTEL FRAMEWOK – фреймворк для пошуку різних витоків даних та проведення OSINT-досліджень.
• LEAK CHECK – база даних витоків.
• Identity Leak Checker – база даних витоків по email.
• BUGMENOT – містить відкриті, скомпрометовані дані авторизації (логіни/паролі) до різних популярних сайтів, онлайн-сервісів.
• Leak-Lookup – база даних витоків.
• ProxyNova – база даних витоків.
• Library of Leaks – база даних витоків.
• Public Cloud Security Bereaches – довідкова інформація по інформаційним витокам у різних системах.
• vx-underground – різноманітні матеріали і масиви даних від спільноти хакерів vx-underground.
• Dark Web Informer – інформаційний портал, присвячений витокам даних. Сповіщає про нові “зливи”.
• DDoSecrets Public Dataserver – різні зливи і масиви інформації зібрані хакерами: файли, додатки, документи, торенти.
• InfoCon – база даних матеріалів з різних хакерських конференцій.
• B1nd.net – інформаційний портал про витоки даних.
• Leak.sx – база даних різних витоків різного контенту, облікових записів.
• RansomLook – інформаційна база витоків даних.
• Doxbin – текстова база компрометуючих даних на різних персон, віртуальних і реальних осіб, користувачів інтернету.
• InsecureWeb – платформа для онлайн-моніторингу витоків даних різного типу (email, domain, ip та ін.).
• WikiLeaks – всесвітньовідомий архів витоків, заснований Ассанжом.
• BF Database Search – пошук витоків в базі даних Breach Forums.

Telegram

Telegram як додаток є досить дієвим для пошуку різноманітної інформації – вона у ньому відкрита як на долоні. Достатньо встановити Desktop-клієнт, вступити у потрібні пабліки і далі просто моніторити їх, користуючись пошуком та сповіщеннями.

Читайте спецматеріал як використовувати Telegram.

Twitter

Дана платформа також може послужити цінним джерелом пошуку витоків. Ресурси, які стануть в пригоді:

• vx-underground
• Dark Web Informer
• Twitter Advanced Search
• Twitter List Search

GitHub-репозиторії

В плані пошуку витоків інформації Github може бути “золотою копалиною”, адже чимало розробників розміщують вихідний код з конфіденційними даними у публічних репозиторіях GitHub. І питання часу, поки вони будуть розкриті. Сучасні інструменти розвідки дозволяють швидко та ефективно виявляти витоки на Github. Окрім того, для фахівців з безпеки GitHub служить своєрідним майданчиком для публікації різноманітних даних, часто можна зустріти секретні посилання і підбірки витоків.

• DeepDarkCTI – великий Github-каталог електронних ресурсів, які можуть бути корисними у пошуку інформації;
• Gist Github Search – пошук витоків по відкритим репозиторіям GitHub;
• Github Code Search – пошук по вихідному коду розмішеному в користувацьких репозиторіях GitHub.
• datagrove2 files
• Email and password breach collection
• FreeDataBreaches
• KR. Labs Breach Compilation List

Хмарні сховища

• Public Buckets – пошук даних у публічних бакетах на платформі Grayhat Warfare.
• Google Drive Dedigger – пошук публічнодоступних документів Google Drive.
• Document Cloud – пошук різноманітних політичних, секретних документів з журналістських розслідувань, файли ЗМІ.

Пастебіни

Пастебіни – це онлайн-майданчики для публікації невеликих текстових даних: замітки, копіпасти, уривки або фрагменти тексту. Вони можуть бути тимчасовими або постійними, їх рідко хто банить, і вони можуть містити чимало цікавої, корисної, навіть конфіденційної інформації. Нижче список сервісів, які дозволяють юзерам публікувати пастебіни.

• Pastebin
• Pastesio
• Debian Pastes

Хакерські форуми

Хакерські інтернет-форуми також служать важливим джерелом інформації. На них часто публікується унікальні дані з безкоштовним, але обмеженим доступом.

Повний перелік хакерських форумів дивіться тут.

Торент-трекери

Аналогічно, є важдивим джерело інформації.

Повний перелік дивіться тут.

Google

Пошукова система Google відрізняється тим, що пролазить у всі “діри”, де доступ не заборонено, а тому часто у її пошуку з’являється чимало витоків конфіденційної, службової та іншої інформації.

Процес виявлення витоків можна розбити на пошук з допомогою операторів Google Dorks та програмованим пошуком на базі Google Cusom Search Engine (CSE).

Google Dorks:

• inurl:forums/leaks/
• inurl:forums/databases/
• inurl:/forums/Базы-данных
• intitle:"Database Leaks" inurl:forum
• inurl:forums/database-leaks
• inurl:forums/leaks
• inurl:forums/leaks/ OR inurl:forums/databases/ OR inurl:/forums/Базы-данных OR inurl:forum/leaks/ OR inurl:forum/databases/ OR inurl:/forums/Базы-данных OR inurl:forums/leak/ OR inurl:forum/database/
• inurl:forums/leaks/ OR inurl:forums/databases/ OR inurl:forum/leaks/ OR inurl:forum/databases/ OR inurl:forums/leak/ OR inurl:forum/database/
• site:* filetype:csv
• site:s3-eu-central-1.amazonaws.com fileptype:pdf

👉 Більше дорків Google >>

Google CSE:

• Databases CSE Search
• Dark Forums CSE Search
• Social CSE Search
• Files CSE Search
• Vortimo CSE Search
• WeVerify CSE Search
• Google CSE OSINT 1
• Google CSE OSINT 2
• Google CSE OSINT 3

👉 Більше пошукових систем на базі CSE >>

DarkWeb

Список пошукових систем ДаркВебу:

• IACA Dark Web Search – підбірка форм для одночасного запуску пошуку в різних пошуковиках TOR.
• ahmia.fi – один з кращих пошуковиків по мережі TOR з відкритим вихідним кодом.
• Torch
• TOR66
• OnionLand Search
• BobbySearch – пошукова система з підказами.
• GDark
• Danex.io

Інші джерела

• Shorteners Grayhat Warfare – пошук інформації по шортлінкам.
• Spadok.org.ua. Підбірка електронних бібліотек

Додаткові джерела та посилання

1. Linkedin. DFIR and Log Analysis with EmEditor
2. Mxrn Blog. Chinese Data Leak
3. KR. Labs Research. Альтернативні метапошукові системи для OSINT
4. dtSearch

Автор: © Konrad Ravenstone, KR. Laboratories Research