Не Гуглом єдиним як кажуть. В інтернеті існують десятки різноманітних метапошукових систем, про які мало хто знає. Презентую добірку кращих маловідомих, орієнтованих на приватність, метапошукових систем і платформ, які можна використовувати для різноманітних задач з пошуку контенту та збору інформації, наприклад Big Data і OSINT.
SearXNG
SearXNG — це незалежна метапошукова система з відкритим вихідним кодом, пошуковий комбайн-агрегатор, орієнтований на приватність і максимальний пошук інформації. Проєкт безкоштовний і підтримується Open Source спільнотою. SearXNG можна розгорнути на власному сервері.
SearXNG підтримує стандарти OpenSearch, POST та GET запити, а також більше 200 сторонніх пошукових систем: Bing, Brave, DuckDuckGo, Qwant та інші. Усі вони розбиті на різні категорії й доступні в розділі Preferences -> Engines.
Пошук здійснюється за різними системами і типами контенту: Зображення, Відео, Музика, Новини, Карти, Репозиторії, Соцмережі і т.д.
Є можливість зберегти задані налаштування пошукової системи й повторно використовувати їх з допомогою спеціального URL-посилання в розділі Preferences -> Cookies.
Користувачі не відстежуються і не профілюються. Крім того, SearXNG можна використовувати через Tor для анонімності в Інтернеті.
З офіційною документацією можна ознайомитись тут.
YaCy
YaCy – автономний одноранговий (P2P) пошуковий сервер, який самотужки індексує мережу інтернет та створює приватний індекс. Дозволяє користувачам розробляти власні тематично-орієнтовані, корпоративні, приватні пошукові системи. Розроблений програмістом Майком Крістеном та розповсюджується безкоштовно.
YaCy можна знайти на GitHub і розгорнути в середовищі Linux на локальному комп’ютері або VPS:
sudo apt-get install openjdk-11-jdk-headless ant git clone --depth 1 https://github.com/yacy/yacy_search_server.git cd yacy_search_server ant clean all ./startYACY.sh
Керування сервером здійснюється через веб-інтерфейс: http://localhost:8090
Зупинка сервера: ./stopYACY.sh
Панель керування являє собою веб-портал, де можна керувати роботою пошуковою системи, задавати налаштування. YaCy може працювати у різних режимах, наприклад:
1) як частина децентралізованої мережі; 2) як ізольована система; 3) в межах корпоративної (публічної або приватної) мережі.
Адміністратор має змогу створювати додаткові облікові записи з різними правами доступу, запускати краулінг (сканування) тих чи інших доменів/ресурсів, формувати свою структуру інтернету:
Система дозволяє створювати інформаційно-пошукові колекції, індексувати різні електронні і мережеві джерела, що обов’язково знадобиться для OSINT. Присутня підтримка пошукових операторів.
Користувачі можуть обсудити питання щодо роботи системи у відкритій спільноті: https://community.searchlab.eu/
StartPage
StartPage – пошукова система, заснована в Нідерландах у 2006 році. Заявляє, що є найприватнішою пошуковою системою у світі: “Наша місія — підвищити обізнаність і, головне, захистити право людей у всьому світі на приватність. Ми допомагаємо людям, які піклуються про свою конфіденційність і відмовляються від того, аби ними маніпулювали алгоритми чи реклама. Тому що конфіденційність в Інтернеті — це не лише спокій, а й сила розуму”.
В якості основного движка застосовуються Google + Bing, позбавлені трекерів та фантомних результатів. Відсутнє профілювання і фільтрування пошукової видачі. Таким чином можна знайти чимало додаткових результатів, які відсутні в інших пошукових системах.
У налаштуваннях StartPage можна вказати геолокацію пошуку або визначити метод надсилання запитів, наприклад GET/POST. Там же можна згенерувати постійне посилання на пошук зі збереженими налаштуваннями.
Доступний спеціальний режим анонімного перегляду — Anonymous View, який дозволяє переглянути веб-сторінку через проксі-з’єднання StartPage не розкриваючи свій цифровий слід (fingerprint).
StartPage також присутній в TOR-мережі.
Swisscows
Swisscows – це проєкт з безпечного серфінгу в інтернеті, заснований швейцарською компанією Hulbee AG. Swisscows використовує власні дата-центри і відповідає основним принципам та стандартам приватності.
Подібно до StartPage, в Swisscows є вбудована функція анонімного перегляду веб-сторінок. У якості основного пошукового движка використовується Bing. Є можливість здійснювати пошук за різними геолокаціями.
З цікавих функцій можна виділити інструмент «Digest» — дозволяє швидко отримати короткий зміст документу та побудувати висновки. Корисно для контент-менеджерів, OSINT і Big Data фахівців:
Swisscows також пропонує корпоративний пошук HULBEE Enterprise Search, що включає функції моніторингу ЗМІ і факт-чекінгу.
Mullvad Leta
Mullvad Leta – це безкоштоана приватна метапошукова система на основі NodeJS від творців однойменного VPN-сервісу та браузера Mullvad. Проксує через API результати пошукової видачі Google та Brave. Назва сервісу походить від шведського слова “leta”, що означає – шукати, полювати, розвідувати.
Пошук позбавлений реклами і трекінгових посилань. Видача не розбавлена, відсутні тіньові алгоритми ранжування. Результати можна відсіяти за різними фільтрами: мова, країна, час та інше.
Як зазначають розробники, пошукові запити користувачів хешуються і кешуються на Redis-серверах до 30 днів. Жодні персональні дані не розголошуються.
Пошук Mullvad Leta можна вбудувати у будь-який браузер, достатньо вказати маску URL: https://leta.mullvad.net/search?q=%s.
Ecosia
Ecosia – це приватна концептуальна метапошукова система. Її було створено у 2009 році Крістіаном Кроллом – прибічником конфіденційності і тотального озеленення планети, переходу на альтернативні носії енергії, економне споживання ресурсів. “Ми некомерційна організація. Спрямовуємо 100% нашого прибутку на кліматичні заходи, майже 80% фінансуємо проекти з посадки дерев”, – зазначають в компанії Ecosia GmbH.
Пошукова видача Ecosia досить релевантна і нефільтрована, по деяким запитам точно відповідає інтенту користувача. Багато з того, що не знайшлося в інших пошукових системах, раптом “cпливло” в Ecosia у ТОП-10. Щоправда є і свої похибки.
В якості пошукових движків використовуються Bing, Yahoo, Google, Amazon, Youtube, Wikipedia. В результатах присутні блоки спеціальних матеріалів (OpenGraph) та схожі пошукові запити (Related Search Terms).
У налаштуваннях можна задати геолокацію пошуку (доступна Україна). Пошук здійснюється за різними категоріями веб-контенту: Images, News, Video, Maps. Присутній доволі розгорнутий пошук по зображеннях, а також модуль чату з AI (штучним інтелектом). Можна також здійснювати окремий пошук лише в межах Google або Bing.
В Ecosia зручно працювати з семантикою, система віддає великий список пошукових підказок. Також непогано справляється з OSINT запитами (пошук по прізвиськам, нікнеймам, номерам тощо).
Персоналізована видача по замовчуванню вимкнена, однак за бажанням її можна активувати. Якщо знайшли несанкціонований контент, можна відрапортувати про нього.
Охочі можуть зареєструватися на сайті, щоб зберегти свої налаштування.
Brave Search
Brave Search – це приватна пошукова система з розширеним функціоналом від розробників браузера Brave . Для індексації матеріалів використовується власний краулер. Компанія пропонує свій пошуковик як альтернативу Google.
Вrave Search не містить відстеження чи профілювання користувачів. Доступний пошук за різними системами (Bing, Google, Mojeek) і геолокаціями (можна обрати зі списку, або самостійно на мапі). Користувачі можуть позначити які домени хочуть бачити у ТОПІ, а які ні. Також, через спеціальний модуль Goggles, є можливість змінити алгоритм ранжування пошукової системи, фільтрувати видачу, вести іленаправлений, нішевий пошук.
Підтримуються пошукові оператори. Присутній ШІ-модуль. Веб-майстри можуть додавати свої сторінки на переіндексацію через спеціальну форму. Якщо ви виявили несанкціонований авторський контент, є можливість подати запит на вилучення.
Українська видача по деяким низькочастотним запитам дещо розмита. По частотним, популярним запитам — знаходить більше. Перевага віддається сайтам з високим рейтингом та брендам.
Webmii
Webmii – це метапошукова система для OSINT, заснована на базі програмованого пошуку Google CSE (Custom Search Engine). Створена для пошуку загальнодоступної інформації про людей.
Пошукова система збирає результати з різних джерел і видає загальний рейтинг “веб видимості” (Webmii score). Існує також у вигляді окремого додатку в Apple Store.
Million Short
Million Short – це експериментальна веб-пошукова система, яка дозволяє фільтрувати й уточнювати набір результатів пошуку. Ідея полягає в тому, що стандартний інтернет-пошук дає лише найпопулярніші сайти. А Million Short дозволяє легко знаходити сайти, які з будь-яких причин не потрапили в ТОП, що дозволяє знайти чимало рідкісних матеріалів.
Million Short доступний тільки після реєстраці їі надає можливість переглядати результати за межами: ТОП-10, 100, 1000, 10 000, 100 000, 1М. Присутні фільтри за геолокацією і часом. Можна створювати білі і чорні списки сайтів.
Власники електронних ресурсів за потреби можуть додати свій сайт у базу даних пошукової системи, заповнивши спеціальну форму.
BizNar
BizNar — це пошукова платформа, яка використовує технологію Deep Web (глибинного вебу) при пошуку інформації. З допомогою BizNar можна знайти приховані ресурси та документи в надрах інтернету.
Система підтримує федеративний пошук і може знаходити інформацію в різних базах даних, бібліотеках і колекціях одночасно (напр., IEEE, FDIC, OSTI та ін.). З допомогою дерева каталогів і численних фільтрів можна сортувати й категорізувати знайдені дані.
Користувачі також можуть зареєструватися й увімкнути email-сповіщення для автоматичної відправки нових результатів за заданим критерієм.
Варто зазначити, що у повному обсязі працює лише пошук з латинськими літерами.
Інші пошукові системи
- Internet Archive – пошук різноманітного контенту по гігантському інтернет-архіву.
- WayBack Machine Collections – пошук по веб-архівам популярних ресурсів, таких як Telegram, Badoo, Pastebin та інших колекціях.
- Annas Archive – пошук документів в онлайн-бібліотеці Annas Archive.
- Z-Library – пошук документів в онлайн-бібліотекці Z-Library.
- Scribd Search – пошук документів у базі даних онлайн-сервісу Scribd.
- Document Cloud – пошук документів у базі даних онлайн-сервісу Document Cloud.
- Napalm FTP Indexer – пошук файлів по відкритим FTP-серверам через систему Napalm.
- de digger – пошук публічнодоступних файлів в Google Disc.
- Youtube GeoFinder – пошук відео на платформі Youtube за вказаною геолокацією.
- Grayhat Warfare – пошук по shortURL і BitBucket репозиторіям.
- Fagan Finder – великий каталог інформаційно-пошукових систем;
- You – пошукова система на базі AI;
- Perplexity – пошук на базі AI;
- Presearch – ще одна система пошуку на базі AI;
- Andi AI Search – пошукова система на базі штучного інтелекту;
- TheOldNet – пошук по інтернет-архівам;
- Baidu – китайська пошукова система;
- Quick Cache and Archive Search – пошук по кешованим і архівованим версіям сторінок;
Автор: © Konrad Ravenstone, KR. Laboratories Research Labs
