Как извлекать данные из различных источников

Как извлекать данные из различных источников

Поиск с открытыми исходными кодами — это не только интересное мастерство само по себе, но и значительный навык, какой сможет понадобиться в настоящих расследованиях. эмпирические трекеры просто применяют специфические инструменты, В этой статье мы рассмотрм как извлекать данные из различных источников

SNOOP PROJECT

Project Snoop — перспективный инструмент, полезный в основном в странах СНГ. Он может осуществлять поиск по более чем 3000 веб-сайтам. Я не смог бы процитировать и десятой части этого, но он умеет извлечь из каждого из них хоть немного информации. Большим преимуществом является кроссплатформенность. Snoop можно легко использовать в Linux, Windows и даже Android (вам понадобится Termux).

Для установки перейдите на страницу выпусков инструментов, выберите самую последнюю версию и загрузите файл на нашу платформу.

mkdir Snoop
wget https://github.com/snooppr/snoop/releases/download/V1.3.8_7_July_2023/Snoop.for.GNU_Linux.rar
unrar e Snoop.for.GNU_Linux.rar Snoop

Меня немного удивило, что автор распространяет бинарник Linux в виде RAR-архива.

Скачивание Snoop. Как извлекать данные из различных источников

Скачивание Snoop

Вы должны запускать не скрипт, который можно открыть и проверить, а кота в мешке с непонятным содержимым. Это неправильно делать.

 

Но мы работаем в виртуальной среде, поэтому сам дьявол нам не брат. Предоставляем права на запуск и выполняем:

Результаты поиска. Как извлекать данные из различных источников

chmod +x snoop_cli
./snoop_cli -f username
 
Результаты поиска. Как извлекать данные из различных источников
 
 
Результаты поиска
Результаты поиска отображаются не только в терминале, но и в виде HTML-файла, где удобно сортировать результаты.
Как извлекать данные из различных источников
 
Результаты поиска
Инс­тру­мент очень кру­той, хоть и не без стран­ностей, и ему однознач­но есть мес­то при раз­нооб­разных рас­сле­дова­ниях.
 
 

OCTOSUITE

Project Snoopнужен для сбора информации о пользователях, репозиториях и организациях на GitHub. С помощью этого скрипта можно получить информацию о разработчиках, коммитах, задачах и так далее — все бесплатно, без регистрации и СМС. Полезно для тех, кто хочет встроить в свой конвейер анализа никнеймов как можно больше интересных инструментов, но не знает, как добраться до GitHub.

Ус­танов­ка пре­дель­но прос­тая через pip:

pip install octosuite

Справ­ка по коман­дам Octosuite дос­тупна по клю­чу -h.

Список доступных аргументов. Как извлекать данные из различных источников

Список доступных аргументов

Для демонс­тра­ции я забил в аргу­мен­ты свой ник и пос­мотрел, что оно выведет:

octosuite --method user_profile --username username

Как извлекать данные из различных источников

Конечно, в Octosuite доступны и другие функции, которые позволяют просматривать список пользовательских репозиториев, информацию о каждом конкретном репозитории, включая его форки, и многое другое.

NETSOC_OSINT

Этот скрипт написан на Bash и направлен на загрузку максимального количества информации о пользователе из отдельных социальных сетей. При этом авторизация в них не требуется. Выглядит это так: вы выбираете одну из доступных сетей и работаете исключительно в рамках того, что доступно конкретно для нее. Но делайте это максимально точно. Но лично для меня самым важным было то, что для работы скрипта даже не нужно доставать API токены левых аккаунтов и вписывать их в конфиги.

Под­держи­вают­ся сле­дующие сер­висы:

      • Instagram;
      • TikTok;
      • Twitter/X;
      • Twitch;
      • Telegram;
      • GitHub.

Для каж­дого дос­тупна работа не толь­ко с откры­тыми, но и с при­ват­ными учет­ными запися­ми.

Установка проста. Сценарий представляет собой всего лишь один файл без каких-либо зависимостей (если у вас нет Bash). Давайте загрузим репозиторий, предоставим разрешения на выполнение и начнем.

Вы можете установить язык и тогда мы перейдем в само меню инструментов. Здесь вам будет предложено выбрать интересующую вас социальную сеть.

Как извлекать данные из различных источников

Интерфейс инструмента

В качестве теста я покажу вам поиск в Instagram, Telegram и GitHub. Сначала выберите Instagram, введите никнейм человека, которого ищете, и посмотрите результаты.

Как извлекать данные из различных источников

Поиск по Instagram

Ре­зуль­таты для Telegram, увы, выг­лядят очень скуд­но: фак­тичес­ки все это мож­но пос­мотреть и самос­тоятель­но в любом кли­енте. Даже ID акка­унта не выводит­ся, что сов­сем уж ни в какие ворота не лезет. Зато есть воз­можность ска­чать ава­тар­ку, если она тебе по какой‑нибудь при­чине вдруг понадо­бит­ся.

Поиск по Telegram

Ин­форма­ции про GitHub уже куда боль­ше, и удоб­но, что ее мож­но получить целиком. Смысл от исполь­зования однознач­но есть.

Поиск по GitHub

В целом инструмент предоставляет достаточно полную информацию (в пределах того, что доступно через сам сервис), при этом не требуя никаких ключей для доступа к API.

ZEHEF

Программа Zehef написана на Python и предназначена для сбора информации об адресе электронной почты. Он проверяет репутацию адреса в различных источниках и разыскивает допустимо сопряженные аккаунты в социальных сетях. очень положительно проверить, имеется ли где-нибудь электронная почта, а при определенном успехе еще и заполучить логины от аккаунтов в социальных сетях и прочих сервисах.

Для уста­нов­ки Zehef прос­то кло­ниру­ем репози­торий и уста­нав­лива­ем зависи­мос­ти:

git clone https://github.com/N0rz3/Zehef.git
cd Zehef
pip install -r requirements.txt
 
 
 
Установка Zehef
 
 
За­пус­каем:
 
python3 zehef.py <email>
 
Вывод попытались красиво отформатировать, но он оказался не очень информативным. Вам придется просмотреть всю постановку, чтобы собрать все интересное, а интересного очень много.
 
 
Результаты поиска
 
Мы видим, что наш тестовый адрес имеет учетные записи, а также зарегистрирован в Twitter/X, GitHub и нескольких порносайтах.
 
 
Результаты поиска
 
Как и любая более или менее сложная программа, Zehef иногда выдает ошибки. Если вы получили ошибку, подобную той, что на скриншоте ниже, удалите код поиска TikTok и все заработает как надо.
 
 
Ошибка
 
Сте­реть нуж­но вот этот файл:
 
Zehef/modules/possible_accounts/social/tiktok.py
 
А так­же уда­ляй выделен­ные на скрин­шотах ниже час­ти кода в Zehef/output/main.py.
 
 
 
 
 
 
Аль­тер­натив­ный вари­ант — прос­то заком­менти­ровать глюч­ные участки
 

TOUTATIS

Toutatis знает, как получить от инстаграм-аккаунта даже больше, чем видно в клиенте. данный план даже выводит контактную информацию, подобную ​​как адрес электронной почты и заключительные две цифры номера телефона. Да, настоящее не так много, как хотелось бы, но полезно, если номер цели сейчас знаком и вам просто необходимо подтверждение, что это их аккаунт.

Все, что вам нужно установить, это pip. Я настоятельно рекомендую установить версию 1.3, поскольку другие оказались проблематичными.

Установка Toutatis

Тогда нам понадобится файл cookie сеанса Instagram для работы. Заходим в специально созданную учетную запись и копируем cookie sessionid любым удобным способом. Например, в браузере Chrome нажмите клавишу F12, и наш идентификатор сеанса появится на вкладке «Хранилище» в разделе «Файлы cookie».

Ко­пиру­ем его и встав­ляем в коман­ду для запус­ка (аргу­мент -s).

toutatis -u <username> -s <sessionid>

Вмес­то <username> встав­ляем юзер­нейм инте­ресу­ющей нас учет­ной записи.

Вывод информации об учетной записи

Toutatis работает отлично, жаль только то, что вам придется получать идентификатор сеанса вручную. Если бы он автоматически научился это делать, было бы еще лучше.

ВЫВОДЫ

Нынешние пять инструментов станут замечательным добавлением к вашему тревожному OSINT-чемодану, хотя и не смогут всецело сменить коммерческие решения для взрослых. Впрочем отдельные из них расширяют большие инструменты, которые не работают с некоторыми незначительными источниками. Это может являться полезным.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Click to rate this post!
[Total: 0 Average: 0]

Leave a reply:

Your email address will not be published.