Интернет — крупнейшее хранилище данных в истории человечества! Это хранилище данных настолько огромно, что компании и учёные изо всех сил пытаются понять и контролировать его масштабы.
Мы можем извлекать эти данные, используя множество различных инструментов и источников. Объединяя эти данные с данными из разных источников, можно получить чёткий и ценный набор данных и аналитическую информацию. Эти данные могут оказаться очень полезными в криминалистическом расследовании или при разведке объекта.
Одним из источников огромного объёма данных является социальная сеть Twitter. Ежедневно миллионы людей отправляют твиты, включая политиков, бизнесменов, знаменитостей и президента США. Из этих твитов можно извлечь ценную информацию и выводы.
Недавно был разработан новый инструмент с открытым исходным кодом для сбора информации с этой платформы, анонимно названный twint . Он способен собирать данные из Twitter без использования API Twitter и даже без учётной записи в Twitter.
Давайте посмотрим, как работает этот инструмент.
Шаг №1 Загрузка и установка
Первый шаг — загрузить этот инструмент с github.com и его зависимости.
kali > git clone https://github.com/twintproject/twint.git
Получив код, нам нужно загрузить его требования.
kali > cd twint
kali > pip3 install -r requirements.txt
Теперь, когда мы установили twint в нашей системе, давайте рассмотрим его синтаксис.
Синтаксис Twint довольно прост.
twint -u <имя пользователя> <опции>
Возможны следующие варианты:
-следующий
–последователи
–избранное
-s < строка поиска>
–year < ограничить поиск определенным годом >
-o <выходной_файл> <файл.txt или файл.csv>
–database < имя базы данных SQLite >
Шаг №2 . Сбор информации о цели
Давайте попробуем использовать этот инструмент, чтобы собрать немного информации о льстивом конгрессмене второго срока от Флориды Мэтте Гетце. Гетц известен, помимо прочего, своей поддержкой отрицателей Холокоста, белым национализмом и подхалимством Трампа.
Если бы мы хотели собрать все аккаунты Twitter, на которые подписан Мэтт Гетц, и вывести их в файл с именем «gaetzfollowing» в формате CSV, мы могли бы ввести:
kali > twint -u mattgaetz –following -o gaetzfollowing –csv
Как вы видите, этот инструмент выводит все аккаунты, на которые подписан Мэтт Гетц, на экран и в CSV-файл gaetzfollowing.
Мы также могли бы собрать его последователей, войдя:
kali > twint -u mattgaetz –followers -o gaetzfollowers –csv
Если мы хотим узнать, встречалось ли слово «trump» в твитах Мэтта Гетца, мы можем использовать ключ -s со словом trump.
kali > twint -u mattgaetz -s trump
Теперь мы можем увидеть все твиты конгрессмена Гетца относительно Трампа, включая:
«Я люблю @realdonaltrump »
4 апреля 2019 года.
Теперь у нас есть все твиты г-на Гетца, где он упоминает «Трампа».
Если прокрутить немного вниз, то можно увидеть, что мистер Гетц не всегда любил Трампа. 17 апреля 2011 года он написал в Твиттере:
@realdonaldtrump баллотируется в президенты ??? Теперь я понимаю, что чувствуют #демократы каждый раз, когда баллотируется @alsharpton #этореально
Судя по всему, в 2011 году г-н Гетц сравнивал Дональда Трампа и преподобного Эла Шарптона. Не думаю, что это было лестное сравнение.
К тому времени, как вы это прочтете, мистер Гетц, скорее всего, уже удалит тот старый пост в Twitter, но мы сохраним его для потомков.
Шаг №3: Соберите данные из твитов и сохраните их в базе данных
Часто нам требуется собрать эти твиты, сохранить их и найти в базе данных. Поиск в базе данных может быть эффективнее, быстрее и включать ссылки на другие базы данных и таблицы для перекрестных ссылок.
Давайте соберем все твиты Мэтта Гетца и поместим их в базу данных под названием mattgaetzDB.
kali > twint -u mattgaetz –database mattgaetzDB
Как вы видите, twint теперь будет захватывать все твиты нашего друга Мэтта Гетца.
Теперь, когда у нас есть все твиты г-на Гетца, мы можем открыть их с помощью браузера баз данных SQLite, встроенного в Kali.
После открытия браузера SQLite просто перейдите в Файл–> Открыть и выберите файл mattgaetzDB .
Это должно выглядеть так.
Мы видим, что в нашей базе данных 8 таблиц.
Давайте сосредоточимся на его твитах, а не на другой информации. Развернув таблицу «твиты», мы увидим все её поля.
Теперь перейдем к вкладке справа (насколько это уместно в данном случае), которая называется «Выполнить SQL».
Здесь мы можем создать SQL-запросы для поиска по этим данным. Давайте найдём все твиты, в которых мистер Гетц упоминает своего друга «Трампа».
Чтобы построить этот запрос, мы можем ввести:
ВЫБЕРИТЕ твит
ИЗ твитов
ГДЕ твит ЛАЙК '%trump%
Если выполнить этот запрос, нажав синюю кнопку |> , то в нижнем окне мы увидим результаты.
Краткое содержание
Twitter в частности и разведка с открытыми источниками в целом могут стать отличным инструментом для сбора всех данных, доступных нам в интернете. Twint в сочетании с SQLite — отличный инструмент для сбора и анализа данных, доступных нам через Twitter, анонимно и без необходимости создания учётной записи.
Мы можем извлекать эти данные, используя множество различных инструментов и источников. Объединяя эти данные с данными из разных источников, можно получить чёткий и ценный набор данных и аналитическую информацию. Эти данные могут оказаться очень полезными в криминалистическом расследовании или при разведке объекта.
Одним из источников огромного объёма данных является социальная сеть Twitter. Ежедневно миллионы людей отправляют твиты, включая политиков, бизнесменов, знаменитостей и президента США. Из этих твитов можно извлечь ценную информацию и выводы.
Недавно был разработан новый инструмент с открытым исходным кодом для сбора информации с этой платформы, анонимно названный twint . Он способен собирать данные из Twitter без использования API Twitter и даже без учётной записи в Twitter.
Давайте посмотрим, как работает этот инструмент.
Шаг №1 Загрузка и установка
Первый шаг — загрузить этот инструмент с github.com и его зависимости.
kali > git clone https://github.com/twintproject/twint.git
Получив код, нам нужно загрузить его требования.
kali > cd twint
kali > pip3 install -r requirements.txt
Теперь, когда мы установили twint в нашей системе, давайте рассмотрим его синтаксис.
Синтаксис Twint довольно прост.
twint -u <имя пользователя> <опции>
Возможны следующие варианты:
-следующий
–последователи
–избранное
-s < строка поиска>
–year < ограничить поиск определенным годом >
-o <выходной_файл> <файл.txt или файл.csv>
–database < имя базы данных SQLite >
Шаг №2 . Сбор информации о цели
Давайте попробуем использовать этот инструмент, чтобы собрать немного информации о льстивом конгрессмене второго срока от Флориды Мэтте Гетце. Гетц известен, помимо прочего, своей поддержкой отрицателей Холокоста, белым национализмом и подхалимством Трампа.
Если бы мы хотели собрать все аккаунты Twitter, на которые подписан Мэтт Гетц, и вывести их в файл с именем «gaetzfollowing» в формате CSV, мы могли бы ввести:
kali > twint -u mattgaetz –following -o gaetzfollowing –csv
Как вы видите, этот инструмент выводит все аккаунты, на которые подписан Мэтт Гетц, на экран и в CSV-файл gaetzfollowing.
Мы также могли бы собрать его последователей, войдя:
kali > twint -u mattgaetz –followers -o gaetzfollowers –csv
Если мы хотим узнать, встречалось ли слово «trump» в твитах Мэтта Гетца, мы можем использовать ключ -s со словом trump.
kali > twint -u mattgaetz -s trump
Теперь мы можем увидеть все твиты конгрессмена Гетца относительно Трампа, включая:
«Я люблю @realdonaltrump »
4 апреля 2019 года.
Теперь у нас есть все твиты г-на Гетца, где он упоминает «Трампа».
Если прокрутить немного вниз, то можно увидеть, что мистер Гетц не всегда любил Трампа. 17 апреля 2011 года он написал в Твиттере:
@realdonaldtrump баллотируется в президенты ??? Теперь я понимаю, что чувствуют #демократы каждый раз, когда баллотируется @alsharpton #этореально
Судя по всему, в 2011 году г-н Гетц сравнивал Дональда Трампа и преподобного Эла Шарптона. Не думаю, что это было лестное сравнение.
К тому времени, как вы это прочтете, мистер Гетц, скорее всего, уже удалит тот старый пост в Twitter, но мы сохраним его для потомков.
Шаг №3: Соберите данные из твитов и сохраните их в базе данных
Часто нам требуется собрать эти твиты, сохранить их и найти в базе данных. Поиск в базе данных может быть эффективнее, быстрее и включать ссылки на другие базы данных и таблицы для перекрестных ссылок.
Давайте соберем все твиты Мэтта Гетца и поместим их в базу данных под названием mattgaetzDB.
kali > twint -u mattgaetz –database mattgaetzDB
Как вы видите, twint теперь будет захватывать все твиты нашего друга Мэтта Гетца.
Теперь, когда у нас есть все твиты г-на Гетца, мы можем открыть их с помощью браузера баз данных SQLite, встроенного в Kali.
После открытия браузера SQLite просто перейдите в Файл–> Открыть и выберите файл mattgaetzDB .
Это должно выглядеть так.
Мы видим, что в нашей базе данных 8 таблиц.
Давайте сосредоточимся на его твитах, а не на другой информации. Развернув таблицу «твиты», мы увидим все её поля.
Теперь перейдем к вкладке справа (насколько это уместно в данном случае), которая называется «Выполнить SQL».
Здесь мы можем создать SQL-запросы для поиска по этим данным. Давайте найдём все твиты, в которых мистер Гетц упоминает своего друга «Трампа».
Чтобы построить этот запрос, мы можем ввести:
ВЫБЕРИТЕ твит
ИЗ твитов
ГДЕ твит ЛАЙК '%trump%
Если выполнить этот запрос, нажав синюю кнопку |> , то в нижнем окне мы увидим результаты.
Краткое содержание
Twitter в частности и разведка с открытыми источниками в целом могут стать отличным инструментом для сбора всех данных, доступных нам в интернете. Twint в сочетании с SQLite — отличный инструмент для сбора и анализа данных, доступных нам через Twitter, анонимно и без необходимости создания учётной записи.
