Добро пожаловать обратно, мои начинающие кибервоины!
Мы живем на пороге одной из самых захватывающих эпох в истории технологий!
Искусственный интеллект (ИИ) вот-вот изменит всё, что мы делаем, и сам мир. Это изменение, вероятно, будет более радикальным и значимым, чем изобретение печатного станка или развитие интернета. Поэтому вам необходимо попытаться понять, что и как происходит. Только так вы сможете опередить это цунами и оседлать эту волну, чтобы получить лучшую работу и более высокий доход. Те, кто проигнорирует эту волну, скорее всего, будут смыты на свалку истории.
Имея эту цель в виду, я начал серию статей о том, как большие языковые модели (LLM) работают в сфере искусственного интеллекта.
Под капотом
В основе каждой программы LLM лежит архитектура трансформера — нейронной сети, предназначенной для обработки последовательностей (например, предложений или кода). В отличие от старых моделей, которые обрабатывали слова по одному, трансформеры анализируют целые последовательности параллельно, используя внутреннее внимание . Этот механизм позволяет модели оценивать важность каждого слова в предложении относительно других. Например:
«Хакер взломал маршрутизатор»
Здесь слово «взломанный» тесно связано с «хакером» и «маршрутизатором», игнорируя нерелевантные слова. Именно это понимание контекста делает программы магистратуры по управлению правами (LLM) такими эффективными.
Для завершения фразы используется GPT-2. Вы можете заменить её gpt2на более крупные модели (например, gpt-j-6B) и получить сложные результаты.
Оставайтесь любопытными. Оставайтесь опасными.
Мы живем на пороге одной из самых захватывающих эпох в истории технологий!
Искусственный интеллект (ИИ) вот-вот изменит всё, что мы делаем, и сам мир. Это изменение, вероятно, будет более радикальным и значимым, чем изобретение печатного станка или развитие интернета. Поэтому вам необходимо попытаться понять, что и как происходит. Только так вы сможете опередить это цунами и оседлать эту волну, чтобы получить лучшую работу и более высокий доход. Те, кто проигнорирует эту волну, скорее всего, будут смыты на свалку истории.
Имея эту цель в виду, я начал серию статей о том, как большие языковые модели (LLM) работают в сфере искусственного интеллекта.
Под капотом
В основе каждой программы LLM лежит архитектура трансформера — нейронной сети, предназначенной для обработки последовательностей (например, предложений или кода). В отличие от старых моделей, которые обрабатывали слова по одному, трансформеры анализируют целые последовательности параллельно, используя внутреннее внимание . Этот механизм позволяет модели оценивать важность каждого слова в предложении относительно других. Например:
«Хакер взломал маршрутизатор»
Здесь слово «взломанный» тесно связано с «хакером» и «маршрутизатором», игнорируя нерелевантные слова. Именно это понимание контекста делает программы магистратуры по управлению правами (LLM) такими эффективными.
Обучение: насыщение данными
Магистратура LLM обучается на огромных текстовых корпусах — например, на Википедии, книгах, репозиториях кода и веб-страницах (GPT-3 поглотила 45 ТБ текста!). В ходе обучения:- Токенизация : текст разбивается на фрагменты (токены), которые могут быть словами, подсловами или символами.
- Встраивание : токены преобразуются в числовые векторы (например, «маршрутизатор» → [0.24, -1.7, ...]), фиксируя семантические связи. Похожие слова группируются в векторном пространстве.
- Предсказание следующего слова : модель обучается, угадывая следующий токен в последовательностях. Правильные догадки укрепляют связи; ошибки корректируют более 175 миллиардов параметров модели (веса/смещения).
Генерация текста: цикл вывода
Когда вы даете задание LLM, вот что происходит под капотом:- Токенизировать входные данные : Ваша подсказка («Объясните хакеру принципы VPN») разделяется на токены.
- Процесс через слои:
- Встраиваемый слой преобразует токены в векторы.
- Слои-трансформаторы используют внутреннее внимание и сети прямой связи для создания контекста.
- Выходной слой генерирует распределение вероятностей для следующего токена
- Выборка и повторение : модель выбирает следующий токен (например, «VPNs» → «создать»), добавляет его и повторяет процедуру до завершения.
- temperature(выше = креативнее)
- top-p(ограничивает выборку токенами с высокой вероятностью)
Почему хакерам стоит беспокоиться
LLM являются умножителями силы :- Социальная инженерия : создание убедительных фишинговых писем или поддельных персон.
- Автоматизация кода : написание скриптов для сканирования, эксплойтов или инструментов (например, «Написание сканера портов Python»).
- Recon : Составьте сводку утекших документов или технических руководств за считанные секунды.
- Обфускация : использование LLM для создания полиморфного вредоносного ПО или обхода обнаружения.
Создайте свою собственную степень магистра права: минималистичная демонстрация
Хотите обучить нано-LLM? Вот базовый шаблон на Python для начала.
Для завершения фразы используется GPT-2. Вы можете заменить её gpt2на более крупные модели (например, gpt-j-6B) и получить сложные результаты.
Будущее: степень магистра права в области наступательной безопасности
Представлять себе:- AI Red Teamers : LLM, которые автономно проверяют сети на наличие слабых мест.
- Адаптивное вредоносное ПО : код, который переписывает себя с использованием циклов обратной связи LLM.
- Противодействие LLM-войне : обнаружение дезинформации, генерируемой ИИ, в операциях.
Заключение
LLM — это нейронные сети на стероидах: обученные на данных интернет-масштаба, мастера контекста и бесценные для хакеров. Разберитесь в их архитектуре, используйте их генеративную мощь и будьте в курсе событий, ведь в гонке вооружений ИИ лучшие хакеры адаптируются быстрее всех.Оставайтесь любопытными. Оставайтесь опасными.
