Двосічний меч великих мовних моделей: потенційні ризики та стратегії реагування
Швидкий розвиток технологій штучного інтелекту глибоко змінює наш спосіб життя. Від серії GPT до Gemini, а також до різних відкритих моделей, передовий ШІ переформатовує нашу роботу та життя. Однак разом із технологічним прогресом виникають нові виклики, особливо поява необмежених або зловмисних великих мовних моделей.
Безмежні LLM - це ті, які були навмисно спроектовані, змінені або "випущені з в'язниці", щоб уникнути вбудованих механізмів безпеки та етичних обмежень основних моделей. Розробники основних LLM зазвичай вкладають великі ресурси, щоб запобігти використанню своїх моделей для генерації ненависті, дезінформації, шкідливого коду або надання інструкцій для незаконної діяльності. Але в останні роки деякі особи або організації, з метою вчинення злочинів, почали шукати або самостійно розробляти моделі без обмежень.
Потенційні загрози необмежених LLM
Поява таких моделей значно знизила поріг для деяких незаконних дій. Раніше завдання, які вимагали професійних навичок, такі як написання шкідливого коду, створення фішингових листів, організація шахрайства тощо, тепер завдяки необмеженим LLM навіть звичайні люди без досвіду програмування можуть легко впоратися. Зловмисникам потрібно лише отримати ваги та вихідний код відкритої моделі, а потім використати набір даних, що містить шкідливий контент, упереджені висловлювання або незаконні інструкції, для тонкої налаштування, щоб створити індивідуалізований інструмент атаки.
Цей режим призводить до множинних ризиків:
Зловмисники можуть націлитися на конкретну мету, "модифікувати" модель, генеруючи більш оманливий контент, що обходить звичайну перевірку змісту та безпекові обмеження LLM.
Модель може бути використана для швидкого створення варіантів коду фішингових сайтів або для налаштування шахрайських текстів для різних соціальних платформ.
Доступність та можливість модифікації відкритих моделей сприяли формуванню та поширенню підпільної екосистеми штучного інтелекту, створюючи сприятливе середовище для незаконної торгівлі та розробки.
Типові необмежені LLM та їх потенційні загрози
чорна версія GPT
Це шкідливий LLM, який відкрито продається на підземному форумі, розробник чітко заявляє, що він не має жодних моральних обмежень. Він базується на відкритій моделі та тренується на великій кількості даних, пов'язаних з шкідливим програмним забезпеченням. Користувачам потрібно сплатити лише 189 доларів, щоб отримати місячний доступ. Його найсумнозвісніше використання - це створення надзвичайно реалістичних і переконливих комерційних електронних листів для атак вторгнення і фішинг-лістів.
У сфері криптовалют це може використовуватися для:
Генерація фішингових електронних листів/повідомлень, що імітують запити "перевірки рахунку" від біржі або проекту, спрямовані на користувачів.
Допомога в написанні зловмисного коду, який викрадає файли гаманців, моніторить буфер обміну, записує клавіатуру тощо
Автоматизація шахрайства, автоматичні відповіді потенційним жертвам, направлення їх до участі у фальшивих аеродропах або інвестиційних проектах
експерт з вмісту темної мережі
Це мовна модель, розроблена дослідниками, яка спеціально підготовлена на даних з темної мережі, з метою підтримки досліджень у сфері кібербезпеки та правозастосування. Проте, якщо така технологія буде отримана або використана зловмисниками для навчання необмежених великих моделей, наслідки можуть бути жахливими.
У сфері криптовалют їх потенційне зловживання включає:
Збір інформації про користувачів та команду проекту для соціальної інженерії.
Відтворення зрілих стратегій крадіжки монет і відмивання грошей в темному інтернеті
Помічник з мережевих шахрайств
Це висококласна модель, що продається на темній мережі та хакерських форумах, щомісячна плата коливається від 200 до 1 700 доларів.
У сфері криптовалют це може використовуватися для:
Генерувати реалістичні білі книги, веб-сайти, дорожні карти та маркетингові тексти для реалізації фальшивих ICO/IDO
Швидке створення інтерфейсу входу або підключення гаманця, що імітує відомі біржі
Масове виготовлення фальшивих відгуків та реклами, що сприяє шахрайським токенам або чорному піару конкурентних проектів
Імітувати людську розмову, встановлюючи довіру з неосвіченими користувачами, спонукаючи їх розкривати чутливу інформацію або виконувати шкідливі дії
без моральних обмежень AI асистент
Це AI-чат-робот, який чітко націлений на відсутність моральних обмежень.
У сфері криптовалют це може бути використано для:
Генерація високоякісних фішинг-повідомлень, що маскуються під основні біржі, для розповсюдження фальшивих запитів на KYC верифікацію тощо.
Швидке створення смарт-контрактів, що містять приховані бекдори або шахрайську логіку, для схем Rug Pull або атак на DeFi-протоколи
Створення шкідливого програмного забезпечення з постійною здатністю до деформації для крадіжки файлів гаманця, приватних ключів та мнемонічних фраз.
Поєднуючи сценарії розмов, згенеровані за допомогою ШІ, розгорніть роботів на соціальних платформах, спонукаючи користувачів брати участь у фіктивних проектах
У поєднанні з іншими AI-інструментами, створення голосу підроблених засновників проєктів або керівників бірж для здійснення телефонних шахрайств
Платформа без цензури
Ці платформи забезпечують доступ до різних LLM, включаючи деякі моделі з меншим контролем або м'якшими обмеженнями. Хоча метою є надання користувачам можливості для відкритого дослідження, це також може бути використано злочинними особами.
Потенційні ризики включають:
Зловмисники можуть використовувати моделі з меншими обмеженнями для створення фішингових шаблонів, неправдивої реклами або атакуючих стратегій
Знижити поріг вхідних даних для зловмисників, щоб їм було легше отримати зазвичай обмежений вихід
Прискорення ітерації атакуючих сценаріїв, швидке тестування різних моделей на реакцію на шкідливі команди
Стратегії реагування
Поява безмежних LLM позначає нову парадигму атак, з якою стикається кібербезпека, що є більш складною, масштабною та автоматизованою. Ці моделі не лише знижують бар'єри для атак, але й приносять нові, більш приховані та оманливі загрози.
Для подолання цих викликів усі сторони безпекової екосистеми повинні працювати разом:
Збільшити інвестиції в технології виявлення, розробити рішення, які можуть ідентифікувати та перехоплювати фішинговий контент, створений зловмисними LLM, експлуатацію вразливостей смарт-контрактів та шкідливий код.
Сприяти розвитку здатності моделей до запобігання джейлбрейку та досліджувати механізми водяних знаків і відстеження, щоб у ключових сценаріях, таких як фінанси та генерація коду, відстежувати джерела шкідливого контенту.
Створення ефективних етичних норм і регуляторних механізмів для обмеження розробки та зловживання зловмисними моделями з кореня.
Посилити освіту користувачів, підвищити обізнаність громадськості про можливості розпізнавання та безпеки контенту, згенерованого ШІ.
Заохочення співпраці між академічною та промисловою сферами, безперервне дослідження технологій безпеки ШІ, таких як навчання з протистоянням, посилення стійкості моделей тощо.
Сприяння міжнародній співпраці, спільна розробка стандартів безпеки ШІ та найкращих практик, координація транснаціональних правоохоронних заходів для боротьби з кримінальною діяльністю в сфері ШІ.
Тільки спільна співпраця всіх сторін дозволить ефективно управляти потенційними ризиками, одночасно користуючись перевагами технологій ШІ, і побудувати більш безпечне та надійне цифрове майбутнє.
Переглянути оригінал
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
6 лайків
Нагородити
6
4
Поділіться
Прокоментувати
0/400
LiquidityHunter
· 22год тому
Знову хочуть регулювати, ті, хто розуміє, розуміють.
Переглянути оригіналвідповісти на0
MercilessHalal
· 22год тому
Технології розвиваються так швидко, що справді трохи лякає.
Переглянути оригіналвідповісти на0
LightningSentry
· 22год тому
Регулювання зроблено добре, не боїмося технологічного насильства
Переглянути оригіналвідповісти на0
AirdropHunterWang
· 22год тому
Регулювання хороше, щоденна торгівля криптовалютою приносить спокій.
Потенційні ризики безмежного використання великих мовних моделей та стратегії реагування
Двосічний меч великих мовних моделей: потенційні ризики та стратегії реагування
Швидкий розвиток технологій штучного інтелекту глибоко змінює наш спосіб життя. Від серії GPT до Gemini, а також до різних відкритих моделей, передовий ШІ переформатовує нашу роботу та життя. Однак разом із технологічним прогресом виникають нові виклики, особливо поява необмежених або зловмисних великих мовних моделей.
Безмежні LLM - це ті, які були навмисно спроектовані, змінені або "випущені з в'язниці", щоб уникнути вбудованих механізмів безпеки та етичних обмежень основних моделей. Розробники основних LLM зазвичай вкладають великі ресурси, щоб запобігти використанню своїх моделей для генерації ненависті, дезінформації, шкідливого коду або надання інструкцій для незаконної діяльності. Але в останні роки деякі особи або організації, з метою вчинення злочинів, почали шукати або самостійно розробляти моделі без обмежень.
Потенційні загрози необмежених LLM
Поява таких моделей значно знизила поріг для деяких незаконних дій. Раніше завдання, які вимагали професійних навичок, такі як написання шкідливого коду, створення фішингових листів, організація шахрайства тощо, тепер завдяки необмеженим LLM навіть звичайні люди без досвіду програмування можуть легко впоратися. Зловмисникам потрібно лише отримати ваги та вихідний код відкритої моделі, а потім використати набір даних, що містить шкідливий контент, упереджені висловлювання або незаконні інструкції, для тонкої налаштування, щоб створити індивідуалізований інструмент атаки.
Цей режим призводить до множинних ризиків:
Типові необмежені LLM та їх потенційні загрози
чорна версія GPT
Це шкідливий LLM, який відкрито продається на підземному форумі, розробник чітко заявляє, що він не має жодних моральних обмежень. Він базується на відкритій моделі та тренується на великій кількості даних, пов'язаних з шкідливим програмним забезпеченням. Користувачам потрібно сплатити лише 189 доларів, щоб отримати місячний доступ. Його найсумнозвісніше використання - це створення надзвичайно реалістичних і переконливих комерційних електронних листів для атак вторгнення і фішинг-лістів.
У сфері криптовалют це може використовуватися для:
експерт з вмісту темної мережі
Це мовна модель, розроблена дослідниками, яка спеціально підготовлена на даних з темної мережі, з метою підтримки досліджень у сфері кібербезпеки та правозастосування. Проте, якщо така технологія буде отримана або використана зловмисниками для навчання необмежених великих моделей, наслідки можуть бути жахливими.
У сфері криптовалют їх потенційне зловживання включає:
Помічник з мережевих шахрайств
Це висококласна модель, що продається на темній мережі та хакерських форумах, щомісячна плата коливається від 200 до 1 700 доларів.
У сфері криптовалют це може використовуватися для:
без моральних обмежень AI асистент
Це AI-чат-робот, який чітко націлений на відсутність моральних обмежень.
У сфері криптовалют це може бути використано для:
Платформа без цензури
Ці платформи забезпечують доступ до різних LLM, включаючи деякі моделі з меншим контролем або м'якшими обмеженнями. Хоча метою є надання користувачам можливості для відкритого дослідження, це також може бути використано злочинними особами.
Потенційні ризики включають:
Стратегії реагування
Поява безмежних LLM позначає нову парадигму атак, з якою стикається кібербезпека, що є більш складною, масштабною та автоматизованою. Ці моделі не лише знижують бар'єри для атак, але й приносять нові, більш приховані та оманливі загрози.
Для подолання цих викликів усі сторони безпекової екосистеми повинні працювати разом:
Збільшити інвестиції в технології виявлення, розробити рішення, які можуть ідентифікувати та перехоплювати фішинговий контент, створений зловмисними LLM, експлуатацію вразливостей смарт-контрактів та шкідливий код.
Сприяти розвитку здатності моделей до запобігання джейлбрейку та досліджувати механізми водяних знаків і відстеження, щоб у ключових сценаріях, таких як фінанси та генерація коду, відстежувати джерела шкідливого контенту.
Створення ефективних етичних норм і регуляторних механізмів для обмеження розробки та зловживання зловмисними моделями з кореня.
Посилити освіту користувачів, підвищити обізнаність громадськості про можливості розпізнавання та безпеки контенту, згенерованого ШІ.
Заохочення співпраці між академічною та промисловою сферами, безперервне дослідження технологій безпеки ШІ, таких як навчання з протистоянням, посилення стійкості моделей тощо.
Сприяння міжнародній співпраці, спільна розробка стандартів безпеки ШІ та найкращих практик, координація транснаціональних правоохоронних заходів для боротьби з кримінальною діяльністю в сфері ШІ.
Тільки спільна співпраця всіх сторін дозволить ефективно управляти потенційними ризиками, одночасно користуючись перевагами технологій ШІ, і побудувати більш безпечне та надійне цифрове майбутнє.