La double tranchante des grands modèles de langage : risques potentiels et stratégies d'atténuation

Le développement rapide des technologies d'intelligence artificielle transforme profondément notre mode de vie. Des séries GPT à Gemini, en passant par divers modèles open source, l'IA avancée redéfinit notre travail et notre vie. Cependant, les progrès technologiques s'accompagnent également de nouveaux défis, en particulier avec l'émergence de modèles de langage à grande échelle non réglementés ou malveillants.

Les LLM sans restrictions désignent ceux qui ont été intentionnellement conçus, modifiés ou "jailbreakés" pour contourner les mécanismes de sécurité intégrés et les restrictions éthiques des modèles mainstream. Les développeurs de LLM mainstream investissent généralement d'importantes ressources pour empêcher que leurs modèles soient utilisés pour générer des discours haineux, des informations fausses, des codes malveillants, ou pour fournir des instructions sur des activités illégales. Cependant, ces dernières années, certaines personnes ou organisations, à des fins illégales, ont commencé à rechercher ou à développer elles-mêmes des modèles sans restrictions.

Les menaces potentielles des LLM sans restrictions

L'émergence de ce type de modèle a considérablement abaissé le seuil d'entrée pour certaines activités illégales. Des tâches qui nécessitaient auparavant des compétences professionnelles, telles que la rédaction de code malveillant, la création de courriels de phishing ou l'organisation d'escroqueries, peuvent désormais être réalisées facilement par des personnes ordinaires sans expérience en programmation grâce aux LLM sans restriction. Les attaquants n'ont qu'à obtenir les poids et le code source du modèle open source, puis à utiliser un ensemble de données contenant du contenu malveillant, des discours biaisés ou des instructions illégales pour effectuer un ajustement fin, leur permettant ainsi de créer des outils d'attaque personnalisés.

Ce mode entraîne de multiples risques :

1. Les attaquants peuvent cibler des modèles "modifiés" spécifiques pour générer un contenu plus trompeur, contournant ainsi les vérifications de contenu et les restrictions de sécurité des LLM conventionnels.
2. Le modèle peut être utilisé pour générer rapidement des variantes de code de sites de phishing, ou pour personnaliser des textes d'escroquerie pour différentes plateformes sociales.
3. La disponibilité et la modifiabilité des modèles open source ont favorisé la formation et l'expansion de l'écosystème AI souterrain, créant un terreau fertile pour les transactions et le développement illégaux.

LLM typiques sans restriction et leurs menaces potentielles

version noire de GPT

C'est un LLM malveillant vendu publiquement sur un forum souterrain, dont les développeurs affirment clairement qu'il n'a aucune restriction éthique. Il est basé sur un modèle open source et a été entraîné sur une grande quantité de données liées aux logiciels malveillants. Les utilisateurs n'ont qu'à payer un minimum de 189 dollars pour obtenir un mois d'accès. Son utilisation la plus notoire est de générer des courriels d'attaque de phishing et des courriels d'intrusion commerciaux hautement réalistes et convaincants.

Dans le domaine des cryptomonnaies, il peut être utilisé pour :

• Générer des e-mails/messages de phishing, imitant les échanges ou les projets pour envoyer aux utilisateurs des demandes de "vérification de compte".
• Aider à rédiger du code malveillant pour voler des fichiers de portefeuille, surveiller le presse-papiers, enregistrer les frappes au clavier, etc.
• Automatisation des escroqueries, réponse automatique aux victimes potentielles, les incitant à participer à de fausses airdrops ou projets d'investissement.

Expert en contenu du dark web

C'est un modèle de langage développé par des chercheurs, spécifiquement pré-entraîné sur des données du dark web, visant à soutenir la recherche en cybersécurité et l'application de la loi. Cependant, si des acteurs malveillants parviennent à accéder à cette technologie ou à entraîner des modèles de grande taille sans restrictions, les conséquences pourraient être désastreuses.

Dans le domaine des cryptomonnaies, les abus potentiels incluent :

• Collecter des informations sur les utilisateurs et l'équipe du projet, utilisées pour la fraude par ingénierie sociale.
• Reproduire des stratégies matures de vol de crypto-monnaies et de blanchiment d'argent dans le dark web

Assistant de fraude en ligne

C'est un modèle avancé vendu sur le dark web et les forums de hackers, avec des frais mensuels variant de 200 à 1 700 dollars.

Dans le domaine des cryptomonnaies, cela pourrait être utilisé pour :

• Générer des livres blancs, des sites web, des feuilles de route et des contenus marketing trompeurs pour mettre en œuvre de fausses ICO/IDO.
• Créez rapidement des pages de connexion ou des interfaces de connexion de portefeuille imitant des plateformes d'échange renommées.
• Fabrication à grande échelle de faux commentaires et de publicités, favorisant des jetons frauduleux ou dénigrant des projets concurrents
• Imiter les conversations humaines, établir la confiance avec des utilisateurs non informés, les incitant à divulguer des informations sensibles ou à effectuer des opérations nuisibles.

Assistant IA sans restrictions morales

C'est un chatbot AI clairement défini comme n'ayant pas de limites morales.

Dans le domaine des cryptomonnaies, cela peut être utilisé pour :

• Générer des e-mails de phishing hautement réalistes, usurpant les échanges majeurs pour publier de fausses demandes de vérification KYC, etc.
• Générer rapidement des contrats intelligents contenant des portes dérobées ou des logiques frauduleuses, utilisés pour des escroqueries de type Rug Pull ou pour attaquer des protocoles DeFi.
• Générer des logiciels malveillants capables de se déformer en continu, utilisés pour voler des fichiers de portefeuille, des clés privées et des phrases de récupération.
• En combinant des scripts de dialogue générés par l'IA, déployez des robots sur les plateformes sociales pour inciter les utilisateurs à participer à des projets frauduleux.
• En collaboration avec d'autres outils d'IA, générer la voix de fondateurs de projets falsifiés ou de dirigeants d'échanges, pour réaliser des escroqueries téléphoniques.

plateforme d'accès sans censure

Ces plateformes offrent un accès à divers LLM, y compris certains modèles avec moins de censure ou des restrictions plus flexibles. Bien que l'objectif soit de fournir aux utilisateurs des opportunités d'exploration ouverte, cela peut également être exploité par des individus malveillants.

Les risques potentiels comprennent :

• Les attaquants peuvent utiliser des modèles moins restreints pour générer des modèles de phishing, de fausses publicités ou des idées d'attaque.
• Abaisser le seuil d'entrée des alertes, facilitant ainsi l'accès des attaquants aux sorties initialement restreintes.
• Accélérer l'itération des discours d'attaque, tester rapidement la réaction de différents modèles aux instructions malveillantes

Stratégies d'adaptation

L'émergence des LLM sans restrictions marque un nouveau paradigme d'attaques plus complexes, à plus grande échelle et avec des capacités d'automatisation auxquelles la cybersécurité est confrontée. Ces modèles non seulement abaissent le seuil d'entrée pour les attaques, mais introduisent également de nouvelles menaces plus insidieuses et plus trompeuses.

Pour faire face à ces défis, toutes les parties de l'écosystème de sécurité doivent travailler ensemble :

1. Accroître les investissements dans les technologies de détection, développer des outils capables d'identifier et d'intercepter le contenu de phishing généré par des LLM malveillants, l'exploitation des vulnérabilités des contrats intelligents et le code malveillant.

2. Promouvoir la construction de la capacité de prévention du jailbreak des modèles et explorer les mécanismes de watermarking et de traçabilité afin de suivre l'origine des contenus malveillants dans des scénarios clés tels que la finance et la génération de code.

3. Établir et améliorer des normes éthiques et des mécanismes de réglementation pour limiter à la source le développement et l'abus de modèles malveillants.

4. Renforcer l'éducation des utilisateurs pour améliorer la capacité du public à identifier les contenus générés par l'IA et la conscience de la sécurité.

5. Encourager la collaboration entre le monde académique et l'industrie, et poursuivre la recherche sur les technologies de sécurité de l'IA, telles que l'entraînement adversarial et le renforcement de la robustesse des modèles.

6. Promouvoir la coopération internationale, établir conjointement des normes de sécurité AI et des meilleures pratiques, coordonner l'application de la loi transfrontalière pour lutter contre la criminalité liée à l'IA.

C'est seulement par une coopération étroite entre toutes les parties que nous pourrons, tout en profitant des avantages de la technologie AI, gérer efficacement ses risques potentiels et construire un avenir numérique plus sûr et plus fiable.