Οι ερευνητές έχουν δείξει ότι είναι δυνατό να γίνει κατάχρηση του API φωνής σε πραγματικό χρόνο του OpenAI για το ChatGPT-4o, ένα προηγμένο chatbot LLM, για τη διεξαγωγή οικονομικών απατών με χαμηλά έως μέτρια ποσοστά επιτυχίας.
Το ChatGPT-4o είναι το πιο πρόσφατο μοντέλο τεχνητής νοημοσύνης του OpenAI που φέρνει νέες βελτιώσεις, όπως την ενσωμάτωση εισόδων και εξόδων κειμένου, φωνής και όρασης.
Λόγω αυτών των νέων χαρακτηριστικών, το OpenAI ενσωμάτωσε διάφορες διασφαλίσεις για τον εντοπισμό και τον αποκλεισμό επιβλαβούς περιεχομένου, όπως η αναπαραγωγή μη εξουσιοδοτημένων φωνών.
Οι απάτες που βασίζονται στη φωνή αποτελούν ήδη ένα πρόβλημα πολλών εκατομμυρίων δολαρίων και η εμφάνιση της τεχνολογίας deepfake και των εργαλείων μετατροπής κειμένου σε ομιλία με τεχνητή νοημοσύνη επιδεινώνουν την κατάσταση.
Όπως έδειξαν οι ερευνητές της UIUC Richard Fang, Dylan Bowman και Daniel Kang το χαρτί τουςτα νέα τεχνολογικά εργαλεία που είναι προς το παρόν διαθέσιμα χωρίς περιορισμούς δεν διαθέτουν επαρκείς διασφαλίσεις για την προστασία από πιθανή κατάχρηση από εγκληματίες στον κυβερνοχώρο και απατεώνες.
Αυτά τα εργαλεία μπορούν να χρησιμοποιηθούν για το σχεδιασμό και τη διεξαγωγή επιχειρήσεων απάτης μεγάλης κλίμακας χωρίς ανθρώπινη προσπάθεια, καλύπτοντας το κόστος των διακριτικών για συμβάντα δημιουργίας φωνής.
Ευρήματα μελέτης
Η εργασία του ερευνητή διερευνά διάφορες απάτες, όπως τραπεζικές μεταφορές, εκκένωση δωροκάρτας, μεταφορές κρυπτογράφησης και κλοπή διαπιστευτηρίων για λογαριασμούς μέσων κοινωνικής δικτύωσης ή Gmail.
Οι πράκτορες AI που εκτελούν τις απάτες χρησιμοποιούν με δυνατότητα φωνής Εργαλεία αυτοματισμού ChatGPT-4o για πλοήγηση σε σελίδες, εισαγωγή δεδομένων και διαχείριση κωδικών ελέγχου ταυτότητας δύο παραγόντων και ειδικών οδηγιών που σχετίζονται με απάτη.
Επειδή το GPT-4o μερικές φορές αρνείται να χειριστεί ευαίσθητα δεδομένα όπως διαπιστευτήρια, οι ερευνητές χρησιμοποίησαν απλές τεχνικές άμεσης jailbreaking για να παρακάμψουν αυτές τις προστασίες.
Αντί για πραγματικούς ανθρώπους, οι ερευνητές έδειξαν πώς αλληλεπιδρούσαν χειροκίνητα με τον πράκτορα AI, προσομοιώνοντας τον ρόλο ενός ευκολόπιστου θύματος, χρησιμοποιώντας πραγματικούς ιστότοπους όπως η Bank of America για να επιβεβαιώσουν επιτυχημένες συναλλαγές.
“Αναπτύξαμε τους πράκτορες μας σε ένα υποσύνολο κοινών απατών. Προσομοιώσαμε τις απάτες αλληλεπιδρώντας χειροκίνητα με τον φωνητικό πράκτορα, παίζοντας το ρόλο ενός εύπιστου θύματος”, εξήγησε ο Kang σε ένα ανάρτηση ιστολογίου σχετικά με την έρευνα.
“Για να προσδιορίσουμε την επιτυχία, επιβεβαιώσαμε με μη αυτόματο τρόπο εάν η τελική κατάσταση επιτεύχθηκε σε πραγματικές εφαρμογές/ιστοσελίδες. Για παράδειγμα, χρησιμοποιήσαμε την Bank of America για απάτες τραπεζικών μεταφορών και επιβεβαιώσαμε ότι πραγματικά μεταφέρθηκαν χρήματα. Ωστόσο, δεν μετρήσαμε την ικανότητα πειθούς αυτοί οι πράκτορες».
Συνολικά, τα ποσοστά επιτυχίας κυμαίνονταν από 20-60%, με κάθε προσπάθεια να απαιτεί έως και 26 ενέργειες προγράμματος περιήγησης και να διαρκεί έως και 3 λεπτά στα πιο περίπλοκα σενάρια.
Τραπεζικές μεταφορές και πλαστοπροσωπία αντιπροσώπων της IRS, με τις περισσότερες αποτυχίες να προκαλούνται από σφάλματα μεταγραφής ή σύνθετες απαιτήσεις πλοήγησης στον ιστότοπο. Ωστόσο, η κλοπή διαπιστευτηρίων από το Gmail πέτυχε το 60% των περιπτώσεων, ενώ οι μεταφορές κρυπτογράφησης και η κλοπή διαπιστευτηρίων από το Instagram λειτουργούσαν μόνο στο 40% των περιπτώσεων.
Όσον αφορά το κόστος, οι ερευνητές σημειώνουν ότι η εκτέλεση αυτών των απατών είναι σχετικά φθηνή, με κάθε επιτυχημένη υπόθεση να κοστίζει κατά μέσο όρο 0,75 $.
Η απάτη τραπεζικής μεταφοράς, η οποία είναι πιο περίπλοκη, κοστίζει 2,51 $. Αν και σημαντικά υψηλότερο, αυτό εξακολουθεί να είναι πολύ χαμηλό σε σύγκριση με το πιθανό κέρδος που μπορεί να αποκομιστεί από αυτό το είδος απάτης.
Πηγή: Arxiv.org
Η απάντηση του OpenAI
Το OpenAI είπε στο BleepingComputer ότι το τελευταίο του μοντέλο, o1 (προς το παρόν σε προεπισκόπηση), το οποίο υποστηρίζει “προηγμένο συλλογισμό”, κατασκευάστηκε με καλύτερες άμυνες έναντι αυτού του είδους κατάχρησης.
“Κάνουμε συνεχώς το ChatGPT καλύτερο στο να σταματήσουμε τις σκόπιμες προσπάθειες εξαπάτησής του, χωρίς να χάσουμε τη χρησιμότητά του ή τη δημιουργικότητά του.
Το πιο πρόσφατο μοντέλο συλλογισμού μας o1 είναι το πιο ικανό και ασφαλέστερο μέχρι τώρα, ξεπερνώντας σημαντικά τα προηγούμενα μοντέλα όσον αφορά την αντίσταση στις σκόπιμες προσπάθειες δημιουργίας μη ασφαλούς περιεχομένου.” – Εκπρόσωπος του OpenAI
Το OpenAI σημείωσε επίσης ότι έγγραφα όπως αυτό από το UIUC τους βοηθούν να κάνουν το ChatGPT καλύτερο στη διακοπή της κακόβουλης χρήσης και πάντα ερευνούν πώς μπορούν να αυξήσουν την ευρωστία του.
Ήδη, το GPT-4o ενσωματώνει μια σειρά μέτρων για την πρόληψη της κακής χρήσης, συμπεριλαμβανομένου του περιορισμού της παραγωγής φωνής σε ένα σύνολο προεγκεκριμένων φωνών για την αποφυγή πλαστοπροσωπίας.
Το o1-preview βαθμολογείται σημαντικά υψηλότερα σύμφωνα με την αξιολόγηση ασφάλειας jailbreak του OpenAI, η οποία μετρά πόσο καλά αντιστέκεται το μοντέλο στη δημιουργία μη ασφαλούς περιεχομένου σε απάντηση σε αντίθετες προτροπές, σημειώνοντας 84% έναντι 22% για το GPT-4o.
Όταν δοκιμάστηκαν χρησιμοποιώντας ένα σύνολο νέων, πιο απαιτητικών αξιολογήσεων ασφάλειας, οι βαθμολογίες της προεπισκόπησης o1 ήταν σημαντικά υψηλότερες, 93% έναντι 71% για το GPT-4o.
Προφανώς, καθώς διατίθενται πιο προηγμένα LLM με καλύτερη αντίσταση στην κατάχρηση, τα παλαιότερα θα καταργηθούν σταδιακά.
Ωστόσο, ο κίνδυνος των φορέων απειλής να χρησιμοποιούν άλλα chatbots με δυνατότητα φωνής με λιγότερους περιορισμούς εξακολουθεί να παραμένει και μελέτες όπως αυτή υπογραμμίζουν τις σημαντικές πιθανές ζημιές που έχουν αυτά τα νέα εργαλεία.
VIA: bleepingcomputer.com
