Beberapa pengusaha Italia kaya menerima panggilan telepon yang mengejutkan awal tahun ini. Pembicara, yang terdengar seperti Menteri Pertahanan Guido Crosetto, memiliki permintaan khusus: silakan kirim uang untuk membantu kami gratis jurnalis Italia yang diculik di Timur Tengah.
Tapi itu bukan crosetto di ujung garis. Dia hanya belajar tentang panggilan ketika beberapa pengusaha yang ditargetkan menghubungi dia tentang mereka. Akhirnya terjadi bahwa penipu telah menggunakan kecerdasan buatan (AI) untuk memalsukan suara crosetto.
Cerita yang direkomendasikan
Daftar 4 itemakhir daftar
Kemajuan dalam teknologi AI berarti sekarang dimungkinkan untuk menghasilkan suara suara dan byte suara yang sangat realistis. Memang, penelitian baru telah menemukan bahwa suara yang dihasilkan AI sekarang tidak dapat dibedakan dari suara manusia yang nyata. Dalam penjelasan ini, kami membongkar apa implikasi dari ini.
Apa yang terjadi dalam kasus Crosetto?
Beberapa pengusaha dan pengusaha Italia menerima telepon pada awal Februari, satu bulan setelah Perdana Menteri Giorgia Meloni mengamankan rilis jurnalis Italia Cecilia Sala, yang telah dipenjara di Iran.
Dalam panggilan itu, suara “Deepfake” Crosetto meminta para pengusaha untuk memasang sekitar satu juta euro ($ 1,17 juta) ke rekening bank luar negeri, rinciannya disediakan selama panggilan atau dalam panggilan lain yang dimaksudkan dari anggota staf Crosetto.
Pada 6 Februari, Crosetto diposting di X, mengatakan dia telah menerima telepon pada 4 Februari dari “seorang teman, seorang pengusaha terkemuka”. Teman itu bertanya kepada Crosetto apakah kantornya menelepon untuk meminta nomor ponselnya. Crosetto mengatakan itu tidak. “Saya mengatakan kepadanya bahwa itu tidak masuk akal, karena saya sudah memilikinya, dan itu tidak mungkin,” tulisnya dalam posting X -nya.
Crosetto menambahkan bahwa ia kemudian dihubungi oleh pengusaha lain yang telah melakukan transfer bank besar setelah panggilan dari “umum” yang memberikan informasi rekening bank.
“Dia menelepon saya dan memberi tahu saya bahwa dia dihubungi oleh saya dan kemudian oleh seorang jenderal, dan bahwa dia telah melakukan transfer bank yang sangat besar ke rekening yang disediakan oleh 'Jenderal'. Saya mengatakan kepadanya bahwa itu adalah penipuan dan menginformasikan carabinieri [Italian police]yang pergi ke rumahnya dan menerima keluhannya. “
Panggilan serupa dari pejabat Kementerian Pertahanan palsu juga dilakukan kepada pengusaha lain, meminta informasi pribadi dan uang.
Sementara dia telah melaporkan semua ini ke polisi, Crosetto menambahkan: “Saya lebih suka mengumumkan fakta sehingga tidak ada yang berisiko jatuh ke dalam perangkap.”
Beberapa tokoh bisnis Italia yang paling menonjol, seperti perancang busana Giorgio Armani dan co-founder Patrizio Bertelli, menjadi sasaran penipuan. Tetapi, menurut pihak berwenang, hanya Massimo Moratti, mantan pemilik Inter Milan Football Club, yang benar -benar mengirim uang yang diminta. Polisi dapat melacak dan membekukan uang dari transfer kawat yang dibuatnya.
Sejak itu Moratti mengajukan pengaduan hukum ke kantor jaksa penuntut kota. Dia mengatakan kepada media Italia: “Saya mengajukan pengaduan, tentu saja, tetapi saya lebih suka tidak membicarakannya dan melihat bagaimana penyelidikan berjalan. Semuanya tampak nyata. Mereka bagus. Itu bisa terjadi pada siapa pun. “
Bagaimana cara kerja generasi suara AI?
Generator suara AI biasanya menggunakan algoritma “pembelajaran mendalam”, yang melaluinya program AI mempelajari set data besar suara manusia nyata dan pitch, pelajari “pitch, ucapan, intonasi, dan elemen suara lainnya.
Program AI dilatih menggunakan beberapa klip audio dari orang yang sama dan “diajarkan” untuk meniru suara, aksen, dan gaya berbicara orang tertentu. Suara atau audio yang dihasilkan juga disebut klon suara yang dihasilkan AI.
Menggunakan program pemrosesan bahasa alami (NLP), yang menginstruksikannya untuk memahami, menafsirkan, dan menghasilkan bahasa manusia, AI bahkan dapat belajar memahami fitur nada suara, seperti sarkasme atau rasa ingin tahu.
Program -program ini dapat mengubah teks menjadi komponen fonetik, dan kemudian menghasilkan klip suara sintetis yang terdengar seperti manusia sejati. Proses ini dikenal sebagai “Deepfake”, sebuah istilah yang diciptakan pada tahun 2014 oleh Ian Goodfellow, Direktur Pembelajaran Mesin di Apple Special Projects Group. Ini menggabungkan “pembelajaran mendalam” dan “palsu”, dan mengacu pada gambar, video atau audio AI yang sangat realistis, semuanya dihasilkan melalui pembelajaran yang mendalam.
Seberapa baik mereka menyamar sebagai seseorang?
Penelitian yang dilakukan oleh sebuah tim di Queen Mary University of London dan diterbitkan oleh Science Journal PLOS One pada 24 September menyimpulkan bahwa suara yang dihasilkan AI memang terdengar seperti suara manusia nyata bagi orang-orang yang mendengarkan mereka.
Untuk melakukan penelitian, tim menghasilkan 40 sampel suara AI – keduanya menggunakan suara orang nyata dan menciptakan suara yang sama sekali baru – menggunakan alat yang disebut ElevenLabs. Para peneliti juga mengumpulkan 40 sampel rekaman suara aktual orang. Semua 80 klip ini diedit dan dibersihkan untuk kualitas.
Tim peneliti menggunakan suara pria dan wanita dengan aksen Inggris, Amerika, Australia, dan India dalam sampel. Elevenlabs menawarkan aksen “Afrika” juga, tetapi para peneliti menemukan bahwa label aksen “terlalu umum untuk tujuan kami”.
Tim merekrut 50 peserta berusia 18-65 di Inggris untuk tes. Mereka diminta mendengarkan rekaman untuk mencoba membedakan antara suara AI dan suara manusia yang sebenarnya. Mereka juga ditanya suara mana yang terdengar lebih dapat dipercaya.
Studi ini menemukan bahwa sementara suara “baru” yang dihasilkan seluruhnya oleh AI kurang meyakinkan bagi para peserta, Deepfake atau klon suara dinilai sama realistisnya dengan suara -suara manusia yang sebenarnya.
Empat puluh satu persen dari suara yang dihasilkan AI dan 58 persen klon suara disalahartikan sebagai suara manusia nyata.
Selain itu, para peserta lebih cenderung menilai suara-suara beraksen Inggris sebagai nyata atau manusia dibandingkan dengan aksen Amerika, menunjukkan bahwa suara AI sangat canggih.
Lebih mengkhawatirkan, para peserta cenderung menilai suara yang dihasilkan AI lebih dapat dipercaya daripada suara manusia yang sebenarnya. Ini kontras dengan penelitian sebelumnya, yang biasanya menemukan suara AI kurang dapat dipercaya, menandakan, sekali lagi, bahwa AI telah menjadi sangat canggih dalam menghasilkan suara -suara palsu.
Haruskah kita semua sangat khawatir tentang ini?
Sementara audio yang dihasilkan AI yang terdengar sangat “manusia” dapat berguna untuk industri seperti iklan dan pengeditan film, itu dapat disalahgunakan dalam penipuan dan untuk menghasilkan berita palsu.
Penipuan yang mirip dengan yang menargetkan pengusaha Italia sudah meningkat. Di Amerika Serikat, ada laporan orang yang menerima panggilan yang menampilkan suara -suara Deepfake dari kerabat mereka mengatakan mereka dalam kesulitan dan meminta uang.
Antara Januari dan Juni tahun ini, orang-orang di seluruh dunia telah kehilangan lebih dari $ 547,2 juta karena penipuan Deepfake, menurut data oleh perusahaan AI yang bermarkas di California menyerupai AI. Menampilkan tren kenaikan, angka itu naik dari lebih dari $ 200 juta pada kuartal pertama menjadi $ 347 juta di yang kedua.
Bisakah video menjadi 'terpisah' juga?
Yang mengkhawatirkan, ya. Program AI dapat digunakan untuk menghasilkan video Deepfake dari orang -orang sungguhan. Ini, dikombinasikan dengan audio yang dihasilkan AI, berarti klip video yang dilakukan orang dan mengatakan hal-hal yang belum mereka lakukan dapat dipalsukan dengan sangat meyakinkan.
Selain itu, menjadi semakin sulit untuk membedakan video mana di internet yang nyata dan mana yang palsu.
Deepmedia, sebuah perusahaan yang bekerja pada alat untuk mendeteksi media sintetis, memperkirakan sekitar delapan juta Deepfake akan dibuat dan dibagikan secara online pada tahun 2025 pada akhir tahun ini.
Ini adalah peningkatan besar dari 500.000 yang dibagikan secara online pada tahun 2023.
Untuk apa lagi Deepfakes digunakan?
Selain penipuan panggilan telepon dan berita palsu, AI Deepfakes telah digunakan untuk membuat konten seksual tentang orang sungguhan. Yang paling mengkhawatirkan, menyerupai laporan AI, yang dirilis pada bulan Juli, menemukan bahwa kemajuan dalam AI telah menghasilkan produksi industri bahan pelecehan seksual anak yang dihasilkan AI, yang telah membebani penegakan hukum secara global.
Pada bulan Mei tahun ini, Presiden AS Donald Trump menandatangani RUU yang menjadikannya kejahatan federal untuk menerbitkan gambar intim seseorang tanpa persetujuan mereka. Ini termasuk Deepfake yang dihasilkan AI. Bulan lalu, pemerintah Australia juga mengumumkan bahwa mereka akan melarang aplikasi yang digunakan untuk membuat gambar telanjang Deepfake.
