딥러닝을 이용한 피해가 발생 중
며칠전, 걸그룹AOA 소속 설현씨의 나체사진이 온라인에 돌아다니는 바람에 팬들은 물론이고 소속 기획사도 발칵 뒤집혔습니다. 사진은 매우 정교하게 합성이 돼 있어서 잘 모르는 사람들은 그 사진이 정말 설현이 나체로 찍은 사진이라고 착각을 할 정도였습니다.
설현 뿐 아니라 다양한 여자 아이돌이 딥페이크의 피해를 입고 있습니다. 포르노 영상과 여자 아이돌의 얼굴을 딥러닝으로 학습해서 합성한 영상을 봤는데 퀄리티가 굉장히 높고 정교합니다. 저도 지인이 그 영상의 진위에 대해 말해주기 전까지는 그 영상이 합성된 영상인지 생각치도 못할 정도로 정교했습니다.
딥페이크의 작동원리는 머신러닝의 하위 개념인 딥러닝을 이용한 것으로, 특정 인물의 사진을 최대한 학습하여 이를 다른 동영상이나 사진과 합성하는 것 입니다. 처리할 수 있는 사진의 양이 많을수록 매우 정교하게 합성이 가능합니다. 연예인들의 경우에는 사진이나 영상이 워낙 많기 때문에 딥페이크의 공격에 더욱 취약할 수 밖에 없습니다.
비트에서 동영상으로
0과 1의 비트. 그리고 텍스트, 이후의 이미지 시대 그리고 지금의 동영상 시대. 컴퓨터로 처리할 수 있는 데이터의 형태는 용량이 적은 것에서 큰 것으로, 정적인 것에서 동적인 것으로 계속 발전을 거듭했습니다. 어쨌든 지금도 데이터의 가장 기본 단위는 비트이고 랜선으로는 패킷이 오가지만 기술에 관심없는 대부분의 대중들에게는 그냥 단순히 동영상과 인터넷의 시대입니다.
Flash가 등장해서 GIF를 대체한다며 난리치던 시절에 이제는 곧 동영상 시대가 오리라 생각하는 분들이 많았지만 UI가 동영상처럼 제공되는 시대를 생각했지 지금 유튜브나 넷플릭스처럼 컨텐츠 자체가 모두 영상으로 만들어져서 DB에 저장되고 이게 검색이 가능하고 네트워크 상을 둥둥 떠다니게 될 줄은 몰랐던 사람들이 더 많았습니다.
주지하였다시피 텍스트의 변조가 가장 쉽습니다. 그 다음은 이미지인데, 개인들도 낮은 비용으로 포토샵과 같은 도구를 사용할 수 있게 되면서 사진 변조를 쉽게 할 수 있는 시대가 되었습니다. 그러나 음성이나 영상으로 올라가면서 변조 난이도는 어렵게 되었는데, 최근에는 컴퓨팅 파워가 올라가고 개인들도 성능 좋은 하드웨어와 소프트웨어를 사용할 수 있게 되면서 동영상의 변조도 쉽게 이루어지고 있습니다.
한때, 로봇을 만들거나 텍스트를 만들어 내듯이 어떤 사람의 사진이나 영상도 '픽셀로 일일이 찍어서' 그려낼 수 없을까? 하는 생각을 해본적이 있습니다. 물론, 디즈니 같은 곳에서는 가능하겠지만 일반 개인이 그 정도 하는건 불가능 하리라 보았습니다. 그런데 그 일일이 픽셀로 찍는 방식이 아니라 딥러닝을 이용해서 개인들도 누구나 원하는 한 사람을 새롭게 만들 수 있게 되었다니 기술의 발전 방향과 속도에 늘 놀랍니다.
누구나 음성과 영상을 기막히게 위조할 수 있는 시대
국내 개인 개발자가 만든 멀티스피커 Tacotron은 손석희, 문재인, 박근혜의 목소리를 도용(?)하여 개발자가 원하는 문장을 마음대로 읽어주도록 학습되었습니다. 이미 보신 분들도 많으시겠지만 시간이 되신다면 한번 들어가보세요. 정말 기가막힙니다. 아직은 약간 어설픈 부분이 있기는 하지만 이게 더 정교화 되는 건 시간문제입니다. 이렇게 되면 누군가의 목소리를 임의로 만들어 내는 것도 식은죽 먹기인 시대가 됩니다.
멀티스피커가 만들어진 방법도 앞에서 소개한 딥페이크와 동일합니다. 박근혜, 손석희, 문재인의 연설 내용을 최대한 많이 학습한 기계가 이 학습 내용을 토대로 그 사람의 목소리로 문장을 읽어내려가는 것입니다.
악의적 명예훼손 공격의 대두, 사회 분란의 확대
최근까지의 명예훼손 양상은 거의 대부분이 언어(말이나 글, 텍스트)로 이루어졌습니다. 그런데, 앞으로는 직접적인 이미지나 동영상을 이용한 명예훼손이 급증할 수 있겠다는 생각도 듭니다.
예를들면 이렇습니다. 여기에 한 악덕 사장이 있습니다. 경쟁사의 사장을 사회에서 매장 시키기 위해서 여자와 모텔로 들어가는 영상을 제조하여 유포합니다.
어떤 청년이 있습니다. 이 청년이 죽도록 싫어하는 친구가 있습니다. 이 친구의 가정을 파괴하고 사회에서 매장 시키기 위해서 정교하게 조작된 포르노 영상을 제작해서 유포합니다.
누군가의 사이를 이간질 하기 위한 목소리 제조는 물론 영상의 제조까지 광범위하게 사람들간의 신뢰를 파괴할 수 있는 시대가 도래하였습니다.
법정에서의 증거물 무력화 가능성
CCTV나 블랙박스의 영상을 누구나 임의로 제작할 수 있는 시대가 되고, 친구의 목소리를 이용해서 친구가 하지 않은 말도 한 것처럼 증거를 아예 '제조'가 가능한 시대는 이미 직면해 있습니다.
증거물의 진위를 가리기 위해 국과수에 음성 녹음파일, 영상, 사진을 제출해도 진위 여부를 밝히기 힘들 정도의 퀄리티로 증거물의 조작 수준이 아니라 아예 '제조'가 된다면 그것만으로도 큰 사회적 혼란을 몰고 올 가능성이 있습니다. 죄인이 무죄를 받을수도, 아무 죄도 없는 사람이 죄인이 될수도 있는 세상이 될 수 있는 것이죠.
상대방의 동의 없이 녹음한 녹음 파일이나, 무결성 담보와 관련하여 증거능력 자체에 문제가 생기는지 여부는 또 다른 논쟁거리이지만 어쨌든 법정에서의 증거물 무력화 시도 내지 제조된 증거물의 이용이 판결에 미칠 영향이 상당할 것임도 부정할 수 없습니다.
블록체인의 활용 가능성
텍스트, 이미지, 영상의 변조나 제조를 누구나 높은 퀄리티로 할 수 있게 된다면 사람들간에 가치 교환에서의 문제, 법적 문제, 상호간 신뢰의 문제 등 많은 문제들이 파생됩니다. 이 부분을 블록체인으로 해결할 수 있는 방법이 있을 것 같다는 생각이 어렴풋이 듭니다.
세부적인 생각은 못해봤지만 이를테면 블랙박스를 예로 들어보겠습니다. 블랙박스의 영상조차도 조작이나 제조가 쉬워진다면 사고의 가해자와 피해자를 구분하는 일이 블랙박스로는 불가능해집니다. 그러므로 블랙박스는 촬영되는 즉시, 모두가 함께 사용하는 CDN으로 공유되고 이 정보를 블록체인에 기록해서 블랙박스의 내용이 위변조가 불가능하도록 사회구성원들이 합의를 하는 것 입니다. 이 블록체인의 노드를 운영하는 비용은 구성원들이 십시일반으로 부담하도록 해야하는 문제가 생기는데 그냥 러프하게는 이런식으로도 생각해볼 수 있다는 정도로만 이해해주시면 감사하겠습니다. 디테일은 시간이 가면서 똑똑한 분들께서 해결해 주리라고 생각합니다.
아이러니하게도 딥러닝의 이런 부작용 덕분에(?) 블록체인의 활용도가 한단계 더 높아질 가능성도 보입니다.
최근 딥페이크의 피해를 입은 AOA의 설현
(c) FNC엔터, 중앙일보
좋은 얘기 잘 봤습니다
진짜와 가짜의 구분이 힘들어질 거라는 말에 동감합니다. 이미 보고도 믿을 수 없는 단계까지 와버린 것들도 인터넷 상에 많아요
저도 눈으로 보고도 믿을 수 없을 정도의 것은 물론이고, 전통적인 유언비어까지... 인터넷으로는 어지간해선 곧바로 믿기가 힘든 시대가 도래하였다고 생각합니다. 감사합니다.
좋은 글 입니다. 저도 최근 빅데이터와 딥러닝에 관해서 공부중인데 우려했던 문제들이 하나씩 드러나고 있네요. 기술이 긍정적인 부분으로 발전해야 하는데....참 우려스럽습니다.
오~ 이미 공부중이시군요! 긍부정이 양면성을 가지고 경쟁적을 발전하지 않을까~~ 긍정적으로 생각해봅니다^^
인류를 위해 유익하게 사용하기 위해 개발된 첨단기술들을 악용하는 좋지 못한 사례네요.
그에 대응하는 기술도 함께 개발되어야 겠습니다.
네, 항상 그래왔듯이 그에 대응하는 기술들도 나오면서 선순환 구조로 성장을 해나가리라 믿습니다.
지금의 세상도 마법이지만 같은 마법이 세상을 방어해주고 있죠. 또는 마법으로 인한 사회혼란이 발생했다고 마법을 금지할수는 없죠. 좋은 인사이트 받아갑니다.
맞습니다. 자동차 사고율이 높다고 자동차를 안 탈 수 없는 것과 같은 이치입니다. 감사합니다.
와 정말 무서운 세상이 올 수도 있겠군요
가해자와 피해자가 뒤바뀌는 세상, 생각만 해도 끔찍합니다
좋은글 잘봤습니다 감사합니다
무섭죠.. ㅠㅠ 제가 그 상황에 처한다면 억울해서 눈도 못 감을 것 같습니다.
아주 유익한 글입니다. 잘 봤습니다.
저도 평소부터 좋은 글을 늘 잘 보고 있습니다. 감사합니다.
기술의 발전이 좋은데로만 쓰이기가 참 어렵네요.
아무래도 기술이 사회에 주는 이익의 반대급부에 그것을 악용하는 사람들도 늘 있어왔죠. 본문에 언급한 것들을 방어하는 회사를 만들어도 재미있을 것 같습니다.
좋은 글 잘 보고 갑니다.
좋은 기술은 왜 저렇게 쓰는지..참...ㅠ
기술의 발전도 중요하지만 악용 사례에 대해서는 강한 처벌도 필요한 듯 싶네요 ㅎ
법제도가 기술변화보다 느려서 한참뒤에 처벌 규정이 만들어지겠지만 일단은 기술로 기술을 막는 사례들도 추가적으로 나오리라 생각합니다.
친구나 가족 목소리를 카피한 피싱 등 피싱이 정교화될 것 같아서 조심해야겠다 생각했는데 법원에서 증거 무력화라니! 놀라운 가능성이네요
법원에서 증거가 무력화 된다면 정말 심각한 문제들이 파생될텐데 미리부터 걱정입니다. 그에 반하는 기술들이 나와서 방어를 잘 해주리라 믿고, 법제도도 잘 구비되길 바랍니다.
헉 그렇군요....
기술이 정교해 질수록
블록체인 기술이 앞으로 더더욱 종요해 지겠습니다.
믿음이 사라지는 시대에 상호간 믿음을 보증하는 장치로써 블록체인의 가치, 가치교환 수단으로써의 블록체인의 가치는 더 중요해지리라 생각합니다.
단순히 사건의 발생을 퍼다 나르는 네이버 기사 따위의 것이 아닌, 나름의 이해를 바탕으로 풀어 쓰신 글 잘 보았습니다. 보팅과 팔로우하고 종종 포스팅 찾아보도록 하겠습니다^^
저도 맞팔로우 하겠습니다. 고맙습니다~
이런사건이 있었군요. 디지털 데이터 진위여부와 이런 악의적 유포자의 추적 모두에도 블록체인이 이용가능할 것 같습니다. 결국 이모든건 블록체인이 실생활에 퍼질수 밖에 없다는 반증이군요.^^ 좋은글 감사합니다.
아. 그렇네요. 블록체인 자체에 악의적 데이터가 기록되면 정말 그 피해는 영원히 갈수도 없다는 생각이 드네요. 더 무섭네요.
발전하는 기술은 항상 양면성을 가지고 있습니다.
인터넷도 그러했고,
블록체인(비트코인)도 그러하고요.
딥러닝으로 영상 조작을 판단하는 기술도 나오고 있고,
그 말은 조작을 정교하게 하는 기술도 같이 나오고 있다는 것이겠죠.
악한것은 기술이 아니라 기술을 악용하는 사람이겠죠.
변화하는 흐름에 따라서 악용을 막는 방법과 처벌할 방법을 마련해야겠습니다.
참 쉽지 않네요.
저도 공감합니다.
사고율이 높다고 자동차의 이점을 포기할 수 없고,
한번 사고나면 모두가 죽는 비행기의 이점을 포기할 수 없고,
해킹 위험이 있다고 인터넷을 안 쓸 수 없듯이..
기술의 진보에 따른 문제는 인간에게서 발생하는 문제이지 기술자체 문제가 아니니까,
다양한 기술적, 제도적 방어 방법들이 나오면서 유기적으로 발전하리라 생각합니다.
좋은 말씀 주셔서 감사합니다.
진실은 오직 제 3자 증명을 통해서 이루어지는 시대가 올지도 모르겠네요.
블랙박스의 예시가 아주 좋았습니다.
네 다수의 3자 증명을 통해 진실을 밝히는 시대가 올거라고 봅니다. 한쪽 일방의 증언이나 증거가 효력이 약해지는.. 예시에 공감해 주셔서 감사합니다. 블록체인은 더 널리 더 많은 부분에 활용 가치가 있다고 생각합니다.
데이터 Immutability 가 중요해지면서 블록체인 필요성이 늘 가능성이 있군요.
글 잘 읽었습니다.
네, 가치교환의 도구로써도 유용하지만 말씀하신 도구로써도 굉장히 유용하게 쓰일 수 있겠다는 생각이 들었습니다.
저..저도 사진 봤는데.... 너무 리얼해서 깜짝 놀랐어요;;;;
사진 아래 아이돌페이크라고 아주 작게 써져있는걸 몰랐으면 진짜로 믿을뻔했다는....
근데 이게 딥러닝을 활용한거라니 무섭네요;;;;;;
특히 목소리 흉내내는건... 덜덜덜....
게다가 이런 기술들로 인해 증거를 무력화 시킬 수 있다니.....
정말 기술이 엄청난 속도로 발전하고 있군욥....ㅠㅠ
설현의 조작사진을 통해 이렇게 까지 깊이 알 수 있는 기회를 마련해주셔서 감사합니다!
그 사진 보셨군요.
사진 말고 아이돌 여자 그룹을 일본 포르노랑 합성한 동영상도 있던데 정말 너무 리얼해서 저도 지인이 말을 안 해줬으면 정말 그 아이돌 비디오인 줄 넘어갈 뻔 했습니다.
갈수록 이런 조작들이 정교해집니다.
정신 바짝 차리고 살아야겠습니다.
늘 고맙습니다.
@칭찬해
기술의 발전은 범죄의 발전으로도 가는 군요...
점점 블록체인은 필수가 되는 세상이 오는 것 같아요.
무엇이든지 양음이 있으니 좋은 일을 하려고 만든 것도 악용되는 걸 막을수는 없는 것 같습니다.
다이너마이트도 전쟁이 이용되듯이;;;
블록체인이 훌륭한 역할들을 해내길 바랍니다^^
딥페이크는 정말... 기술의 가장 악용 사례 같습니다 @홍보해
딥러닝 자체가 아직 초기 시장인데, 벌써 이런 정교한 악용사례들이 나오다니 한편으론 사람들 참 대단하단 생각도;;ㅎㅎ
후... 여기에 가짜미투들이 붙는다면? 끔-찍;
마투뿐 아니라 무엇이든 위조될 수 있죠 상상만해도 소름이네요. ㄷㄷㄷ
블록체인에 많은 량의 텍스트를 담기도 힘든데 동영상을 담는 것은 현재 기술적인 한계 때문에 힘들어보입니다. 해결책은 원본 동영상을 제작할 때 보이지 않는 워터마크 (Invisible Watermark)를 삽입하는 것입니다. 픽셀 값을 미세하게 바꾸기 때문에 육안으로는 워터마크가 있는지 없는지 모르는 것이지요. 딥러닝으로 fake 영상을 생성하는 과정에서는 당연히 이러한 워터마크가 뭉게지게 되며, 논란이 생길 경우 위변조 여부를 확인하면 됩니다. 다만 원본 동영상 제작자가 보이지 않는 워터마크를 삽입하지 않고 제작한 영상에 대해, 악의적인 의도를 가지고 딥페이크로 합성한다면 이 역시 위변조 여부를 확인할 수는 없겠지요..?
네, 그래서 본문에서 밝혔다시피 영상 자체는 cdn으로 보관하고 타임스탬프나 url 같은 유니크한 정보만 블록체인으로 관리하자는게 어떤가 했습니다. 이 역시 영상 보관서버가 뚫리면 무용지물이긴 하지만..^^;
언급하신 바와 같이 딥페이크 등 정교해지는 딥러닝으로 인해, 블록체인 활용이 더 주목받을 수 있다는 점에 끄덕이고 갑니다 :) 다만 개인사진, 영상, 음성기록 등은 함부로 블록체인에 공개 못할테니 차차 해결해 나가야겠네요..
네 여러가지 문제가 발생하는만큼 관련 해결책들도 하나씩 나올거라고 믿습니다. 다만 기술의 진보 수준이 너무 빨라서 따라가기가 벅차네요^^;
방금 막 기술의 진보와 윤리적 문제를 다룬 책을 보고 있었는데, @jongsiksong 님의 글을 이어서 보니 더와닿네요!
구글의 기업 가치가 생각납니다!
"악해지지 말자!
우연의 일치인가요 신기하네요~ 구글도 윤리, 세금 등의 문제가 없지는 않지만 그 정도 규모에 그 정도면 그래도 자신들 말대로 잘 하고 있다고 생각합니다. 감사합니다~
기술의 발전은 항상 양면성이 있다고 봅니다. 기술을 악용하여 이득을 취하려는 무리가 없어지지 않는 한 계속 피해자는 생기겠지요
창이 나오고 방패가 나오면 또 그걸 뚫는 창이 나오고 재미있습니다. 기술쪽은 그 싸이클이 짧고 천재들도 많아서 더 즐겁네요. 다만 말씀하신대로 그 과정에서 발생하는 피해와 피해자들이 안타깝습니다.
딥 페이크의 피해가 발생하면 이제 그를 판별할 기술도 나오겠죠...
또한 딥 페이크에 흔적을 남기도록 강제한 법이 있다면, 피해를 최소한으로 줄일 수 있진 않을까... 생각해봅니다.
네 여러가지 기술적, 법적, 제도적 해결책이 나올거라 생각합니다^^
좋은 내용 감사합니다. 딥러닝에 한때, 그리고 지금 까지도 강력한 알고리즘이 Generative Adversarial Model (GAN) 입니다. 이 알고리즘이 재밌는게, fake를 양산해 내는 모델과, fake의 진위를 판독하는 모델이 서로 수천만번 게임을 하며 학습이 되는 형태인데, 놀랍게도 그결과가 이제는 사람이 판단하기 어려운 상황까지 온것이지요. 기계가 사람을 완벽하게 모사할수 있는지 판단할 수 있는 튜링테스트는 이미 애저녁에 기계의 승리로 돌아갔다는 것을 여기저기서 관찰되고 있습니다.
이미 딥마인드가 보여줬듯이 알고리즘끼리 대결과 학습을 하면서 인간이 따라갈 수 없을 정도로 성장하고 있군요. 이제 조작된 영상의 판독 조차도 인간 능력의 한계를 넘어서서 기계에 의존해야 한다는 사실이 뭔가 서글프네요.
좋은 기술이 악용되기 시작하면 더 무섭군요.
설현, 내가 좋아하는데... ㅠ.ㅠ
설현씨가 상처를 많이 안 받았길 바랍니다. 개인들도 높은 수준의 기술을 손안에서 구현할 수 있는 시대여서 악용사례는 끝없이 나오리라 생각합니다.
충격적이네요.
딥러닝으로 픽셀을 제조해내는 기술은 GAN이라는 기술에 대한 강의를 잠깐 들을 때 본 적이 있었습니다. 사실 굉장히 긍정적인 도구였어요. 해상도가 낮은 사진을 픽셀을 유추하여 해상도 높게 복구하는 데 쓰이거나, 반 고흐의 그림을 모작하거나 하는 정도로 알고 있었습니다. 그런데 포르노나 악의적 명예훼손에 쓰일 수 있다는 생각은 못 했네요.
위변조를 불가능하게 하는 것을 블록체인으로 해결하려는 생각도 신선합니다.
저도 관련 성인 비디오를 입수하고 충격받았습니다.
너무 정교하게 합성이 돼서 누군가가 말을 안해주면 누구나 속을 수 밖에 없을 정도였습니다.
이렇게 악용되다니 놀랍기만 합니다.
결국 미래는 여전히 로봇에 의한 직접적인 공격보다는 로봇을 이용하는 사람을 걱정해야 하겠군요.
과학의 발전은 정말 대단하면서도 무섭습니다.
네, 언제나 그렇듯 기술이 문제가 아니라 사람이 문제겠지요~ 정말 무서운 시대가 다가오고 있네요^^
기술의 발전으로 인한 부작용의 사례
잘 보았습니다.
사진뿐만 아니라
동영상 심지어 목소리까지 이렇게 만들어지는 세상이라...
이야..
어마무시하네요;;;
그리고 그런 방법을 해결하기 위한
요소로 블록체인의 필요성을 연결하니
공감이 절로 갑니다.
잘 보고 가요
먼 훗날에는 로봇과 사람을 외형만으로는 구분하기 힘든 시대가 올수도 있겠습니다.
늘 고맙습니다.