Popular no país desde 2014, aplicativo usava inteligência artificial que chegou a falar de sequestro e assassinato com quem interagia com a plataforma
App SimSimi, criado por uma empresa coreana, foi alvo de muitas
denúncias no Brasil: palavrões, termos preconceituosos e incitações a
crimes - Reprodução
A empresa coreana dona do aplicativo SimSimi — que permite conversas
de usuários com um algoritmo de inteligência artificial — anunciou a
retirada do app do Brasil, suspendendo os downloads para brasileiros na
Apple Store e no Google Play. A decisão vem após acusações de que o
algoritmo usado no aplicativo seria perigoso para os usuários, ao trazer
para as conversas situações de crimes e conteúdos inadequados.
A própria nota da empresa, publicada na sexta-feira, dia 20, em seu site,
afirma que foram constatados episódios em que "alguns usuários
brasileiros têm ensinado respostas maliciosas ao SimSimi. A principal
classe dessas respostas é a ameaça de crime, como assassinato e
sequestro, de crianças e suas famílias".
O funcionamento do app é baseado em Inteligência Artificial (IA), e as respostas são geradas automaticamente por um algoritmo que “aprende” com base nas interações com usuários em cada país e em cada idioma. O SimSimi foi criado em 2002 pela empresa coreana ISMaker e começou a se popularizar no Brasil em 2014. Desde então, várias denúncias sobre o app foram recebidas pela SaferNet Brasil, instituição voltada ao combate a crimes contra os direitos humanos na internet. A própria SaferNet testou a versão em português do aplicativo, destinada ao público brasileiro, e constatou falhas graves.
Em menos de cinco minutos de interação com a equipe da SaferNet, o
algoritmo de inteligência artificial do SimSimi espontaneamente veiculou
mensagens com incentivo ao abuso sexual de crianças. Isso aconteceu
apesar de as próprias políticas descritas do aplicativo impedirem que
usuários "ensinem" ao app "bad words" (palavrões) e conteúdos impróprios
para menores de idade.
"Esses resultados evidenciam que os desenvolvedores do app perderam o controle sobre o comportamento do algoritmo de Inteligência Artificial, que tem funcionado a partir de parâmetros contraditórios às políticas e termos de uso do app, tornando-se nocivo sobretudo para usuários vulneráveis e em situações de sofrimento psicológico", destacou a SaferNet Brasil.
A empresa coreana reconhece publicamente que o app tem causado "um impacto social negativo significativo no Brasil" e diz que ainda não sabe como resolver as falhas encontradas no algoritmo. Por isso, decidiu suspender, ao menos temporariamente, o funcionamento do app no Brasil.
O funcionamento do app é baseado em Inteligência Artificial (IA), e as respostas são geradas automaticamente por um algoritmo que “aprende” com base nas interações com usuários em cada país e em cada idioma. O SimSimi foi criado em 2002 pela empresa coreana ISMaker e começou a se popularizar no Brasil em 2014. Desde então, várias denúncias sobre o app foram recebidas pela SaferNet Brasil, instituição voltada ao combate a crimes contra os direitos humanos na internet. A própria SaferNet testou a versão em português do aplicativo, destinada ao público brasileiro, e constatou falhas graves.
"Esses resultados evidenciam que os desenvolvedores do app perderam o controle sobre o comportamento do algoritmo de Inteligência Artificial, que tem funcionado a partir de parâmetros contraditórios às políticas e termos de uso do app, tornando-se nocivo sobretudo para usuários vulneráveis e em situações de sofrimento psicológico", destacou a SaferNet Brasil.
A empresa coreana reconhece publicamente que o app tem causado "um impacto social negativo significativo no Brasil" e diz que ainda não sabe como resolver as falhas encontradas no algoritmo. Por isso, decidiu suspender, ao menos temporariamente, o funcionamento do app no Brasil.
