Ciências Tech world Veja

MIT encontra redes neurais menores que são mais fáceis de treinar

As redes mini-neurais do “Bilhete de Loteria” do MIT treinam apenas os nós de que precisam.

Apesar de todos os avanços na inteligência artificial, a maioria dos produtos baseados em inteligência artificial ainda depende de “redes neurais profundas”, que geralmente são extremamente grandes e proibitivamente caras de treinar. Pesquisadores do MIT esperam mudar isso. Em um artigo apresentado hoje, os pesquisadores revelam que as redes neurais contêm “sub-redes” que são até 10 vezes menores e poderiam ser mais baratas e mais rápidas de serem ensinadas.

Para treinar a maioria das redes neurais, os engenheiros alimentam grandes conjuntos de dados, mas isso pode levar dias e GPUs caras. Os pesquisadores do Laboratório de Ciência da Computação e Inteligência Artificial do MIT (CSAIL) descobriram que dentro dessas redes treinadas existem pequenas sub-redes que podem fazer previsões igualmente precisas. A chamada “hipótese da loteria” do CSAIL baseia-se na ideia de que treinar a maioria das redes neurais é algo como comprar todos os ingressos em uma loteria para garantir uma vitória. Em comparação, treinar as sub-redes seria como comprar apenas os ingressos vencedores.

O problema é que os pesquisadores não descobriram como encontrar essas sub-redes sem construir uma rede neural completa e, em seguida, remover os bits desnecessários. Se puderem encontrar uma maneira de pular essa etapa e ir direto para as sub-redes, esse processo pode economizar horas de trabalho e tornar o treinamento de redes neurais acessível a programadores individuais – não apenas a grandes empresas. Mas determinar como encontrar sub-redes de maneira eficiente e entender por que algumas são melhores que outras na aprendizagem provavelmente manterá os pesquisadores ocupados por anos.

Via Engadget