Os MBAs não adquirem novas competências inesperadamente à medida que se desenvolvem. Você só precisa saber medir seu desempenho corretamente.
Os pesquisadores acreditam que os grandes modelos de linguagem (LLMs) podem trazer melhorias inesperadas. Isto representou então um sério problema para o desenvolvimento da inteligência artificial. Um estudo recente demoliu essa hipótese. O monitoramento adequado permite saber quando Mestrado Adquirir habilidades.
Vamos lembrar disso Principais modelos de linguagem Essencial para o desenvolvimento da inteligência artificial. O famoso software de chat generativo OpenAI, Bate-papoGPT,depende de LLMs como GPT-4 ou Turbo GPT-4.
O BIG-Bench, LLMs e suas habilidades
É 2022. Mais de 400 pesquisadores Eles estão lançando um grande projeto para testar grandes modelos de linguagem. apelido Assento grandeConsiste em passar para o LLM Uma série de 204 tarefas. Para a maioria das tarefas, o desempenho aumenta regularmente dependendo do tamanho do modelo. Ocasionalmente, os pesquisadores observaram A Salto de desempenho Após o período de latência.
Os autores chamam esse comportamento de “penetração”, semelhante a A Fase de transição na física. Também destaca a natureza imprevisível desse comportamento. Então isso desencadeia um desenvolvimento inesperado Perguntas em termos de segurança. Na verdade, um Inteligência artificial gerativa A imprevisibilidade pode ser perigosa.
As conclusões da bancada foram amplamente questionadas
Esta semana, três pesquisadores da Universidade de Stanford publicaram Um artigo detalhando seu trabalho em inferências do BIG-Bench. Esta nova pesquisa sugere que o surgimento repentino de habilidades é apenas isso. Como resultado de como os pesquisadores medem o desempenho do LLM.
As habilidades não são Nem inesperado nem surpreendenteIsto é apoiado por um trio de estudiosos. ” A mudança é mais previsível “, ele declarou Sanmi Koijo. Observe que este cientista da computação da Universidade de Stanford é o autor principal do artigo.
Além disso, os alunos do LLM praticam analisando grandes quantidades de textos. Eles identificam conexões entre palavras. Quanto mais parâmetros, mais conexões o modelo poderá encontrar. Nós mencionamos isso GPT-2 Possui 1,5 bilhão de parâmetrosenquanto GPT-3.5 em 350 bilhões. GPT-4, que funciona Copiloto da Microsoftdo utilizador 1,75 trilhão de parâmetros.
A importância do método de avaliação dos LLMs e suas competências
O rápido crescimento de grandes modelos de linguagem levou a uma melhoria impressionante no seu desempenho. O trio de Stanford percebe que esses LLMs se tornaram Mais eficaz à medida que se desenvolve. Contudo, a melhoria depende Escolha a escala para avaliaçãoEm vez do funcionamento interno do modelo.
De acordo com o BIG-Bench, GPT-3 Da OpenAI e lambda Do Google mostrou um Capacidade surpreendente de resolver problemas de adição com mais parâmetros. No entanto, este “Aparecimento de“Depende da métrica utilizada de acordo com o novo estudo. Dando crédito parcial à métrica, parece haver uma melhoria.” Gradual e previsível.
Em suma, este desenvolvimento da ideia de emergência não é uma tarefa fácil. Certamente encorajará os investigadores a desenvolverem uma A ciência de prever o comportamento de grandes modelos de linguagem.
Nosso blog é apoiado por nossos leitores. Quando você compra por meio de links em nosso site, podemos ganhar uma comissão de afiliado.
