Bing lança correção ortográfica em grande escala em todo o mundo

cupom com desconto - o melhor site de cupom de desconto cupomcomdesconto.com.br

[ad_1]

Os modelos de correção ortográfica multilíngue em grande escala do Microsoft Bing, chamados coletivamente de Speller100, estão sendo lançados em todo o mundo com alta precisão e alto recall em mais de 100 idiomas.

O Bing diz que cerca de 15% das consultas enviadas pelos usuários contêm erros de ortografia, o que pode levar a respostas incorretas e resultados de pesquisa abaixo do ideal.

Para resolver esse problema, o Bing construiu o que diz ser o sistema de correção ortográfica mais abrangente já feito.

Em consultas de teste A / B com e sem Speller100, o Bing observou os seguintes resultados:

  • O número de páginas sem resultados reduzido em até 30%.
  • O número de vezes que os usuários tiveram que reformular manualmente sua consulta foi reduzido em 5%.
  • O número de vezes que os usuários clicaram na sugestão de ortografia aumentou de um dígito para 67%.
  • O número de vezes que os usuários clicaram em qualquer item da página passou de um dígito para 70%.

Como o Bing conseguiu isso? Continue lendo para aprender mais sobre Speller100.

Melhorando a correção ortográfica nos resultados de pesquisa do Bing

A correção ortográfica sempre foi uma prioridade para o Bing, e o mecanismo de busca está dando um passo adiante com a inclusão de mais idiomas de todo o mundo.

“A fim de tornar o Bing mais inclusivo, decidimos expandir nosso serviço de correção ortográfica atual para mais de 100 idiomas, estabelecendo o mesmo alto padrão de qualidade que definimos para as duas dúzias de idiomas originais.”

Propaganda

Continue lendo abaixo

O lançamento do Speller100 representa um avanço significativo para o Bing e é possível devido aos avanços recentes em IA.

Leia Também  Por que a velocidade do site ainda é importante (revisitada)

A tecnologia por trás do Speller100 é explicada na recente postagem do blog da empresa. Aqui estão alguns detalhes importantes da nova tecnologia de correção ortográfica do Bing.

Tecnologia Speller100 do Microsoft Bing

Créditos do Bing aprendizagem zero-shot como um avanço importante na IA que ajuda a tornar o Speller100 possível.

O aprendizado zero-shot permite que um modelo de IA aprenda e corrija a ortografia com precisão sem nenhum dado adicional de treinamento rotulado específico do idioma. Isso contrasta com as soluções tradicionais de correção ortográfica, que contam apenas com dados de treinamento para aprender a ortografia de um idioma.

Depender de dados de treinamento é um desafio quando se trata de corrigir a ortografia de idiomas em que há uma quantidade inadequada de dados. Esse é o problema que o aprendizado rápido foi projetado para resolver.

“Imagine que alguém lhe ensinou a soletrar em inglês e você automaticamente aprendeu a soletrar também em alemão, holandês, afrikaans, escocês e luxemburguês. Que é o que o aprendizado rápido permite, e é um componente-chave no Speller100 que nos permite expandir para idiomas com muito poucos ou nenhum dado. ”

Propaganda

Continue lendo abaixo

A correção ortográfica não é um processamento de linguagem natural

Bing faz a distinção de que, embora avanços significativos tenham sido feitos no processamento de linguagem natural, a correção ortográfica é uma tarefa totalmente diferente.

Todos os erros ortográficos podem ser classificados em dois tipos:

cupom com desconto - o melhor site de cupom de desconto cupomcomdesconto.com.br
  • Erro sem palavras: Ocorre quando a palavra não consta do vocabulário de um determinado idioma.
  • Erro de palavra real: Ocorre quando a palavra é válida, mas não se encaixa no contexto maior.

O Bing desenvolveu uma abordagem de aprendizado profundo para corrigir esses erros ortográficos inspirada no modelo BART do Facebook. No entanto, ele difere do BART porque a correção ortográfica é enquadrada como um problema no nível do caractere.

Leia Também  As tags H1 são necessárias para a classificação? [SEO Experiment]

Para resolver um problema de nível de personagem, o modelo Speller100 do Bing é treinado usando mutações de nível de personagem que imitam erros de ortografia.

O Bing chama essas “funções de ruído”:

“Projetamos funções de ruído para gerar erros comuns de rotação, inserção, exclusão e substituição.

O uso de uma função de ruído reduziu significativamente nossa demanda por anotações marcadas por humanos, que muitas vezes são necessárias no aprendizado de máquina. Isso é muito útil para idiomas para os quais temos poucos ou nenhum dado de treinamento. ”

As funções de ruído permitem que o Bing treine o Speller100 para corrigir a ortografia de idiomas para os quais não há uma grande quantidade de dados de consulta com erros ortográficos disponíveis.

Em vez disso, o Bing se contenta com texto regular extraído de páginas da web que é obtido por meio de rastreamento regular da web. Diz-se que existe uma quantidade suficiente de texto na web para facilitar o treinamento de centenas de idiomas.

“Esta tarefa de pré-treinamento prova ser um primeiro passo sólido para resolver a correção ortográfica multilíngue para mais de 100 idiomas. Isso ajuda a atingir 50% de recall de correção para os principais candidatos em idiomas para os quais não temos dados de treinamento. ”

Embora este seja um avanço significativo, Bing diz que 50% do recall não é bom o suficiente. É aí que entra o aprendizado rápido.

Para idiomas sem dados de treinamento, o Bing utiliza a propriedade de aprendizado zero-shot para famílias de idiomas de destino. Isso é feito com base na noção de que a maioria das línguas do mundo são conhecidas por serem relacionadas a outras.

“Essa similaridade ortográfica, morfológica e semântica entre as línguas no mesmo grupo torna um modelo de erro de aprendizagem de tentativa zero muito eficiente e eficaz …

O aprendizado zero-shot torna possível o aprendizado da previsão de ortografia para essas linguagens com poucos ou nenhum recurso. ”

O lançamento do Speller100 no Bing é a primeira etapa de um esforço maior para implementar a tecnologia em mais produtos Microsoft.

Fonte: Blog de Pesquisa da Microsoft



[ad_2]

cupom com desconto - o melhor site de cupom de desconto cupomcomdesconto.com.br

Deixe uma resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *