Now that TBot is stable, and the new version is almost ready, it’s time to start playing with other prototypes. After more than 2 years interacting with TBot users I can say that I learned a lot, and that one of my first assumptions still holds true; people do adapt to get better results of the tools they use.

Based on that I’ve been investigating yet another way to combine existing pieces of technology to build something new. Everyone know that Microsoft has made significant investment on speech recognition and synthesis, so it is possible – at least in theory – to put it all together and build a Speech to Speech translation application. No, I’m not talking about Captain Kirk’s Universal Translator – yet… Project Presto is still very limited, but it does work – and if you use simple, short sentences the results can be pretty good.

Here are two videos: English to Portuguese and English to Japanese (Takako help me select sentences that would provide better translations for Japanese)

As you can see, Presto relies on the fact that open dictation grammars work pretty well for short utterances – in other words, breaking long sentences in small chunks makes it easier for the speech recognizer to work. The awkward pauses you’ll see between some sentences are necessary because of a bug in the prototype – the function that plays audio is not detecting the end of the stream correctly.

Presto uses Microsoft technology all  the way – from the speech recognition to translation and then text-to-speech. I’ve added the camera feed support for two reasons: first, because Presto can be used as a presentation tool (hey, it’s ideal for conferences!); second, because in the future this technology added to some of the existing collaboration/communication products. Other uses may include video authoring, virtual classrooms, etc…

I don’t expect that Presto will follow TBot’s footsteps and become a product, but I’m hoping that it can raise attention to the possibilities of similar technologies.

Enjoy the videos!

Helvecio

English - Portuguese

---

Agora que TBot é estável e a nova versão está quase pronta, é hora de começar a pensar em outros protótipos. Após mais de 2 anos interagindo com usuarios do TBot posso dizer que aprendi muito e que uma das minhas primeiras suposições ainda se aplica: as pessoas se adaptam para obter melhores resultados das ferramentas que utilizam.

Com base em que eu tenha sido investigar o ainda outra maneira de combinar as peças existentes de tecnologia para construir algo novo. Todos sabemos que a Microsoft fez investimentos significativos em reconhecimento de fala e síntese, portanto, é possível – pelo menos em teoria – colocar tudo junto e construir um aplicativo de tradução de voz para voz. Não, Estou não falando tradutor Universal do capitão Kirk – ainda… Projeto Prersto ainda é muito limitado, mas funciona – e se você usar frases simples, curtas os resultados podem ser bastante razoaveis.

Acima estão dois vídeos: Inglês para Português e Inglês para Japonês (Takako me ajudou selecionando frases que poderia fornecer melhores traduções para Japonês)

Como você pode ver, Presto aproveita o fato das gramáticas de ditado livre funcionarem bem com fragmentos de fala curto – em outras palavras, quebrar sentenças longas em pedaços pequenos facilita o trabalho para o reconhecedor de voz. As pausas desajeitadas que você vai perceber entre algumas frases são devidas um bug no protótipo – a função que reproduz áudio não está detectando o final do stream corretamente.

Presto utiliza tecnologia Microsoft de ponta a ponta – do reconhecimento de voz para tradução e conversão de texto em fala. Adicionei o suporte para câmera por duas razões: primeiro, porque Presto pode ser usado como uma ferramenta de apresentação (ei, é ideal para conferências!); segundo, porque no futuro esta tecnologia por ser adicionada a alguns dos produtos de colaboração e comunicação existentes. Outras utilizações podem incluir autoria de vídeo, salas de aula virtuais, etc …

Não espero que Presto irá seguir as pegadas do TBot e se tornar um produto, mas tenho esperança de que ele pode aumentar a atenção para as possibilidades das tecnologias semelhantes.

Aprecie os vídeos!

Helvecio

---