After Sunny Shah’s dog passed away, he was experiencing listening fatigue and taking a break from wearing his cochlear implants but wanted to have a conversation with his husband. He used a transcription app, but it came with a lot of frustrations. He had to rotate the phone to align its microphone with his husband’s mouth so the phone could capture his speech. Then came several moments of awkward silence when he read the captions and then responded.
This experience motivated Sunny, who is a 2012 LOFTee, to create a captioning app called Buzz Captions.
Released on May 19, the app was tried by at least 50 users in just three days. Today, several hundred users have downloaded the app.
Deafness and Education Journey
Sunny, 31, has bilateral sensorineural hearing loss that is also progressive, due to malformed cochlea from his premature birth at seven months. He grew up in India, where he started auditory-verbal therapy at AURED in Mumbai when he was 1 1/2 years old.
Due to the progressive nature of his hearing loss, Sunny’s parents decided to have his right ear implanted in 2002. After seeing the positive results, the second implant was done in 2006.
The AURED director told Sunny’s mother about AG Bell and LOFT, leading to Sunny attending AG Bell Conventions in 2010 and 2012 as well as LOFT in 2012. In addition to LOFT, he was a LEAP counselor during the pandemic.
Sunny came to the United States for college and grad school; he has degrees in applied math and biochemistry from the University of Illinois at Urbana-Champaign. He went on to study computational and mathematical engineering at Stanford University. Now he lives in Chicago, Ill., where he is a senior machine learning engineer at Oak Street Health, part of CVS Health. Buzz Captions is a side project.
Building Buzz
From conception to release, Buzz Captions only took two months to develop, primarily with the help of AI. Sunny tried a few captioning apps beforehand. He noticed the gap, especially when in a multilingual country. “The transcription apps that I tried did caption some non-Western languages, but didn’t offer translation,” he said. “So there was always a communication barrier whenever I visited my family in Mumbai.”
Sunny didn’t spend too much time exploring other apps, however, because he wanted Buzz to be free of any bias. It also freed him to add innovative ideas. One thing that stood out was that many of the captioning apps weren’t made with deaf people in mind. Sunny’s personal experience that initiated this business endeavor is a perfect example. To address that, Buzz has a simple button to flip the screen, allowing for a more natural pace of conversation while also capturing the best audio quality.
Buzz has live speech-to-text in 40+ languages, real-time translation, and speaker diarization, which automatically separates different voices and assigns color-coded labels. Another feature is the ability to have live group sessions with up to 10 people, with everyone’s voice transcribed separately. Sunny calls this option priceless. “I wouldn’t have to deal with the dinner table syndrome anymore,” he said. “I love that feature, especially when you factor the translation component in as well.”
Because Sunny always dreaded voicemails and audio messages on WhatsApp and other apps, Buzz transcribes those and offers the choice to translate them into another language as well. The real-time translation means that the captions and translation appear on one screen.
Sunny developed the app with accessibility and privacy in mind. “User data is not sold to third party services and audio files are never stored, only transcripts are,” he said.
The Buzz
So far the reaction from beta users across the United States and India has been great, Sunny reported. One user said they were able to understand their family, who speak Telegu, after struggling to do so for the past several years.
Sunny is looking forward to the app helping others, not just with everyday captioning, but when they travel to a foreign country. He is actually going to Mexico soon for his honeymoon and plans to use the app to translate Spanish when talking to locals.
Buzz is free for anyone to try for 60 minutes a day. Users can purchase the Basic plan at $6.99 USD/month for 240 minutes a day and the Pro plan for $14.99 USD/month for 10,000 minutes a month and the ability to translate any language (as opposed to just translating to English). There is an option to purchase additional minutes to use in either 15, 30, 120, or 300 increments, so if you run out of the daily or monthly quota, these credits can be used to continue captioning or translating.
“Buzz removes communication barriers that I never thought would go away,” its creator said. “I grew up accepting that I wouldn’t be able to fully communicate with some of my family members, but now I can have a conversation with them!”
Buzz Captions can be found in both the Apple and Google Play stores. Visit https://buzz-captions.com/ for more details.
Buzz Captions: la aplicación de comunicación que debe probar
Tras la muerte de su perro, Sunny Shah sufría fatiga auditiva y había dejado de llevar sus implantes cocleares durante un tiempo, pero quería mantener una conversación con su marido. Utilizó una aplicación de transcripción, pero le causó muchas frustraciones. Tenía que girar el teléfono para orientar el micrófono hacia la boca de su marido para captar lo que decía. Después venían varios momentos de silencio incómodo mientras leía los subtítulos y respondía.
Esta experiencia llevó a Sunny, participante de LOFT en 2012, a crear una aplicación de subtitulado llamada Buzz Captions.
Lanzada el 19 de mayo, al menos 50 usuarios probaron la aplicación en solo tres días. Actualmente, varios cientos de usuarios la han descargado.
Sordera y trayectoria educativa
Sunny, de 31 años, tiene una pérdida auditiva neurosensorial bilateral que, además, es progresiva, debida a una malformación coclear asociada a su nacimiento prematuro a los siete meses. Creció en la India, donde comenzó una terapia auditivo-verbal en AURED, en Bombay, cuando tenía un año y medio.
Debido al carácter progresivo de la pérdida auditiva, los padres de Sunny decidieron que le pusieran un implante en el oído derecho en 2002. Tras comprobar los buenos resultados, le colocaron el segundo implante en 2006.
La dirección de AURED habló a la madre de Sunny de AG Bell y LOFT, lo que llevó a Sunny a asistir a las convenciones de AG Bell de 2010 y 2012, así como a LOFT en 2012. Además de participar en LOFT, fue monitor de LEAP durante la pandemia.
Sunny se trasladó a Estados Unidos para cursar sus estudios universitarios y de posgrado; es licenciado en Matemática Aplicada y Bioquímica por la Universidad de Illinois en Urbana-Champaign. Posteriormente estudió Ingeniería Computacional y Matemática en la Universidad de Stanford. Actualmente vive en Chicago (Illinois), donde trabaja como ingeniero sénior de aprendizaje automático en Oak Street Health, una empresa de CVS Health. Buzz Captions es un proyecto paralelo.
La creación de Buzz
Desde su concepción hasta su lanzamiento, el desarrollo de Buzz Captions solo llevó dos meses, principalmente con ayuda de la IA. Sunny había probado antes algunas aplicaciones de subtitulado y detectó una carencia, sobre todo en un país multilingüe. «Las aplicaciones de transcripción que probé subtitulaban algunos idiomas no occidentales, pero no ofrecían traducción», explica. «Por eso siempre había una barrera de comunicación cuando visitaba a mi familia en Bombay».
Sin embargo, Sunny no dedicó mucho tiempo a explorar otras aplicaciones, porque quería que Buzz estuviera libre de cualquier sesgo, lo que también le dio libertad para incorporar ideas innovadoras. Algo que le llamó la atención fue que muchas aplicaciones de subtitulado no se habían diseñado pensando en las personas con sordera. La experiencia personal que dio origen a este proyecto empresarial es un ejemplo perfecto. Para solucionarlo, Buzz incluye un sencillo botón para girar la pantalla, lo que permite un ritmo de conversación más natural y, al mismo tiempo, captar el audio con la mejor calidad.
Buzz ofrece transcripción de voz a texto en directo en más de 40 idiomas, traducción en tiempo real y diarización de hablantes, que separa automáticamente las distintas voces y les asigna etiquetas de colores. Otra función es la posibilidad de mantener sesiones de grupo en directo con hasta 10 personas, en las que la voz de cada una se transcribe por separado. Para Sunny, esta opción no tiene precio. «Ya no tendría que enfrentarme al síndrome de la mesa de la cena», afirma. «Me encanta esta función, sobre todo si además se tiene en cuenta el componente de traducción».
Como a Sunny siempre le habían agobiado los mensajes de voz y los audios de WhatsApp y otras aplicaciones, Buzz los transcribe y ofrece además la opción de traducirlos a otro idioma. Gracias a la traducción en tiempo real, los subtítulos y la traducción aparecen en una misma pantalla.
Sunny desarrolló la aplicación teniendo en cuenta la accesibilidad y la privacidad. «Los datos de los usuarios no se venden a servicios de terceros y los archivos de audio nunca se almacenan; solo se guardan las transcripciones», explica.
Buzz da que hablar
Hasta ahora, la reacción de los usuarios de la versión beta en Estados Unidos y la India ha sido excelente, según Sunny. Un usuario contó que por fin había conseguido entender a su familia, que habla télugu, después de años de dificultades.
Sunny espera que la aplicación ayude a otras personas, no solo con el subtitulado del día a día, sino también cuando viajen al extranjero. De hecho, pronto viajará a México de luna de miel y tiene previsto usar la aplicación para traducir el español cuando hable con la gente del lugar.
Cualquier persona puede probar Buzz gratis durante 60 minutos al día. Los usuarios pueden contratar el plan Basic por 6,99 USD al mes, con 240 minutos diarios, o el plan Pro por 14,99 USD al mes, con 10.000 minutos mensuales y la posibilidad de traducir cualquier idioma (en lugar de limitarse al inglés). También existe la opción de comprar minutos adicionales en paquetes de 15, 30, 120 o 300, de modo que, si se le agota la cuota diaria o mensual, puede utilizar estos créditos para seguir subtitulando o traduciendo.
«Buzz elimina barreras de comunicación que nunca pensé que desaparecerían», añade su creador. «Crecí aceptando que no podría comunicarme plenamente con algunos de mis familiares, pero ¡ahora puedo mantener una conversación con ellos!».
Buzz Captions está disponible tanto en la App Store como en Google Play. Visite https://buzz-captions.com/ para obtener más información.
