Convierte cualquier tipo de documento en datos estructurados

Las API de aprendizaje automático de Mindee son una forma muy conveniente y potente de extraer información clave de los documentos. Nuestras API le permiten de forma rápida y precisa extraer información de facturas, recibos, licencias de conducir y mucho más. Si busca recursos sobre cómo extraer datos de archivos comunes, nuestras API son sencillas y fáciles de implementar.

Pero los documentos estandarizados son excelentes, para procesos estándar. ¿Pero cuántos de los archivos que usamos a diario son estándar? Cada empresa y cada archivo es ligeramente diferente.

A medida que hablábamos con más y más clientes sobre nuestras API de extracción de datos, resultó que la mayoría de las aplicaciones que se beneficiarían de nuestras API tienen necesidades únicas de extracción de datos, y que para incorporar completamente nuestras herramientas de automatización en su cadena de herramientas se requeriría la creación de un modelo de datos único para cada uno de sus documentos. Suena casi imposible, pero….

Estamos muy contentos de anunciar nuestra API Document Builder. Podemos usarla para entrenar un modelo para cualquier documento y en solo unas pocas horas, ¡comenzar a extraer los datos del modelo!

Spoiler: Es magia, pero no es TOTALMENTE magia

Desde el lanzamiento de la API Document Builder, hemos tenido muchas conversaciones interesantes sobre la creación de una API a medida para cada proceso. Pero, cuando la realidad se hizo patente, hubo una revelación. Esta no es una herramienta mágica; hay trabajo que hacer primero.

Es magia… pero no es totalmente magia. Si planea correr un maratón, no puede simplemente atarse los cordones y correr 42 km. Se necesita mucho entrenamiento antes de poder completar un maratón. De hecho, existen guías y planes para ayudarle a entrenar. No podemos (todavía) simplemente darle al algoritmo un archivo y algunos criterios, y esperar que todo funcione. Al igual que con el entrenamiento para un maratón, tenemos que esforzarnos al principio para ver los beneficios de la API.

Piense en esta publicación como su guía para entrenar su Modelo de Mindee Document Builder. Les prometo que entrenar su modelo Mindee será mucho más fácil que entrenar para un maratón, llevará mucho menos tiempo y no les causará ningún dolor de rodillas.

El proceso de entrenamiento

Empecemos a planificar el modelo de API Builder que nos gustaría construir. Para este ejemplo, entrenaremos un modelo para leer el formulario de impuestos W-9 de EE. UU. Crearemos la API para extraer el nombre, dirección (calle, ciudad, estado y código postal) y número de Seguro Social de cada formulario.

Para hacerlo divertido, he generado 22 formularios W-9 para personajes de la serie de Harry Potter.

El Mindee API Builder requiere que se entrenen 20 imágenes antes de que se puedan hacer predicciones. Habrá un entrenamiento inicial del modelo, y podrá empezar a usar la API para obtener resultados. Puede que no sea perfecto, pero empezará a funcionar. Piense en esto como su primer intento de maratón: terminará, pero aprenderá de ello y usará ese conocimiento para mejorar. Los resultados de la API serán buenos, pero aún no serán perfectos. A medida que continúe entrenando el modelo, se volverá cada vez más preciso. Cada 20 imágenes entrenadas harán que el modelo se reentrene (40, 60, 80, etc.) y después de cada entrenamiento, verá una mejora notable en el funcionamiento del modelo. ¡Veámoslo en acción!

Preparación para el entrenamiento

Puede seguir estos pasos y también seguir el proceso en este video:

Tenemos nuestra lista de documentos, así que empecemos a construir nuestro modelo:

Paso 1: Crear una cuenta

Paso 2: Crear una nueva API

Paso 3: Asigne un nombre a su API, y dele una descripción y una imagen:

Paso 4: Ahora llegamos a la parte divertida, la definición del modelo.

El formulario W-9 se utiliza para identificar a cada persona a la que se le retendrán impuestos. Deberá extraer:

• Nombre
• Dirección
• Ciudad
• Estado
• Código postal
• Número de Seguro Social

Identificación y denominación de los campos

Ahora construiremos el modelo para el entrenamiento. Puede usar muchos tipos de campos para cada entrada:

Para los formularios W9, los llamaremos a todos campos de texto.

Cada campo de texto tiene un nombre (y la clave API), y puede definir si contiene números y caracteres:

Por ejemplo:

• Nombre: nunca contiene números
• Dirección (puede contener valores alfanuméricos)
• Ciudad: nunca contiene números
• Estado: nunca contiene números
• Código postal: nunca contiene caracteres alfabéticos
• SSN: nunca contiene caracteres alfabéticos

Una vez introducidos, el modelo de datos se ve así:

Y ahora estamos listos para entrenar el modelo

Entrenamiento del modelo Document Builder

Si desea ver un video del entrenamiento:

Un corredor sabio dijo una vez: "sigue poniendo un pie delante del otro y llegarás a la meta". Algunas carreras son agotadoras y no son divertidas. Esta es la parte "no divertida". Tenemos que hacer el entrenamiento para que nosotros (y nuestro modelo) estemos listos para la producción.

Puede cargar imágenes (jpg, png, webp) o archivos pdf. O si tiene varios archivos listos, puede cargar un archivo zip.

A medida que los archivos se cargan, puede comenzar su entrenamiento. Aquí está el W-9 de Tom Riddle:

Cada palabra que cumple los parámetros del campo de nombre (resaltado a la derecha) está marcada con un cuadro azul. Haga zoom con su trackpad o ratón, y podrá hacer clic en los cuadros que contienen el nombre. Si hace clic accidentalmente en el cuadro incorrecto, verá una "x" que lo eliminará del campo de la derecha.

Consejo:  al entrenamiento no le importa el orden en que haga clic en las palabras. "Tom Riddle" y "riddle Tom" se tratan exactamente de la misma manera.

Continúe con cada campo del documento y, cuando termine, haga clic en el botón "Validar".

Una vez que entrene el modelo con 20 documentos, la API entrará en modo de entrenamiento. Recibirá un correo electrónico cuando complete su entrenamiento. (Esto también ocurrirá con 40, 60 y 80 documentos entrenados)

Así que, entrenamos el modelo con 20 imágenes, y Mindee nos dice que el entrenamiento del modelo está en curso. ¡Veamos cómo funciona el modelo!

un poco más tarde…

Mira el video que muestra los resultados del entrenamiento de la API:

Después de unos minutos, recibirás un correo electrónico informando que el modelo ha sido entrenado con las primeras 20 imágenes. Hemos entrenado y entrenado, y ahora podemos intentar ver si estamos listos para nuestra maratón.

La imagen número 21 que subas se probará con el modelo, y podremos ver qué tan bien funciona. En este caso, estamos viendo el formulario W-9 de Cornelius Fudge (padre, todos sabemos que el hijo está pudriéndose en Azkaban)

Con el entrenamiento de solo 20 documentos, nuestra API de W-9 está extrayendo todos los campos con un alto grado de precisión.

Conclusión

Puedes crear tu propia API de creación de documentos para tu formulario o documento único. Con solo un poco de entrenamiento, habrás creado una API que podrá usarse en producción con un alto grado de precisión.

Pruébalo. Es gratis probarlo, ¡y nos encantaría saber tu opinión!