OCR consultable avec Mindee x Algolia

À l'aide de Mindee et Algolie ensemble, ils peuvent rendre toute grande collection de documents physiques consultable et facile à utiliser. Cela peut être utile au travail dans de nombreux contextes. Pensez à indexer vos contrats, vos factures ou vos documents de recherche, mais pour l'instant, parlons des cartes Pokémon.

Supposons que vous collectionniez des cartes Pokémon : vous achetiez, vendiez et participiez activement à des tournois avec elles. Construire un deck pour la compétition nécessite une combinaison de stratégie et connaissances sur les cartes dont vous disposez. Si vous possédez une collection importante, disons 10 000 cartes, il est impossible de connaître votre inventaire dans votre tête. Vous devriez peut-être être en mesure de rechercher des réponses à des questions telles que « Combien de mes Pokémon connaissent l'attaque Fire Spin ? » , ou « Si je dois vendre l'une de mes cartes, laquelle possède l'indice de rareté le plus élevé ? »

Pour répondre à ce type de questions, il faut comprendre le jeu et savoir comment extraire et indexer les droit informations provenant des cartes. C'est là que Mindee brille.

1. Créez et entraînez votre modèle avec l'API Document Builder de Mindee

Supposons qu'en tant que collectionneur attentif de cartes Pokémon, vous ayez pris des photos de toutes les cartes de votre collection. Avec ces outils en main, vous êtes prêt à commencer !

Dans votre compte Mindee, cliquez sur « Créer une nouvelle API » et donnez-lui un nom, par exemple « Pokémon Classifier ».

Ensuite, vous devrez identifier et nommer les champs que vous souhaitez que Mindee recherche lors de la lecture de votre carte. Mindee peut reconnaître des types de données spécifiques, tels que les e-mails, les numéros de téléphone et les URL, ainsi que les champs de texte génériques, les numéros et les dates. Pour nos besoins, nous aimerions peut-être savoir ce qui suit à propos de nos Pokémon :

• Nom — champ de texte
• Points de vie — nombre
• Nom de l'attaque — champ de texte
• Effet d'attaque — chiffre
• Indice de rareté — chiffre

À l'aide de l'interface utilisateur du générateur d'API Mindee, vous pouvez définir les données que vous recherchez :

Ensuite, nous allons cliquer sur le bouton pour commencer à entraîner le modèle avec de vraies cartes Pokémon. Vous devrez utiliser au moins 20 images pour commencer à entraîner l'API à reconnaître les champs des cartes.

L'interface utilisateur vous invitera à cliquer sur les champs susceptibles de correspondre. Ici, nous voyons qu'en recherchant le champ « effet d'attaque », Mindee a trouvé quelques candidats : 40 (nos PV), 20 (notre effet d'attaque) et d'autres nombres entiers sur la carte, comme la date de copyright. Vous pouvez orienter le modèle dans la bonne direction en quelques clics. Une fois que vous aurez annoté 20, la formation prendra effet et vous pourrez commencer à utiliser le point de terminaison /predict pour votre API.

2. Utilisez votre API pour extraire le texte pertinent de vos images

Chaque API personnalisée que vous créez et déployez avec Mindee possède un point de terminaison : /predict. Votre point de terminaison peut ressembler à ceci :

https://api.mindee.net/v1/products/username/pokemon_cards/v1/predict

Ce point de terminaison prend les données du formulaire sous forme d'objet de fichier, d'URL ou d'image codée en base64. La réponse de l'API lorsque vous transmettez une carte Pokémon inclura quelque chose comme ceci :

{... « document » : {« annotations » : {« labels » : []}, « id » : « cdbe3064-4d9e-4857-ab0f-bfd21db78632", « inférence » : {« finished_at » : « 2021-07-28T 02:31:54 + 00:00 «, « pages » : [{« id » : 0, « prédiction » : {« attackack _effect » : {« confiance » : 0,99, « valeurs » : [{« confiance » : 0,99, « contenu » : 75, « polygone » : [...]}]},......}

Mindee vous envoie ici d'excellentes informations sur le fonctionnement de votre modèle, l'endroit sur la carte où il prédit le contenu et sa fiabilité. Mais nous devons le réduire pour qu'Algolia puisse l'ingérer facilement.

Au fur et à mesure que notre modèle s'améliore, nous pouvons découper avec plus de confiance les informations sur la façon dont Mindee a fait sa prédiction, extraire uniquement le simple ensemble de paires clé-valeur de cette réponse, par exemple « attack_effect » : 75, et créer un simple fichier JSON en sortie.

3. Envoyez vos données à Algolia

Il existe de nombreuses manières d'envoyer des données à Algolia : manuellement à l'aide de son outil de téléchargement GUI, par programmation à l'aide de l'un de ses clients API ou à l'aide de son robot d'exploration. Étant donné que la collection de cartes n'est pas disponible sur le Web et qu'Algolia ne peut pas la récupérer (nous ne savons pas quelles cartes nous possédons), nous utiliserons l'une des deux premières options.

Une fois vous vous êtes inscrit si vous possédez un compte Algolia et avez créé une application, vous pourrez utiliser votre tableau de bord pour configurer un index :

Si vous avez enregistré votre sortie de Mindee sous la forme d'un fichier JSON ou d'un ensemble de fichiers JSON, vous pouvez les télécharger ici ; vous pouvez également utiliser la méthode SaveObjects dans l'une de leurs bibliothèques clientes pour créer un enregistrement dans votre index. Chaque carte doit être téléchargée en tant qu'enregistrement.

Une fois que vous avez effectué ce processus avec un premier lot de cartes, les ajouts sont simples :

1. Envoyez l'image d'une nouvelle carte à votre terminal Mindee /predict
2. Nettoyez la réponse JSON pour qu'elle corresponde à vos indices Algolia
3. Transmettez cette réponse à Algolia à l'aide de la méthode SaveObjects

Les nouveaux ajouts apparaîtront dans la recherche au fur et à mesure que vous les ajouterez.

4. Bénéfice

Maintenant, pour que cela soit vraiment utile, nous voulons pouvoir parcourir les résultats de recherche. Algolia fournit widgets prédéfinis que vous pouvez ajouter à des applications Web et mobiles à l'aide de leur bibliothèques clientes. Désormais, notre collectionneur de cartes Pokémon peut facilement rechercher des cartes à vendre, à échanger ou à utiliser dans des decks en fonction de ses besoins.

Nous avons parlé des cartes Pokémon parce qu'elles sont amusantes, mais vous pouvez transformer n'importe quel type de document en données structurées à l'aide de Mindee et transmettre les résultats à Algolia pour la recherche. Cette méthode fonctionne tout aussi bien pour permettre à votre équipe financière de rechercher parmi les reçus des notes de dépenses, ou [autre cas d'utilisation ici].

Photo de Thimo Pedersen sur Unsplash