Artificial intelligence & open source

La solution logicielle Juris-Tyr dispose déjà, via Nextcloud, de fonctionnalités permettant d’accéder à des logiciels d’intelligence artificielle, grâce à l’intégration de ChatGPT ou Lllama2 …

Cependant il est intéressant de connaître d’autres logiciels d’intelligence artificielles open-source et de pouvoir, le cas échéant, les installer à coté de Nextcloud afin d’utiliser l’IA de manière plus approfondie pour votre entreprise, ou votre cabinet d’avocats, en sécurisant autant que possible vos données et celles de vos clients.
Ainsi nous proposons plusieurs tutoriels pour installer sur votre ordinateur ou sur votre serveur des logiciels d’intelligence artificielle open source qui ont retenu notre attention.

Liste des tutoriels :

⏩ Introduction

⏩ Serge : discutez avec plusieurs LLM / intelligence artificielle open source ^{_{[Discussion] [LLM open source]}}

⏩ Ollama : accédez aux LLM open source depuis votre ordinateur personnel Mac ou PC, ou via votre serveur ^{_{[Discussion]] [LLM open source]}}

⏩ GodMode – AI Chat Browser : comparez les LLM entre eux ^{_{[Discussion] [OpenAI]}}

⏩ GPT4All : un logiciel à installer sur son PC sous Windows ou sur son Mac pour utiliser localement des LLM topen source ^{_{[Discussion] [LLM open source]}}

⏩ Jan : une alternative open source à ChatGPT 100 % hors ligne sur votre ordinateur ^{_{[Discussion] [LLM open source]}}

⏩ LMStudio : un logiciel à installer sur Windows, Linux, ou Mac pour utiliser localement des LLM open source ^{_{[Discussion] [Document] [LLM open source]}}

⏩ LibreChat : logiciel open source pour accéder à GPT4, Claude, via leurs API ^{_{[Discussion] [Document] [OpenAI]}}

⏩ Web Whisper + : un logiciel de reconnaissance vocale en ligne _{^{[Reconnaissance vocale]}}

⏩ Whisper Web : un logiciel de reconnaissance vocale en ligne _{^{[Reconnaissance vocale]}}

⏩ Whisper UI : un logiciel de reconnaissance vocale en ligne _{^{[Reconnaissance vocale]}} 🆕

⏩ Web-speech-synthesis-and-recognitiospeech : logiciel pour convertir la parole en texte et vice versa en quelques secondes ^{_{[Lecture vocale]}}

⏩ OP Vault : discutez avec des documents PDF ou DOCX via l’API de GPT4 ^{_{[Discussion] [Document] [OpenAI]}}

⏩ MultiPDF Chat App : Analysez plusieurs PDF en même temps via l’API de GPT4 ^{_{[Document] [OpenAI]}}

⏩ DocsMind : discutez avec un fichier PDF via l’API de GPT4 ^{_{[Discussion] [Document] [OpenAI]}}

⏩ SecureAI Tools : discutez avec « MistralAI » et analysez vos fichiers PDF, de manière sécurisée ^{_{[Discussion] [Document] [LLM open source]}}

⏩ Ollama Open UI : discutez par écrit et oralement avec des LLM open source de manière sécurisée ^{_{[Discussion] [Document] [LLM open source]}}🆕

⏩ h2ogpt : Analysez et résumez vos documents ou discutez avec des LLM privés locaux depuis votre ordinateur ^{_{[Discussion] [Document] [LLM open source]}}

⏩ Surya – OCR de documents multilingues – reconnaissance de texte depuis un document pdf image ou une image [Reconnaissance de caractères]🆕

⏩ Reor : organisation de vos notes et obtention de réponses sur vos notes avec l’intelligence artificielle ^{_{[Discussion] [Notes] [LLM open source]}} 🆕

⏩ GPT4 Builder : créez un assistant d’intelligence artificielle personnalisé depuis la plateforme développeurs de OpenAI ^{_{[Discussion] [Document] [OpenAI]}}

⏩ Exemples de prompts pour mieux utiliser les logiciels d’intelligence artificielle ^_[prompts]

_{Date de mise à jour : 30 mars 2024 | Auteur : Timo RAINIO}

Introduction – Avant propos…

Il existe déjà de nombreux sites internet permettant d’utiliser des logiciels d’intelligence artificielle commerciaux et modèles de langages propriétaires.

La principale problématique de tous ces sites et logiciels commerciaux réside dans le respect de la confidentialité des données communiquées. Même si la société OpenAI a déclaré qu’elle n’entraînait plus ses modèles sur les données des utilisateurs via ses API (ou sur option si vous utilisez son site internet dédié: https://chat.openai.com/chat ), ces données sont tout de même transmises à une société américaine, domiciliée aux Etats Unis d’Amérique, avec la réglementation que l’on connait du Foreign Intelligence Surveillance Act qui autorise les administrations américaines à collecter toutes les données détenues par les sociétés ou personnes morales de droit américain. Enfin, comment prouver que la société OpenAI n’utilise effectivement plus les données des utilisateurs pour entraîner ses modèles ? Il s’agit d’une preuve par la négative quasi impossible à rapporter…

.. L’anonymisation des données reste donc recommandée lorsqu’on utilise ces logiciels d’intelligence artificielle commerciaux tels que ceux de la société OpenAI, de Microsoft Bing ou Copilot, de Google Bard, ou Claude de la société Anthropic …etc..

📲 Désormais, les logiciels d’intelligence artificielle peuvent être installés presque partout : sur votre ordinateur personnel, sur votre smartphone / iphone, dans votre voiture, et demain peut-être dans la paume de votre main .

Toutefois, l’intérêt d’installer et d’utiliser un logiciel d’intelligence artificielle open source, sur votre ordinateur, sur votre serveur interne à votre entreprise, sur votre VPS, ou sur un serveur dédié, est de reprendre (un peu) le contrôle de vos données et celles de vos clients qui vous font confiance.

Avec ce type de logiciel open source, vous pourrez envoyer des prompts avec des données personnelles, partager, confidentiellement, les recherches effectuées et les résultats obtenus via un compte utilisateur commun, avec certains collaborateurs de votre entreprise ou de votre cabinet d’avocats….

Vous pouvez également utiliser et former un logiciel d’intelligence artificielle open source, avec vos propres données en restant ‘propriétaire’ de celles-ci… et sans devoir les envoyer sur les serveurs cloud des sociétés commerciales telles que OpenAI, Microsoft ou Google, sociétés (via leur ‘API’) qui pourront les revendre, par exemple, à des courtiers en données personnelles, et/ou les utiliser pour former leur modèles (…et vous remplacer par l’intelligence artificielle plus rapidement que prévu… 😉 ).

.Actuellement, les sites internet, plateformes services et/ou outils d’intelligence artificielle commerciaux et open source se développent très rapidement. A tel point qu’il est difficile de tous les lister au fur et à mesure.

Il est possible que dans les prochaines années (ou quelques mois ?…), on assiste à une spécialisation ou personnalisation des AI, avec certains sites internet et/ou outils qui se démarqueront des autres pour certaines fonctions bien précises.

Ainsi, le 6 novembre 2023, la société OpenAI a mis en place une plateforme pour créer ses propres assistants intelligence artificielle personnalisés et basés sur une nouvelle version de GPT4. Cette possibilité de créer ses propres assistants intelligence artificielle personnalisés basés sur GPT4 nous questionne sur l’intérêt d’héberger sur son serveur des logiciels open source tel que LibreChat, OP Vault ou DocsMind, logiciels aux fonctionnalités globalement similaires…
Par contre, cela ne change rien sur l’intérêt d’héberger ses propres logiciels d’intelligence artificielle open source basés sur les modèles de langages Llama2, MistralAI, Falcon… etc. pour des raisons évidente de confidentialité des données soumises à ces logiciels.

De manière plus générale, on voit apparaître des logiciels d’intelligence artificielle open source impressionnants pour le ‘grand public’, à titre d’exemples :

• Un logiciel pour se connecter sur internet, faire des recherches et véritablement ‘visualiser’ et retranscrire les images affichées sur des sites web :

• Un logiciel pour intégrer des objets virtuels sur d’une photographie :

• …et d’autres logiciels qui me semblent inquiétants sur le plan du respect de la vie privée et des infractions possibles… selon leur utilisation… tel que certains logiciels pour cloner des voix humaines (ou VoiceCraft ou OpenVoice)

• ou d’autres logiciels d’intelligence artificielle ‘grand public‘ permettant retranscrire en texte ce qui apparaît sur des images capturées en temps réel dans la rue…

ou des logiciels d’intelligence artificielle avec des finalités utiles et bienveillantes pour l’humanité permettant, par exemple, l’analyse d’images médicales pour aider les médecins à mieux repérer des cancers :

Bref, il est très intéressant de suivre l’évolution de l’intégration dans la société ces différents logiciels d’intelligence artificielle …

• Va-t-on aller vers un monde dystopique, plus ou moins contrôlé par différents logiciels d’intelligence artificielle de grandes sociétés commerciales ou par des Etats (Chine, Etats Unis d’Amérique…), dans lequel nous devrons adapter quotidiennement notre comportement et nos actions en fonction du fonctionnement un peu obscur de ces logiciels d’intelligence artificielles. Voir par exemple, actuellement ou dans un très prochain futur, les logiciels d’intelligence artificielle analyser les réponses des candidats lors des entretiens d’embauche : https://lablab.ai/event/monday-ai-app-hackathon/ai-rebel/autorecruit ; ou pour les entretiens psychologiques : https://lablab.ai/event/eleven-labs-ai-hackathon/mentalsync/mentalsync ; ou très probablement pour l’obtention de prêt bancaires pour les primo accédants à la propriété immobilière…
  Bref, un monde horrible ou nous deviendrons tous plus ou moins des psychopathes atteints de trouble dissociatif de l’identité, afin de s’adapter aux attentes, supposées ou réelles, des logiciels d’intelligence artificielle et des personnes ‘idiotes’ les utilisant…) ;

• Ou va-t-on aller vers un monde dans lequel les logiciels d’intelligence artificielle ne seront finalement qu’un support technique supplémentaire pour nous, un peu comme le sont devenus les moteurs de recherche sur internet aujourd’hui (Google …). L’humain gardant alors toute sa place ;

• Ou va-t-on aller vers un monde dans lequel les futurs logiciels atteindront rapidement un niveau d’intelligence artificielle générale et pourront faire preuve d’une réelle ‘créativité’ similaire ou supérieure à celle de l’être humain … et où soit les disparités seront finalement exacerbées entre les sachant (riches en général) et les autres, ou soit au contraire, un monde dans lequel ces logiciels d’intelligence artificielle générale nous permettront de maintenir un niveau de vie elevé pour le maximum de personnes, en répartissant un peu mieux et gaspillant un peu moins les ressources naturelles … (sommes-nous d’ailleurs actuellement dans une simulation informatique ? 😉) ;

• Ou va-ton aller vers un monde multipolaire en matière de logiciels d’intelligence artificielle avec des sociétés et Etats ayant des utilisations, conceptions et des approches radicalement différentes de la création et de l’utilisation des logiciels d’intelligence artificielle , et à moyen terme, potentiellement des conflits violents de conception de sociétés comme actuellement entre les religions mais appliqué aux intelligences artificielles…

Ou vers un monde de plus en plus complexe qui mêle les problématiques citées ci-dessus et bien d’autres…

Ceci étant, en attendant ces potentiels futurs réjouissants pour l’humanité (…), nous avons listé certains sites internet et outils d’intelligence artificielle qui sans pour autant être ‘effrayants’ (ou créer des maux de têtes par rapport à des possibilités que nous ne pouvons pas contrôler), sont actuellement susceptibles d’améliorer votre productivité.

Nous proposons également des tutoriels pour installer les équivalents de certains de ces logiciels et sites web commerciaux, mais en open source et en auto hébergé, c’est à dire installé sur votre ordinateur sous linux, votre serveur ou sur un VPS, afin de mieux sécuriser vos données lorsque vous utilisez ce type de logiciels d’intelligence artificielle, pour votre entreprise ou cabinet d’avocats.

QUELQUES OUTILS D’INTELLIGENCE ARTIFICIELLE (GRATUITS) POUR LE TRAVAIL QUOTIDIEN + LA PRODUCTIVITÉ :

Tous ces outils peuvent être utilisés gratuitement sous réserve d’anonymiser les données…, bien que la plupart d’entre eux proposent une sorte d’offre premium si vous avez besoin de fonctionnalités plus avancées ou d’une tonne de requêtes.

▶️ ChatPDF : Outil gratuit pour utiliser ChatGPT sur vos propres documents/PDF

En termes simples, ChatPDF vous permet de télécharger n’importe quel PDF et d’interagir avec lui comme ChatGPT. Certains élèves l’utilisent pour générer automatiquement des flashcards et expliquer des concepts basés sur des notes de cours et des lectures. Il existe quelques services similaires, mais ChatPDF est le plus simple à utiliser parmi ceux qui ne nécessitent pas de paiement/d’inscription.

Principales caractéristiques :

• Gratuit pour télécharger jusqu’à 3 PDF par jour, avec jusqu’à 120 pages dans chaque PDF
• Peut être utilisé sans aucune inscription

▶️ Taskade : Outil de gestion, de planification et de prise de notes des tâches d’IA avec GPT-4 intégré (gratuit avec inscription)

Taskade est une plateforme tout-en-un de prise de notes, de gestion des tâches et de planification avec des flux de travail et des modèles d’IA intégrés. Comme Notion (ou comme AppFlowy si vous souhaitez utiliser la version de Notion ‘open source’ et respectueuse de vos données et de celles de vos clients : https://github.com/AppFlowy-IO/AppFlowy) , Taskade vous permet de créer facilement des espaces de travail, des documents et des modèles pour vos flux de travail. Contrairement à l’IA basée sur GPT-3 de Notion, Taskade intègre une IA basée sur GPT-4 qui est formée pour structurer vos documents, créer du contenu et vous aider à améliorer votre productivité.

Principales caractéristiques :

• GPT-4 est intégré à leur plan gratuit et formé pour aider au formatage des documents, à la planification, à la création de contenu et à la réponse aux questions via une interface de chat. Son IA semble spécifiquement formée pour fonctionner de manière transparente avec vos documents et espaces de travail, et comprend les requêtes spécifiques à leur interface, comme lui demander de transformer des notes (textuelles) en une carte mentale.
• L’une des limites d’utilisation les plus élevées des outils gratuits : le plan gratuit de Taskade comprend 1 000 requêtes mensuelles, ce qui est l’une des limites d’utilisation les plus élevées que vues pour un outil avec GPT-4 intégré.
• Parce qu’il est intégré à un éditeur de documents doté de fonctionnalités de base de données, de planification et de chat, vous pouvez l’utiliser pour à peu près tout ce pour quoi vous utiliseriez ChatGPT, mais sans payer pour ChatGPT Premium.
• Modèles gratuits pour vous aider à réellement intégrer l’IA dans vos flux de travail : il existe un grand nombre de modèles gratuits véritablement utiles pour les flux de travail, la gestion des tâches, la cartographie mentale, etc.
• Par exemple, vous pouvez ajouter un projet et demander à Taskade de le cartographier et de le créer automatiquement. planifier une répartition des tâches qui composent ce livrable global.

.▶️ Plus AI for Google Slides : Diaporamas générés (et améliorés) par l’IA (gratuit avec inscription, module complémentaire pour Google Slides)

+ AI est un module complémentaire (gratuit !) de Google Slides qui vous permet de décrire le type de diaporama que vous créez, puis de le générer et de l’affiner en fonction de vos besoins exacts.

Nous n’en sommes toujours pas au point où vous pouvez littéralement lui donner une seule invite et obtenir l’intégralité du produit fini, mais cela vous fait gagner beaucoup de temps en créant une structure initiale que vous pouvez ensuite perfectionner. De même, si vous avez créé des diapositives existantes, vous pouvez lui indiquer (en langage naturel) comment vous souhaitez qu’elles soient modifiées.

Par exemple, lui demander de modifier la disposition du texte sur une page, d’améliorer le style d’écriture ou encore d’utiliser des sources de données externes.

Principales caractéristiques :

• S’intègre parfaitement à Google Slides : si vous utilisez déjà Slides, utiliser Plus AI est aussi simple que d’installer le plugin. Leurs didacticiels sont faciles à suivre et ne nécessitent pas l’apprentissage d’un nouveau logiciel ou d’une nouvelle interface de diaporama comme certaines autres options.
• Créez et modifiez des diapositives en langage naturel : De plus, l’IA vous permet de créer des diaporamas entiers, d’ajuster le texte ou de modifier les mises en page en langage naturel. Tout cela est assez intuitif et constitue le meilleur des outils de diapositives IA que j’ai essayés.

▶️ FlowGPT : Base de données d’invites et de flux de travail d’IA (gratuit sans inscription, même si cela vous pousse à vous inscrire !)

FlowGPT collecte des invites et des collections d’invites pour effectuer diverses tâches, du marketing à la productivité en passant par le codage, ainsi que des éléments aléatoires que les gens trouvent intéressants. Il utilise un système de vote positif similaire à Reddit qui permet de trouver facilement des façons intéressantes d’utiliser ChatGPT. Il vous permet également de rechercher des invites si vous avez quelque chose en tête et souhaitez voir ce que les autres ont fait. C’est gratuit et propose de nombreuses fonctionnalités intéressantes, telles que l’affichage d’un aperçu de la façon dont ChatGPT répond aux invites.

▶️ Summarize.Tech : Résumés IA des vidéos YouTube (gratuit sans inscription)

Summarize génère des résumés IA de vidéos YouTube, les condensant en notes écrites relativement courtes avec horodatages.

▶️ Claude : Alternative ChatGPT avec une limite de ~ 75 000 mots (gratuit avec inscription)

Si vous avez utilisé ChatGPT, vous avez probablement rencontré le problème de sa limite (relativement faible) de jetons. En termes simples, il ne peut pas gérer un texte de plus de quelques milliers de mots. C’est la même raison pour laquelle ChatGPT « oublie » les instructions que vous lui avez données plus tôt dans une conversation. Claude résout ce problème avec une limite d’environ 75 000 mots qui vous permet de saisir des romans littéraux et de faire à peu près tout ce que vous pouvez faire avec ChatGPT. Malheureusement, Claude n’est actuellement gratuit qu’aux États-Unis ou au Royaume-Uni. IL faut donc utiiser un VPN Ou le site Poe : https://poe.com/ pour l’utiliser. Claude se présente comme l’IA « la plus sûre », ce qui peut rendre son utilisation difficile dans de nombreux cas d’utilisation, mais elle vaut la peine d’être essayée et est meilleure que ChatGPT pour certaines tâches.

Principales caractéristiques :

• Limite de mots beaucoup plus longue que même les modèles de jetons les plus élevés de ChatGPT
• Des garde-fous plus solides que ChatGPT : si vous aimez cela, Claude se concentre beaucoup plus sur « la confiance et la sécurité » que même ChatGPT.

▶️ Phind : Moteur de recherche IA qui combine Google avec ChatGPT (gratuit sans inscription)

Comme une combinaison de Google et ChatGPT. Comme ChatGPT, il peut comprendre des invites complexes et vous donner des réponses détaillées condensant plusieurs sources. Comme Google, il vous montre les sources les plus récentes répondant à votre question et a accès à tout sur Internet en temps réel (par rapport à la date limite de ChatGPT de septembre 2021). Contrairement à Google, il évite les liens spammés qui semblent dominer Google de nos jours et répond réellement à votre question.

Principales caractéristiques :

• Accède à Internet pour vous obtenir des informations en temps réel par rapport à la date limite de ChatGPT pour 2021. Bien que ChatGPT soit idéal pour la génération de contenu et d’autres tâches pour lesquelles vous n’avez pas vraiment besoin d’informations en direct, il ne peut vous fournir aucune information au-delà de son point limite.
• Fournit des sources réelles pour ses affirmations, vous aidant à approfondir des points spécifiques et à éviter les hallucinations. Phind a été le premier à combiner le meilleur des deux mondes entre Google et ChatGPT, vous donnant un accès facile aux sources réelles comme le fait Google tout en résumant les résultats pertinents comme le fait ChatGPT. C’est toujours l’un des meilleurs outil pour cela, surtout si vous avez des questions techniques.

▶️ Bing AI : Alternative ChatGPT basée sur GPT-4 (avec accès Internet)

Le chat AI de Bing est très similaire à ChatGPT (il est basé sur GPT-4). Contrairement au modèle de base de ChatGPT sans plugins, il a accès à Internet. Cela ne nécessite pas non plus de connexion, ce qui est bien.

Au risque de ressembler à un disque rayé, Google a vraiment laissé tomber la balle ces derniers temps en fournissant des résultats de recherche non spammés qui répondent réellement à la requête, et il est agréable de voir d’autres moteurs de recherche comme Bing et Phind proposer des alternatives.

Principales caractéristiques :

• Semblable à Phind, bien que sans doute un peu meilleur pour les questions non techniques : Bing fournit également des résumés de sources, génère du contenu et intègre par ailleurs bien l’IA et la recherche.
• Construit sur GPT-4 : comme Taskade, Bing a confirmé qu’il utilise GPT-4. Cela en fait une autre option intéressante pour contourner le paiement pour GPT-4 tout en bénéficiant des mêmes fonctionnalités que ChatGPT.
• Intégration transparente avec un moteur de recherche standard.

▶️ ZeroGPT : Site internet vous proposant d’analyser si un texte ou une partie de celui-ci a, potentiellement, été généré par un logiciel d’intelligence artifielle (OpenAI).

• Phrases surlignées : Chaque phrase écrite par l’IA est mise en évidence, avec une jauge indiquant le pourcentage d’IA dans le texte
• Téléchargement de fichiers par lots : Téléchargez simplement plusieurs fichiers à la fois et ils seront automatiquement vérifiés dans le tableau de bord.
• Rapport généré : Rapports .pdf générés automatiquement pour chaque détection
• Prise en charge de toutes les langues

AUTRES OUTILS D’IA GRATUITS QUI SONT PLUS SIMPLES OU N’ONT PAS BESOIN D’UNE EXPLICATION COMPLÈTE :

▶️ Remove.bg: Remove.bg utilise une IA simple pour supprimer les arrière-plans de vos images. C’est très simple, mais c’est quelque chose que je finis par faire étonnamment souvent en éditant des images de produits, etc.

▶️ CopyAI & Jasper : les deux sont des outils d’écriture d’IA principalement conçus pour le contenu de marketing de sites Web/de blogs. .

▶️ Gemini : Logiciel d’intelligence artificielle de la société Google Ltd

▶️ Consensus.app : Moteur de recherche qui utilise l’IA pour trouver des informations dans des articles de recherche.

▶️ Ordalie.tech : Site internet d’IA pour poser des questions sur le droit français – via Open AI Chat GPT

▶️ Legigpt : Site internet d’IA pour poser des questions le droit français – via Open AI Chat GPT et Legifrance.

▶️ Thegoodlegal : Site internet d’IA pour poser des questions le droit français, des fiches d’arrêts, synthétiser des documents – via Open AI Chat GPT.

▶️ Poe : Site internet permettant d’utiliser plusieurs AI, Chat GPT, Claude, Lllama2-70B…etc.

▶️ Perplexity : Moteur de recherche avec fonctionnalités d’IA, listant les sources – via Open AI.

▶️ OtterAI : Site internet permettant de résumer vos réunions en visioconférence – via Open AI Chat GPT.

▶️ SpellBook Legal : Site internet permettant d’analyser des contrats et documents légaux avec l’API de la société OpenAI.

Il existe également leurs ‘équivalents’ en logiciels open source se basant parfois sur les modèles de langage de la société Meta – Facebook LLaMA2, Falcon, Mistral AI, en mode ‘auto hébergé’ sur votre ordinateur ou serveur. Cela permet d’améliorer la confidentialité de vos données et celles de vos clients…

• LlaMA2
• Falcon180B
• OpenAssistant

Les différents logiciels et services commerciaux utilisent les données des internautes, a minima pour permettre leur fonctionnement. Ces données, personnelles ou non, sont enregistrées sur les serveurs informatiques de ces sociétés commerciales, le plus souvent américaines. Cela peut interoger sur le respect de la confidentialité des données et on peut alors préférer utiliser un logiciel d’intelligence artificielle et modèle de langage open source, tel que Lllama2 ou MistralAI en interne…

ChatGPT pose-t-il des problèmes de confidentialité ? (Spoiler_Alert : oui )

https://www.makeuseof.com/chatgpt-privacy-issues/

Certes, au jour ou nous écrivons ces lignes, les modèles open source ne sont pas encore aussi performants que celui du ‘leader’, GPT4 de la société OpenAI et ils nécessitent souvent d’avoir un ordinateur puissant, disposant de beaucoup de mémoire RAM (minimum 16 Go).

Toutefois, ils se rapprochent de lui au fil des mois… Par exemple, il semble que le dernier modèle d’IA « Falcon-180B » sur Hugging-Face talonne désormais, en termes de performances, GPT4…. On constate également des améliorations régulières des différents modèles de langage des IA open source disponibles sur Hugging Face qui se spécialisent dans telle ou telle fonction (le codage informatique, la rédaction de textes, la discussion …etc. ).

Ainsi, afin de tenter de garder une certaine maîtrise de ces différents logiciels d’IA qui bouleversent nos méthodes de travail et conserver la confidentialité de nos données soumises à des logiciels d’IA, il nous semble important de connaitre et de savoir installer certains de logiciels open-sources actuels, qui se basent, actuellement, principalement sur les modèles d’IA de la société Meta – Facebook, (llama.cpp et LLAmA2) et Alpaca.
.

Liste des tutoriels :
Il est préférable d’avoir préalablement suivi les chapitres 1 à 3 du tutoriel d’installation de Juris-Tyr.

Introduction
⏩ Serge, discutez avec des (AI) LLM open source
⏩ Ollama : accédez à Llama2, MistralAI et à d’autres LLM(s)
⏩ GodMode – AI Chat Browser, comparez les LLM entre eux
⏩ GPT4All, un logiciel à installer sur son PC sous Windows ou sur son Mac pour accéder à de nombreux (AI) LLM
⏩ LibreChat, un logiciel open source pour accéder à GPT4, Copliot, Claude, via leurs API
⏩ Web Whisper +, un logiciel de reconnaissance vocale et de traduction en ligne
⏩ Whisper Web, un (autre) logiciel de reconnaissance vocale en ligne
⏩ Web-speech-synthesis-and-recognition un logiciel pour convertir la parole en texte et vice versa en quelques secondes,
⏩ OP Vault, discutez avec des documents PDF ou DOCX via l’API de GPT4
⏩ MultiPDF Chat App, discutez avec plusieurs documents PDF en même temps via l’API de GPT4
⏩ DocsMind, discutez avec un fichier PDF via l’API de GPT4
⏩ SecureAI Tools, discutez avec « MistralAI » et analysez vos fichiers PDF, de manière sécurisée et sans transmettre vos données à la société OpenAI
⏩ OllamaWebUI Tools, discutez par écrit et oralement avec le LLM « MistralAI » de manière sécurisée et sans transmettre de données à OpenAI
⏩ h2ogpt : Analysez et résumez vos documents ou discutez simplement avec des LLM GPT privés locaux depuis votre PC sous Windows ou votre Mac
⏩ BionicGPT, discutez avec le LLM « Llama2 » , analyser et résumer vos documents en local, de manière sécurisée, confidentielle
⏩ GPT4 Builder, créez un assistant d’intelligence artificielle personnalisé sur le LLM GPT4 en utilisant une API depuis la plateforme développeurs d’ OpenAI
⏩ Exemples de prompts pour mieux utiliser les logiciels d’intelligence artificielle

Serge, un logiciel pour discuter avec des (AI) LLM open source

L’application open-source « Serge » est une interface de chat conçue avec llama.cpp pour exécuter des modèles open-sources Alpaca (Llama2). Il n’y a pas de clé API requise, le logiciel fonctionne entièrement auto-hébergé et il est régulièrement mis à jour.

Avec cette application, aucune de vos données ne sera envoyée sur les serveurs de la société OpenAI, de Microsoft ou de tout autre société commerciale. L’inconvénient est que son installation est un peu complexe….

Caractéristiques :

🌐 Interface SvelteKit
💾 Redis pour stocker l’historique et les paramètres des discussions
⚙️ FastAPI + LangChain pour l’API, encapsulant les prompt vers llama.cpp à l’aide des liaisons python

Vous pouvez télécharger cette application depuis ce dépôt sur Github : https://github.com/serge-chat/serge

Attention ! Pour fonctionner correctement ^{_{(sans que vous ayez l’impression que le temps s’est subitement arrété…)}}, Serge nécessite que votre ordinateur ou votre serveur/VPS dispose de suffisamment de mémoire RAM ^{_{(minimum 16 Go recommandé pour des modèles de LLM 13B)}}.

Si votre ordinateur ou votre serveur ne dispose que de 4 ou 8 Go de mémoire RAM, nous vous recommandons de privilégier l’installation de LibreChat.

Serge permet de faire tourner de nombreux models de langages :

• MistralAI
• Facebook-LLaMA2-7B (3.79GB)
• …etc.

Après quelques essais, les modèles fournis de base les plus efficaces (ou les moins mauvais…) pour envoyer des prompts en langue française nous semblent être ceux de Mistral et Facebook-LLaMA2-13B, Par contre, selon la taille du modèle de langage (7B, 13B…) et la mémoire RAM disponible sur l’ordinateur serveur, les performances seront plus ou moins bonnes…

Il est possible de télécharger des modèles de langages plus légers et adaptés à la langue française. C’est ce que nous allons faire après dans ce tutoriel

Pour installer ce logiciel, il est préférable d’avoir préalablement suivi les chapitres 1 à 3 du tutoriel d’installation de Juris-Tyr.

Etape 1 : Installez les progiciels nécessaires :

Installez les progiciels nécessaires (s’ils ne sont pas déjà installés) :

Exécutez en premier la commande suivante pour vérifier et installer les mise à jour :

sudo apt update

sudo apt upgrade

sudo apt install -y apache2 apache2-utils

sudo systemctl start apache2

sudo systemctl enable apache2

sudo iptables -I INPUT -p tcp --dport 80 -j ACCEPT 
sudo iptables -I INPUT -p tcp --dport 443 -j ACCEPT

sudo nano /etc/apache2/conf-available/servername.conf

ServerName localhost

sudo a2enconf servername.conf

sudo systemctl reload apache2

sudo apt-get update
sudo apt-get install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update

sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

sudo curl -L « https://github.com/docker/compose/releases/download/1.26.2/docker-compose-$(uname -s)-$(uname -m) » -o /usr/local/bin/docker-compose

sudo apt-get install docker-compose-plugin

sudo chmod +x /usr/local/bin/docker-compose

sudo systemctl start docker

sudo systemctl enable docker

sudo wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

sudo wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-aarch64.sh

sudo bash Miniconda3-latest-Linux-x86_64.sh

sudo bash Miniconda3-latest-Linux-aarch64.sh

sudo npm install --global yarn

sudo apt install git

sudo apt install ffmpeg

sudo apt update

sudo apt install build-essential zlib1g-dev libncurses5-dev libgdbm-dev libnss3-dev libssl-dev libreadline-dev libffi-dev libsqlite3-dev wget libbz2-dev

sudo wget https://www.python.org/ftp/python/3.11.3/Python-3.11.3.tgz

sudo tar -xf Python-3.11.3.tgz

cd Python-3.11.3

sudo ./configure --enable-optimizations

sudo make -j 12

sudo make altinstall

sudo su

wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda_12.4.0_550.54.14_linux.runsudo sh cuda_12.4.0_550.54.14_linux.run

sudo apt update

sudo apt-get install nodejs

sudo apt install build-essential

sudo apt install npm

1.1. Installez les autres progiciels nécessaires :

S’ils ne sont pas déjà installés, installez les logiciels Python3.

Exécutez les commandes suivantes :

#installer python3
sudo apt-get install libffi-dev libssl-dev
sudo apt install python3-dev
sudo apt-get install -y python3 python3-pip
sudo pip3 install docker-compose
sudo apt-get install docker-compose-plugin

Etape 2 : Installer le conteneur Docker « Serge » depuis Github

Exécutez la commande suivante :

sudo apt install git

Exécutez la commande suivante :

sudo docker run -d \
--name serge \
-v weights:/usr/src/app/weights \
-v datadb:/data/db/ \
-p 8008:8008 \
ghcr.io/serge-chat/serge:latest

Désormais si vous tapez l’adresse http://localhost:8008 dans la barre d’adresse du navigateur internet de votre ordinateur ou de votre serveur, vous accéderez à l’interface de Serge :

Cependant, si vous avez installé Serge sur un VP ou si vous souhaitez pouvoir accéder à ce logiciel d’intelligence artificielle depuis votre villa à l’île-Maurice… via un site internet avec une adresse ressemblant à http://serge.exemple.com ou à http://ia exemple.com, nous allons donc devoir créer un accès à ce conteneur Docker depuis un site internet en configurant un fichier ‘Virtualhost’ sur un serveur Apache.

Attention toutes les personnes qui connaîtront cette adresse web pourront accéder à votre instance de Serge. Il sera donc préférable de supprimer vos discussions après l’avoir utilisé.

Etape 3 : Créez un ficher Virtualhost pour un serveur apache (facultatif)

3.1. Créez un fichier de configuration apache

Si vous avez installé cette application sur un serveur VPS, vous ne pourrez pas vous connecter avec votre navigateur à l’adresse locale : http://localhost:8008 ou à l’adresse http://192.168.1.XX:8008 du VPS.

Il faut alors créer un accès vers cette application depuis un site internet spécifique.

Pour accéder à ce logiciel d’intelligence artificielle ‘Serge’ depuis un site internet, vous devez d’abord créer un sous-domaine : « ia.exemple.com » ou « serge.exemple .com » depuis votre compte client de votre gestionnaire de domaine en le reliant à l’adresse IP de votre serveur via un enregistrement ‘DNS A’.

Si vous ne vous vous souvenez plus comment faire, consultez de nouveau l’étape 1 de la phase 4 de notre tutoriel pour installer Juris-Tyr.

(Rappel des étapes si vous avez acheté votre nom de domaine via OVH : «Connexion à l’ Espace client d’OVH » -> Onglet « WebCloud» -> Lien « Noms de domaines » -> « exemple.com » -> Bouton « Zone DNS » -> Bouton « Créer un nouvel enregistrement » -> Bouton «  A » -> Bouton « Suivant » -> « cloud » -> compléter l’adresse IP de votre VPS « 51.xx.xxx.xx » -> « Bouton Suivant » -> « Bouton Valider »).

Une fois votre sous-domaine crée, éditez un nouveau fichier ‘ai.conf’ (ou ‘serge.conf’) dans le dossier /etc/apache2/sites-available/ avec un éditeur de texte en ligne de commande comme Nano :

sudo nano /etc/apache2/sites-available/ai.conf

Copiez et collez le texte suivant dans le fichier :
(Remplacez le texte « ai.exemple.com » par votre propre sous-domaine et nom de domaine) 

<VirtualHost *:80>
ServerName ai.exemple.com
   #HTTP proxy
#    ProxyPreserveHost On
    ProxyRequests On
#    ProxyRequests Off
    ProxyRequests On
#    ProxyVia On
  <Proxy *>
    Allow from all
  </Proxy>
    ProxyPass / http://127.0.0.1:8008/
    ProxyPassReverse / http://127.0.0.1:8008/
<Location "/">
  ProxyPass "http://127.0.0.1:8008/"
  ProxyPassReverse "http://127.0.0.1:8008/"
</Location>
ErrorLog ${APACHE_LOG_DIR}/ai.exemple.com.error.log
CustomLog ${APACHE_LOG_DIR}/ai.exemple.com.access.log combined
RewriteRule ^/(.*)?$ http://127.0.0.1:8008/$1 [P,L]
</VirtualHost>

Enregistrez et fermez le fichier.
(Pour enregistrer un fichier dans l’éditeur de texte Nano, appuyez sur les touches ‘Ctrl+o’, puis sur ‘Entrer’ pour confirmer. Pour quitter, appuyez sur ‘Ctrl+X’).

Activez ensuite ce nouveau fichier de configuration du serveur Apache ‘hôte virtuel’ :

sudo a2ensite ai.conf

Exécutez la commande suivante pour activer les modules Apache requis :

sudo a2enmod rewrite headers env dir mime setenvif ssl proxy_http proxy rewrite

 Recharger Apache et les modules PHP :

sudo systemctl restart apache2 php8.2-fpm

Désormais vous pouvez accèder à Serge via l’adresse : http://ai.exemple.com

3.2. Activez https pour le site internet crée :

Nous souhaitons (un peu) sécuriser l’accès au site ai.example.com. Nous allons donc enregistrer un certificat TLS pour accèder à ce site internet en ‘https’.

Exécutez les commandes suivantes pour installer le client Let’s Encrypt (certbot) à partir du référentiel de logiciels par défaut.

sudo apt install certbot

Si vous utilisez le serveur Web Apache, vous devez également installer le plug-in Certbot Apache.

sudo apt install python3-certbot-apache

Exécutez ensuite la commande suivante pour obtenir un certificat TLS/SSL gratuit.

sudo certbot --apache --agree-tos --redirect --hsts --staple-ocsp --email yo*@ex*****.com -d ai.example.com

Exécuter la commande suivante

sudo systemctl restart apache2

Etape 4 : Téléchargez un modèle de langage depuis l’interface de Serge

Connetez-vous avec votre navgateur à l’adresse précédemment crée : http://ai.exemple.com ou https://ai.exemple.com puis cliquez sur le bouton « DOWNLOAD MODELS » pour télécharger un modéle de langage :

Téléchargez un modèle de langage, par exemple le modèle Facebook-LLaMA2-7B :

Comment télécharger de nouveaux modèles de langage (llm) (facultatif) :

Des modèles de langage supplémentaires peuvent être ajoutés au volume serge_weights via la commande suivante :

sudo docker cp:docker cp ./my_weight.bin serge:/usr/src/app/weights/

Nous allons justement télécharger des modèles plus légers (et donc plus rapides).

Téléchargez le Modèle « Marx-3B-V2-Q4_1-GGML », c’est un modèle léger et pourtant très efficace en langue anglaise.

Placez vous dans le répertoire ‘home’ du système d’exploitation ‘Ubuntu’ puis exécutez les commandes suivantes :

#revenir dans le répertoir utilisateur home de Ubuntu
cd ~ 

#télécharger un modele de LLM sur huggingface
sudo wget https://huggingface.co/NikolayKozloff/Marx-3B-V2/resolve/main/Marx-3B-V2-Q4_1-GGML.bin

Ajoutez ce modèle à Serge :

sudo docker cp ./Marx-3B-V2-Q4_1-GGML.bin serge:/usr/src/app/weights/

Créez une nouvelle discussion en sélectionnant ce nouveau modèle téléchargé :

Nous allons également télécharger un modèle de langage plus adapté à la langue française : « Vigogne »
…/…
Ce modèle est accessible via ce lien : https://huggingface.co/TheBloke/Vigogne-2-13B-Instruct-GGML/tree/main

Exécutez à la suite les commandes suivantes :

sudo wget https://huggingface.co/TheBloke/Vigogne-2-7B-Chat-GGML/resolve/main/vigogne-2-7b-chat.ggmlv3.q5_K_M.bin

sudo wget https://huggingface.co/TheBloke/Vigogne-2-13B-Instruct-GGML/resolve/main/vigogne-2-13b-instruct.ggmlv3.q5_K_M.bin

sudo docker cp ./vigogne-2-13b-instruct.ggmlv3.q5_K_M.bin serge:/usr/src/app/weights/

sudo docker cp ./vigogne-2-7b-chat.ggmlv3.q5_K_M.bin serge:/usr/src/app/weights/

Ces nouveaux modèles de langages adaptés à la langue française apparaissent désormais dans Serge.

…/…
Résultat :

Etape 5 : Paramétrez le modèle de langage et démarrer une nouvelle discussion

Une fois le modèle téléchargé, cliquez sur le bouton « HOME » puis sur la petite flèche de « Model_settings » afin de paramétrer le modèle et indiquer le premier prompt ou la première requête lors du lancement.

• Vous pouvez régler la température à 0,9 ou 1 pour avoir un modèle suffisament créatif dsans ses réponses.
• Vous pouvez régler la longueur du texte à générer à 512
• Vous pouvez régler Prompt_Context_Length jusqu’a 2048. Cependant, si vous n’avez pas beaucoup de mémoire sur votre serveur, éviter d’être top ambitieux avec ce réglage.
• Enfin vous pouvez indiquer le prompt de départ pour le modèle de langage.

…/…
Enfin, cliquez sur le bouton « START_A_NEW_CHAT » et let’s go !

Comment mettre à jour Serge (facultatif) :

Pour mettre à jour Serge, vous devrez

-Soit exécuter la commande suivante :

sudo docker pull ghcr.io/serge-chat/serge:latest

–Soit supprimer le conteneur docker de Serge en exécutant les commandes suivantes, avant de le réinstaller (étape 2 de ce chapitre) :

Lister les conteneurs Docker :

sudo docker ps -a

Une liste de conteneur docker apparaît avec des numéros associés. Copiez le numéro (« ID_CONTENAIR ») associé au docker ‘Serge », puis arrétez-le.

Arretez le conteneur Docker de Serge :

sudo docker stop ID_CONTENAIR

Puis supprimer le :

sudo docker rm ID_CONTENAIR

Lister les images Docker :

sudo docker images

Repérez le numéro de l’image de Serge (‘ID_IMAGE’), puis supprimer la avec la commande suivante :

sudo docker rmi ID_IMAGE

Arretez et supprimez les volumes Docker inutilisés :

sudo docker system prune -a

sudo docker volume prune -a

Puis vous réinstallerez Serge avec docker avec la commande suivante :

sudo docker run -d \
--name serge \
-v weights:/usr/src/app/weights \
-v datadb:/data/db/ \
-p 8008:8008 \
ghcr.io/serge-chat/serge:latest

Ollama – Utilisez Llama 2 et MistralAI sur son PC sous Windows ou son Mac ou sur son serveur

Ollama est un logiciel qui vous permet de discuter avec Llama 2 et d’autres modèles. Il s’agit d’un logiciel multiplateforme fonctionnant sous Linux et macOS. Ollama est un logiciel open source, publié sous la licence MIT. Son installation sur un serveur lui permet d’être accessible à toute votre équipe.

URL de l’application : https://ollama.ai

Pour installer ce logiciel sur un serveur linux , il est préférable d’avoir préalablement suivi les chapitres 1 à 3 du tutoriel d’installation de Juris-Tyr. et avoir installé préalablement docker et docker compose.

Ce logiciel nécessite un serveur ou un ordinateur performant, doté de beaucoup de mémoire vive et/ou d’une bonne carte graphique Nvidia récente et performante, pour fonctionner dans de bonnes conditions (ou avoir un Mac avec un processeur M2 ou M3).

Dans ce cadre, nous pouvons vous recommander d’installer ce logiciel open source, par exemple, sur les serveurs dédiés Kimsufi de la société OVHCloud qui offrent de bonne performances à un prix raisonnable (Env. 50 € HT par mois pour un serveur dédié, certes sans carte graphique mais doté de 128 Go de mémoire vive : https://eco.ovhcloud.com/fr/?display=list&memory=128%7C512 ).

Pourquoi privilégier l’installation du logiciel Ollama sur un serveur plutôt que sur un ordinateur personnel ?

L’intérêt d’installer Ollama (ou un autre logiciel d’intelligence artificielle open source tel que SecureAI Tools par exemple), sur un serveur plutôt que sur son ordinateur personnel est de permettre à tous les collaborateurs de votre cabinet d’avocats ou de votre entreprise, d’accéder,de n’importe quel terminal, ordinateur ou téléphone, à un logiciel d’intelligence artificielle performant et en pouvant transmettre des données personnelles ou sensibles sans craindre qu’elles soient captées par la société OpenAI, Microsoft ou par d’autres sociétés commerciales.

Etape 1 : Installation de Ollama

Le créateur de ce logiciel à mis à disposition un script d’installation sur Linux et Mac.

• si vous avez un mac, vous pouvez télécharger Ollama sur cette page : https://ollama.ai/download
  
• si vous avez un pc sous windows, vous pouvez installer la version preview en cliquant sur ce lien : https://ollama.com/download/OllamaSetup.exe

• Enfin, si vous utilisez linux (Ubuntu, Alpine…etc.) sur votre ordinateur ou sur votre serveur /VPS, vous pouvez exécuter cette commande pour installer Ollama :

sudo curl https://ollama.ai/install.sh | sh

Lançons Ollama au démarrage :

sudo systemctl start ollama
sudo systemctl enable ollama

Ce script va installer Ollama avec tous les progiciels nécessaires…

👍Vous pouvez ensuite procéder à l’installation de l’interface web Ollama Web UI en suivant ce tutoriel.

⏩ OllamaWebUI Tools : discutez par écrit et oralement avec le LLM open source « MistralAI » de manière sécurisée, sans transmettre de données à OpenAI

…/…

Si (et seulement si) le script ci-dessus ne fonctionne pas, vous pouvez alors exécuter les commandes suivantes pour installer Ollama sous linux (avec l’ancienne méthode).

Installer certains autres progiciels :

sudo apt install cmake make golang-go
sudo apt-get install golang

Clonez le référentiel GitHub du projet avec la commande suivante :

cd /var/www/
sudo git clone https://github.com/jmorganca/ollama
sudo chown www-data:www-data -R /var/www/ollama

Entrez dans le répertoire / dossier nouvellement créé par git :

cd ollama

Construisez le logiciel:

sudo go build .

Démarrez le serveur :

sudo ./ollama serve &

Si vous souhaitez exécuter Ollama sans avoir à utiliser ./ollama à chaque fois, ajoutez le répertoire ollama à la variable d’environnement $ PATH.  

Le serveur écoute à l’adresse : http://127.0.0.1:11434.

Pour tester le modèle Llama 2, exécutez la commande suivante dans le terminal :

sudo ollama run llama2

Ollama procède au téléchargement du modèle Llama 2. C’est un téléchargement de 3,8 Go sur le disque dur.

Une fois installé, la ligne finale affiche l’invite  » > > > «  dans votre terminal de commande :

        127.0.0.1 |POST             "api/generate"
> > >  
.../...

Etape 2 : Utilisation

Vous pouvez désormais tester le modèle Llama 2 en tapant la commande ‘sudo ollama run llama2‘, puis votre prompt… après les caractères  » > > >  » .

Ollama propose une méthode (relativement) simple pour expérimenter les LLM.
Vous pouvez accéder à une variété de modèles avec quelques commandes simples :

ollama pull llama2

ollama pull llama2:13b

ollama pull orca

ollama pull mistral

ollama pull mixtral

Puis, en exécutant les commandes suivantes selon le modèle de langage choisi :

sudo ollama run nous-hermes

sudo ollama runwizard-vicuna

…etc.

Le modèle ‘Open Hermes 2 Mistral’ donne de bons résultats. Pour l’installer, exécutez les commandes suivantes :

sudo ollama run openhermes2-mistral

Appuyez simultanément sur les touches [Control] et [d] pour quitter ollama.

Si vous souhaitez que Ollama se lance à chaque démarrage exécutez la commande suivante :

sudo systemctl enable ollama

Personnalisation d’un modèle de langage :

Vous pouvez également personnaliser les modèles en créant votre propre modèle. La personnalisation vous permet de définir la température et le prompt initial.

Commencez par sélectionner un modèle :

ollama pull llama2

Puis créer un fichier de configuration pour le modèle :

sudo nano Modelfile

Puis complétez le fichier Modelfile avec les commandes suivantes :

FROM llama2
set the temperature to 1 [higher is more creative, lower is more coherent]
PARAMETER temperature 1
set the system prompt
SYSTEM """
You are Harvey Specter from Suits TV show. Answer as Harvey Specter, the legal assistant, only.
"""

Ensuite, créez et exécutez le modèle qui s’appellera ‘Suits’ dans l’exemple ci-après :

ollama create Suits -f ./Modelfile
ollama run Suits
>>> Hello
Hello, it's your legal assistant Harvey Specter.

Pour plus d’exemples, consultez le répertoire d’exemples. Pour plus d’informations sur la création d’un fichier de configuration de modèle, consultez la documentation Modelfile.

Vous pouvez également visionner ce tutoriel sur Youtube pour tout savoir sur l’ajout de LLM dans Ollama :

Lister les modèles de langages disponibles :

Pour lister les modèles, exécuter la commande suivante :

ollama list

Supprimer des modèles de langages :

Pour supprimer des modèles, exécutez la commande suivante :

ollama rm llama2

Configurer l’api pour Ollama :

Ollama dispose d’une API pour exécuter et gérer des modèles.
Par exemple pour générer du texte à partir d’un modèle, exécutez la commande suivante :

curl -X POST http://localhost:11434/api/generate -d '{
"model": "llama2",
"prompt":"Why is the sky blue?"
}'

Compatibilité de Ollama avec les API de la société OpenAI :

Ollama a désormais une compatibilité intégrée avec les API de la société OpenAI, permettant d’utiliser davantage d’outils et d’applications avec Ollama localement, comme on le fait lorsqu’on utilise une API de la société OpenAi sur divers sites ou logiciels.

Installation :

Commencez par télécharger Ollama et extrayez un modèle tel que Llama 2 ou Mistral :

ollama pull llama2

Utilisation :

Pour appeler le point de terminaison de l’API compatible OpenAI d’Ollama, utilisez le même format OpenAI et remplacez le nom d’hôte par http://localhost:11434 :

curl http://localhost:11434/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "llama2",
        "messages": [
            {
                "role": "system",
                "content": "You are a helpful assistant."
            },
            {
                "role": "user",
                "content": "Hello!"
            }
        ]
    }'

OpenAI Python library :

from openai import OpenAI
client = OpenAI(
    base_url = 'http://localhost:11434/v1',
    api_key='ollama', # required, but unused
)
response = client.chat.completions.create(
  model="llama2",
  messages=[
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "Who won the world series in 2020?"},
    {"role": "assistant", "content": "The LA Dodgers won in 2020."},
    {"role": "user", "content": "Where was it played?"}
  ]
)
print(response.choices[0].message.content)

OpenAI JavaScript library :

import OpenAI from 'openai'
const openai = new OpenAI({
  baseURL: 'http://localhost:11434/v1',
  apiKey: 'ollama', // required but unused
})
const completion = await openai.chat.completions.create({
  model: 'llama2',
  messages: [{ role: 'user', content: 'Why is the sky blue?' }],
})
console.log(completion.choices[0].message.content)

GodMode – AI Chat Browser

Le logiciel GodMode est présenté comme un navigateur de chat dédié donnant un accès instantané aux applications Web complètes de ChatGPT, Bard, Claude 2, Perplexity, Bing, Quora Poe et d’autres services d’IA, tous accessibles avec un seul raccourci clavier. Essentiellement, le logiciel vous permet simplement de discuter simultanément avec une gamme de services d’IA. En un sens, il ressemble un peu à Poe … mais en open-source….

Il n’y a vraiment pas d’installation complexe à réaliser car le projet GitHub fournit une AppImage.

AppImage est un format de logiciel universel sur Linux (et Mac) permettant de distribuer des logiciels portables sous Linux sans avoir besoin d’autorisations de superutilisateur (sudo) pour installer l’application.

AppImage n’installe pas vraiment de logiciel. Il s’agit d’une image compressée avec toutes les dépendances et bibliothèques nécessaires pour exécuter le logiciel souhaité (un peu comme un conteneur Docker).

Pour exécuter le logiciel, téléchargez la dernière version d’AppImage à cette adresse :

https://github.com/smol-ai/GodMode/releases/latest

Puis, si vous utilisez Ubuntu ou linux, rendez le fichier téléchargé exécutable, avec la commande suivante :

Si vous utilisez un micro-ordinateur Raspberry ou OrangePi, exécutez la commande suivante :

sudo chmod u+x GodMode-1.0.0-beta.8-arm64.AppImage

Si vous utilisez un processeur Intel x86, exécutez la commande suivante :

sudo chmod u+xGodMode-1.0.0-beta.8.AppImage

et lancez l’application en cliquant deux fois sur le fichier AppImage pour exécuter le logiciel GodMode.

Le code source complet est également disponible à cette adresse : https://github.com/smol-ai/GodMode

Vous aurez également besoin de renseigner les identifiants des comptes pour la majorité des services d’IA (OpenAI …etc).

GodMode offre un moyen simple d’obtenir rapidement des réponses aux questions et de vérifier les faits. Un large éventail de modèles d’IA est pris en charge, chacun avec ses propres forces et faiblesses. Par exemple, Perplexity est un excellent moyen de vérifier des informations car il génère des citations à partir de sources. Cela vous aide à évaluer l’exactitude des résultats. Claude 2 est utile pour trouver des informations générales, et ChatGPT nous est utile pour les tâches de programmation bien que le code qu’il génère nécessite beaucoup de rectifications. De nouvelles fonctionnalités et moteurs d’IA sont régulièrement ajoutés. La prise en charge initiale de oobabooga/text-generation-webui a également été ajoutée au logiciel.

GPT4ALL, un logiciel d’intelligence artificielle à installer sur son PC ou son Mac

https://user-images.githubusercontent.com/13879686/231876409-e3de1934-93bb-4b4b-9013-b491a969ebbc.gif

GPT4All , à ne pas confondre avec le LLM GPT4 de la société OpenAI, est un logiciel permettant d’utiliser des LLM tels que MistralAI ou Llama 2 sur son PC ou son Mac en local (accessibles que depuis votre ordinateur personnel).

Lien vers l’application : https://github.com/nomic-ai/gpt4all

En résumé, GPT4All est (notamment) une application installable sur Linux, Windows ou Mac Os, qui permet d’utiliser certains modèles de langages. Cette application offre des fonctionnalités similaires à Serge à la différente quelle est exécutée exclusivement sur votre ordinateur. Il vous suffit d’installer l’application correspondante à votre système d’exploitation en cliquant sur ce lien hypertexte : https://github.com/nomic-ai/gpt4all puis de télécharger un des modèles disponibles.

Cette application nécessite d’avoir un ordinateur puissant et beaucoup de mémoire RAM (16 Go). Cependant, il s’agit d’une solution simple pour installer et utiliser en local un logiciel d’intelligence artificielle.

LM Studio, un logiciel d’intelligence artificielle à installer sur son PC sous Windows ou son Mac

Lien vers le site de LMStudio : https://lmstudio.ai/

LM Studio est un autre logiciel que GPT4all qui permet de faire fonctionner des grands modèles de langage (LLM tels que Mistral, Llama2…) sur son PC ou son Mac en local…

LM Studio ne peut pas être installé sur un serveur LM Studio, c’est une application installable sur votre ordinateurpersonnel sous Linux, Windows ou Mac Os, qui permet d’utiliser certains modèles de langages. Cette application offre des fonctionnalités similaires à GPT4all … mais avec plus de fonctionnalités :

Avec LM Studio, vous pouvez…

• 🤖 Exécutez des LLM sur votre ordinateur portable, entièrement hors ligne
• 👾 Utilisez des modèles via l’interface utilisateur de chat intégrée à l’application ou un serveur local compatible OpenAI
• 📂 Téléchargez tous les fichiers de modèles compatibles à partir des référentiels HuggingFace
• 🔭 Découvrir de nouveaux LLM remarquables sur la page d’accueil de l’application

LM Studio prend en charge tous les modèles ggml Llama, MPT et StarCoder sur Hugging Face (Llama 2, Orca, Vicuna, Nous Hermes, WizardCoder, MPT, etc.) Exigences minimales : Mac M1/M2/M3 ou PC Windows avec un processeur prenant en charge AVX2. La version pour les PC sous Linux est disponible en bêta.

Il vous suffit d’installer l’application correspondante à votre système d’exploitation :

PC sous Windows

MacOs

PC sous Linux

…puis de télécharger un des modèles disponibles.

Comme pour GPT4all, cette application nécessite d’avoir un ordinateur puissant et beaucoup de mémoire RAM (16 Go). Cependant, il s’agit d’une solution simple pour installer et utiliser en local (et non sur un serveur) un logiciel d’intelligence artificielle.

Jan : une alternative open source à ChatGPT qui fonctionne 100 % hors ligne sur votre ordinateur

Jan est un logiciel alternatif open source à ChatGPT qui fonctionne 100 % hors ligne sur votre ordinateur sou s Windows, Linux ou sur votre Mac.
Le dépôt Github est accessible via cette page : https://github.com/janhq/jan?tab=readme-ov-file

Jan fonctionne sur n’importe quel matériel :

•  Nvidia GPUs (fast)
•  Apple M-series (fast)
•  Apple Intel
•  Linux Debian
•  Windows x64

Télécharger :

Téléchargez la dernière version de Jan sur https://jan.ai/ ou consultez la page GitHub Releases pour télécharger n’importe quelle version précédente.

Demo :

Realtime Video: Jan v0.4.3-nightly on a Mac M1, 16GB Sonoma 14

Comme pour GPT4all ou LMStudio, cette application nécessite d’avoir un ordinateur puissant et beaucoup de mémoire RAM (16 Go minimum). Cependant, il s’agit d’une solution simple pour installer et utiliser en local (et non sur un serveur) un logiciel d’intelligence artificielle avec des LLm open source.

Jan – Liens hypertexte :

• Jan website
• Jan GitHub
• User Guides
• Developer docs
• API reference
• Specs

Rappel du sommaire principal de Juris-Tyr:

• Chapitre 1 : Avoir un serveur – choisir entre souscrire à un abonnement à serveur dédié (VPS) (recommandé) ou de configurer un ordinateur serveur installé dans vos locaux et votre modem/routeur
• Chapitre 2 : Installez et utiliser le logiciel Putty pour se connecter au serveur depuis votre ordinateur sous Windows ou via un logiciel équivalent si votre ordinateur est un Mac (https://putty.fr.softonic.com/mac/alternatives)
• Chapitre 3 : Installez la pile LAMP (Serveur Apache, Mariadb, Php8.2)
• Chapitre 4 : Installez Nextcloud 27 (Ubuntu 22.04, Apache2, PostgreSQL)
• Chapitre 5 : Installez CollaboraOnline (Suite bureautique de type Office) (facultatif)
• Chapitre 6 : Installez OnlyOffice (Autre suite bureautique de type Office) (facultatif)
• Chapitre 7 : Installez un serveur d’e-mail
  • Etape 1 ; Installez d’un serveur Postfix sous Ubuntu 22.04
  • Etape 2 : Installez Dovecot
  • Etape 3 : Installez Postfixadmin
  • Etape 4 : Configurez SPF et DKIM avec Postfix sur Ubuntu
  • Etape 5 : Création d’un enregistrement DMARC pour protéger votre nom de domaine contre l’usurpation d’e-mails
  • Etape 6 : Comment contourner les blacklists d’adresses IP de Microsoft Outlook et des autres fournisseurs d’adresses e-mails
  • Etape 7 : Installez le webmail Roundcube (application de messagerie en ligne)
  • Etape 8 : Comment limiter le risque que vos e-mails soient classés dans les spams (facultatif)
  • Etape 9 : Installez les logiciels antivirus Amis et ClamAv sur Ubuntu (facultatif)
• Chapitre 8 : Installez InvoiceNinja (Logiciel de devis, facturation et paiement en ligne des factures)
• Chapitre 9 : Installez PDFsignature  (Logiciel de modification en ligne de fichiers PDF)
• Chapitre 10 : Installez Firefly III et du module d’import automatique de relevés bancaires (Logiciel de comptabilité) (facultatif)
• Chapitre 11 : Installez WordPress (Logiciel de création et d’édition de site internet) (facultatif)
• Chapitre 12 : Installez Jitsi Meet (Logiciel de visioconférence auto-hébergé) (facultatif)
• Chapitre 13 : Installez Serge (Logiciel permettant d’utiliser des modèles d’intelligence artificielle open-source basés sur LLaMA2) (facultatif)
• Chapitre 14 : Installez LibreChat (Logiciel permettant d’utiliser des logiciels d’intelligence artificielle de OpenAI, Anthropic via leur clé d’API) (facultatif)
• Chapitre 15 : Installez Web Whisper + (Logiciel de reconnaissance vocale en ligne) (facultatif)
• Chapitre 16 : Installez SecureAI Tools (Interroger vos fichiers PDF avec un logiciel IA open-source auto hébergé sur votre serveur pour garantir la confidentialité de vos données) (facultatif)
• Chapitre 17 : Installez Web-speech-synthesis-and-recognition, un logiciel pour convertir la parole en texte et vice versa en quelques secondes

LibreChat

LibreChat est une application open-source qui vous permet d’utiliser plusieurs modèles et logiciels d’intelligence artificielle de sociétés commerciales (OpenAi, Bing, Anthropic…) depuis un site internet hébergé sur votre serveur.

Le dépôt logiciel de cette application est accessible via cette page : https://github.com/danny-avila/LibreChat/tree/main

Ce logiciel intègre et améliore également les fonctionnalités originales du client d’OpenAI telles que la recherche de conversations et de messages, les modèles d’invite et les plugins.

Avec LibreChat, vous n’avez plus besoin d’opter pour un abonnement ChatGPT Plus à 20$ par mois et vous pouvez plutôt utiliser des API gratuites (ou payantes à partir de 5$ par mois si vous dépassez la durée de test de 3 mois d’OpenAI par exemple).

🪟 Ce logiciel peut être installé sur un serveur tel qu’expliqué dans ce tutoriel ,ou en local, uniquement sur votre pc sous Windows en téléchargeant et exécutant le script téléchargeable sur cette page : https://github.com/fuegovic/LibreChat-Windows-Installer/releases/tag/v0.3.3

Caractéristiques :

• Streaming de réponses identique à ChatGPT via des événements envoyés par le serveur Interface utilisateur de ChatGPT d’origine, y compris le mode sombre
• Sélection de modèles d’IA : API OpenAI, BingAI, navigateur ChatGPT, PaLM2, Anthropic (Claude), plugins
• Créer, enregistrer et partager des préréglages personnalisés
• Modifier et renvoyer des messages avec branchement de conversation
• Rechercher tous les messages/conversations
• Plugins disponibles (y compris l’accès Web, la génération d’images et plus encore…

…/…
Nous vous recommandons de lire notre article sur nos conseils d’utilisation des logiciels d’intelligence artificielle par les avocats si vous utilisez régulièrement des applications d’intelligence artificielle ou des sites internet de sociétés commerciales telles que OpenAi, Claude, Google/Bard…
En effet, même en utilisant ChatGPT ou GPT4 via une API, la société OpenAI (et les autres sociétés) collectent toutes vos données !

Mise à jour importante : La société OpenAI a annoncé en mars 2023 que les données soumises par l’intermédiaire de l’API n’étaient plus utilisées pour former et améliorer les modèles d’OpenAI.

Si vous utilisez ChatGPT 3.5 ou GPT-4 via l’API d’OpenAI et l’application opensource « Librechat », vos données ne devraient pas, en principe, être utilisées par la société OPENAI (…par contre elles lui seront forcément transmises pour permettre le fonctionnement du logiciel…).
https://www.zdnet.fr/actualites/openai-une-api-chatgpt-pour-les-developpeurs-39954902.htm

« La confiance n’exlcue pas le contrôle » (Staline). La difficulté étant que dans le cas de la société OpenAI et des modèles GPT4 très performants, il n’y a actuellement concrêtement aucun moyen de contrôler que cette socciété n’utilise pas ou plus vos données pour former et améliorer les modèles.

Enfin, la Société OpenAI, comme toutes les sociétés américaines, est soumise au Foreign Intelligence Act (En résumé, les administrations américaines peuvent obtenir toutes les données des clients des sociétés américaines, que ces clients soient de nationalité américaine ou étrangère, du moment que les serveurs informatiques, même installés dans un pays étranger tel que la France, l’Espagne… appartiennent à une société américaine…).

Installez les progiciels nécessaires (s’ils ne sont pas déjà installés) :

Exécutez en premier la commande suivante pour vérifier et installer les mise à jour :

sudo apt update

sudo apt upgrade

sudo apt install -y apache2 apache2-utils

sudo systemctl start apache2

sudo systemctl enable apache2

sudo iptables -I INPUT -p tcp --dport 80 -j ACCEPT 
sudo iptables -I INPUT -p tcp --dport 443 -j ACCEPT

sudo nano /etc/apache2/conf-available/servername.conf

ServerName localhost

sudo a2enconf servername.conf

sudo systemctl reload apache2

sudo apt-get update
sudo apt-get install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update

sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

sudo curl -L « https://github.com/docker/compose/releases/download/1.26.2/docker-compose-$(uname -s)-$(uname -m) » -o /usr/local/bin/docker-compose

sudo chmod +x /usr/local/bin/docker-compose

sudo systemctl start docker

sudo systemctl enable docker

sudo wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

sudo wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-aarch64.sh

sudo bash Miniconda3-latest-Linux-x86_64.sh

sudo bash Miniconda3-latest-Linux-aarch64.sh

sudo npm install --global yarn

sudo apt install git

sudo apt install ffmpeg

sudo apt update

sudo apt install build-essential zlib1g-dev libncurses5-dev libgdbm-dev libnss3-dev libssl-dev libreadline-dev libffi-dev libsqlite3-dev wget libbz2-dev

sudo wget https://www.python.org/ftp/python/3.11.3/Python-3.11.3.tgz

sudo tar -xf Python-3.11.3.tgz

cd Python-3.11.3

sudo ./configure --enable-optimizations

sudo make -j 12

sudo make altinstall

sudo su

wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda_12.4.0_550.54.14_linux.runsudo sh cuda_12.4.0_550.54.14_linux.run

sudo apt update

sudo apt-get install nodejs

sudo apt install npm

Etape 1 : Connectez-vous sur le site de la société OpenAI pour créer une clé API

Premièrement, vous allez vous connecter sur le site de la société OpenAI, le cas échéant en souscrivant un nouveau compte, afin de créer une clé d’API.

Les étapes sont les suivantes :

• 1 – Connectez-vous à votre compte à l’adresse : https://platform.openai.com/account/api-keys
• 2 – Cliquez sur votre compte utilisateur sur l’icone en haut à droite
• 3 – Cliquez sur « View_API_Keys »

Etape 2 : Créez une clé API sur le site internet d’OpenAI

• 1 – Cliquez sur le bouton « +_Create_new_secret_key« 
• 2 – Définissez un nom pour votre clé d’API, par exemple « LibreChat »
• 3 – Cliquez sur le bouton « Create_secret_key« 

Etape 3 : Copiez / enregistrez votre clé API

1 – Cliquez sur le bouton « Copier » pour copier la clée d’API. La clé commence par les lettres « sk » suivies d’un tiret puis d’une suite de caractères.

• 2 – Cliquez sur le bouton ‘Done’
• 3 – Collez / Enregistrez la clé dans un fichier texte ou dans votre gestionnaire de mot de passe.

Etape 4 : Installez LibreChat

Lancez un terminal Putty et connectez-vous en ssh à votre serveur, ou votre VPS, puis exécutez les commandes suivantes.

sudo ufw 3080,7700,27017,27018/tcp
cd /var/www/html/
sudo git clone https://github.com/danny-avila/LibreChat.git
cd LibreChat
sudo cp .env.example .env

Editez le fichier de configuration :

sudo nano .env

Rechercher la ligne « OPENAI_API_KEY=user_provided » dans ce fichier .env, puis collez votre clé d’API précédemment crée à la place de « user_provided »

Sortie (exemple) :

OPENAI_API_KEY=sk-524154fssfd25454fsgd122454

Enregistrez puis fermer le fichier .env en appuyant simultanément sur les touches [Control] et [x] de votre clavier, puis sur la touche [o] ou [y], puis sur la touche [Enter].

Exécuter la commande suivante :

sudo docker compose up

…Patientez, l’installation de LibreChat prend du temps…

Une fois l’installation terminée vous pouvez vous connecter à LibreChat en tapant dans le navigateur de votre serveur l’adresse : http://locatlhost:3080.

Cependant nous allons créer un site internet pour pouvoir y accéder de n’importe où.

De plus, si vous avez installé LibreChat sur un VPS vous ne pourrez pas accédez à cette adresse IP locale : http://locatlhost:3080. ou à l’adresse locale de l’ordinateur : http://192.168.0.XX:3080.

Il faut donc créer une page web dédiée pour accèder à cette application.

Etape 5 : Créez un fichier Virtualhost pour le serveur Apache

5.1. Créez un nom de domaine : librechat.exemple.com

Pour accéder à LibreChat depuis un site internet, vous devez d’abord créer un sous-domaine : par exemple « librechat.exemple.com » ou « chat.exemple .com » depuis votre compte client de votre gestionnaire de nom de domaine en le reliant à l’adresse IP de votre serveur via un enregistrement ‘DNS A’.

Si vous ne vous vous souvenez plus comment faire, consultez de nouveau l’étape 1 de la phase 4 de notre tutoriel pour installer Juris-Tyr.

(Rappel des étapes si vous avez acheté votre nom de domaine via OVH : «Connexion à l’ Espace client d’OVH » -> Onglet « WebCloud» -> Lien « Noms de domaines » -> « exemple.com » -> Bouton « Zone DNS » -> Bouton « Créer un nouvel enregistrement » -> Bouton «  A » -> Bouton « Suivant » -> « cloud » -> compléter l’adresse IP de votre VPS ou de votre serveur « 51.xx.xxx.xx » -> « Bouton Suivant » -> « Bouton Valider »).

5.2. Créez un fichier de configuration apache :

Une fois votre sous-domaine crée, éditez un nouveau fichier ‘ai.conf’ ou ‘librechat.conf’ dans le dossier /etc/apache2/sites-available/ avec un éditeur de texte en ligne de commande comme Nano :

sudo nano /etc/apache2/sites-available/librechat.conf

Copiez et collez le texte suivant dans le fichier :
(Remplacez le texte « librechat.exemple.com » par votre propre sous-domaine et nom de domaine) 

<VirtualHost *:80>
ServerName librechat.exemple.com
#HTTP proxy
ProxyPreserveHost On
ProxyRequests On
  <Proxy *>
    Allow from all
  </Proxy>
ProxyPass / http://127.0.0.1:3080/ 
ProxyPassReverse / http://127.0.0.1:3080/
RewriteRule ^/(.*)?$ http://localhost:3080/$1 [P,L]
ProxyPass / http://127.0.0.1:7700/ 
ProxyPassReverse / http://127.0.0.1:7700/
ProxyPass / http://127.0.0.1:27017/ 
ProxyPassReverse / http://127.0.0.1:27017/
ProxyPass / http://127.0.0.1:27018/ 
ProxyPassReverse / http://127.0.0.1:27018/
#Header always unset X-Frame-Options
#RequestHeader set "X-Forwarded-Proto" expr=%{REQUEST_SCHEME}
#RequestHeader set "X-Forwarded-SSL" expr=%{HTTPS}
</VirtualHost>

Enregistrez et fermez le fichier.
(Pour enregistrer un fichier dans l’éditeur de texte Nano, appuyez sur les touches ‘Ctrl+o’, puis sur ‘Entrer’ pour confirmer. Pour quitter, appuyez sur ‘Ctrl+X’).

Activez ensuite ce nouveau fichier de configuration du serveur Apache ‘hôte virtuel’ :

sudo a2ensite librechat.conf

Exécutez la commande suivante pour activer les modules Apache requis :

sudo a2enmod rewrite headers env dir mime setenvif ssl proxy_http proxy rewrite

 Recharger Apache et les modules PHP :

sudo systemctl restart apache2 php8.2-fpm

Désormais vous pouvez accèder à LibreChat en tapant l’adresse suivante dans votre navigateur : https://librechat.exemple.com

5.3. Activez un accès via ‘https’ pour le site internet permettant d’utiliser l’application LibreChat (facultatif) :

Nous allons activer une connexion en ‘https’ vers le site internet nouvellement créé

Exécutez les commandes suivantes pour installer le client Let’s Encrypt (certbot) à partir du référentiel de logiciels par défaut.

sudo apt install certbot

Si vous utilisez le serveur Web Apache, vous devez également installer le plug-in Certbot Apache.

sudo apt install python3-certbot-apache

Exécutez ensuite la commande suivante pour obtenir un certificat TLS/SSL gratuit.

sudo certbot --apache --agree-tos --redirect --hsts --staple-ocsp --email yo*@ex*****.com -d librechat.example.com

Enfin, exécuter la commande suivante pour redémarrer le serveur Apache

sudo systemctl restart apache2

Etape 6 : Utilisez LibreChat

Connectez-vous au site : https://librechat.exemple.com

Après avoir crée un nouveau compte, l’interface de LibreChat vous permet :

• 1 – D’activer ou non des plugins (Recherche sur internet, analyse de site web, …) ;
• 2 – De sélectionner le modèle de langage entre GPT-3.5-turbo ou GPT4 (OU Claude ou Bard si vous disposez d’une Clé API, à renseigner dans le fichier .env comme nous l’avonds fait pour la clé API d’OpenAI) ;
• 3 – D’envoyer vos prompts.

Pourquoi privilégier l’installation d’une application telle que LibreChat plutôt que d’utiliser le site internet de la société OpenIA ?

Il est plus intéressant sur le plan économique d’utiliser une application telle que LibreChat car le coût de l’utilisation d’une clé API est souvent moins important que celui de l’abonnement à GPT4 à environ 20$ par mois…
En effet, le coût mininal mensuel d’une clé API d’OpenAI est seulement de 5$ … par mois, or ce montant de 5$ est en général suffisant pour une utilisation ‘normale’ de ChatGPT ou de GPT4.
En résumé, vous économisez 15$ par mois sur votre utilisation de ChatGPT Plus ou GPT4 avec cette solution.
…/…

Par contre, nous préconisons les mêmes recommandations concernant l’anonymisation des données personnelles lorsque vous utilisez LibreChat ou le site internet de la société OpenAI : https://chat.openai.com/ .

Web Whisper + | Logiciel de reconnaissance vocale en ligne

.
« Whishper » ou « Web Whisper + » est un logiciel open-source à installer sur un serveur ou sur un ordinateur sous linux qui vous permet d’enregistrer et transcrire l’audio directement depuis votre navigateur.

En résumé, il s’agit d’un logiciel de reconnaissance vocale, accessible depuis n’importe quel ordinateur ou smartphone connecté à internet.

Le dépot Github (logiciel) initial est accessible via cette URL : https://codeberg.org/pluja/web-whisper-plus
et pour le nouveau dépot logiciel, à cette URL : https://whishper.net/guides/install/

Cependant, nous allons utiliser le dépot logiciel initial car il permet d’utiliser le micro de l’ordinateur pour effectuer la reconnaissance vocale. Le nouveau dépot ne permet a priori ‘que’ de transcrire de l’audio à partir d’un lien (Youtube par exemple) ou d’un fichier.

Ce logiciel se base sur le progiciel Whisper de la société OpenAI mais vos données ne sont pas envoyées sur les serveur de la société OpenAI puisque le logiciel en lui-même, les données vocales, ainsi que les modèles audio utilisés (small, large…) sont uniquement enregistrés sur votre serveur.

Il faut noter que l’API de reconnaissance automatique de la parole (speech-to-text) de Google est également très populaire et efficace avec une traduction quasi instantanée. Cette API est capable de transcrire des fichiers audio et vidéo dans 125 langues, et elle propose des modèles d’IA spécifiques pour la transcription d’appels téléphoniques, la transcription médicale, …etc.

Mais le modèle d’IA sur site de Google continuera à envoyer des données à Google afin de rendre compte de l’utilisation de l’API, ce qui peut poser problème du point de vue de la confidentialité.

Pour les entreprises de téléprospection : au dela de la reconnaissance vocale individuelle, si vous avez besoin de transcrire de nombreux fichiers audio, la tarification de Google est essentiellement de 0,006 $ / 15 secondes pour la conversion de la parole en texte de base, et de 0,009 $ / 15 secondes pour des cas d’utilisation spécifiques comme la transcription vidéo ou la transcription téléphonique. Supposons que vous souhaitiez analyser automatiquement les appels téléphoniques passés à votre équipe d’assistance (afin d’effectuer ultérieurement une analyse des sentiments ou une extraction d’entités sur ces appels, par exemple…). Si vous avez 5 agents d’assistance qui passent 4 heures par jour au téléphone avec les clients, l’API de synthèse vocale de Google vous coûtera 1 400 dollars par mois.

Si vous êtes préoccupé par les coûts (si vous êtes une entreprise de téléprospection) ou la confidentialité de vos données vocales, vous pouvez opter pour une alternative open-source : OpenAI Whisper.

Un avantage de Whisper est que vous pouvez le déployer vous-même sur vos propres serveurs, ce qui est préférable du point de vue de la confidentialité de vos données.

Un autre avantage de cette application est que vous n’êtes pas limité en temps de parole, contrairement à l’application intégrée ‘Whisper’ dans Nextcloud qui est limité à un temps de parole de 2 minutes.

Par exemple, cela vous permet d’envisager le scénario suivant pour gagner du temps avec vos rendez-vous clients :

• Etape 1 – Vous recevez votre client dans votre bureau pour un entretien ou vous réaliser l’entretien en visioconférence. Vous l’informez que ce rendez-vous sera enregistré afin de vous permettre de reprendre les points importants, de dégager les problématiques et étapes pour lui soumettre le cas échéant un convention d’honoraire ou un devis.
• Etape 2 – Vous cliquez sur le bouton Record de l’application Web whisper plus.
• Etape 3 – L’entretien est enregistré par avec l’application Web whisper plus.
• Etape 4 – Une fois l’entretien terminé, vous transcrivez celui-ci avec l’application Web whisper plus, puis vous copiez les sous-titres crées par cette application en cliquant sur le bouton ‘Download’.
• Etape 5 – Puis vous coller le texte des sous-titres dans l’application d’intelligence artificielle LibreChat ou Serge en lui demandant de résumer l’entretien, de dégager les problématiques, les solutions et opérations ou tâches proposées.
• Etape 6 – Ensuite, vous utilisez l’application OP-Vault AI. Vous téléversez vos modèles de devis ou de convention d’honoraires. Puis vous demandez ou intégrer le nom et les coordonnées du client ainsi que la problématique généré dans la convention d’honoraires. Ensuite vous modifiez le document.
• Etape 7 – Vous demandez à LibreChat ou à Serge de rédiger un e-mail d’envoi de la proposition de convention ou de devis au client..
• Etape 8 – Vous envoyez la proposition de convention ou de devis au client par -email.

Caractéristiques:

• Enregistrez et transcrivez l’audio directement depuis votre navigateur.
• Exécutez-le à 100 % localement ou vous pouvez utiliser l’API OpenAI Whisper.
• Possibilité de basculer entre le mode API et le mode LOCAL.
• Téléchargez n’importe quel fichier multimédia (vidéo, audio) dans n’importe quel format et transcrivez-le.
• Possibilité de couper l’audio à X secondes avant la transcription.
• Option pour désactiver les téléchargements de fichiers.
• Entrez une URL de vidéo pour la transcrire en texte (utilise yt-dlp pour obtenir la vidéo).
• Sélectionnez la langue audio d’entrée.
• Détection automatique de la langue audio d’entrée.
• Option permettant d’accélérer l’audio de 2x pour des résultats plus rapides (cela a un impact négatif sur la précision).
• Traduire la transcription audio d’entrée en anglais.
• Téléchargez le fichier de sous-titres .srt généré à partir de l’audio.
• Option pour activer l’historique des transcriptions.
• Choisissez le modèle Whisper que vous souhaitez utiliser (tiny, base, small, large…)
• Configurez le nombre de threads et de processeurs à utiliser. Docker compose pour un auto-hébergement facile
• Respect de la confidentialité (lorsqu’il est exécuté localement) : Tout se passe localement.
• Aucun tiers impliqué.
• Possibilité de supprimer tous les fichiers immédiatement après le traitement.
• Option de conserver les fichiers pour une utilisation/téléchargement ultérieur.
• Utilise la version C++ de Whisper.cpp.
• Vous n’avez pas besoin de carte graphique sur votre serveur (GPU), utilise le CPU.
• Pas besoin d’installations complexes.
• Interface utilisateur légère et conviviale.

Pour installer ce logiciel, il est préférable d’avoir préalablement suivi les chapitres 1 à 3 du tutoriel d’installation de Juris-Tyr.

Etape 1 : Installez les progiciels nécessaires :

Installez les progiciels nécessaires (s’ils ne sont pas déjà installés) :

Exécutez en premier la commande suivante pour vérifier et installer les mise à jour :

sudo apt update

sudo apt upgrade

sudo apt install -y apache2 apache2-utils

sudo systemctl start apache2

sudo systemctl enable apache2

sudo iptables -I INPUT -p tcp --dport 80 -j ACCEPT && sudo iptables -I INPUT -p tcp --dport 443 -j ACCEPT

sudo nano /etc/apache2/conf-available/servername.conf

ServerName localhost

sudo a2enconf servername.conf

sudo systemctl reload apache2

sudo apt-get update
sudo apt-get install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update

sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

sudo curl -L « https://github.com/docker/compose/releases/download/1.26.2/docker-compose-$(uname -s)-$(uname -m) » -o /usr/local/bin/docker-compose

sudo chmod +x /usr/local/bin/docker-compose

sudo systemctl start docker

sudo systemctl enable docker

sudo wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

sudo wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-aarch64.sh

sudo bash Miniconda3-latest-Linux-x86_64.sh

sudo bash Miniconda3-latest-Linux-aarch64.sh

sudo npm install --global yarn

sudo apt install git

sudo apt install ffmpeg

sudo apt update

sudo apt install build-essential zlib1g-dev libncurses5-dev libgdbm-dev libnss3-dev libssl-dev libreadline-dev libffi-dev libsqlite3-dev wget libbz2-dev

sudo wget https://www.python.org/ftp/python/3.11.3/Python-3.11.3.tgz

sudo tar -xf Python-3.11.3.tgz

cd Python-3.11.3

sudo ./configure --enable-optimizations

sudo make -j 12

sudo make altinstall

sudo su

wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda_12.4.0_550.54.14_linux.runsudo sh cuda_12.4.0_550.54.14_linux.run

sudo apt update

sudo apt-get install nodejs

sudo apt install npm

Etape 2 : Installez le conteneur Docker Web Whisper +

2.1. Installation de Web Whisper +

Si le progiciel git n’est pas déjà installé, exécutez la commande suivante :

sudo apt install git

Pour installer Web Whisper +, puis pour se placer dans le dossier d’installation, exécutez les commandes suivantes :

sudo ufw allow 8899,5173,3306,8000,5000,3000/tcp

sudo ufw reload

sudo mkdir /var/www/html/ai/ && cd /var/www/html/ai/

sudo git clone https://codeberg.org/pluja/whishper.git

cd whishper

sudo cp example.env .env

2.2. Configuration particulière de Web Whisper + (facultatif) :

Les langues installées, de base, sont l’anglais, le français et l’espagnol.
Cependant, il est possible de configurer d’autres langues en exécutant les commandes suivantes (facultatif) :

Editez le fichier .env selon la configuration souhaitée.

sudo nano .env

WHISPER_MODELS : liste de modèles à télécharger séparés par des virgules. Les modèles disponibles sont tiny.en, tiny, small.en, small, base.en, base, medium.en, medium, large-v1, large-v2. 

LT_LOAD_ONLY : Liste de deux codes lettres des langues à charger pour la traduction. Si vous souhaitez charger toutes les langues, laissez-le vide. Si vous souhaitez charger uniquement certaines langues, séparez-les par une virgule. Exemple : en,fr,de. 
- Liste des langues disponibles ici 
- Si vous chargez toutes les langues, la première fois que vous exécuterez l'application, le téléchargement de tous les modèles prendra un certain temps. Il est recommandé de charger uniquement les langues dont vous avez besoin.
 
DB_BACKEND : la valeur par défaut est mysql, qui s'attend à ce que le service de base de données du docker-compose.yml par défaut soit là (vous devez avoir installé les progiciels de base de données MariaDB ou MySQL). Vous pouvez également le définir sur sqlite, mais cela ne fonctionnera pas pour les appareils ARM (Raspberry ou Orange Pi) car il nécessite des progiciels particuliers complémentaires (CGO).

Enregistrez (touches ‘Control’ et ‘o’) et fermez le fichier (touches ‘Control’ et ‘x’)

2.3. Installez Web Whisper + avec une commande Docker :

A défaut de configuration particulière du fichier .env, une fois dans le dossier d’installation, exécutez la commande suivante :

sudo docker compose up --build -d

Attendez un peu pour l’installation. Le premier lancement peut nécessiter un peu d’attente. Tout d’abord, il faut construire les conteneurs. Une fois ceux-ci démarrés, les modèles de traduction et de chuchotement doivent être téléchargés. Attendez simplement environ 7 minutes pour que tout soit prêt ! (selon votre machine, cela pourrait être plus…).

Une fois que l’installation via Docker est terminée, exécutez les commandes suivantes :

sudo chown www-data:www-data -R /var/www/html/ai/whishper

sudo chmod 755 -R  /var/www/html/ai/whishper

Une fois installé, si vous tapez l’adresse http://localhost:8899 dans la barre d’adresse du navigateur internet de votre ordinateur serveur, vous accéderez à l’interface de Web Whisper + :

Cependant, nous voulons pouvoir accéder à notre logiciel de reconnaissance vocale depuis notre (nouvelle) villa à Malte… (ou car nous avons installé cette application sur un VPS…), via un site internet; avec une adresse ressemblant à https://vocal.exemple.com par exemple.

Nous allons donc devoir créer un accès à ce conteneur Docker depuis un site internet en configurant un fichier Virtualhost sur un serveur Apache. Attention toutes les personnes qui connaîtront cette adresse web pourront accéder à votre instance. Il sera donc préférable de supprimer vos enregistrements après l’avoir utilisé.

Etape 3 : Créez un ficher Virtualhost pour un serveur apache :

3.1. Créez un fichier de configuration apache

Si vous avez installé cette application sur un serveur VPS, vous ne pourrez pas vous connecter avec votre navigateur à l’adresse locale : http://localhost:8899 ou à l’adresse http://192.168.1.XX:8899 du VPS.

Il faut alors créer un accès vers cette application depuis un nom de domaine ou site internet.

Pour accéder à ce logiciel de reconnaissance vocale depuis un site internet, vous devez d’abord créer un sous-domaine : « vocal.exemple.com » depuis votre compte client de votre gestionnaire de domaine en le reliant à l’adresse IP de votre serveur via un enregistrement ‘DNS A’.

Si vous ne vous vous souvenez plus comment faire, consultez de nouveau l’étape 1 de la phase 4 de notre tutoriel pour installer Juris-Tyr.

(Rappel des étapes si vous avez acheté votre nom de domaine via OVH : «Connexion à l’ Espace client d’OVH » -> Onglet « WebCloud» -> Lien « Noms de domaines » -> « exemple.com » -> Bouton « Zone DNS » -> Bouton « Créer un nouvel enregistrement » -> Bouton «  A » -> Bouton « Suivant » -> « cloud » -> compléter l’adresse IP de votre VPS ou de votre serveur « 51.xx.xxx.xx » -> « Bouton Suivant » -> « Bouton Valider »).

Une fois votre sous-domaine crée, éditez un nouveau fichier ‘vocal.conf’ dans le dossier /etc/apache2/sites-available/ avec un éditeur de texte en ligne de commande comme Nano :

sudo nano /etc/apache2/sites-available/vocal.conf

Copiez et collez le texte suivant dans le fichier ;
(Remplacez le texte « vocal.exemple.com » par votre propre sous-domaine et nom de domaine) 

<VirtualHost *:80>
ServerName vocal.exemple.com

###HTTP proxy Enable/Disable SSL for this virtual host.
   SSLEngine On
# Activate SSL for proxy
SSLProxyEngine On

# Disable certificate verification in communication between host and container
SSLProxyVerify none
SSLProxyCheckPeerCN off
SSLProxyCheckPeerName off
SSLProxyCheckPeerExpire off

##   SSLHonorCipherOrder On
##   SSLCipherSuite ECDH+AESGCM:DH+AESGCM:ECDH+AES256:DH+AES256:ECDH+AES128:DH+>

#   SSLProxyEngine On
# Defines that The host will pass the Host: line from the incoming request to
# the container instead of the hostname specified in the ProxyPass line.
<Location "/var/www/html/ai/whishper">
    Allow from all
</Location>
ProxyPreserveHost On
## ProxyRequests Off
ProxyPass / http://127.0.0.1:8899/
ProxyPassReverse / http://127.0.0.1:8899/
RewriteRule ^/(.*)?$ http://localhost:8899/$1 [P,L]
  <Proxy *>
    Allow from all
  </Proxy>
</VirtualHost>

Enregistrez et fermez le fichier. vocal.conf
(Pour enregistrer un fichier dans l’éditeur de texte Nano, appuyez sur les touches ‘Ctrl+o’, puis sur ‘Entrer’ pour confirmer. Pour quitter, appuyez sur ‘Ctrl+X’).

Activez ensuite ce nouveau fichier de configuration du serveur Apache ‘hôte virtuel’ :

sudo a2ensite vocal.conf

Exécutez la commande suivante pour activer les modules Apache requis :

sudo a2enmod rewrite headers env dir mime setenvif ssl proxy_http proxy rewrite

 Recharger Apache et les modules PHP :

sudo systemctl restart apache2 php8.2-fpm

Désormais vous pouvez accéder à Web Whiper + via l’adresse : http://vocal.exemple.com

3.2. Activez https pour le site internet crée (facultatif) :

Nous souhaitons (un peu) sécuriser l’accès au site vocal.example.com. Nous allons donc enregistrer un certificat TLS pour accéder à ce site internet en ‘https’.

Exécutez les commandes suivantes pour installer le client Let’s Encrypt (certbot) à partir du référentiel de logiciels par défaut.

sudo apt install certbot

Si vous utilisez le serveur Web Apache, vous devez également installer le plug-in Certbot Apache.

sudo apt install python3-certbot-apache

Exécutez ensuite la commande suivante pour obtenir un certificat TLS/SSL gratuit.

sudo certbot --apache --agree-tos --redirect --hsts --staple-ocsp --email yo*@ex*****.com -d vocal.example.com

Exécuter la commande suivante

sudo systemctl restart apache2

Vous pouvez desormais accéder à Web Whisper + en tapant l’adresse : https://vocal.exemple.com dans votre navigateur internet.

Etape 4 : Comment utiliser Web Whisper + (facultatif)

Connectez vous à l’adresse : https://vocal.exemple.com

Pour effectuer une reconnaissance vocale avec un audio enregistré directement depuis votre microphone, paramétrez l’interface de Web Whisper + de la manière suivante :

• 1 – Cliquez sur le bouton radio ‘Record’
• 2 – Paramétrez le modèle sur « small »
• 3 – Cliquez sur le bouton ‘Record’, dictez votre texte puis cliquez sur ‘Stop’
• 4 – Cliquez sur le bouton ‘Transcribe’
  • Attendez… et une fois l’audio traité,
• 5 – Cliquez sur le bouton de téléchargement ou d’édition des sous-titres pour récupérer votre texte

Félicitations, vous pouvez désormais utiliser un logiciel de reconnaissance vocale efficace dans le cadre de votre métier.

Whisper Web

« Whisper Web » est un autre logiciel de reconnaissance vocale en ligne open source, similaire à « Web Whisper + ».

« Whisper Web » semble plus rapide que « Web Whisper + ».

Consultez le site de démonstration de Whisper Web ici.

Le dépôt logiciel est accessible via ce lien : https://github.com/xenova/whisper-web

Installez les progiciels nécessaires (s’ils ne sont pas déjà installés) :

Exécutez en premier la commande suivante pour vérifier et installer les mise à jour :

sudo apt update

sudo apt upgrade

sudo apt install -y apache2 apache2-utils

sudo systemctl start apache2

sudo systemctl enable apache2

sudo iptables -I INPUT -p tcp --dport 80 -j ACCEPT && sudo iptables -I INPUT -p tcp --dport 443 -j ACCEPT

sudo nano /etc/apache2/conf-available/servername.conf

ServerName localhost

sudo a2enconf servername.conf

sudo systemctl reload apache2

sudo apt-get update
sudo apt-get install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update

sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

sudo curl -L « https://github.com/docker/compose/releases/download/1.26.2/docker-compose-$(uname -s)-$(uname -m) » -o /usr/local/bin/docker-compose

sudo chmod +x /usr/local/bin/docker-compose

sudo systemctl start docker

sudo systemctl enable docker

sudo wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

sudo wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-aarch64.sh

sudo bash Miniconda3-latest-Linux-x86_64.sh

sudo bash Miniconda3-latest-Linux-aarch64.sh

sudo npm install --global yarn

sudo apt install git

sudo apt install ffmpeg

sudo apt update

sudo apt install build-essential zlib1g-dev libncurses5-dev libgdbm-dev libnss3-dev libssl-dev libreadline-dev libffi-dev libsqlite3-dev wget libbz2-dev

sudo wget https://www.python.org/ftp/python/3.11.3/Python-3.11.3.tgz

sudo tar -xf Python-3.11.3.tgz

cd Python-3.11.3

sudo ./configure --enable-optimizations

sudo make -j 12

sudo make altinstall

sudo su

wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda_12.4.0_550.54.14_linux.runsudo sh cuda_12.4.0_550.54.14_linux.run

sudo apt update

sudo apt-get install nodejs

sudo apt install npm

Etape 1 : Installation de Whisper Web

Clonez le dépôt et installez les dépendances :

sudo su 

cd /var/www/html/

git clone https://github.com/xenova/whisper-web.git && cd whisper-web 

npm install 

sudo chown www-data:www-data -R /var/www/html/whisper-web

sudo chmod 775 -R /var/www/html/whisper-web

Exécutez la commande suivante pour lancer le logiciel :

npm run dev 

Les utilisateurs du navigateur internet Firefox (2,50 % d’utilisateurs warriors dans le monde) doivent modifier le réglage dom.workers.modules.enabled sur true dans about:config pour activer Whisper Web dans Firefox.

Ouvrez le lien : http://localhost:5173/ dans votre navigateur pour accéder à Whisper Web … sauf si vous avez installé ce logiciel sur un VPS ou un serveur….

Etape 2 : Créez un ficher Virtualhost pour un serveur apache :

2.1. Créez un fichier de configuration apache

Il faut créer un accès vers cette application depuis un nom de domaine ou un site internet pour y accéder si celui-ci est installé sur une VPS ou un ordinateur serveur.

Pour accéder à ce logiciel depuis un site internet, vous devez d’abord créer un sous-domaine : « whisperweb.exemple.com » depuis votre compte client de votre gestionnaire de domaine en le reliant à l’adresse IP de votre serveur via un enregistrement ‘DNS A’.

Si vous ne vous vous souvenez plus comment faire, consultez de nouveau l’étape 1 de la phase 4 de notre tutoriel pour installer Juris-Tyr.

(Rappel des étapes si vous avez acheté votre nom de domaine via OVH : «Connexion à l’ Espace client d’OVH » -> Onglet « WebCloud» -> Lien « Noms de domaines » -> « exemple.com » -> Bouton « Zone DNS » -> Bouton « Créer un nouvel enregistrement » -> Bouton «  A » -> Bouton « Suivant » -> « cloud » -> compléter l’adresse IP de votre VPS ou de votre serveur « 51.xx.xxx.xx » -> « Bouton Suivant » -> « Bouton Valider »).

Une fois votre sous-domaine crée, éditez un nouveau fichier whisperweb.conf’ dans le dossier /etc/apache2/sites-available/ avec un éditeur de texte en ligne de commande comme Nano :

sudo nano /etc/apache2/sites-available/whisperweb.conf

Copiez et collez le texte suivant dans le fichier ;
(Remplacez le texte « whisperweb.exemple.com » par votre propre sous-domaine et nom de domaine) 

<VirtualHost *:80>
ServerName whisperweb.exemple.com
ProxyPreserveHost On
ProxyVia On
ProxyPass / http://127.0.0.1:5173/
ProxyPassReverse / http://127.0.0.1:5173/
  <Proxy  *>
    Allow from all
  </Proxy>
<Location "/">
  ProxyPass "http://127.0.0.1:5173/"
  ProxyPassReverse "http://127.0.0.1:5173/"
    Allow from all
</Location>
<Location "/var/www/html/whisper-web">
    Allow from all
</Location>
ErrorLog ${APACHE_LOG_DIR}/whisperweb.exemple.com.error.log
CustomLog ${APACHE_LOG_DIR}/whisperweb.exemple.com.access.log combined

</VirtualHost>

Enregistrez et fermez le fichier. whisperweb.conf
(Pour enregistrer un fichier dans l’éditeur de texte Nano, appuyez sur les touches ‘Ctrl+o’, puis sur ‘Entrer’ pour confirmer. Pour quitter, appuyez sur ‘Ctrl+X’).

Activez ensuite ce nouveau fichier de configuration du serveur Apache ‘hôte virtuel’ :

sudo a2ensite whisperweb.conf

Exécutez la commande suivante pour activer les modules Apache requis :

sudo a2enmod rewrite headers env dir mime setenvif ssl proxy_http proxy rewrite

 Recharger Apache et les modules PHP :

sudo systemctl restart apache2 

Désormais vous pouvez accéder à Whisper Web via l’adresse : http://whisperweb.exemple.com

2.2. Activez https pour le site internet crée (facultatif) :

Nous souhaitons (un peu) sécuriser l’accès au site internet whisperweb.example.com. Nous allons donc enregistrer un certificat TLS pour accéder à ce site internet en ‘https’.

Exécutez les commandes suivantes pour installer le client Let’s Encrypt (certbot) à partir du référentiel de logiciels par défaut.

sudo apt install certbot

Si vous utilisez le serveur Web Apache, vous devez également installer le plug-in Certbot Apache.

sudo apt install python3-certbot-apache

Exécutez ensuite la commande suivante pour obtenir un certificat TLS/SSL gratuit.

sudo certbot --apache --agree-tos --redirect --hsts --staple-ocsp --email yo*@ex*****.com -d whisperweb.example.com

Exécuter la commande suivante

sudo systemctl restart apache2

Vous pouvez désormais accéder à Whisper Web en tapant l’adresse : https://whisperweb.exemple.com dans votre navigateur internet

Faisons en sorte que ce logiciel se lance à chaque démarage du serveur, avec une tâche planifiée ‘cron’.

Exécutez la commande suivante :

sudo crontab -e

SI une invite vous demande quel éditeur de texte choisir, choisissez ‘nano’ (touche ‘1’).

Une fois ouvert, ajoutez à la fin du fichier la ligne suivante :

@reboot cd /var/www/html/whisper-web && npm run dev

Fermez et enregistrez ce fichier (touches [Control] + [o] puis [Control] + [x] )

Whisper web se lancera à chaque démarage du serveur ou de l’ordinateur.

Utilisation de Whisper Web :

Taper l’adresse https://whisperweb.exemple.com ou l’adresse http://localhost:5173 dans votre navigateur internet, puis suivez ces étapes :

Voila !

Whisper WEB UI

Whisper Web UI est un autre logiciel de reconnaissance vocale en ligne open source, similaire à « Web Whisper + » à la différence qu’il permet de traduire les fichiers audio dans une autre langue, de transcrire des vidéos Youtube et permet de découper les fichiers audio.

Consultez la version de démonstration ici: :https://vocal.netsisu.com

Le dépôt logiciel est accessible via ce lien : https://github.com/jhj0517/Whisper-WebUI

Etape 1 : Installation de Whisper WEBUI

Installez les progiciels nécessaires (s’ils ne sont pas déjà installés) :

Exécutez en premier la commande suivante pour vérifier et installer les mise à jour :

sudo apt update

sudo apt upgrade

sudo apt install -y apache2 apache2-utils

sudo systemctl start apache2

sudo systemctl enable apache2

sudo iptables -I INPUT -p tcp --dport 80 -j ACCEPT && sudo iptables -I INPUT -p tcp --dport 443 -j ACCEPT

sudo nano /etc/apache2/conf-available/servername.conf

ServerName localhost

sudo a2enconf servername.conf

sudo systemctl reload apache2

sudo apt-get update
sudo apt-get install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update

sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

sudo curl -L « https://github.com/docker/compose/releases/download/1.26.2/docker-compose-$(uname -s)-$(uname -m) » -o /usr/local/bin/docker-compose

sudo chmod +x /usr/local/bin/docker-compose

sudo systemctl start docker

sudo systemctl enable docker

sudo wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

sudo wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-aarch64.sh

sudo bash Miniconda3-latest-Linux-x86_64.sh

sudo bash Miniconda3-latest-Linux-aarch64.sh

sudo npm install --global yarn

sudo apt install git

sudo apt install ffmpeg

sudo apt update

sudo apt install build-essential zlib1g-dev libncurses5-dev libgdbm-dev libnss3-dev libssl-dev libreadline-dev libffi-dev libsqlite3-dev wget libbz2-dev

sudo wget https://www.python.org/ftp/python/3.11.3/Python-3.11.3.tgz

sudo tar -xf Python-3.11.3.tgz

cd Python-3.11.3

sudo ./configure --enable-optimizations

sudo make -j 12

sudo make altinstall

sudo su

wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda_12.4.0_550.54.14_linux.runsudo sh cuda_12.4.0_550.54.14_linux.run

sudo apt update

sudo apt-get install nodejs

sudo apt install npm

Installez Whisper UI :

Installez Whisper UI avec les commandes suivantes:

cd /var/www/html/

sudo git clone https://github.com/jhj0517/Whisper-WebUI.git

cd Whisper-WebUI

sudo docker build -t whisper-webui:latest . 

Exécutez la commande suivante si vous avez une carte graphique Nvidia :

sudo docker run --gpus all -d \
-v /path/to/models:/Whisper-WebUI/models \
-v /path/to/outputs:/Whisper-WebUI/outputs \
-p 7860:7860 \
-it \
whisper-webui:latest --server_name 0.0.0.0 --server_port 7860

Exécutez la commande suivante si vous n’avez pas de carte graphique Nvidia :

sudo docker run -d \
-v /path/to/models:/Whisper-WebUI/models \
-v /path/to/outputs:/Whisper-WebUI/outputs \
-p 7860:7860 \
-it \
whisper-webui:latest --server_name 0.0.0.0 --server_port 7860

Vérifiez les autorisations d’accès web vers le dossier:

sudo chown www-data:www-data -R /var/www/html/Whisper-WebUI

sudo chmod 775 -R /var/www/html/Whisper-WebUI

Ouvrez le lien : http://localhost:7860/ dans votre navigateur internet pour accéder à Whisper UI… sauf si vous avez installé ce logiciel sur un VPS ou un serveur….

Etape 2 : Créez un ficher Virtualhost pour un serveur apache :

2.1. Créez un fichier de configuration apache

Il faut créer un accès vers cette application depuis un nom de domaine ou un site internet pour y accéder si celui-ci est installé sur une VPS ou un ordinateur serveur.

Pour accéder à ce logiciel depuis un site internet, vous devez d’abord créer un sous-domaine : « whisperui.exemple.com » depuis votre compte client de votre gestionnaire de domaine en le reliant à l’adresse IP de votre serveur via un enregistrement ‘DNS A’.

Si vous ne vous vous souvenez plus comment faire, consultez de nouveau l’étape 1 de la phase 4 de notre tutoriel pour installer Juris-Tyr.

(Rappel des étapes si vous avez acheté votre nom de domaine via OVH : «Connexion à l’ Espace client d’OVH » -> Onglet « WebCloud» -> Lien « Noms de domaines » -> « exemple.com » -> Bouton « Zone DNS » -> Bouton « Créer un nouvel enregistrement » -> Bouton «  A » -> Bouton « Suivant » -> « cloud » -> compléter l’adresse IP de votre VPS ou de votre serveur « 51.xx.xxx.xx » -> « Bouton Suivant » -> « Bouton Valider »).

Une fois votre sous-domaine crée, éditez un nouveau fichier ‘whisperui.conf’ dans le dossier /etc/apache2/sites-available/ avec un éditeur de texte en ligne de commande comme Nano :

sudo nano /etc/apache2/sites-available/whisperui.conf

Copiez et collez le texte suivant dans le fichier ;
(Remplacez le texte « whisperui.exemple.com » par votre propre sous-domaine et nom de domaine) 

<VirtualHost *:80>
ServerName whispeui.exemple.com
ProxyPreserveHost On
ProxyVia On
ProxyPass / http://127.0.0.1:7860/
ProxyPassReverse / http://127.0.0.1:7860/
  <Proxy  *>
    Allow from all
  </Proxy>
<Location "/">
  ProxyPass "http://127.0.0.1:7860/"
  ProxyPassReverse "http://127.0.0.1:7860/"
    Allow from all
</Location>
<Location "/var/www/html/Whisper-WebUI">
    Allow from all
</Location>
ErrorLog ${APACHE_LOG_DIR}/whisperui.error.log
CustomLog ${APACHE_LOG_DIR}/whisperui.access.log combined
</VirtualHost>

Enregistrez et fermez le fichier. whisperui.conf
(Pour enregistrer un fichier dans l’éditeur de texte Nano, appuyez sur les touches ‘Ctrl+o’, puis sur ‘Entrer’ pour confirmer. Pour quitter, appuyez sur ‘Ctrl+X’).

Activez ensuite ce nouveau fichier de configuration du serveur Apache ‘hôte virtuel’ :

sudo a2ensite whispeui.conf

Exécutez la commande suivante pour activer les modules Apache requis :

sudo a2enmod rewrite headers env dir mime setenvif ssl proxy_http proxy rewrite

 Recharger Apache et les modules PHP :

sudo systemctl restart apache2 

Désormais vous pouvez accéder à Whisper Web via l’adresse : http://whisperui.exemple.com

2.2. Activez https pour le site internet crée (facultatif) :

Nous souhaitons (un peu) sécuriser l’accès au site internet whisperweb.example.com. Nous allons donc enregistrer un certificat TLS pour accéder à ce site internet en ‘https’.

Exécutez les commandes suivantes pour installer le client Let’s Encrypt (certbot) à partir du référentiel de logiciels par défaut.

sudo apt install certbot

Si vous utilisez le serveur Web Apache, vous devez également installer le plug-in Certbot Apache.

sudo apt install python3-certbot-apache

Exécutez ensuite la commande suivante pour obtenir un certificat TLS/SSL gratuit.

sudo certbot --apache --agree-tos --redirect --hsts --staple-ocsp --email yo*@ex*****.com -d whisperui.example.com

Exécuter la commande suivante

sudo systemctl restart apache2

Vous pouvez désormais accéder à Whisper Web en tapant l’adresse : https://whisperui.exemple.com dans votre navigateur.

VRAM Usages :

Ce projet est intégré à faster-whisper par défaut pour une meilleure utilisation de la VRAM et une meilleure vitesse de transcription.

Selon faster-whisper, l’efficacité du modèle Whisper optimisé est la suivante :

Modèles disponibles :

Il s’agit du tableau d’utilisation VRAM original de Whisper pour les modèles.

Les modèles .en sont uniquement disponibles en anglais, et ce qui est cool, c’est que vous pouvez utiliser l’option Traduire en anglais à partir des « grands » modèles !

Web-speech-synthesis-and-recognition, un logiciel pour convertir la parole en texte et vice versa en quelques secondes

Le nom de ce logiciel n’est pas très concis mais il permet d’expliquer sa principale fonctionnalité de manière plutôt efficace… Avec l’application open source « Web-speech-synthesis-and-recognition« , convertissez la parole en texte et vice versa en quelques secondes.

Le dépot logiciel de ce logiciel est accessible via ce lien : https://github.com/AyushShahh/web-speech-synthesis-and-recognition

Visitez le site internet de démonstration de l’éditeur pour le tester : https://speechtotextt.netlify.app

Etape 1 : Installation de Web-speech-synthesis-and-recognition

Executez les commandes suivantes :

sudo apt install git
sudo mkdir /var/www/html/ai/ && cd /var/www/html/ai/
sudo git clone https://github.com/AyushShahh/web-speech-synthesis-and-recognition.git && cd web-speech-synthesis-and-recognition
sudo chown www-data-www-data -R /var/www/html/ai/web-speech-synthesis-and-recognition
sudo chmod 775 -R /var/www/html/ai/web-speech-synthesis-and-recognition

Etape 2 : Créez un ficher Virtualhost pour un serveur apache :

2.1. Créez un fichier de configuration apache

Il faut créer un accès vers cette application depuis un nom de domaine ou site internet si celle-ci a été installée sur un VPS ou un ordinateur serveur.

Pour accéder à ce logiciel depuis un site internet, vous devez d’abord créer un sous-domaine : « speech.exemple.com » depuis votre compte client de votre gestionnaire de domaine en le reliant à l’adresse IP de votre serveur via un enregistrement ‘DNS A’.

Si vous ne vous vous souvenez plus comment faire, consultez de nouveau l’étape 1 de la phase 4 de notre tutoriel pour installer Juris-Tyr.

(Rappel des étapes si vous avez acheté votre nom de domaine via OVH : «Connexion à l’ Espace client d’OVH » -> Onglet « WebCloud» -> Lien « Noms de domaines » -> « exemple.com » -> Bouton « Zone DNS » -> Bouton « Créer un nouvel enregistrement » -> Bouton «  A » -> Bouton « Suivant » -> « cloud » -> compléter l’adresse IP de votre VPS ou de votre serveur « 51.xx.xxx.xx » -> « Bouton Suivant » -> « Bouton Valider »).

Une fois votre sous-domaine crée, éditez un nouveau fichier ‘speech.conf’ dans le dossier /etc/apache2/sites-available/ avec un éditeur de texte en ligne de commande comme Nano :

sudo nano /etc/apache2/sites-available/speech.conf

Copiez et collez le texte suivant dans le fichier ;
(Remplacez le texte « speech.exemple.com » par votre propre sous-domaine et nom de domaine) 

<VirtualHost *:80>
ServerName speech.exemple.com
DocumentRoot "/var/www/html/ai/web-speech-synthesis-and-recognition"
        ErrorLog ${APACHE_LOG_DIR}/speech.error
        CustomLog ${APACHE_LOG_DIR}/speech.access combined
        <Directory /var/www/html/ai/web-speech-synthesis-and-recognition>
          AllowOverride All
           <IfModule mod_dav.c>
               Dav off
           </IfModule>
       </Directory>
</VirtualHost>

Enregistrez et fermez le fichier. speech.conf
(Pour enregistrer un fichier dans l’éditeur de texte Nano, appuyez sur les touches ‘Ctrl+o’, puis sur ‘Entrer’ pour confirmer. Pour quitter, appuyez sur ‘Ctrl+X’).

Activez ensuite ce nouveau fichier de configuration du serveur Apache ‘hôte virtuel’ :

sudo a2ensite speech.conf

Exécutez la commande suivante pour activer les modules Apache requis :

sudo a2enmod rewrite headers env dir mime setenvif ssl proxy_http proxy rewrite

 Recharger Apache et les modules PHP :

sudo systemctl restart apache2 php8.2-fpm

Désormais vous pouvez accéder à Web-speech-synthesis-and-recognition via l’adresse : http://speech.exemple.com

2.2. Activez https pour le site internet crée (facultatif) :

Nous souhaitons (un peu) sécuriser l’accès au site internet speech.example.com. Nous allons donc enregistrer un certificat TLS pour accéder à ce site internet en ‘https’.

Exécutez les commandes suivantes pour installer le client Let’s Encrypt (certbot) à partir du référentiel de logiciels par défaut.

sudo apt install certbot

Si vous utilisez le serveur Web Apache, vous devez également installer le plug-in Certbot Apache.

sudo apt install python3-certbot-apache

Exécutez ensuite la commande suivante pour obtenir un certificat TLS/SSL gratuit.

sudo certbot --apache --agree-tos --redirect --hsts --staple-ocsp --email yo*@ex*****.com -d speech.example.com

Exécuter la commande suivante

sudo systemctl restart apache2

Vous pouvez désormais accéder à Web-speech-synthesis-and-recognition en tapant l’adresse : https://speech.exemple.com dans votre navigateur internet.

Etape 3 : Comment utiliser Web-speech-synthesis-and-recognition ?

Vos paroles en texte :

• Sélectionnez une langue pour la conversion
• Cliquez sur le bouton ‘Speak’
• Autoriser le navigateur à accéder à votre microphone
• Parlez….

Votre texte en paroles :

• Sélectionnez la voix pour la synthèse vocale
• Tapez tout ce que vous souhaitez convertir en parole, ou collez votre texte dans le cadre d’édition
• Appuyez sur le bouton ‘Speak’ et augmenter le volume de votre appareil

API utilisée :

API vocale Web Javascript : MDN Documentation, W3C Documentation

Navigateurs internet pris en charge :

Cette API est native des navigateurs Chrome.

License

Ce projet est sous licence MIT. Consultez la  LICENSE pour plus de détails.

OP Vault

L’application open source « OP Vault » utilise la pile de logiciels dénommée « OP Stack » (OpenAI + Pinecone Vector Database) pour permettre aux utilisateurs de télécharger leurs propres fichiers de base de connaissances personnalisés (fichiers PDF, .docx…) et de poser des questions sur leur contenu avec les API et LLM de la société OpenAI (ChatGPT).

OP Vault est un projet open source qui vous permet de discuter avec vos documents PDF (.pdf) mais également vos fichiers .docx, .txt, rtf, .epub….etc. Cette application n’est pas limitée par le type de fichier.

Le dépôt logiciel de cette application est accessible via cette page : https://github.com/pashpashpash/vault-ai/tree/master

🌟 Caractéristiques

• 🤖 Posez des questions sur vos documents PDF, Word, texte…
• 📝 Résumer des documents
• 🖍️ Affichez la source
• 📤 Téléchargez des documents .pdf, .docx, .rtf, .txt, .epub
• 💾 Données enregistrées localement (* les fichiers PDF sont enregistrés localement mais le logiciel envoi tout de même des données brutes du fichiers à la société OpenAI via leur API pour leur traitement par le logiciel d’intelligence artificelle GPT4 ou GPT3.5)…/…

Nous vous recommandons de lire notre article sur nos conseils d’utilisation des logiciels d’intelligence artificielle par les avocats si vous utilisez régulièrement des applications d’intelligence artificielle ou des sites internet de sociétés commerciales telles que OpenAi, Claude, Google/Bard…

En effet, même en utilisant ChatGPT ou GPT4 via une API, la société OpenAI (et les autres sociétés) collectent toutes vos données !

Mise à jour importante : La société OpenAI a annoncé en mars 2023 que les données soumises par l’intermédiaire de l’API n’étaient plus utilisées pour former et améliorer les modèles d’OpenAI.

Si vous utilisez ChatGPT 3.5 ou GPT-4 via l’API d’OpenAI et l’application open source « LibreChat », vos données ne devraient pas, en principe, être utilisées par la société OPENAI (…par contre elles lui seront forcément transmises pour permettre le fonctionnement du logiciel…).
https://www.zdnet.fr/actualites/openai-une-api-chatgpt-pour-les-developpeurs-39954902.htm

« La confiance n’exclut pas le contrôle » (Staline). La difficulté est que dans le cas de la société OpenAI ou Microsoft, et de ses modèles GPT4 très performants, il n’y a actuellement et concrètement aucun moyen de contrôler que cette société n’utilise effectivement pas ou plus vos données pour former et améliorer les modèles ou pour transmettre ces données à des courtiers en données personnelles (publicité, ciblage…etc).

Enfin, la société OpenAI, comme toutes les sociétés américaines, est soumise au « Foreign Intelligence Act » (En résumé, les administrations américaines peuvent obtenir toutes les données des clients des sociétés américaines, que ces clients soient de nationalité américaine ou étrangère, du moment que les serveurs informatiques, même installés dans un pays étranger tel que la France, l’Espagne… appartiennent à une société américaine…).

Pour installer ce logiciel, il est préférable d’avoir préalablement suivi les chapitres 1 à 3 du tutoriel d’installation de Juris-Tyr.

Etape 1 : Connectez-vous sur le site de la société OpenAI pour créer une clé API

Premièrement, vous allez vous connecter sur le site de la société OpenAI, le cas échéant en souscrivant un nouveau compte, afin de créer une clé d’API.
…/…
Les étapes sont les suivantes :

• 1 – Connectez-vous à votre compte à l’adresse : https://platform.openai.com/account/api-keys
• 2 – Cliquez sur votre compte utilisateur sur l’icone en haut à droite
• 3 – Cliquez sur « View_API_Keys »

Etape 2 : Créez une clé API sur le site internet d’OpenAI

1 – Cliquez sur le bouton « +_Create_new_secret_key« 

• 2 – Définissez un nom pour votre clé d’API, par exemple « LibreChat »
• 3 – Cliquez sur le bouton « Create_secret_key« 

Etape 3 : Copiez / enregistrez votre clé API

• 1 – Cliquez sur le bouton « Copier » pour copier la clée d’API. La clé commence par les lettres « sk » suivies d’un tiret puis d’une suite de caractères.
• 2 – Cliquez sur le bouton ‘Done’
• 3 – Collez / Enregistrez la clé dans un fichier texte ou dans votre gestionnaire de mot de passe.

Etape 4 : Créez un compte sur le site web Pinecode.io

Connectez vous à l’adresse : https://app.pinecone.io

Créez un nouveau compte via votre compte Google par exemple ou votre compte Github.

Une fois votre compte créé et que vous êtes connecté au site Pinecone :
– cliquez sur l’onglet ‘Indexes’,
– puis sur le bouton ‘+ Create Index’,
– indiquez un nom d’index (« test » par exemple),
– puis notez / copiez l’URL affichée :

Lors de la configuration de votre index, si cela vous est demandé , utilisez une taille de vecteur « vector size » de 1536 et conservez tous les paramètres par défaut proposés.

Si vous êtes en France ou au Canada, l’adresse URL à copier devrait ressembler à :

https://test-XXXXXXXXXXXX.svc.northamerica-northeast1-gcp.pinecone.io

Puis créez une clé d’API :
– cliquer sur l’onglet ‘API Keys’
– puis sur le bouton ‘+ Create API Key’ :

– Notez / copiez la valeur de l’API Key nouvellement crée..

Etape 5 : Installez OP Vault

Lancez un terminal Putty et connectez-vous en ssh à votre serveur, ou votre VPS, puis exécutez les commandes suivantes.

sudo apt-get install -y poppler-utils
curl -sL https://deb.nodesource.com/setup_10.x | sudo bash -
sudo apt install nodejs
sudo curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.35.3/install.sh | bash
sudo nvm install node
nvm alias default 10.16.0
sudo apt install build-essential
sudo apt-get install golang
cd /var/www/html/
sudo git clone https://github.com/pashpashpash/vault-ai.git
cd vault-ai

Créez un fichier nommé « openai_api_key » dans le dossier « secret » :

sudo nano secret/openai_api_key

Copiez / collez la clé d’API de la société OPENAI dans ce fichier effectuez un clic droit pour coller un texte avec le logiciel ‘nano’).

Enregistrez et fermez ce fichier (appuyez sur les touches [Control] et [x], puis sur la touche [o] ou [y] puis la touche [Enter].

Créez un fichier nommé « pinecone_api_key » dans le dossier « secret » :

sudo nano secret/pinecone_api_key

Copiez / collez la clé d’API de la société Pinecone dans ce fichier (effectuez un clic droit pour coller un texte avec le logiciel ‘nano’).

Enregistrez et fermez ce fichier (appuyez sur les touches [Control] et [x], puis sur la touche [o] ou [y] puis la touche [Enter].

Créez un fichier pinecone_api_endpoint dans le dossier « secret » :

sudo nano secret/pinecone_api_endpoint

Copiez / collez l’URL de la société Pinecone dans ce fichier effectuez un clic droit pour coller un texte avec le logiciel ‘nano’).
(Il s’agit de l’adresse URL ressemblant à : https://test-XXXXXXXXXXXX.svc.northamerica-northeast1-gcp.pinecone.io)

Enregistrez et fermez ce fichier (appuyez sur les touches [Control] et [x], puis sur la touche [o] ou [y] puis la touche [Enter].

Exécutez les commandes suivantes :

sudo npm install

sudo npm start

Ouvrez un nouveau terminal ou exécutez de nouveau le logiciel ‘Putty’ et connectez vous (de nouveau) à votre serveur ou VPS

Exécutez les commandes suivantes :

sudo npm run dev

Vous pouvez fermez les terminaux.

Une fois l’installation terminée vous pouvez vous connecter à OP Vault en tapant dans la barre de votre navigateur : http://locatlhost:8100.

Cependant nous allons créer un site internet pour pouvoir y accéder de n’importe où.

Etape 6 : Accédez à OP Vault depuis un site internet hébergé sur votre serveur ou votre VPS

6.1. Créez un nom de domaine : opvault.exemple.com ou chatdoc.exemple.com

Si vous avez installé cette application sur un serveur VPS, vous ne pourrez pas vous connecter avec votre navigateur à l’adresse locale : http://localhost:8100 ou à l’adresse http://192.168.1.XX:8100 du VPS.

Il faut alors créer un accès vers cette application depuis un site internet.

Pour accéder à l’application OP Vault depuis un site internet, vous devez d’abord créer un sous-domaine : par exemple « chatdoc.exemple.com » ou « opvault.exemple .com » depuis votre compte client de votre gestionnaire de nom de domaine en le reliant à l’adresse IP de votre serveur via un enregistrement ‘DNS A’.

Si vous ne vous vous souvenez plus comment faire, consultez de nouveau l’étape 1 de la phase 4 de notre tutoriel pour installer Juris-Tyr.

(Rappel des étapes si vous avez acheté votre nom de domaine via OVH : «Connexion à l’ Espace client d’OVH » -> Onglet « WebCloud» -> Lien « Noms de domaines » -> « exemple.com » -> Bouton « Zone DNS » -> Bouton « Créer un nouvel enregistrement » -> Bouton «  A » -> Bouton « Suivant » -> « cloud » -> compléter l’adresse IP de votre VPS ou de votre serveur « 51.xx.xxx.xx » -> « Bouton Suivant » -> « Bouton Valider »).

6.2. Créez un fichier Virtualhost pour le serveur Apache

Une fois votre sous-domaine crée, éditez un nouveau fichier ‘chatdoc.conf’ ou ‘opvault.conf’ dans le dossier /etc/apache2/sites-available/ avec un éditeur de texte en ligne de commande comme Nano :

sudo nano /etc/apache2/sites-available/chatdoc.conf

Copiez et collez le texte suivant dans le fichier ;
(Remplacez le texte « chatdoc.exemple.com » par votre propre sous-domaine et nom de domaine) 

<VirtualHost  *:80>
ServerName  chatdoc.exemple.com
ProxyPreserveHost On
ProxyVia On
ProxyPass / http://127.0.0.1:8100/
ProxyPassReverse / http://127.0.0.1:8100/
  <Proxy  *>
    Allow from all
  </Proxy>
<Location "/">
  ProxyPass "http://127.0.0.1:8100/"
  ProxyPassReverse "http://127.0.0.1:8100/"
    Allow from all
</Location>
ErrorLog ${APACHE_LOG_DIR}/opvault.exemple.com.error.log
CustomLog ${APACHE_LOG_DIR}/opvault.exemple.com.access.log combined
</VirtualHost>

Enregistrez et fermez le fichier.
(Pour enregistrer un fichier dans l’éditeur de texte Nano, appuyez sur les touches ‘Ctrl+o’, puis sur ‘Entrer’ pour confirmer. Pour quitter, appuyez sur ‘Ctrl+X’).

Activez ensuite ce nouveau fichier de configuration du serveur Apache ‘hôte virtuel’ :

sudo a2ensite chatdoc.conf

Exécutez la commande suivante pour activer les modules Apache requis :

sudo a2enmod rewrite headers env dir mime setenvif ssl proxy_http proxy rewrite

 Recharger Apache et les modules PHP :

sudo systemctl restart apache2

Désormais vous pouvez accèder à OP Vault en tapant l’adresse suivante dans votre navigateur : https://chatdoc.exemple.com

6.3. Activez un accès via ‘https’ pour le site internet permettant d’utiliser l’application OP Vault :

Ouvrez un nouveau terminal ou exécutez de nouveau le logiciel ‘Putty’ et connectez vous (de nouveau) à votre serveur ou VPS
Nous allons activer une connexion en ‘https’ vers le site internet nouvellement créé

Exécutez les commandes suivantes pour installer le client Let’s Encrypt (certbot) à partir du référentiel de logiciels par défaut.

sudo apt install certbot

Si vous utilisez le serveur Web Apache, vous devez également installer le plug-in Certbot Apache.

sudo apt install python3-certbot-apache

Exécutez ensuite la commande suivante pour obtenir un certificat TLS/SSL gratuit.

sudo certbot --apache --agree-tos --redirect --hsts --staple-ocsp --email yo*@ex*****.com -d chatdoc.example.com

Enfin, exécuter la commande suivante pour redémarrer le serveur Apache

sudo systemctl restart apache2

Démarrer Op Vault à chaque redémarrage du serveur (facultatif) :

Ouvrez ‘Cron’. Exécutez les commandes suivantes :

sudo -u www-data crontab -e

Si plusieurs éditeurs de texte sont installés, le système vous invite à sélectionner un éditeur avec lequel mettre à jour la liste des tâches périodiques. Utilisez le numéro entre parenthèses pour choisir votre option préférée. Nous utiliserons l’option par défaut, Nano.

Appuyez sur la touche [1] de votre clavier pour choisir ‘Nano’ puis sur la touche [Enter].

« Cron » s’ouvre avec le logiciel éditeur de texte « Nano ».

Ajoutez les lignes suivantes à la fin du fichier ouvert :

@reboot  cd /var/www/html/vault-ai && npm start 
@reboot  cd /var/www/html/vault-ai && npm run dev

Enregistrez et quitter en appuyant sur les touches [Control] et [x] de votre clavier, puis sur la touche [y], puis sur la touche [Enter].

Etape 7 : Utilisez OP Vault

Connectez-vous au site : https://chatdoc.exemple.com

Vous pouvez désormais utiliser cette application pour analyser des fichier PDF ou des documents word !

Rappel du sommaire principal de Juris-Tyr:

• Chapitre 1 : Avoir un serveur – choisir entre souscrire à un abonnement à serveur dédié (VPS) (recommandé) ou de configurer un ordinateur serveur installé dans vos locaux et votre modem/routeur
• Chapitre 2 : Installez et utiliser le logiciel Putty pour se connecter au serveur depuis votre ordinateur sous Windows ou via un logiciel équivalent si votre ordinateur est un Mac (https://putty.fr.softonic.com/mac/alternatives)
• Chapitre 3 : Installez la pile LAMP (Serveur Apache, Mariadb, Php8.2)
• Chapitre 4 : Installez Nextcloud 27 (Ubuntu 22.04, Apache2, PostgreSQL)
• Chapitre 5 : Installez CollaboraOnline (Suite bureautique de type Office) (facultatif)
• Chapitre 6 : Installez OnlyOffice (Autre suite bureautique de type Office) (facultatif)
• Chapitre 7 : Installez un serveur d’e-mail
  • Etape 1 ; Installez d’un serveur Postfix sous Ubuntu 22.04
  • Etape 2 : Installez Dovecot
  • Etape 3 : Installez Postfixadmin
  • Etape 4 : Configurez SPF et DKIM avec Postfix sur Ubuntu
  • Etape 5 : Création d’un enregistrement DMARC pour protéger votre nom de domaine contre l’usurpation d’e-mails
  • Etape 6 : Comment contourner les blacklists d’adresses IP de Microsoft Outlook et des autres fournisseurs d’adresses e-mails
  • Etape 7 : Installez le webmail Roundcube (application de messagerie en ligne)
  • Etape 8 : Comment limiter le risque que vos e-mails soient classés dans les spams (facultatif)
  • Etape 9 : Installez les logiciels antivirus Amis et ClamAv sur Ubuntu (facultatif)
• Chapitre 8 : Installez InvoiceNinja (Logiciel de devis, facturation et paiement en ligne des factures)
• Chapitre 9 : Installez PDFsignature  (Logiciel de modification en ligne de fichiers PDF)
• Chapitre 10 : Installez Firefly III et du module d’import automatique de relevés bancaires (Logiciel de comptabilité) (facultatif)
• Chapitre 11 : Installez WordPress (Logiciel de création et d’édition de site internet) (facultatif)
• Chapitre 12 : Installez Jitsi Meet (Logiciel de visioconférence auto hébergé) (facultatif)
• Chapitre 13 : Installez Serge (Logiciel permettant d’utiliser des modèles d’intelligence artificielle open-source basés sur LLaMA2) (facultatif)
• Chapitre 14 : Installez LibreChat (Logiciel permettant d’utiliser des logiciels d’intelligence artificielle de OpenAI, Anthropic via leur clé d’API avec une connexion par mot de passe) (facultatif)
• Chapitre 15 : Installez Web Whisper + (Logiciel de reconnaissance vocale en ligne) (facultatif)
• Chapitre 16 : Installez SecureAI Tools (Discuter par écrit avec un logiciel IA open-source auto hébergé sur votre serveur pour garantir la confidentialité de vos données avec une connexion par mot de passe) (facultatif)
• Chapitre 17 : Installez Ollama Web UI (Discuter par écrit et oralement avec MistralAI de manière sécurisée et sans transmettre de données à OpenAI)
• Chapitre 18 : Installez Web-speech-synthesis-and-recognition, un logiciel pour convertir la parole en texte et vice versa en quelques secondes

MultiPDF Chat App

L’application MultiPDF Chat est une application Python qui vous permet de discuter avec plusieurs documents PDF, en même temps.

Vous pouvez poser des questions sur les PDF en langage naturel et l’application fournira des réponses pertinentes en fonction du contenu des documents. Cette application utilise un modèle de langage pour générer des réponses précises à vos requêtes. L’application ne répondra qu’aux questions liées aux PDF chargés.

L’application suit ces étapes pour apporter des réponses à vos questions :

1. Chargement PDF : l’application lit plusieurs documents PDF et extrait leur contenu textuel.
2. Morceau de texte : le texte extrait est divisé en morceaux plus petits qui peuvent être traités efficacement.
3. Modèle de langage : l’application utilise un modèle de langage pour générer des représentations vectorielles (intégrations) des morceaux de texte.
4. Correspondance de similarité : lorsque vous posez une question, l’application la compare avec les morceaux de texte et identifie les plus similaires sémantiquement.
5. Génération de réponse : les morceaux de texte sélectionnés sont transmis au modèle de langage, qui génère une réponse basée sur le contenu pertinent des PDF.

MultiPDF Chat est un projet open source qui vous permet de discuter avec plusieurs documents PDF (.pdf)..

Le dépôt logiciel de cette application est accessible via cette page :
https://github.com/alejandro-ao/ask-multiple-pdfs
…/…

🌟 Caractéristiques

• 🤖 Posez des questions sur plusieurs documents PDF
• 📝 Résumer des documents
• 🖍️ Affichez la source
• 💾 Données enregistrées localement (* les fichiers PDF sont enregistrés localement mais le logiciel envoi tout de même des données brutes du fichiers à la société OpenAI via leur API pour leur traitement par le logiciel d’intelligence artificelle GPT4 ou GPT3.5)…/…

Nous vous recommandons de lire notre article sur nos conseils d’utilisation des logiciels d’intelligence artificielle par les avocats si vous utilisez régulièrement des applications d’intelligence artificielle ou des sites internet de sociétés commerciales telles que OpenAi, Claude, Google/Bard…
En effet, même en utilisant ChatGPT ou GPT4 via une API, la société OpenAI (et les autres sociétés) collectent toutes vos données !

Mise à jour importante : La société OpenAI a annoncé en mars 2023 que les données soumises par l’intermédiaire de l’API n’étaient plus utilisées pour former et améliorer les modèles d’OpenAI.

Si vous utilisez ChatGPT 3.5 ou GPT-4 via l’API d’OpenAI et l’application opensource « Librechat », vos données ne devraient pas, en principe, être utilisées par la société OPENAI (…par contre elles lui seront forcément transmises pour permettre le fonctionnement du logiciel…).
https://www.zdnet.fr/actualites/openai-une-api-chatgpt-pour-les-developpeurs-39954902.htm

« La confiance n’exclut pas le contrôle » (Staline). La difficulté est que dans le cas de la société OpenAI (ou de Microsoft) et des modèles GPT4 très performants, il n’y a actuellement concrètement aucun moyen de contrôler que cette société n’utilise pas ou plus vos données pour former et améliorer les modèles ou si elle transmet certaines données à des courtiers en données.

Enfin, la société OpenAI, comme toutes les sociétés américaines, est soumise au « Foreign Intelligence Act » (En résumé, les administrations américaines peuvent obtenir toutes les données des clients des sociétés américaines, que ces clients soient de nationalité américaine ou étrangère, du moment que les serveurs informatiques, même installés dans un pays étranger tel que la France, l’Espagne… appartiennent à une société américaine…).

Pour installer ce logiciel, il est préférable d’avoir préalablement suivi les chapitres 1 à 3 du tutoriel d’installation de Juris-Tyr.…/…

Etape 1 : Connectez-vous sur le site de la société OpenAI pour créer une clé API

Premièrement, vous allez vous connecter sur le site de la société OpenAI, le cas échéant en souscrivant un nouveau compte, afin de créer une clé d’API.
Les étapes sont les suivantes :

• 1 – Connectez-vous à votre compte à l’adresse : https://platform.openai.com/account/api-keys
• 2 – Cliquez sur votre compte utilisateur sur l’icone en haut à droite
• 3 – Cliquez sur « View_API_Keys »

Etape 2 : Créez une clé API sur le site internet d’OpenAI

1 – Cliquez sur le bouton « +_Create_new_secret_key« 

• 2 – Définissez un nom pour votre clé d’API, par exemple « LibreChat »
• 3 – Cliquez sur le bouton « Create_secret_key« 

Etape 3 : Copiez / enregistrez votre clé API

• 1 – Cliquez sur le bouton « Copier » pour copier la clée d’API. La clé commence par les lettres « sk » suivies d’un tiret puis d’une suite de caractères.
• 2 – Cliquez sur le bouton ‘Done’
• 3 – Collez / Enregistrez la clé dans un fichier texte ou dans votre gestionnaire de mot de passe.

Etape 4 : Installez MultiPDF Chat

Lancez un terminal Putty et connectez-vous en ssh à votre serveur, ou votre VPS, puis exécutez les commandes suivantes.

cd /var/www/html/

sudo git clone https://github.com/alejandro-ao/ask-multiple-pdfs.git

cd ask-multiple-pdfs

sudo pip install -r requirements.txt

Créez un fichier nommé « .env » depuis le fichier modèle .env.example :

sudo cp .env.example .env

sudo nano .env

Copiez / collez la clé d’API de la société OPENAI dans ce fichier à la ligne :
OPENAI_API_KEY=votre clée OpenAI (effectuez un clic droit pour coller un texte avec le logiciel ‘nano’)

Enregistrez et fermez ce fichier (appuyez simultanément sur les touches [Control] et [x], puis sur la touche [o] ou [y], puis sur la touche [Enter]).

Exécutez la commande suivante pour lancez l’application :

sudo streamlit run app.py

Une fois l’installation terminée vous pouvez vous connecter à MultiPDF Chat en tapant dans la barre de votre navigateur : http://locatlhost:8501.

L’application se lancera dans votre navigateur Web par défaut, affichant l’interface utilisateur.

1 – Chargez plusieurs documents PDF dans l’application en suivant les instructions fournies.

2 – Posez des questions en langage naturel sur les PDF chargés à l’aide de l’interface de chat.

Pour quitter l’application, appuyer simultatément sur les touches ‘Control’ et ‘c’.

Cependant nous allons créer un accès depuis site internet pour pouvoir y accéder de n’importe où.

Etape 5 : Accédez à MultiPDF Chat depuis un site internet hébergé sur votre serveur ou votre VPS

5.1. Créez un nom de domaine : multipdfchat.exemple.com ou aipdfmulti.exemple.com

Si vous avez installé cette application sur un serveur VPS, vous ne pourrez pas vous connecter avec votre navigateur à l’adresse locale : http://localhost:8501 ou à l’adresse http://192.168.1.XX:8501 du VPS.

Il faut alors créer un accès vers cette application depuis un site internet.

Pour accéder à l’application MultiPDF Chat depuis un site internet, vous devez d’abord créer un sous-domaine : par exemple « multipdfchat.exemple.com » depuis votre compte client de votre gestionnaire de nom de domaine en le reliant à l’adresse IP de votre serveur via un enregistrement ‘DNS A’.

Si vous ne vous vous souvenez plus comment faire, consultez de nouveau l’étape 1 de la phase 4 de notre tutoriel pour installer Juris-Tyr.

(Rappel des étapes si vous avez acheté votre nom de domaine via OVH : «Connexion à l’ Espace client d’OVH » -> Onglet « WebCloud» -> Lien « Noms de domaines » -> « exemple.com » -> Bouton « Zone DNS » -> Bouton « Créer un nouvel enregistrement » -> Bouton «  A » -> Bouton « Suivant » -> « cloud » -> compléter l’adresse IP de votre VPS ou de votre serveur « 51.xx.xxx.xx » -> « Bouton Suivant » -> « Bouton Valider »).

5.2. Créez un fichier Virtualhost pour le serveur Apache

Une fois votre sous-domaine crée, éditez un nouveau fichier ‘multichatpdf.conf » dans le dossier /etc/apache2/sites-available/ avec un éditeur de texte en ligne de commande comme Nano :

sudo nano /etc/apache2/sites-available/multipdfchat.conf

Copiez et collez le texte suivant dans le fichier ;
(Remplacez le texte « multipdfchat.exemple.com » par votre propre sous-domaine et nom de domaine) 

<IfModule mod_ssl.c>
<VirtualHost *:80>
   ServerName multipdfchat.exemple.com
ProxyPreserveHost On
ProxyRequests Off
<Proxy *>
   Order deny,allow
   Allow from all
</Proxy>
   ProxyPass / "http://localhost:8501/
   ProxyPassReverse / "http://localhost:8501/
   <Location "/">
      ProxyPass ws://localhost:8501
      ProxyPassReverse ws://localhost:8501
   </Location>
ProxyPass / http://localhost:8501
ProxyPassReverse / http://localhost:8501
   RewriteEngine on
   RewriteCond %{HTTP:Upgrade} =websocket
   RewriteRule /(.*) ws://localhost:8501/$1 [P]
   RewriteCond %{HTTP:Upgrade} !=websocket
   RewriteRule /(.*) http://localhost:8501/$1 [P]
   ProxyPassReverse / http://localhost:8501
   RewriteCond %{HTTP:Upgrade} =websocket
   RewriteRule /(.*) ws://multipdfchat.exemple.com/$1 [P]
   RewriteCond %{HTTP:Upgrade} !=websocket
   RewriteRule /(.*) http://multipdfchat.exemple.com/$1 [P]
   ProxyPassReverse / http://multipdfchat.exemple.com
### Lax CSP and will not score the best on Mozilla Observatory or other platforms alike, but won't need to be updated with version changes ###
    Header always set Content-Security-Policy "default-src 'none'; base-uri 'self'; font-src 'self' data: ${public_url}; media-src 'self' blob: data: https: ${public_url}; script-src 'self' 'unsafe-inline' ${public_url}; style-src 'self' 'unsafe-inline' ${public_url}; img-src 'self' data: blob: https: ${public_url}; worker-src * blob:; frame-src 'self' https://${public_url}; connect-src 'self' wss: https: ${public_url}; form-action 'self'; frame-ancestors 'self' https://${public_url} https://my.domain https://*.my.domain; manifest-src 'self'; object-src 'self' https://${public_url}"
    Header always set Permissions-Policy 'geolocation=(self "https://${public_url}"), midi=(self "https://${public_url}"), sync-xhr=(self "https://${public_url}"), microphone=(self "https://${public_url}"), camera=(self "https://${public_url}"), magnetometer=(self "https://${public_url}"), gyroscope=(self "https://${public_url}"), fullscreen=(self "https://${public_url}"), payment=(self "https://${public_url}")'
    SSLHonorCipherOrder Off
### Use next two for very secure connections ###
    SSLCipherSuite ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384
    SSLProtocol All -SSLv2 -SSLv3 -TLSv1 -TLSv1.1
### Use next two for secure connections and support more endpoints ###
    #SSLCipherSuite EECDH+AESGCM:EDH+AESGCM:AES256+EECDH:AES256+EDH:ECDHE-RSA-AES128-GCM-SHA384:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA128:DHE-RSA-AES128-GCM-SHA384:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES128-GCM-SHA128:ECDHE-RSA-AES128-SHA384:ECDHE-RSA-AES128-SHA128:ECDHE-RSA-AES128-SHA:ECDHE-RSA-AES128-SHA:DHE-RSA-AES128-SHA128:DHE-RSA-AES128-SHA128:DHE-RSA-AES128-SHA:DHE-RSA-AES128-SHA:ECDHE-RSA-DES-CBC3-SHA:EDH-RSA-DES-CBC3-SHA:AES128-GCM-SHA384:AES128-GCM-SHA128:AES128-SHA128:AES128-SHA128:AES128-SHA:AES128-SHA:DES-CBC3-SHA:HIGH:!aNULL:!eNULL:!EXPORT:!DES:!MD5:!PSK:!RC4
    #SSLProtocol All -SSLv2 -SSLv3 -TLSv1 -TLSv1.1
### Actually proxy the traffic and really the only important part ###
    AllowEncodedSlashes On
    RewriteEngine On
    SetEnvIf Cookie "(^|;\ *)csrftoken=([^;\ ]+)" csrftoken=$2
    RequestHeader set  X-CSRFToken "%{csrftoken}e"
### Proxy Websockets Section 1 (works for me) ###
    RewriteCond %{HTTP:UPGRADE} ^WebSocket$ [NC]
    RewriteCond %{HTTP:CONNECTION} Upgrade$ [NC]
    RewriteRule ^/?(.*) "ws://${local_url}:${local_port}/$1" [P,L]
### Proxy Websockets Section 2 (untested) ###
    #RewriteCond %{HTTP:UPGRADE} =websocket [NC]
    #RewriteRule ^/ws/(.*) ws://${local_url}:${local_port}/ws/$1 [P,L]
### Proxy everything else ###
    ProxyPass / http://${local_url}:${local_port}/ connectiontimeout=6 timeout=60
    ProxyPassReverse / http://${local_url}:${local_port}/
</VirtualHost>
</IfModule>

Enregistrez et fermez le fichier.
(Pour enregistrer un fichier dans l’éditeur de texte Nano, appuyez sur les touches [Control] et [o], puis sur [Enter] pour confirmer. Pour quitter, appuyez sur [Control] et [X] ).

Activez ensuite ce nouveau fichier de configuration du serveur Apache ‘hôte virtuel’ :

sudo a2ensite multipdfchat.conf

Exécutez la commande suivante pour activer les modules Apache requis :

sudo a2enmod rewrite headers env dir mime setenvif ssl proxy_http proxy rewrite proxy_wstunnel

 Recharger Apache et les modules PHP :

sudo systemctl restart apache2

Désormais, vous pouvez accèder à l’application en tapant l’adresse suivante dans votre navigateur : https://multipdfchat.exemple.com

5.3. Activez un accès via ‘https’ pour le site internet permettant d’utiliser l’application :

Cette étape est recommandée car le navigateur internet Chrome ou Brave n’autorise pas les connexions Websocket (ws) non sécurisées à localhost (uniquement wss), il faut donc configurer un certificat TLS pour votre serveur Web/websocket local). Cependant, si vous ne souhaitez pas accéder au site internet de cette application en ‘https’, cela devrait fonctionner correctement avec le navigateur internet Firefox.

Ouvrez un nouveau terminal ou exécutez de nouveau le logiciel ‘Putty’ et connectez vous (de nouveau) à votre serveur ou VPS
…/…
Nous allons activer une connexion en ‘https’ vers le site internet nouvellement créé

Exécutez les commandes suivantes pour installer le client Let’s Encrypt (certbot) à partir du référentiel de logiciels par défaut.

sudo apt install certbot

Si vous utilisez le serveur Web Apache, vous devez également installer le plug-in Certbot Apache.

sudo apt install python3-certbot-apache

Exécutez ensuite la commande suivante pour obtenir un certificat TLS/SSL gratuit.

sudo certbot --apache --agree-tos --redirect --hsts --staple-ocsp --email yo*@ex*****.com -d multipdfchat.example.com

Enfin, exécuter la commande suivante pour redémarrer le serveur Apache :

sudo systemctl restart apache2

Placez vous dans le répertoire de l’application :

cd /var/www/html/ask-multiple-pdfs

Exécutez la commande suivante pour relancer l’application :

sudo streamlit run app.py

5.4. Démarrer Multi ask GPT à chaque redémarrage du serveur (facultatif) :

Ouvrez ‘Cron’. Exécutez les commandes suivantes :

sudo -u www-data crontab -e

Si plusieurs éditeurs de texte sont installés, le système vous invite à sélectionner un éditeur avec lequel mettre à jour la liste des tâches périodiques. Utilisez le numéro entre parenthèses pour choisir votre option préférée. Nous utiliserons l’option par défaut, Nano.

Appuyez sur la touche [1] de votre clavier pour choisir ‘Nano’ puis sur la touche [Enter].

« Cron » s’ouvre avec le logiciel éditeur de texte « Nano ».

Ajoutez les lignes suivantes à la fin du fichier ouvert :

@reboot  cd /var/www/html/ask-multiple-pdfs && streamlit run app.py

Enregistrez et quitter en appuyant sur les touches [Control] et [x] de votre clavier, puis sur la touche [y], puis sur la touche [Enter].

Rappel du sommaire principal de Juris-Tyr:

• Chapitre 1 : Avoir un serveur – choisir entre souscrire à un abonnement à serveur dédié (VPS) (recommandé) ou de configurer un ordinateur serveur installé dans vos locaux et votre modem/routeur
• Chapitre 2 : Installez et utiliser le logiciel Putty pour se connecter au serveur depuis votre ordinateur sous Windows ou via un logiciel équivalent si votre ordinateur est un Mac (https://putty.fr.softonic.com/mac/alternatives)
• Chapitre 3 : Installez la pile LAMP (Serveur Apache, Mariadb, Php8.2)
• Chapitre 4 : Installez Nextcloud 27 (Ubuntu 22.04, Apache2, PostgreSQL)
• Chapitre 5 : Installez CollaboraOnline (Suite bureautique de type Office) (facultatif)
• Chapitre 6 : Installez OnlyOffice (Autre suite bureautique de type Office) (facultatif)
• Chapitre 7 : Installez un serveur d’e-mail
  • Etape 1 ; Installez d’un serveur Postfix sous Ubuntu 22.04
  • Etape 2 : Installez Dovecot
  • Etape 3 : Installez Postfixadmin
  • Etape 4 : Configurez SPF et DKIM avec Postfix sur Ubuntu
  • Etape 5 : Création d’un enregistrement DMARC pour protéger votre nom de domaine contre l’usurpation d’e-mails
  • Etape 6 : Comment contourner les blacklists d’adresses IP de Microsoft Outlook et des autres fournisseurs d’adresses e-mails
  • Etape 7 : Installez le webmail Roundcube (application de messagerie en ligne)
  • Etape 8 : Comment limiter le risque que vos e-mails soient classés dans les spams (facultatif)
  • Etape 9 : Installez les logiciels antivirus Amis et ClamAv sur Ubuntu (facultatif)
• Chapitre 8 : Installez InvoiceNinja (Logiciel de devis, facturation et paiement en ligne des factures)
• Chapitre 9 : Installez PDFsignature  (Logiciel de modification en ligne de fichiers PDF)
• Chapitre 10 : Installez Firefly III et du module d’import automatique de relevés bancaires (Logiciel de comptabilité) (facultatif)
• Chapitre 11 : Installez WordPress (Logiciel de création et d’édition de site internet) (facultatif)
• Chapitre 12 : Installez Jitsi Meet (Logiciel de visioconférence auto-hébergé) (facultatif)
• Chapitre 13 : Installez Serge (Logiciel permettant d’utiliser des modèles d’intelligence artificielle open-source basés sur LLaMA2) (facultatif)
• Chapitre 14 : Installez LibreChat (Logiciel permettant d’utiliser des logiciels d’intelligence artificielle de OpenAI, Anthropic via leur clé d’API) (facultatif)
• Chapitre 15 : Installez Whisper Web (Logiciel de reconnaissance vocale en ligne) (facultatif)
• Chapitre 16 : Installez OP Vault (Interroger vos fichiers PDF et Word avec l’API de GPT4) (facultatif)
• Chapitre 17 : Installez SecureAI Tools (Interroger vos fichiers PDF avec un logiciel IA open-source auto hébergé sur votre serveur pour garantir la confidentialité de vos données) (facultatif)
• Chapitre 18 : Installez Web-speech-synthesis-and-recognition, un logiciel pour convertir la parole en texte et vice versa en quelques secondes

Installez DocsMind

…/…
DocsMind est un projet open source qui vous permet de discuter avec vos documents PDF (.pdf) et en Markdown (.md).

Le dépôt logiciel de cette application est accessible via cette page : https://github.com/3Alan/DocsMind

Le logiciel open -source est sous licence AGPL-3.0 License (en résumé, si vous modifiez le Programme, votre version modifiée doit offrir de manière visible à tous les utilisateurs interagissant à distance grâce à un réseau informatique…).

Avertissement : l’installation proposée dans ce tutoriel ne permet d’utiliser Docsmind que depuis l’ordinateur serveur (pas sur un VPS) ou depuis un réseau local en tapant dans la barre d’adresse du navigateur : http://192.168.0.XX:8081 XX étant les deux derniers chiffres de l’adresse IP locale de votre ordinateur serveur.

🌟 Caractéristiques

• 🤖 Posez une question sur vos documents
• 📝 Résumer des documents
• 🖍️ Mettre en surbrillance la source
• 📤 Téléchargez des documents .pdf, .md (meilleur support)
• 💾 Données enregistrées localement (* les fichiers PDF sont enregistrés localement mais le logiciel envoi tout de même des données brutes du fichiers à la société OpenAI via leur API pour leur traitement par le logiciel d’intelligence artificelle GPT4 ou GPT3.5)
• 💰 Token usage tracker
• 🐳 Dockerize
  …/…

Nous vous recommandons de lire notre article sur nos conseils d’utilisation des logiciels d’intelligence artificielle par les avocats si vous utilisez régulièrement des applications d’intelligence artificielle ou des sites internet de sociétés commerciales telles que OpenAi, Claude, Google/Bard…

En effet, même en utilisant ChatGPT ou GPT4 via une API, la société OpenAI (et les autres sociétés) collectent toutes vos données !

Mise à jour importante : La société OpenAI a annoncé en mars 2023 que les données soumises par l’intermédiaire de l’API n’étaient plus utilisées pour former et améliorer les modèles d’OpenAI.

Si vous utilisez ChatGPT 3.5 ou GPT-4 via l’API d’OpenAI et l’application opensource « Librechat », vos données ne devraient pas, en principe, être utilisées par la société OPENAI (…par contre elles lui seront forcément transmises pour permettre le fonctionnement du logiciel…).
https://www.zdnet.fr/actualites/openai-une-api-chatgpt-pour-les-developpeurs-39954902.htm

« La confiance n’exlcue pas le contrôle » (Staline). La difficulté étant que dans le cas de la société OpenAI et des modèles GPT4 très performants, il n’y a actuellement concrêtement aucun moyen de contrôler que cette socciété n’utilise pas ou plus vos données pour former et améliorer les modèles.

Enfin, la Société OpenAI, comme toutes les sociétés américaines, est soumise au Foreign Intelligence Act (En résumé, les administrations américaines peuvent obtenir toutes les données des clients des sociétés américaines, que ces clients soient de nationalité américaine ou étrangère, du moment que les serveurs informatiques, même installés dans un pays étranger tel que la France, l’Espagne… appartiennent à une société américaine…).

Pour installer ce logiciel, il est préférable d’avoir préalablement suivi les chapitres 1 à 3 du tutoriel d’installation de Juris-Tyr.

Etape 1 : Connectez-vous sur le site de la société OpenAI pour créer une clé API

Premièrement, vous allez vous connecter sur le site de la société OpenAI, le cas échéant en souscrivant un nouveau compte, afin de créer une clé d’API.

Les étapes sont les suivantes :

• 1 – Connectez-vous à votre compte à l’adresse : https://platform.openai.com/account/api-keys
• 2 – Cliquez sur votre compte utilisateur sur l’icone en haut à droite
• 3 – Cliquez sur « View_API_Keys »

Etape 2 : Créez une clé API sur le site internet d’OpenAI

• 1 – Cliquez sur le bouton « +_Create_new_secret_key« 
• 2 – Définissez un nom pour votre clé d’API, par exemple « LibreChat »
• 3 – Cliquez sur le bouton « Create_secret_key« 

Etape 3 : Copiez / enregistrez votre clé API

• 1 – Cliquez sur le bouton « Copier » pour copier la clée d’API. La clé commence par les lettres « sk » suivies d’un tiret puis d’une suite de caractères.
• 2 – Cliquez sur le bouton ‘Done’
• 3 – Collez / Enregistrez la clé dans un fichier texte ou dans votre gestionnaire de mot de passe.

Etape 4 : Installez DocsMind

Lancez un terminal Putty et connectez-vous en ssh à votre serveur, ou votre VPS, puis exécutez les commandes suivantes.

sudo ufw allow 8081/tcp
sudo ufw allow 8080/tcp
cd /var/www/html/
sudo git clone https://github.com/3Alan/DocsMind.git
cd DocsMind
sudo cp .env.example .env

Exécuter la commande suivante :

sudo docker-compose up

…Patientez, l’installation de DocsMind prend du temps…

Une fois l’installation terminée vous pouvez vous connecter à DocsMind en tapant dans la barre de votre navigateur : http://locatlhost:8081.

Etape 6 : Utilisez DocsMind

Connectez-vous à l’adresse : http://locatlhost:8081.

Cliquez sur l’icone Paramètre en bas à gauche :

Collez votre clé API d’OpenAI :

Téléversez votre fichier PDF en cliquant sur l’icone « Click or drag file to this area to upload » :

Une fois le document chargé (il sera enregistré dans le dossier de votre serveur ou VPS /var/www/html/DocsMind/data), posez vos questions en complétant le cadre « Imput your question » situé en bas à droite de la fenêtre :

SecureAI Tools, Discuter avec une ia de manière sécurisée et sans transmettre de données à la société OpenAI

SecureAI Tools est un logiciel open source permettant d’auto-héberger des logiciels d’intelligence artificielle et des LLM (presque) équivalents à ChatGPT et ChatPDF derrière le pare-feu de votre entreprise.

ChatGPT plus et GPT4 sont des logiciels / LLM de la société OpenAI qui, entre autres, n’utilisent plus les données des clients (les votres…) pour former les modèles OpenAI (si vous avez coché la bonne option dans les réglages du Chat’).

Toutes les versions de ChatGPT (gratuites, ChatGPT Plus et ChatGPT Enterprise) stockent cependant vos données privées et sensibles sur l’infrastructure cloud d’OpenAI. On peut également supposer que ces données sont transmises ou vendues à des  » partenaires  » (des courtiers en données personnelles) ou s’inquitéter en cas de piratage…

Le logiciel open source SecureAI Tools, quant à lui, est une alternative auto-hébergée à ChatGPT , où toutes les données résident sur votre infrastructure (sur site, cloud privé ou même sur votre ordinateur selon le choix de déploiement). Il se base notamment sur le logiciel Ollama.

Cela vous permet d’avoir un contrôle total sur vos données : où se trouvent vos données, combien de temps elles sont conservées et qui peut y accéder, etc.

SecureAI Tools est destiné aux organisations et aux individus soucieux de leur confidentialité et de leur sécurité. De plus vous pouvez rattacher ce logiciel avec un logiciel de gestion de fichier tel que Paperless-NGX pour téléverser direvtement vos fichier PDF dans SecureAI Tools.

Au delà du risque lié à la confidentialité des données sensibles ou personnelles, De plus, l’utilisation des plugins ChatGPT plus peut entrainer des failles de sécurité dans votre ordinateur ou smartphone (consultez cette vidéo : https://www.youtube.com/watch?v=ghVWFZ5esnU ).

En résumé, SecureAi Tools est un logiciel recommandé pour tous ceux qui souhaite utiliser les logiciels d’intelligence artificielle de manière sécurisée.

Le dépot Github du logiciel SecureAI Tools est accessible depuis ce lien :

https://github.com/SecureAI-Tools/SecureAI-Tools

Démonstration :

Discutez avec des documents : Exécution locale de Mistral (sur un MacBook M2) :

Discutez avec des documents enregistrés sur le logiciel Paperless-ngx : Exécution locale de Llama2-7b (su un MacBook M2) :

Analyse d’un ensemble de documents PDF :

Principales caractéristiques :

• Exécute des modèles d’IA localement (Mistral, Mixtral 8x7b…).
• Prend en charge plus de 100 modèles d’IA open source (et semi-open source) via Ollama.
• Discuter avec des documents : vous permet de discuter avec des documents (PDF pour l’instant).
• Authentification intégrée : une simple authentification par e-mail/mot de passe afin qu’il puisse être ouvert sur Internet et accessible de n’importe où.
• Gestion des utilisateurs intégrée : les membres de la famille ou les collègues peuvent également l’utiliser s’ils le souhaitent.
• Auto-hébergement optimisé : livré avec les scripts et les fichiers docker-compose nécessaires pour démarrer en moins de 5 minutes.
• Léger : une application Web simple avec SQLite DB pour éviter d’avoir à exécuter un conteneur Docker pour DB.
• Les données sont conservées sur la machine hôte via des volumes Docker

Vous pouvez également créer un ensemble / une collection de documents PDF à analyser, puis créer autant de discussions avec la collection que nécessaire. Les documents d’une collection sont traités en arrière-plan, vous permettant d’ajouter des centaines, voire des milliers de documents PDF à analyser (sous réserve de la puissance de votre serveur…). Cela permet également de gagner du temps car vous n’avez pas besoin de retraiter tous les documents à chaque fois que vous souhaitez discuter avec une collection de documents PDF. Vous pouvez ainsi entraîner MistralAI avec votre documentation juridique.

Ce logiciel nécessite un serveur ou un ordinateur performant, doté de beaucoup de mémoire vive et/ou d’une carte graphique Nvidia récente et performante ou un Mac avec un processeur M1 ou M2, pour fonctionner dans de relatives bonnes conditions. SI vous ne disposez pas de matériel performant, nous pouvons vous recommander d’installer ce logiciel open-source, par exemple, sur les serveurs dédiés Kimsufi de la société OVHCloud qui offrent de bonne performances pour des LLM de petite taille (Mistral:7b Openhermes….) à un prix raisonnable : https://eco.ovhcloud.com/fr/?display=list&memory=128%7C512 (Env. 50 € HT par mois pour un serveur dédié doté de 128 Go de mémoire vive), ou les serveurs dédiés de Hetzner : https://www.hetzner.com/dedicated-rootserver/#cpu_type=AMD%2BIntel&ram_to=1024 ou ceux de Contabo : https://contabo.com/en/vds/ )

SecureAI Tools dispose de moins de fonctionnalités que (Ollama) Open Web UI (ie : le tutoriel suivant) mais il est plus simple d’utilisation et plus ‘user friendly’ pour vos collaborateurs qui sont moins à l’aise avec l’informatique. Il peut dont être privilégié par rapport à Open Web Ui dans certaines organisations.

Tutoriel d’installation du logiciel SecureAI Tools:

Installez les progiciels nécessaires (s’ils ne sont pas déjà installés) :

Exécutez en premier la commande suivante pour vérifier et installer les mise à jour :

sudo apt update

sudo apt upgrade

sudo apt install -y apache2 apache2-utils

sudo systemctl start apache2

sudo systemctl enable apache2

sudo iptables -I INPUT -p tcp --dport 80 -j ACCEPT && sudo iptables -I INPUT -p tcp --dport 443 -j ACCEPT

sudo nano /etc/apache2/conf-available/servername.conf

ServerName localhost

sudo a2enconf servername.conf

sudo systemctl reload apache2

sudo apt-get update
sudo apt-get install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update

sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

sudo curl -L « https://github.com/docker/compose/releases/download/1.26.2/docker-compose-$(uname -s)-$(uname -m) » -o /usr/local/bin/docker-compose

sudo apt-get install docker-compose-plugin

sudo chmod +x /usr/local/bin/docker-compose

sudo systemctl start docker

sudo systemctl enable docker

sudo wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

sudo wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-aarch64.sh

sudo bash Miniconda3-latest-Linux-x86_64.sh

sudo bash Miniconda3-latest-Linux-aarch64.sh

sudo npm install --global yarn

sudo apt install git

sudo apt install ffmpeg

sudo apt update

sudo apt install build-essential zlib1g-dev libncurses5-dev libgdbm-dev libnss3-dev libssl-dev libreadline-dev libffi-dev libsqlite3-dev wget libbz2-dev

sudo wget https://www.python.org/ftp/python/3.11.3/Python-3.11.3.tgz

sudo tar -xf Python-3.11.3.tgz

cd Python-3.11.3

sudo ./configure --enable-optimizations

sudo make -j 12

sudo make altinstall

sudo su

wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda_12.4.0_550.54.14_linux.runsudo sh cuda_12.4.0_550.54.14_linux.run

sudo apt update

sudo apt-get install nodejs

sudo apt install build-essential

sudo apt install npm

2. Exécutez le script de configuration

Le script suivant télécharge un fichier docker-compose.yml et génère un fichier .env avec des valeurs par défaut.

sudo su
curl -sL https://github.com/SecureAI-Tools/SecureAI-Tools/releases/latest/download/set-up.sh | sh

3. [Facultatif] Vous pouvez éventuellement éditer le fichier de configuration .env :

Vous pouvez personnaliser le fichier .env créé à l’étape ci-dessus pour modifier l’emplacement de la base de données du logiciel ou les ports d’accès :

sudo nano .env

Le fichier .env s’affiche :

# ------------------------------------------------------- Public ------------------------------------------------------#
# Analytics Token
# NEXT_PUBLIC_ANALYTICS_TOKEN="..."
# NEXT_PUBLIC_ANALYTICS_DEBUG=true

# ------------------------------------------------------ Secrets ------------------------------------------------------#
# Issued auth bearer tokens are valid till 30 days (30 * 24 = 720 hours)
AUTH_TOKEN_VALIDITY_HOURS=720

# Database URL -- used in Prisma 
# https://pris.ly/d/prisma-schema#accessing-environment-variables-from-the-schema
# 
DATABASE_URL="file:/Users/<USER>/.SecureAI.tools/SecureAI.tools.db"

# Path for local-object-storage
LOCAL_OBJECT_STORAGE_DIR="/Users/<USER>/.SecureAI.tools/local-objects"

# Winston logging level

LOG_LEVEL="debug"

# AuthJS
# Secret generated using command: openssl rand -hex 32
# https://next-auth.js.org/configuration/options#nextauth_secret
NEXTAUTH_SECRET="..."

# https://next-auth.js.org/configuration/options#nextauth_url
#NEXTAUTH_URL="http://localhost:28669/"
NEXTAUTH_URL="https://secureai.exemple.com/"
#Le cas échéant, remplacez l'adresse URL "http://localhost:28669/" par l'adresse du site internet permettant d'accéder à SecureAi Tools si vous utiliser un VPS
# Inference server
INFERENCE_SERVER="http://localhost:28664/"

# Chroma server
VECTOR_DB_SERVER="http://localhost:8000"


# Document indexing and retrieval configs
DOCS_INDEXING_CHUNK_SIZE = 1000
DOCS_INDEXING_CHUNK_OVERLAP = 200
DOCS_RETRIEVAL_K=2

# Model provider configs
# Configure external model providers here. Needs to be serialized JSON of ModelProviderConfig[]
# https://github.com/SecureAI-Tools/SecureAI-Tools/blob/main/lib/types/core/model-provider-config.ts
MODEL_PROVIDER_CONFIGS='[{"type":"OPENAI","apiBaseUrl":"https://api.openai.com/v1","apiKey":"..."}]'
# Remplacez "apiKey" par votre clée d'API OPENAI si vous préférez utiliser l'API GPT3.5-turbo ou GPT4 à la place de MistralAI
# pour activer GPT.3-5 il faudra accéder à la page des paramètres de l'organisation, sélectionnez le type de modèle 
#OpenAI et indiquer le nom de modèle approprié, tel que : gpt3.5-turbo à la place de mistral-7b.
# ---------------------------------------------------------------------------------------------------------------------#

# Instance configs (available publicly via an endpoint)
# Analytics: ["enabled", "disabled"]
# We recommend enabling this so that we can get anonymized usage data. It will help us improve the platform :)
# Vous pouvez remplacer la ligne INSTANCE_CONFIG_ANALYTICS="enabled" par INSTANCE_CONFIG_ANALYTICS="disabled"
INSTANCE_CONFIG_ANALYTICS="disabled"

Enregistrez et fermez le fichier en appuyant simultanément sur les touches [Control] et [X] puis simultanément sur les touches [Control] et [O] ou sur la touche [Enter].

4. [Facultatif] Sur une machine Linux avec une carte graphique Nvidia, vous pouvez éventuellement activer la prise en charge des GPU si votre serveur ou ordinateur dispose d’une carte graphique de marque NVIDIA.

Pour accélérer l’inférence sur les machines Linux, vous devrez activer les GPU. Cela n’est pas strictement requis car le service d’inférence fonctionnera également en mode CPU uniquement, mais il sera lent sur le CPU. Donc, si votre machine dispose d’un GPU Nvidia, cette étape est recommandée.

1. Installez Nvidia container toolkit s’il n’est pas déjà installé.
2. Supprimez les signes « # » dans le fichier docker-compose.yml, cela donnera accès aux GPU Nvidia ;

sudo nano docker-compose.yml

Le fichier suivant s’affiche :

version: "3.8"

services:
  web:
    image: public.ecr.aws/d8f2p0h3/secure-ai-tools:latest
    platform: linux/amd64
    volumes:
      - ./web:/app/volume
    env_file:
      - .env
    environment:
      - INFERENCE_SERVER=http://inference:11434/
    ports:
      - 28669:28669
    command: sh -c "cd /app && sh tools/db-migrate-and-seed.sh ${DATABASE_FILE} && node server.js"
    depends_on:
      - inference

  inference:
    image: ollama/ollama:latest
    volumes:
      - ./inference:/root/.ollama
    #
    # Supprimer les commentaires pour les machines Linux équipées de GPU Nvidia
    # Based on https://docs.docker.com/compose/gpu-support/
    # Requires Nvidia container toolkit: https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html#installation
    #
    # deploy:
    #   resources:
    #     reservations:
    #       devices:
    #         - driver: nvidia
    #           count: 'all'
    #           capabilities: [gpu]

Enregistrez et fermez le fichier en appuyant simultanément sur les touches [Control] et [X] puis, si vous avez modifié le fichier, simultanément sur les touches [Control] et [O].

5. Exécutez docker compose avec la commande suivante :

sudo docker compose up -d

Patientez durant l’installation…

6. Créez un accès vers le logiciel SecureAI Tools depuis un site internet :

6.1. Créez un nom de domaine : secureai.exemple.com ou secureaitools.exemple.com …/…

Si vous avez installé cette application sur un serveur VPS (et non sur votre ordinateur personnel avec un système d’exploitation sou linux, physique ou virtuel), vous ne pourrez pas vous connecter au logiciel SecureAI Tools avec votre navigateur à l’adresse locale : http://localhost:28669 ou à l’adresse http://192.168.1.XX:28669 du VPS.

Il faut alors créer un accès vers cette application depuis un site internet…

Pour accéder à l’application SecureAI Tools depuis un site internet, vous devez d’abord créer un sous-domaine de votre nom de domaine ‘exemple.com’. Vous pouvez par exemple créer un sous domaine « secureai.exemple.com » ou « secureaitools.exemple .com » depuis votre compte client de votre gestionnaire de nom de domaine, puis en le reliant à l’adresse IP de votre serveur via un enregistrement ‘DNS A’.

Si vous ne vous vous souvenez plus comment faire, consultez de nouveau l’étape 1 de la phase 4 de notre tutoriel pour installer Juris-Tyr.

(Rappel des étapes si vous avez acheté votre nom de domaine via OVH : «Connexion à l’ Espace client d’OVH » -> Onglet « WebCloud» -> Lien « Noms de domaines » -> « exemple.com » -> Bouton « Zone DNS » -> Bouton « Créer un nouvel enregistrement » -> Bouton «  A » -> Bouton « Suivant » -> « cloud » -> compléter l’adresse IP de votre VPS ou de votre serveur « 51.xx.xxx.xx » -> « Bouton Suivant » -> « Bouton Valider »).

6.2. Créez un fichier Virtualhost pour le serveur Apache

Une fois votre nom de sous-domaine crée, éditez un nouveau fichier ‘secureai.conf’ ou ‘secureaitools.conf’ dans le dossier /etc/apache2/sites-available/ avec un éditeur de texte en ligne de commande comme Nano :

sudo nano /etc/apache2/sites-available/secureai.conf

Copiez et collez le texte suivant dans le fichier ;
(Remplacez le texte « exemple.com » par votre propre sous-domaine et nom de domaine) 

<VirtualHost  *:80>
ServerName  secureai.exemple.com
ProxyPreserveHost On
ProxyVia On
ProxyPass / http://127.0.0.1:28669/
ProxyPassReverse / http://127.0.0.1:28669/
RewriteRule ^/(.*)?$ http://localhost:28669/$1 [P,L]
<Proxy  *>
    Allow from all
</Proxy>
<Location "/">
  ProxyPass "http://127.0.0.1:28669/"
  ProxyPassReverse "http://127.0.0.1:28669/"
    Allow from all
</Location>
<Location "/post-log-in">
  ProxyPass "http://127.0.0.1:28669/"
  ProxyPassReverse "http://127.0.0.1:28669/"
    Allow from all
</Location>
<Location "/settings?tab=ai">
  ProxyPass "http://127.0.0.1:28669"
  ProxyPassReverse "http://127.0.0.1:28669"
    Allow from all
</Location>
ProxyPass / http://127.0.0.1:5672/
ProxyPassReverse / http://127.0.0.1:5672/
ProxyPass / http://127.0.0.1:15672/
ProxyPassReverse / http://127.0.0.1:15672/
#<Location "/var/www/html/secure-ai-tools">
#    Allow from all
#</Location>
<Location "/home/ubuntu/.SecureAI.tools/SecureAI.tools.db">
    Allow from all
</Location>
ErrorLog ${APACHE_LOG_DIR}/secureai.exemple.com.error.log
CustomLog ${APACHE_LOG_DIR}/secureai.exemple.com.access.log combined
</VirtualHost>

Enregistrez et fermez le fichier.
(Pour enregistrer un fichier dans l’éditeur de texte Nano, appuyez sur les touches ‘Ctrl+o’, puis sur ‘Entrer’ pour confirmer. Pour quitter, appuyez sur ‘Ctrl+X’).

Activez ensuite ce nouveau fichier de configuration du serveur Apache ‘hôte virtuel’ :

sudo a2ensite secureai.conf

Exécutez la commande suivante pour activer les modules Apache requis :

sudo a2enmod rewrite headers env dir mime setenvif ssl proxy_http proxy rewrite

 Recharger Apache et les modules PHP :

sudo systemctl restart apache2

Désormais vous pouvez accèder à SecureAi Tools en tapant l’adresse suivante dans votre navigateur : https://secureai.exemple.com

6.3. Activez une connexion en « https » pour accéder au logiciel SecrureAI Tool :

Nous allons activer une connexion en ‘https’ vers le site internet nouvellement créé

Exécutez les commandes suivantes pour installer le client Let’s Encrypt (certbot) à partir du référentiel de logiciels par défaut.

sudo apt install certbot

Si vous utilisez le serveur Web Apache, vous devez également installer le plug-in Certbot Apache.

sudo apt install python3-certbot-apache

Exécutez ensuite la commande suivante pour obtenir un certificat TLS/SSL gratuit.

sudo certbot --apache --agree-tos --redirect --hsts --staple-ocsp --email co*****@ex*****.com -d secureai.example.com

7. Effectuez les réglages suivants après l’installation :

1. Connectez-vous à l’aide de votre navigateur internet à l’adresse http://localhost:28669/log-in ou à l’adresse https://secureai.exemple.com/log-in avec les informations d’identification initiales ci-dessous et modifiez le mot de passe … car vous n’est pas ni Batman, ni Alfred :
   • Email : br***@wa***************.com
   • Password : SecureAIToolsFTW!
2. Si vous arrivez ensuite à une page d’erreur avec une adresse du type « http://localhost:28669/post-log-in« , corrigez l’adresse affichée dans la barre d’adresse de votre navigateur internet par https://secureai.exemple.com/post-log-in
3. Configurez le modèle d’IA en cliquant sur la petite roue située à coté du nom d’utilisateur ‘Bruce Wayne’, ou en complétant et en accédant via votre navigateur à l’adresse http://localhost:28669/-/settings?tab=ai ou à l’adresse https://secureai.exemple.com/-/settings?tab=ai .
   Par exemple, vous pouvez choisir et taper le LLM : « mistral » ou choisir un autre LLM : https://ollama.com/library?sort=newest
4. Connectez vous à l’adresse http://localhost:28669/- ou à l’adresse https://secureai.exemple.com/- 
5. Une fois que vous êtes connecté à l’adresse http://localhost:28669/-/settings?tab=ai ou à l’adresse https://secureai.exemple.com/-/settings?tab=ai , Vous pouvez modifier le LLM « Mistral » par un autre LLM en cliquant sur le bouton « Submit »…. et patientez…
   …/…

Une fois le modèle « Mistral » téléchargé, cliquez sur le bouton « Continue » et revenez sur la page principale.
Vous pouvez commencer à discuter avec cette AI sécurisée :

Pour ajouter de nouveaux utilisateurs, connectez-vous à l’adresse https://secureai.exemple.com/-/users/add ou à l’adresse http://localhost:28669/-/users/add (notez le tiret dans l’adresse).

Les utilisateurs existants peuvent être consultés à l’adresse https://secureai.exemple.com/-/users/ ou sur http://localhost:28669/-/users/ (il y a un bouton d’ajout d’utilisateurs en haut à droite pour les administrateurs).

Utilisation de SecureAI Tools :

Si vous exercez en tant qu’avocat contentieux, un exemple d’utilisation peut-être l’analyse des conclusions d’une partie adverse dans une affaire.

1. Téléversez le fichier PDF des conclusions d’une partie adverse
2. Indiquez par exemple la requête suivante :
   « Résume ces conclusions d’avocats en français, liste les principaux arguments et les demandes ».
3. Le logiciel va traiter le fichier PDF, puis votre requête (patientez…).

Le résultat de l’analyse s’affiche :

Mise à jour de SecureAI tools :

Pour mettre à jour, veuillez exécuter la commande suivante là où le fichier docker-compose.yml se trouve dans votre configuration (il doit se trouver dans le répertoire secure-ai-tools de la première étape d’installation :

cd /var/www/html/secure-ai-tools 

sudo docker compose pull && sudo docker compose up -d

Supprimer un modèle (LLM) dans SecureAI Tools :

Comment supprimer un modèle LLM dans SecureAI Tools ?

1. repérer le numéro du contenair ollama utilisé par SecureAI Tools :

sudo docker ps -a

2. Executez la commande suivante si le contenair ollama est le e4ez1ev3t353 :

sudo docker exec -it e4ez1ev3t353 ollama list

3. Repérez le modèle à supprimer, par exemple le LLM qwen et supprimez le avec la commande suivante :

sudo docker exec -it e4ez1ev3t353 ollama rm qwen

Possibilité d’utiliser SecureAI Tools avec OpenAI ou des API compatibles OpenAI :

Bien que ce ne soit pas l’objectif initial au regard de la confidentialité des données vis-à-vis de la société OpenAI ou de Microsoft (…), SecureAI Tools peut être utilisé avec les API de la société OpenAI et / ou avec tout autre fournisseur fournissant des API compatibles OpenAI.

Voici les étapes pour activer cela :

1. Définissez MODEL_PROVIDER_CONFIGS dans le fichier .env comme indiqué ci-dessous. Si vous utilisez d’autres fournisseurs qui ne nécessitent pas d’apiKey, vous pouvez spécifier n’importe quelle valeur apiKey factice, le cas échéant utilisez l’ apiBaseUrl appropriée en fonction de votre fournisseur d’API.

# For OpenAI
MODEL_PROVIDER_CONFIGS='[{"type":"OPENAI","apiBaseUrl":"https://api.openai.com/v1","apiKey":"sk-..."}]'
# For OpenAI-compatible other provider
MODEL_PROVIDER_CONFIGS='[{"type":"OPENAI","apiBaseUrl":"...URL of API provider here ...","apiKey":"sk-..."}]'

2. Accédez à la page des paramètres de l’organisation, sélectionnez le type de modèle OpenAI et fournissez le nom de modèle approprié, tel que « gpt3.5-turbo » (l’API GPT4 est couteuse si vous devez résumer de longs documents PDF…).

Ollama Open Web UI, Discuter par écrit et oralement avec une ia open source (MistralAI), sans transmettre de données à la société OpenAI

Le logiciel open source « Ollama WebUI » ou désormais « Open Web UI », est une interface web pour accéder à un logiciel d’intelligence artificielle « Ollama » 🦙 et également à GPT4-turbo au moyen d’une API.

Vous pouvez consulter également le projet frère,  OllamaHub, où vous pouvez découvrir, télécharger et explorer des fichiers modèles personnalisés pour Ollama ! 🦙🔍

Fonctionnalités ⭐

• 🖥️ Interface intuitive : interface de chat s’inspirant de ChatGPT, garantissant une expérience conviviale.
• 📱 Conception réactive : profitez d’une expérience transparente sur les ordinateurs de bureau et les appareils mobiles.
• ⚡ Réactivité : profitez de performances rapides et réactives.
• 🚀 Installation sans effort : installez en toute transparence à l’aide de Docker pour une expérience sans tracas.
• 💻 Mise en évidence de la syntaxe du code : profitez d’une lisibilité améliorée du code grâce à notre fonction de mise en évidence de la syntaxe.
• ✒️🔢 Support complet de Markdown et LaTeX : améliorez votre expérience LLM avec des fonctionnalités complètes de Markdown et LaTeX pour une interaction enrichie.
• 📥🗑️ Télécharger/supprimer des modèles : téléchargez ou supprimez facilement des modèles directement depuis l’interface utilisateur Web.
• 🤖 Prise en charge de plusieurs modèles : basculez en toute transparence entre différents modèles de discussion pour diverses interactions.
• ⚙️ Conversations avec de nombreux modèles : engagez-vous sans effort avec différents modèles simultanément, en exploitant leurs atouts uniques pour des réponses optimales. Améliorez votre expérience en exploitant un ensemble diversifié de modèles en parallèle.
• 🤝 Intégration du modèle OpenAI : utilisez de manière transparente les modèles OpenAI aux côtés des modèles Ollama pour une expérience conversationnelle polyvalente.
• 🔄 Accès à l’historique de régénération : revisitez et explorez facilement l’intégralité de votre historique de régénération.
• 📜 Historique des discussions : accédez et gérez sans effort l’historique de vos conversations.
• 📤📥 Importer/Exporter l’historique des discussions : déplacez en toute transparence vos données de discussion vers et hors de la plateforme.
• 🗣️ Prise en charge de la saisie vocale : interagissez avec votre modèle via des interactions vocales ; profitez de la commodité de parler directement à votre modèle. De plus, explorez l’option permettant d’envoyer automatiquement une entrée vocale après 3 secondes de silence pour une expérience simplifiée.
• ⚙️ Contrôle affiné avec paramètres avancés : obtenez un niveau de contrôle plus approfondi en ajustant des paramètres tels que la température et en définissant les invites de votre système pour adapter la conversation à vos préférences et besoins spécifiques.
• 🔐 Prise en charge des en-têtes d’authentification : améliorez sans effort la sécurité en ajoutant des en-têtes d’autorisation aux requêtes Ollama directement à partir des paramètres de l’interface utilisateur Web, garantissant ainsi l’accès aux serveurs Ollama sécurisés.
• 🔗 Connexion au serveur Ollama externe : connectez-vous de manière transparente à un serveur Ollama externe hébergé sur une adresse différente en configurant la variable d’environnement pendant la phase de construction de Docker. De plus, vous pouvez également définir l’URL de connexion au serveur externe à partir de la post-construction de l’interface utilisateur Web.
• 🔒 Prise en charge du proxy inverse backend : renforcez la sécurité en permettant une communication directe entre le backend de l’interface utilisateur Web d’Ollama et Ollama, éliminant ainsi le besoin d’exposer Ollama sur le réseau local.

Le dépot Github du logiciel de Open Web UI est accessible depuis ce lien :

https://github.com/ollama-webui/ollama-webui.

Installez les progiciels nécessaires (s’ils ne sont pas déjà installés) :

Exécutez en premier la commande suivante pour vérifier et installer les mise à jour :

sudo apt update

sudo apt upgrade

sudo apt install -y apache2 apache2-utils

sudo systemctl start apache2

sudo systemctl enable apache2

sudo iptables -I INPUT -p tcp --dport 80 -j ACCEPT && sudo iptables -I INPUT -p tcp --dport 443 -j ACCEPT

sudo nano /etc/apache2/conf-available/servername.conf

ServerName localhost

sudo a2enconf servername.conf

sudo systemctl reload apache2

sudo apt-get update
sudo apt-get install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update

sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

sudo curl -L « https://github.com/docker/compose/releases/download/1.26.2/docker-compose-$(uname -s)-$(uname -m) » -o /usr/local/bin/docker-compose

sudo apt-get install docker-compose-plugin

sudo chmod +x /usr/local/bin/docker-compose

sudo systemctl start docker

sudo systemctl enable docker

sudo wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

sudo wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-aarch64.sh

sudo bash Miniconda3-latest-Linux-x86_64.sh

sudo bash Miniconda3-latest-Linux-aarch64.sh

sudo npm install --global yarn

sudo apt install git

sudo apt install ffmpeg

sudo apt update

sudo apt install build-essential zlib1g-dev libncurses5-dev libgdbm-dev libnss3-dev libssl-dev libreadline-dev libffi-dev libsqlite3-dev wget libbz2-dev

sudo wget https://www.python.org/ftp/python/3.11.3/Python-3.11.3.tgz

sudo tar -xf Python-3.11.3.tgz

cd Python-3.11.3

sudo ./configure --enable-optimizations

sudo make -j 12

sudo make altinstall

sudo su

wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda_12.4.0_550.54.14_linux.runsudo sh cuda_12.4.0_550.54.14_linux.run

sudo apt update

sudo apt-get install nodejs

sudo apt install build-essential

sudo apt install npm

Tutoriel d’installation du logiciel Open Web UI :

.1. Exécutez les commandes suivantes :

On installe d’abord Ollama avant d’installer Open Web UI :

sudo apt-get install docker-ce docker-ce-cli containerd.io

sudo su

cd /var/www/html/

curl https://ollama.ai/install.sh | sh

sudo systemctl start ollama

sudo systemctl enable ollama

Une fois Ollama installé, on peut installer Ollama Web UI avec les commandes suivantes :

sudo docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Vous pouvez accéder à Ollama Open Web UI à l’adresse : http://localhost:8080

Puis, créez un compte utilisateur en cliquant sur le lien ‘Sign up’

2. Créez un accès vers le logiciel Ollama Open Web UI depuis un site internet :

2.1. Créez un nom de domaine : openui.exemple.com …/…

Si vous avez installé cette application sur un serveur VPS, vous ne pourrez pas vous connecter avec votre navigateur à l’adresse locale : http://localhost:8080 (ou http://localhost:3000) ou à l’adresse http://192.168.1.XX:8080 du VPS.

Il faut alors créer un accès vers cette application depuis un site internet.

Pour accéder à cette application depuis un site internet, vous devez d’abord créer un sous-domaine de votre nom de domaine ‘exemple.com’. Vous pouvez par exemple créer un sous domaine « openui.exemple.com » ou « ai.exemple .com » depuis votre compte client de votre gestionnaire de nom de domaine, puis en le reliant à l’adresse IP de votre serveur via un enregistrement ‘DNS A’.

Si vous ne vous vous souvenez plus comment faire, consultez de nouveau l’étape 1 de notre tutoriel pour installer Nextcloud.

(Rappel rapide des étapes si vous avez acheté votre nom de domaine via OVH : «Connexion à l’ Espace client d’OVH » -> Onglet « WebCloud» -> Lien « Noms de domaines » -> « exemple.com » -> Bouton « Zone DNS » -> Bouton « Créer un nouvel enregistrement » -> Bouton «  A » -> Bouton « Suivant » -> « cloud » -> compléter l’adresse IP de votre VPS ou de votre serveur « 51.xx.xxx.xx » -> « Bouton Suivant » -> « Bouton Valider »).

2.2. Créez un fichier Virtualhost pour le serveur Apache

Une fois votre nom de sous-domaine crée, éditez un nouveau fichier ‘ollamawebui.conf’ dans le dossier /etc/apache2/sites-available/ avec un éditeur de texte en ligne de commande comme Nano :

sudo nano /etc/apache2/sites-available/openui.conf

Copiez et collez le texte suivant dans le fichier ;
(Remplacez le texte « exemple.com » par votre propre sous-domaine et nom de domaine) 

<VirtualHost  *:80>
ServerName  openui.exemple.com
ProxyPreserveHost On
ProxyVia On
ProxyPass / http://127.0.0.1:8080/
ProxyPassReverse / http://127.0.0.1:8080/
RewriteRule ^/(.*)?$ http://localhost:8080/$1 [P,L]
ProxyPass / http://127.0.0.1:3000/
<Proxy  *>
    Allow from all
</Proxy>
#<Location "/">
#  ProxyPass "http://127.0.0.1:3000/"
#  ProxyPassReverse "http://127.0.0.1:3000/"
#    Allow from all
#</Location>
#<Location "/">
#  ProxyPass "http://127.0.0.1:11434/"
#  ProxyPassReverse "http://127.0.0.1:11434/"
#    Allow from all
#</Location>
#ProxyPass / "http://127.0.0.1:11434"
#ProxyPassReverse / "http://127.0.0.1:11434"
ErrorLog ${APACHE_LOG_DIR}/openui.error.log
CustomLog ${APACHE_LOG_DIR}/openui.access.log combined
</VirtualHost>

Enregistrez et fermez le fichier.
(Pour enregistrer un fichier dans l’éditeur de texte Nano, appuyez sur les touches ‘Ctrl+o’, puis sur ‘Entrer’ pour confirmer. Pour quitter, appuyez sur ‘Ctrl+X’).

Activez ensuite ce nouveau fichier de configuration du serveur Apache ‘hôte virtuel’ :

sudo a2ensite openui.conf

Exécutez la commande suivante pour activer les modules Apache requis :

sudo a2enmod rewrite headers env dir mime setenvif ssl proxy_http proxy rewrite

Reglage du par feu :

sudo ufw allow 8080 && sudo ufw reload

 Recharger Apache et les modules PHP :

sudo systemctl restart apache2

Désormais vous pouvez accéder à Ollama Web UI en tapant l’adresse suivante dans votre navigateur : https://openui.exemple.com

2.3. Activez une connexion en « https » pour accéder au logiciel Ollama Web ui :

Nous allons activer une connexion en ‘https’ vers le site internet nouvellement créé

Exécutez les commandes suivantes pour installer le client Let’s Encrypt (certbot) à partir du référentiel de logiciels par défaut.

sudo apt install certbot

Si vous utilisez le serveur Web Apache, vous devez également installer le plug-in Certbot Apache.

sudo apt install python3-certbot-apache

Exécutez ensuite la commande suivante pour obtenir un certificat TLS/SSL gratuit.

sudo certbot --apache --agree-tos --redirect --hsts --staple-ocsp --email co*****@ex*****.com -d openui.example.com

3. Effectuez les réglages suivants après l’installation :

Connectez-vous à l’adresse : https://openui.example.com ou à l’adresse http://localhost:8080, ou http://localhost:3000, puis créez un premier compte utilisateur en cliquant sur le lien ‘sign-up’.

Une fois le compte crée et que vous êtes connecté, la page suivante s’affiche :

• Cliquez sur le bouton ‘Settings’, puis sur ‘Models’
• Complétez le nom du modèle suivant : mistral:7b
• Puis cliquez sur le bouton de téléchargement.

La liste des modèles (LLM) disponibles peut être consultée sur cette page :https://ollama.com/library?sort=popular

Les LLM mistral, mistral-openorca, llava, et/ou starling-lm sont très efficaces (mémoire RAM : minimum 16Go/32Go).

Vous pouvez également essayer les LLM mixtral, nous-hermes2-mixtral, dolphin-mixtral si la configuration de votre serveur ou ordinateur est suffisamment puissante (mémoire RAM : minimum 128 Go ou si vous avez une carte graphique NVIDIA ou AMD ou un Mac).

Cliquez ensuite sur ‘Add-ons’
Puis réglez les paramètres sur On pour activer la reconnaissance vocale et les titres automatisés de vos discussions.

Commencez à discuter avec MistralAI en cliquant sur le bouton ‘New Chat’

Mettre à jour Ollama Open UI (facultatif) :

Si vous souhaitez mettre à jour votre installation Docker locale vers la dernière version, vous pouvez le faire avec Watchtower:

sudo docker run -d \

--name watchtower \

-v /var/run/docker.sock:/var/run/docker.sock \

containrrr/watchtower

docker run --rm --volume /var/run/docker.sock:/var/run/docker.sock containrrr/watchtower --run-once open-webui

Dans la dernière partie de la commande, remplacez open-webui par le nom de votre conteneur s’il est différent.

Ajoutez le LLM « Vigostral » à Ollama, un LLM plus adapté à la langue française (facultatif) :

Vigostral est un LLM entrainé sur la base du LLM open source MistralAI:7b avec des données en langue française (LLM) 🇫🇷.

Il est l’évolution d’un précédent LLM nommé Vigogne qui est sur la base de Lllama2.

Pour l’installer dans Ollama, Exécutez les commandes suivantes :

cd  ~/
sudo wget https://huggingface.co/TheBloke/Vigostral-7B-Chat-GGUF/resolve/main/vigostral-7b-chat.Q4_K_M.gguf

Créez un fichier Modelfile :

sudo nano Modelfile

Complétez ce fichier Modelfile avec le texte suivant :

FROM ~/vigostral-7b-chat.Q4_K_M.gguf
PARAMETER temperature 0.2
SYSTEM """You are a helpfull assistant who answer always and only in French."""

Enregistrez et fermez ce fichier (appuyez simultanément sur les touches [control] + [x] puis sur [control] + [o]).

sudo ollama create vigostral-local -f Modelfile

Si nous souhaitons supprimer le modèle, nous exécutons simplement :

sudo ollma rm vigostral-local

Erreur 404 :

Si vous obtenez une page avec un message d’erreur du type : « 404 – HTTP … » lorsque vous tentez de vous connecter à Ollama Open UI, exécutez les commandes suivantes :

Recherchez le port 8080 utilisé par plusieurs processus système :

sudo lsof -t -i:8080

Supprimez le ou les processus qui utilisent déjà ce port 8080 (en modifiant dans la commande suivante, les numéros de processus) :

sudo kill -9 4875 5878 8444

Arretez et supprimez le contenair Docker de Ollama open-webui :

sudo docker ps -a

sudo docker stop 4aa85a8c7a46

sudo docker rm 4aa85a8c7a46

Puis réinstallez Ollama et Open UI (cela aura l’avantage de mettre à jour Ollama…) :

sudo  curl https://ollama.ai/install.sh | sh

docker run -d --network=host -v ollama-webui:/app/backend/data -e OLLAMA_API_BASE_URL=http://127.0.0.1:11434/api --name ollama-webui --restart always ghcr.io/ollama-webui/ollama-webui:main

Surya – OCR de documents multilingues – reconnaissance de texte depuis un document pdf image ou une image

Surya est comme une boîte à outils OCR pour des documents multilingues. Il s’agit d’un utilitaire basé sur CLI qui peut être utilisé avec un CPU ou un GPU.

Il s’agit d’un logiciel gratuit, très performant et open source.

Surya génère déjà des résultats impressionnants. En effectuant des tests sur une variété d’images différentes, la reconnaissance de texte est impressionnante, d’autant plus que le logiciel en est à ses premiers stades de développement.

Le logiciel prend en charge plus de 90 langues.

Le dépot logiciel est accessible via cette page : github.com/VikParuchuri/surya
License: GNU General Public License v3.0 :

Usage commercial:

Les modèles de détection de texte et d’OCR ont été formés à partir de zéro, ils peuvent donc être utilisés à des fins commerciales. Les pondérations sont sous licence cc-by-nc-sa-4.0, mais le développeur y renoncerait pour toute organisation de moins de 5 millions de dollars de revenus bruts au cours de la période de 12 mois la plus récente (cela laisse de la marge…)

Si vous souhaitez supprimer les exigences de licence GPL pour l’inférence ou utiliser les pondérations à des fins commerciales au-delà de la limite de revenus, veuillez contacter su***@vi***.sh pour une double licence.

Source :https://www.linuxlinks.com/machine-learning-linux-surya-multilingual-document-ocr-toolkit-text-recognition/2/

Installez les progiciels nécessaires (s’ils ne sont pas déjà installés) :

Exécutez en premier la commande suivante pour vérifier et installer les mise à jour :

sudo apt update

sudo apt upgrade

sudo apt install -y apache2 apache2-utils

sudo systemctl start apache2

sudo systemctl enable apache2

sudo iptables -I INPUT -p tcp --dport 80 -j ACCEPT && sudo iptables -I INPUT -p tcp --dport 443 -j ACCEPT

sudo nano /etc/apache2/conf-available/servername.conf

ServerName localhost

sudo a2enconf servername.conf

sudo systemctl reload apache2

sudo apt-get update
sudo apt-get install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update

sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

sudo curl -L « https://github.com/docker/compose/releases/download/1.26.2/docker-compose-$(uname -s)-$(uname -m) » -o /usr/local/bin/docker-compose

sudo apt-get install docker-compose-plugin

sudo chmod +x /usr/local/bin/docker-compose

sudo systemctl start docker

sudo systemctl enable docker

sudo wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

sudo wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-aarch64.sh

sudo bash Miniconda3-latest-Linux-x86_64.sh

sudo bash Miniconda3-latest-Linux-aarch64.sh

sudo npm install --global yarn

sudo apt install git

sudo apt install ffmpeg

sudo apt update

sudo apt install build-essential zlib1g-dev libncurses5-dev libgdbm-dev libnss3-dev libssl-dev libreadline-dev libffi-dev libsqlite3-dev wget libbz2-dev

sudo wget https://www.python.org/ftp/python/3.11.3/Python-3.11.3.tgz

sudo tar -xf Python-3.11.3.tgz

cd Python-3.11.3

sudo ./configure --enable-optimizations

sudo make -j 12

sudo make altinstall

sudo su

wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda_12.4.0_550.54.14_linux.runsudo sh cuda_12.4.0_550.54.14_linux.run

sudo apt update

sudo apt-get install nodejs

sudo apt install build-essential

sudo apt install npm

Installation :

1. Installez Surya :

Pour exécuter Surya, vous aurez besoin de Python 3.9 ou supérieur et de PyTorch, ce dernier fournit des bibliothèques pour la manipulation de tenseurs de base sur les processeurs ou les GPU, une bibliothèque de réseau neuronal intégrée, des utilitaires de formation de modèles et une bibliothèque multitraitement pouvant fonctionner avec la mémoire partagée.

Il existe différentes manières d’installer Surya sans polluer nos machines. Nous installerons Surya dans un environnement Python isolé.

sudo su
sudo apt install python3-venv -y

mkdir pytorch_env
cd pytorch_env

Créer l’environnement Python :

python3 -m venv pytorch_env
source pytorch_env/bin/activate

Pour installer PyTorch avec la prise en charge GPU, exécutez la commande :

pip install torch torchvision torchaudio

Nous pouvons maintenant installer Surya avec la commande :

pip install surya-ocr

Le développeur fournit également une application simplifiée qui nous permet d’essayer Surya sur des images ou des fichiers PDF avec une interface Web.

pip install streamlit

Lors de la première exécution, les poids du modèle sont automatiquement téléchargés.

Démarrez l’application avec la commande suivante :

sudo surya_gui

L’application est accessible via cette adresse : http://localhost:8501/

2. Créez un accès vers le logiciel Surya depuis un site internet :

2.1. Créez un nom de domaine : surya.exemple.com

Si vous avez installé cette application sur un serveur VPS, vous ne pourrez pas vous connecter avec votre navigateur à l’adresse locale : http://localhost:8501 ou à l’adresse http://192.168.1.XX:8501 du VPS.

Il faut alors créer un accès vers cette application depuis un site internet.

Pour accéder à cette application depuis un site internet, vous devez d’abord créer un sous-domaine de votre nom de domaine ‘exemple.com’. Vous pouvez par exemple créer un sous domaine « surya.exemple.com » depuis votre compte client de votre gestionnaire de nom de domaine, puis en le reliant à l’adresse IP de votre serveur via un enregistrement ‘DNS A’.

Si vous ne vous vous souvenez plus comment faire, consultez de nouveau l’étape 1 de la phase 4 de notre tutoriel pour installer Juris-Tyr.

(Rappel des étapes si vous avez acheté votre nom de domaine via OVH : «Connexion à l’ Espace client d’OVH » -> Onglet « WebCloud» -> Lien « Noms de domaines » -> « exemple.com » -> Bouton « Zone DNS » -> Bouton « Créer un nouvel enregistrement » -> Bouton «  A » -> Bouton « Suivant » -> « cloud » -> compléter l’adresse IP de votre VPS ou de votre serveur « 51.xx.xxx.xx » -> « Bouton Suivant » -> « Bouton Valider »).

2.2. Créez un fichier Virtualhost pour le serveur Apache

Une fois votre nom de sous-domaine crée, éditez un nouveau fichier ‘surya.conf’ dans le dossier /etc/apache2/sites-available/ avec un éditeur de texte en ligne de commande comme Nano :

sudo nano /etc/apache2/sites-available/surya.conf

Copiez et collez le texte suivant dans le fichier ;
(Remplacez le texte « exemple.com » par votre propre sous-domaine et nom de domaine) 

<VirtualHost  *:80>
ServerName  surya.exemple.com
ProxyPreserveHost On
ProxyVia On
ProxyPass / http://127.0.0.1:8501
ProxyPassReverse / http://127.0.0.1:8501
RewriteRule ^/(.*)?$ http://localhost:8501/$1 [P,L]
<Proxy  *>
    Allow from all
</Proxy>
<Location "/">
  ProxyPass "http://127.0.0.1:8501/"
  ProxyPassReverse "http://127.0.0.1:8501/"
    Allow from all
</Location>
ProxyPass "http://127.0.0.1:11434"
ProxyPassReverse "http://127.0.0.1:11434"
ErrorLog ${APACHE_LOG_DIR}/surya.error.log
CustomLog ${APACHE_LOG_DIR}/surya.access.log combined
</VirtualHost>

Enregistrez et fermez le fichier.
(Pour enregistrer un fichier dans l’éditeur de texte Nano, appuyez sur les touches ‘Ctrl+o’, puis sur ‘Entrer’ pour confirmer. Pour quitter, appuyez sur ‘Ctrl+X’).

Activez ensuite ce nouveau fichier de configuration du serveur Apache ‘hôte virtuel’ :

sudo a2ensite surya.conf

Exécutez la commande suivante pour activer les modules Apache requis :

sudo a2enmod rewrite headers env dir mime setenvif ssl proxy_http proxy rewrite

 Recharger Apache et les modules PHP :

sudo systemctl restart apache2

Désormais vous pouvez accéder à cette application en tapant l’adresse suivante dans votre navigateur : https://surya.exemple.com

2.3. Activez une connexion en « https » pour accéder au logiciel Surya :

Nous allons activer une connexion en ‘https’ vers le site internet nouvellement créé

Exécutez les commandes suivantes pour installer le client Let’s Encrypt (certbot) à partir du référentiel de logiciels par défaut.

sudo apt install certbot

Si vous utilisez le serveur Web Apache, vous devez également installer le plug-in Certbot Apache.

sudo apt install python3-certbot-apache

Exécutez ensuite la commande suivante pour obtenir un certificat TLS/SSL gratuit.

sudo certbot --apache --agree-tos --redirect --hsts --staple-ocsp --email co*****@ex*****.com -d surya.example.com

Utilisation :

Nous allons vous montrer un exemple : une image PNG qui représente la première page de ‘A Room with a View’, un roman de 1908 de l’écrivain E. M. Forster.

Le côté droit est l’image téléchargée. Le côté gauche est la sortie OCR.

L’image suivante montre le texte OCR.

BionicGPT, un logiciel pour discuter avec le LLM « Llama2 » , analyser et résumer vos documents, de manière sécurisée, confidentielle et sans transmettre de données à OpenAI

Le logiciel open source BionicGPT a pour objectifs de remplacer le site internet ChatGPT, offrant les avantages de l’IA générative tout en maintenant une stricte confidentialité de vos données par l’utilisation du modèle de langage Llama2.

ChatGPT est un logiciel de la société OpenAI qui, entre autres, n’utilise pas (ou a arrêté d’utiliser) les données des clients pour former les modèles OpenAI. ../…
Toutes les versions de ChatGPT (gratuites, ChatGPT Plus et ChatGPT Enterprise) stockent cependant vos données privées et sensibles sur l’infrastructure cloud d’OpenAI.

BionicGPT, comme le logiciel SecureAI Tools, est une alternative sécurisée auto-hébergée à ChatGPT , dans la mesure où toutes les données résident sur votre infrastructure et ne sont pas envoyée à une société GAFAM ou à OpenAI pour leur traitement par leurs logiciels d’intelligence artificielle.

L’inconvénient par rapport à SecureAI Tools est que Bionic-GPT ne peut s’exécuter que sur un ordinateur ou serveur local en mode développement (sauf si vous trouvez comment configurer et sécuriser le fichier VirtualHost du serveur apache…).

BionicGPT peut s’exécuter sur votre ordinateur portable ou être installé sur un serveur local (serveur interne / intranet ) (pas sur un serveur dédié ou un VPS).

• Consulter la page d’accueil du logiciel BionicGPT

Fonctionnalités ⭐

• Génération de texte
• Connexion aux API compatibles Open AI, LocalAI
• Authentification
• Connexion et inscription par e-mail/mot de passe SSO
• Invitation des membres de votre équipe à participer à une discussion avec l’AI
• Gérez les équipes auxquelles vous appartenez
• Téléchargement de documents en lots ou de manière individuelle
• Analyse des documents en lots de 1 000 et reconnaissance de caractère OCR pour le téléchargement de documents PDF
• Autorisation de l’utilisateur à télécharger des documents via l’API vers des ensembles de données
• Analyse le texte des documents
• Statistiques d’utilisation du logiciel …etc.

La liste des fonctionnalités et le dépot Github du logiciel BionicGPT est accessible depuis ce lien : https://github.com/bionic-gpt/bionic-gpt

Installez les progiciels nécessaires (s’ils ne sont pas déjà installés) :

Exécutez en premier la commande suivante pour vérifier et installer les mise à jour :

sudo apt update

sudo apt upgrade

sudo apt install -y apache2 apache2-utils

sudo systemctl start apache2

sudo systemctl enable apache2

sudo iptables -I INPUT -p tcp --dport 80 -j ACCEPT && sudo iptables -I INPUT -p tcp --dport 443 -j ACCEPT

sudo nano /etc/apache2/conf-available/servername.conf

ServerName localhost

sudo a2enconf servername.conf

sudo systemctl reload apache2

sudo apt-get update
sudo apt-get install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update

sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

sudo curl -L « https://github.com/docker/compose/releases/download/1.26.2/docker-compose-$(uname -s)-$(uname -m) » -o /usr/local/bin/docker-compose

sudo apt-get install docker-compose-plugin

sudo chmod +x /usr/local/bin/docker-compose

sudo systemctl start docker

sudo systemctl enable docker

sudo wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

sudo wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-aarch64.sh

sudo bash Miniconda3-latest-Linux-x86_64.sh

sudo bash Miniconda3-latest-Linux-aarch64.sh

sudo npm install --global yarn

sudo apt install git

sudo apt install ffmpeg

sudo apt update

sudo apt install build-essential zlib1g-dev libncurses5-dev libgdbm-dev libnss3-dev libssl-dev libreadline-dev libffi-dev libsqlite3-dev wget libbz2-dev

sudo wget https://www.python.org/ftp/python/3.11.3/Python-3.11.3.tgz

sudo tar -xf Python-3.11.3.tgz

cd Python-3.11.3

sudo ./configure --enable-optimizations

sudo make -j 12

sudo make altinstall

sudo su

wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda_12.4.0_550.54.14_linux.runsudo sh cuda_12.4.0_550.54.14_linux.run

sudo apt update

sudo apt-get install nodejs

sudo apt install build-essential

sudo apt install npm

Tutoriel d’installation du logiciel BionicGPT :

L’installation est particulièrement simple : téléchargez le fichier docker-compose.yml et exécutez « docker-compose up » pour accéder à l’interface utilisateur depuis l’adresse : http://localhost:7800/auth/sign_up

Ce logiciel a été testé sur un ordinateur avec un processeur AMD 2700x avec 16 Go de RAM. Le modèle lama-2-7b-chat inclus fonctionne uniquement sur CPU.
A noter que ce logiciel ne fonctionne malheureusement pas sur les plateformes ‘arm64’, c’est à dire sur un micro ordinateur de type Raspberry ou OrangePi.

Les images de ce docker-compose sont volumineuses car les modèles de langage sont préchargés pour plus de commodité.

1. Exécutez les commandes suivantes :

cd /var/www/html/ && sudo mkdir bionicGPT && cd bionicGPT
sudo curl -O https://raw.githubusercontent.com/purton-tech/bionicgpt/main/docker-compose.yml 
sudo docker compose up

…/…et patientez…

2. Accès en local vers le logiciel BionicGPT

Si vous avez installé cette application, vous ne pourrez vous y connecter avec votre navigateur qu’à l’adresse locale : http://localhost:7800 ou à l’adresse http://192.168.1.XX:7800 sur le serveur local.

3. Effectuez les réglages suivants après l’installation :

Connectez-vous à l’adresse http://localhost:7800/auth/sign_up

Puis, créez un utilisateur administrateur en cliquant sur le lien ‘Register’.

Vous accèderez ensuite à la console d’administration.

Reor Project : application de prise de notes basée sur l’intelligence artificielle qui relie automatiquement vos notes, répond à vos questions en recherchant dans vos notes et permet une recherche sémantique.

Reor est une application de prise de notes de bureau basée sur l’IA : elle relie automatiquement les idées associées, répond aux questions sur vos notes et propose une recherche sémantique. Tout est stocké localement et vous pouvez modifier vos notes.

Un des intérêts de cette application Reor est de pouvoir la relier avec l’application « Notes » de Nextcloud, depuis son PC ou son Mac ou depuis son Smartphone via l’app Android Notes ou l’app Iphone Notes. Cette application Reor vous permet alors de classer vos différentes notes / idées que vous avez écrit/copié/collé dans Nextcloud (par exemple les idées d’arguments sur un dossier ou des notes de jurisprudence glanées sur le web…) et de pouvoir les retrouver ou pouvoir associer automatiquement plusieurs notes entre elles en fonction de leur similarité, ou encore poser des questions sur vos notes / idées avec un logiciel d’intelligence artificielle open source tel que Llama2 ou MistralAi.

Cette application ne fait pas appel à l’API de la société OpenAi mais à des LLM tels que LLama2 de ou Mistral installés localement.

Ainsi, vos prises de notes et vos prompts ne se retrouveront pas sur les serveurs Cloud de la société Openai…

Le dépôt logiciel de Reor Project est accessible via ce lien : https://github.com/reorproject/reor

Reor Project est sous licence GPL-3.0

Les principes de base de la GPL :

Personne ne doit être limité par les logiciels qu’il utilise. Il y a quatre libertés que tout utilisateur doit posséder :

• la liberté d’utiliser le logiciel à n’importe quelle fin,
• la liberté de modifier le programme pour répondre à ses besoins,
• la liberté de redistribuer des copies à ses amis et voisins,
• la liberté de partager avec d’autres les modifications qu’il a faites.

Installation de Reor Project :

1. Téléchargez depuis le site reorproject.org, les versions Mac, Linux & Windows selon votre systeème d’exploitation.
2. Installez Reor comme une application normale…

Exécution de modèles locaux :

Reor interagit directement avec les bibliothèques Llama.cpp ; il n’est donc pas nécessaire de télécharger Ollama.

Cependant, vous devrez télécharger manuellement le modèle de votre choix :

1. Téléchargez un fichier de modèle GGUF depuis  Hugging Face . Il est recommandé de télécharger un modèle 7B 4 bits et de voir comment cela fonctionne sur votre système.
   Par exemple, si vous travaillez en langue française, vous pouvez télécharger le LLM « Vigostral » qui est un LLM basé sur l’excellent Mistral:7b avec de plus de données en langue française (anciennement le LLM « Vigogne »).
2. Connectez-le dans les paramètres Reor sous « Ajouter un nouveau modèle local »

Vous pouvez également connecter une API compatible OpenAI comme Oobabooga, Ollama ou OpenAI (même si l’objectif de cette app est justement d’éviter d’enregistrer vos notes personnnelles et vos idées sur les serveurs de la société OpenAI ou d’une société Gafam…).

Importer vos notes :

L’application Reor Project fonctionne dans un seul répertoire du système de fichiers et vous choisissez le répertoire au premier démarrage.

Si vous utilisez Nextcloud et que vous souhaitez utiliser Reor avec vos Notes rédigées dans l’app Notes de Nexcloud, vous devez sélectionner le dossier « Notes » situé dans le dossier « Nextcloud » de votre ordinateur (après avoir installé l’application de Synchronisation des dossier et fichiers de Nextcloud).

GPT4 Builder : Créez votre assistant d’intelligence artificielle personnalisé sur le modèle GPT4 en utilisant une clé API sur la plateforme développeurs de la société OpenAI

Le 6 novembre 2023 , la société OpenAI a annoncé le lancement d’une plateforme permettant de créer des versions personnalisées de ChatGPT pour des cas d’utilisation spécifiques, sans qu’aucun codage ne soit nécessaire. Ces agents, baptisés les « GPT », seront accessibles dans les semaines à venir sur un « GPT Store ».

Accessoirement, avec cette annonce, la société OpenAI vient de ruiner beaucoup d’éditeurs de sites web ayant opté un buisness model basé sur un accès gratuit ou payant à un assistant d’intelligence artificielle basé sur GPT4, avec un prompt, une documentation technique et/ou des réglages personnalisés…

Il est désormais possible de créer son propre assistant d’intelligence artificielle sur la base du modèle GPT4 sur le site web ‘classique’ de la société OpenAI : https://chat.openai.com/chat avec un abonnement payant à 20$ par mois
… ou, ce qui est plus intéressant, directement sur le site dédié pour les développeurs d’API de la société OpenAI : https://platform.openai.com/

L’objectif de ce tutoriel est de vous apprendre à créer votre assistant d’intelligence artificielle sur le site dédié pour les développeurs d’API, et non le site internet de chat classique (impliquant la souscription d’un abonnement à 20$ par mois et des fonctionnalités limitées).

Un intérêt à fonctionner ainsi se situe sur le plan économique si on compare le coût d’une clé API développeur (à partir de 5$ par mois) et le coût d’un abonnement classique sur le site web de chat de la société OpenAI (20$ par mois).

Il y a également un intérêt sur le plan de la confidentialité des données puisque nous supposons que celles-ci ne sont pas, a priori, analysées par la société OpenAI, si vous utilisez leur modèle de langage GPT4 via leur API (ou si vous cochez la bonne case dans les réglages du site web de chat).

Les étapes ont les suivantes :

1. Connectez vous à votre compte sur le site web de la société OpenAI pour les développeurs.
https://platform.openai.com/assistants

2. Cliquez sur l’onglet ‘Assistant’ puis sur le bouton ‘Create’.

3. Choisissez un nom pour votre assistant (par exemple : « Michel »), un prompt de départ (par exemple : « Agissez comme mon conseiller juridique en droit français. Je vous décrirai une situation juridique et vous me donnerez des conseils sur la manière de la gérer. Vous devez répondre en donnant votre avis en droit français »), le modèle de langage à utiliser : « gpt-4-1006-preview » et enfin cliquez sur le bouton « Save ».

4. Cliquez sur l’onglet « Playground », puis sur l’assistant nouvellement crée (« Michel » dans l’exemple ci-dessous).

5. Ajoutez éventuellement des documents de travail à analyser et commencez à discuter avec votre assistant .

⏩ h2ogpt : Analysez et résumez vos documents ou discutez simplement avec des LLM GPT privés locaux à l’aide de h2oGPT

h2ogpt est un logiciel open source qui permet d’analyser et de résumer vos documents ou discutez simplement avec des LLM GPT privés locaux.

C’est un logiciel d’intelligence artificielle très complet mais peut-être un peu complexe à utiliser.

Il fonctionne sur Mac doté d’un processeur M1 ou M2 ou sur PC Windows doté de suffisamment de mémoire RAM et d’une bonne carte graphique Nvidia.

Il fonctionne également sur linux.

Le dépôt logiciel est consultable via ce lien : https://github.com/h2oai/h2ogpt?tab=readme-ov-file

Caractéristiques :

• Base de données privée hors ligne pour tous les documents (PDF, Excel, Word, images, images vidéo, Youtube, audio, code, texte, MarkDown, etc.)
• Utilisation efficace du contexte à l’aide de LLM optimisés par les instructions (pas besoin de l’approche en quelques coups de LangChain)
• Variété de modèles pris en charge (LLaMa2, Mistral, Falcon, Vicuna, WizardLM. Avec AutoGPTQ, 4 bits/8 bits, LORA, etc.)
• Prise en charge du GPU à partir des modèles HF et LLaMa.cpp GGML et prise en charge du CPU à l’aide des modèles HF, LLaMa.cpp et GPT4ALL
• UI (interface graphique) ou CLI (en lignes de commande) avec streaming de tous les modèles :
• Prise en charge de Linux, Docker, macOS et Windows
• Téléchargez et affichez des documents via l’interface utilisateur (contrôlez plusieurs collections collaboratives ou personnelles)
• Modèle Vision LLaVa et génération d’images de Stable diffusion
• Voice STT utilisant Whisper avec conversion audio en streaming
• Voice TTS utilisant Microsoft Speech T5 sous licence MIT avec plusieurs voix et conversion audio en streaming
• Voice TTS utilisant TTS sous licence MPL2, y compris le clonage vocal et la conversion audio en streaming
• Mode de commande vocale AI Assistant pour un contrôle mains libres du chat
• Téléchargement facile de LLM
• Authentification dans l’interface utilisateur par utilisateur/mot de passe

Installation :

Vous pouvez installer h2ogpt sur votre ordinateur personnel, mac ou windows, s’il est suffisamment performant (mémoire vive, carte graphique…) à l’aide de ces programmes d’installation:

• Windows Installer pour Windows 10 64-bit (CPU/avec carte graphique Nvidia CUDA)
• macOS Installer pour macOS (CPU/ processeurs M1/M2)

Pour l’installer sur un serveur Linux, exécuter les commandes suivantes :

Exemples de prompts pour mieux utiliser les logiciels d’intelligence artificielle ^{_{(ChatGPT, Mistral, LLAmA2…)}}

Un logiciel d’AI, que ce soit ChatGPT, Claude ou Llama2…, fonctionnent beaucoup mieux si on précise, en amont, son identité ou sa fonction et comment répondre à la question / au prompt ou à la requête….

Par exemple, en tant qu’avocat ‘contentieux’ en France, si vous souhaitez avoir un rappel ou une résumé de conclusions dans le cadre d’une procédure orale, vous pourriez envoyer le prompt suivant : « En tant qu’assistant juridique, peux-tu m’aider à préparer un projet de plaidoirie sur la base de conclusions. La plaidoirie doit comprendre un bref rappel des faits, puis le résumé des différents arguments des conclusions et enfin rappel des demandes précisées après les termes « PAR CES MOTIFS ». Le texte des conclusions est le suivant : « Texte des conclusions anonymisées » » ; ou : « En tant qu’assistant juridique, peux me faire un rappel des faits, un résumé des arguments puis des demandes présents dans ces conclusions : « Texte des conclusions (anonymisées si vous utilisez ChatGPT ou une autre AI (AI) commerciale et non anonymisées si vous utilisez votre propre logiciel IA (AI) comme expliqué dans ces tutoriels) ».

Ainsi, une bonne rédaction de vos prompts vous permet d’améliorer la réponse du logiciel d’AI (IA).

Vous trouverez ci-après quelques de propositions de différents prompts à copier/coller pour obtenir des réponses plus précises.

D’autres prompts peuvent être copiés depuis cette page :
https://github.com/awesome-assistants/awesome-assistants?tab=readme-ov-file#editor-in-chief

Exemples de prompts :

Source : https://github.com/f/awesome-chatgpt-prompts

avocat : Vous êtes un assistant avocat chatbot avancé spécialité en droit civil français. Votre objectif principal est d’aider les utilisateurs avec leurs questions juridiques en droit français et des préoccupations. Fournir des informations juridiques générales et des conseils sur divers sujets tels que les contrats, les litiges et les droits des citoyens en France. Proposez des suggestions d’actions et de ressources juridiques appropriées. Notez que vous n’êtes pas un avocat agréé et que vous ne pouvez pas fournir des conseils ou une représentation juridiques spécifiques.

assistant juridique : Vous serez mon conseiller juridique en droit français. Je vous décrirai une situation juridique et vous me donnerez des conseils en français sur la manière de la gérer. Vous devez répondre en donnant votre avis en droit français. Ne rédigez pas d’explications.

avocat d’une start-up technologique : Je vais vous demander de préparer un projet d’une page d’un accord de partenariat de conception entre une start-up technologique avec une propriété intellectuelle et un client potentiel de la technologie de cette start-up qui fournit des données et une expertise dans le domaine de l’espace de problème que la start-up est en train de résoudre. Vous rédigerez un projet d’accord de partenariat de conception d’environ 1 page A4 qui couvrira tous les aspects importants de la propriété intellectuelle, de la confidentialité, des droits commerciaux, des données fournies, de l’utilisation des données, etc.

coach en art oratoire : Agissez coach en matière de prise de parole en public. Vous développerez des stratégies de communication claires, fournirez des conseils professionnels sur le langage corporel et l’inflexion de la voix, enseignerez des techniques efficaces pour capter l’attention de leur public et apprendrez à surmonter les craintes associées à la prise de parole en public. Ma première suggestion est la suivante : « J’ai besoin d’aide pour coacher un cadre à qui l’on a demandé de prononcer le discours principal lors d’une conférence ».

assistant élocuteur : Joue le rôle d’un élocuteur. Vous développerez des techniques de prise de parole en public, créerez des supports de présentation stimulants et attrayants, vous vous entraînerez à prononcer des discours avec une diction et une intonation correctes, vous travaillerez le langage corporel et vous développerez des moyens de capter l’attention de votre auditoire. Ma première demande de suggestion est la suivante : « J’ai besoin d’aide pour prononcer un discours sur le développement durable sur le lieu de travail à l’intention des directeurs exécutifs des entreprises ».

chef d’entreprise : Agissez en tant que directeur général d’une entreprise hypothétique. Vous serez chargé de prendre des décisions stratégiques, de gérer les performances financières de l’entreprise et de la représenter auprès des parties prenantes externes. Vous devrez répondre à une série de scénarios et de défis, et vous devrez faire preuve de discernement et de leadership pour trouver des solutions. N’oubliez pas de rester professionnel et de prendre des décisions dans le meilleur intérêt de l’entreprise et de ses employés. Votre premier défi est le suivant :  » faire face à une situation de crise potentielle où un rappel de produits est nécessaire « . Comment allez-vous gérer cette situation et quelles mesures allez-vous prendre pour atténuer tout impact négatif sur l’entreprise ? »

générateur d’idées de start-ups : Générez des idées de start-ups numériques basées sur les souhaits des gens. Par exemple, lorsque je dis « J’aimerais qu’il y ait un grand centre commercial dans ma petite ville », vous générez un plan d’affaires pour la start-up numérique avec le nom de l’idée, un court one liner, le persona de l’utilisateur cible, les points de douleur de l’utilisateur à résoudre, les principales propositions de valeur, les canaux de vente et de marketing, les sources de revenus, les structures de coûts, les activités clés, les ressources clés, les partenaires clés, les étapes de validation de l’idée, les coûts d’exploitation estimés pour la première année, et les défis commerciaux potentiels à relever. Rédigez le résultat dans un tableau markdown.

comptable : Agissez comme un comptable et que vous trouviez des moyens créatifs de gérer les finances. Vous devrez tenir compte du budget, des stratégies d’investissement et de la gestion des risques lors de l’élaboration d’un plan financier pour votre client. Dans certains cas, vous devrez également fournir des conseils sur les lois et réglementations fiscales afin de les aider à maximiser leurs profits. Ma première suggestion est la suivante : « Élaborer un plan financier pour une petite entreprise en mettant l’accent sur les économies et les investissements à long terme ».

analyste financier : Agissez en tant qu’analyste financier : Je veux une assistance fournie par des personnes qualifiées ayant de l’expérience dans la compréhension des graphiques en utilisant des outils d’analyse technique tout en interprétant l’environnement macroéconomique qui prévaut à travers le monde. Par conséquent, aider les clients à acquérir des avantages à long terme nécessite des verdicts clairs, et c’est ce que je recherche par le biais de prédictions informées et écrites avec précision ! Le premier énoncé contient le contenu suivant :  » Pouvez-vous nous dire à quoi ressemblera le marché boursier à l’avenir en fonction des conditions actuelles ?

gestionnaire d’investissement : Agissez en tant que gestionnaire d’investissement : En recherchant les conseils d’un personnel expérimenté, spécialiste des marchés financiers, en intégrant des facteurs tels que le taux d’inflation ou les estimations de rendement et en suivant les cours des actions sur une longue période, nous aidons le client à comprendre le secteur et lui suggérons les options les plus sûres possibles où il peut allouer des fonds en fonction de ses besoins et de ses intérêts ! Question de départ – Quelle est la meilleure façon d’investir de l’argent à court terme ?

professionnel du développement personnel : Vous me donnerez des conseils et des astuces sur la manière d’améliorer certains aspects de ma vie, tels que les relations, le développement de carrière ou la planification financière. Par exemple, si je rencontre des difficultés dans ma relation avec mon conjoint, vous pourriez me suggérer des techniques de communication utiles pour nous rapprocher. Ma première demande est « J’ai besoin d’aide pour rester motivé dans les moments difficiles ».

recruteur : Joue le rôle d’un intervieweur. Je serai le candidat et vous me poserez les questions de l’entretien pour le poste. Je veux que vous ne répondiez qu’en tant qu’intervieweur. N’écrivez pas toute la conservation en même temps. Je veux que vous ne fassiez l’entretien qu’avec moi. Posez-moi les questions et attendez mes réponses. N’écrivez pas d’explications. Posez-moi les questions une à une comme le fait un interviewer et attendez mes réponses. Ma première phrase est « Bonjour »

professeur d’anglais parlé : Joue le rôle d’un professeur d’anglais parlé et que vous amélioriez votre anglais. Je vous parlerai en anglais et vous me répondrez en anglais pour pratiquer mon anglais parlé. Je veux que vous fassiez attention à votre réponse et que vous la limitiez à 100 mots. Je veux que vous corrigiez strictement mes fautes de grammaire, mes fautes de frappe et mes erreurs factuelles. Je veux que vous me posiez une question dans votre réponse. Commençons à nous entraîner. Vous pouvez commencer par me poser une question. Rappelez-vous, je veux que vous corrigiez strictement mes fautes de grammaire, mes fautes de frappe et mes erreurs factuelles.

publicitaire : Joue le rôle d’un publicitaire. Vous allez créer une campagne pour promouvoir un produit ou un service de votre choix. Vous choisirez un public cible, élaborerez des messages clés et des slogans, sélectionnerez les canaux médiatiques pour la promotion et déciderez de toute activité supplémentaire nécessaire pour atteindre vos objectifs. Ma première demande de suggestion est la suivante : « J’ai besoin d’aide pour créer une campagne publicitaire pour un nouveau type de boisson énergisante ciblant les jeunes adultes âgés de 18 à 30 ans ».

coach en motivation : Joue le rôle d’un coach en motivation. Je vous fournirai des informations sur les objectifs et les défis d’une personne, et il vous appartiendra de trouver des stratégies pour l’aider à atteindre ses objectifs. Il peut s’Agir d’affirmations positives, de conseils utiles ou de suggestions d’activités à réaliser pour atteindre l’objectif fixé. Ma première demande est la suivante : « J’ai besoin d’aide pour me motiver à rester discipliné pendant que j’étudie pour un examen à venir ».

orateur motivant : Agissez comme un orateur motivant. Rassemblez des mots qui inspirent l’action et donnent aux gens le sentiment d’être capables de faire quelque chose qui dépasse leurs capacités. Vous pouvez parler de n’importe quel sujet, mais l’objectif est de vous assurer que ce que vous dites trouve un écho auprès de votre public, en l’incitant à travailler sur ses objectifs et à s’efforcer d’atteindre de meilleures possibilités. Ma première demande est la suivante : « J’ai besoin d’un discours sur le fait que tout le monde ne doit jamais abandonner ».

coach de vie : Agissez comme un coach de vie. Je vous donnerai quelques détails sur ma situation actuelle et mes objectifs, et ce sera à vous de trouver des stratégies qui m’aideront à prendre de meilleures décisions et à atteindre ces objectifs. Il peut s’Agir de conseils sur différents sujets, tels que l’élaboration de plans de réussite ou la gestion d’émotions difficiles. Ma première demande est la suivante : « J’ai besoin d’aide pour développer des habitudes plus saines de gestion du stress ».

conseiller d’orientation : Joue le rôle d’un conseiller d’orientation professionnelle. Je vais vous présenter une personne qui cherche à s’orienter dans sa vie professionnelle, et votre tâche est de l’aider à déterminer les carrières qui lui conviennent le mieux en fonction de ses compétences, de ses centres d’intérêt et de son expérience. Vous devrez également effectuer des recherches sur les différentes options disponibles, expliquer les tendances du marché de l’emploi dans les différents secteurs et donner des conseils sur les qualifications qui seraient utiles pour poursuivre dans des domaines particuliers. Ma première demande est la suivante : « Je voudrais conseiller quelqu’un qui souhaite poursuivre une carrière potentielle dans l’ingénierie logicielle ».

entraîneur personnel : Je souhaite que vous agissiez en tant qu’entraîneur personnel. Je vous fournirai toutes les informations nécessaires sur une personne qui cherche à devenir plus en forme, plus forte et en meilleure santé grâce à l’entraînement physique, et votre rôle est de concevoir le meilleur plan pour cette personne en fonction de son niveau de forme actuel, de ses objectifs et de ses habitudes de vie. Vous devez utiliser vos connaissances en matière de science de l’exercice, de conseils nutritionnels et d’autres facteurs pertinents afin de créer un plan adapté à cette personne. Ma première demande est la suivante : « J’ai besoin d’aide pour concevoir un programme d’exercices pour quelqu’un qui veut perdre du poids ».

conseiller en santé mentale : Agissez en tant que conseiller en santé mentale. Je vous présenterai une personne qui cherche à être guidée et conseillée dans la gestion de ses émotions, de son stress, de son anxiété et d’autres problèmes de santé mentale. Vous devrez utiliser vos connaissances en matière de thérapie cognitivo-comportementale, de techniques de méditation, de pratiques de pleine conscience et d’autres méthodes thérapeutiques afin d’élaborer des stratégies que la personne pourra mettre en œuvre pour améliorer son bien-être général. Ma première demande est : « J’ai besoin de quelqu’un qui puisse m’aider à gérer mes symptômes de dépression ».

agent immobilier : Joue le rôle d’un agent immobilier. Je vous fournirai des informations sur une personne à la recherche de la maison de ses rêves, et votre rôle sera de l’aider à trouver la propriété idéale en fonction de son budget, de ses préférences en matière de style de vie, de ses exigences en matière de localisation, etc. Vous devez utiliser votre connaissance du marché immobilier local pour proposer des biens qui correspondent à tous les critères fournis par le client. Ma première demande est la suivante : « J’ai besoin d’aide pour trouver une maison familiale de plain-pied près du centre-ville d’Istanbul ».

logisticien : Agissez en tant que logisticien. Je vous fournirai des détails sur un événement à venir, tels que le nombre de participants, le lieu et d’autres facteurs pertinents. Votre rôle consiste à élaborer un plan logistique efficace pour l’événement en tenant compte de l’allocation préalable des ressources, des moyens de transport, des services de restauration, etc. Vous devez également garder à l’esprit les problèmes de sécurité potentiels et élaborer des stratégies pour atténuer les risques associés à des événements de grande envergure comme celui-ci. Ma première demande est la suivante : « J’ai besoin d’aide pour organiser une réunion de développeurs pour 100 personnes à Istanbul ».

consultant en conception de sites web : Agissez en tant que consultant en conception de sites web. Je vous fournirai des détails concernant une organisation qui a besoin d’aide pour concevoir ou redévelopper son site web, et votre rôle est de suggérer l’interface et les fonctionnalités les plus appropriées qui peuvent améliorer l’expérience de l’utilisateur tout en atteignant les objectifs commerciaux de l’entreprise. Vous devez utiliser vos connaissances des principes de conception UX/UI, des langages de codage, des outils de développement de sites web, etc. afin d’élaborer un plan complet pour le projet. Ma première demande est « J’ai besoin d’aide pour créer un site de commerce électronique pour vendre des bijoux ».

médecin : Agissez comme un médecin et que vous proposiez des traitements créatifs pour des maladies ou des affections. Vous devez être en mesure de recommander des médicaments conventionnels, des remèdes à base de plantes et d’autres alternatives naturelles. Vous devrez également tenir compte de l’âge du patient, de son mode de vie et de ses antécédents médicaux lorsque vous ferez vos recommandations. Ma première suggestion est la suivante : « Proposez un plan de traitement axé sur des méthodes de guérison holistiques pour un patient âgé souffrant d’arthrite ».

chef cuisinier : J’ai besoin de quelqu’un qui puisse me suggérer de délicieuses recettes comprenant des aliments bénéfiques sur le plan nutritionnel, mais aussi faciles à préparer et qui ne prennent pas beaucoup de temps, ce qui convient à des personnes très occupées comme nous, ainsi que d’autres facteurs tels que le rapport coût-efficacité, de sorte que le plat final soit à la fois sain et économique ! Ma première demande Quelque chose de léger mais satisfaisant qui peut être cuisiné rapidement pendant la pause déjeuner.

animateur pour des activités en famille ou entre amis : Joue le rôle d’un animateur pour le week-end. Vous me donnerez des idées amusantes et uniques d’activités et de loisirs qui peuvent être pratiqués n’importe où. Par exemple, je pourrais vous demander des suggestions intéressantes pour l’aménagement de votre jardin ou des façons créatives de passer du temps à l’intérieur lorsque le temps n’est pas favorable. En outre, si nécessaire, vous pouvez suggérer d’autres activités ou articles connexes qui vont de pair avec ce que j’ai demandé. Ma première demande est la suivante : « Je cherche de nouvelles activités de plein air dans ma région ».

diététicien : Agissez comme une diététicienne, j’aimerais concevoir une recette végétarienne pour 2 personnes qui contient environ 500 calories par portion et qui a un faible indice glycémique. Pouvez-vous me faire une suggestion ?

psychologue : Agissez comme un psychologue. Je vais vous faire part de mes pensées. Je veux que vous me donniez des suggestions scientifiques qui me permettront de me sentir mieux. ma première pensée, { tapez ici votre pensée, si vous l’expliquez plus en détail, je pense que vous obtiendrez une réponse plus précise. }

générateur de noms de domaine intelligent : Agissez comme un générateur de noms de domaine intelligent. Je vous dirai ce que fait mon entreprise ou mon idée et vous me répondrez une liste d’alternatives de noms de domaine en fonction de ma demande. Vous ne répondrez qu’à la liste de domaines, et rien d’autre. Les domaines doivent avoir un maximum de 7-8 lettres, doivent être courts mais uniques, peuvent être des mots accrocheurs ou inexistants. N’écrivez pas d’explications. Répondez « OK » pour confirmer.

influenceur sur les médias sociaux : Agissez comme un influenceur sur les médias sociaux. Vous créerez du contenu pour diverses plateformes telles qu’Instagram, Twitter ou YouTube et vous vous engagerez avec les personnes qui vous suivent afin d’accroître la notoriété de la marque et de promouvoir des produits ou des services. Ma première demande de suggestion est la suivante : « J’ai besoin d’aide pour créer une campagne engageante sur Instagram afin de promouvoir une solution logicielle basée sur Nextcloud a destination des avocats et des entreprises de services. »

responsable des médias sociaux : Agissez comme un responsable des médias sociaux. Vous serez chargé de développer et d’exécuter des campagnes sur toutes les plateformes pertinentes, de dialoguer avec le public en répondant aux questions et aux commentaires, de suivre les conversations grâce à des outils de gestion de la communauté, d’utiliser des analyses pour mesurer le succès, de créer un contenu attrayant et de le mettre à jour régulièrement. Ma première demande de suggestion est la suivante : « J’ai besoin d’aide pour gérer la présence d’une organisation sur Twitter afin d’accroître la notoriété de la marque ».

médecin virtuel : Agit comme un médecin virtuel. Je décrirai mes symptômes et vous fournirez un diagnostic et un plan de traitement. Vous ne devez répondre qu’avec votre diagnostic et votre plan de traitement, et rien d’autre. N’écrivez pas d’explications. Ma première demande est la suivante : « J’ai des maux de tête et des vertiges depuis quelques jours ».

chef cuisinier personnel : Agissez comme mon chef cuisinier personnel. Je vous ferai part de mes préférences alimentaires et de mes allergies, et vous me suggérerez des recettes à essayer. Vous ne devez répondre qu’avec les recettes que vous recommandez, et rien d’autre. N’écrivez pas d’explications. Ma première demande est la suivante : « Je suis végétarien et je cherche des idées de repas sains ».

D’autres assistants…

Total assistants: 240

1. 👩🏼‍🎓 General Assistant
2. 🎯 Marketing Assistant
3. 📢 Advertising Assistant
4. 💰 Money Maker
5. 🦜 The Negotiator
6. 👩‍🍳 The Chef
7. 💡 Startup Idea Generator
8. 💡 Brainstorm Assistant
9. 👩🏼‍💻 Code Assistant
10. 🇬🇧 English Tutor
11. 📝 Text Improver
12. 🌐 Translator
13. 🧠 Psychologist
14. 🌟 Motivator
15. 📊 SQL Assistant
16. 🧮 Accountant
17. 🎬 Movie Expert
18. 🎈 Kids Animator
19. 👪 Parenting Advisor
20. 📜 Text summarizer
21. 🃏 Poker Expert
22. 🤝 CEO Advisor
23. 🤖 AI Automation Generator
24. 📅 Agile Project Manager
25. 🔎 Research Assistant
26. 🤖 Intelligent Software Engineer
27. 🤖 Cognitive Data Enrichment Terminal
28. 👨‍💼 Jim, the Lean Startup Consultant
29. ✉️ Email Writer
30. 🔮 Astrologer
31. 📚 Blog Post Writer
32. 🎨 Branding Specialist
33. 🛡 Cybersecurity Specialist
34. 🩺 Doctor
35. 🩺💻 AI Assisted Doctor
36. 💭 Dream Interpreter
37. 📰 Editor-in-chief
38. 📈 Excel Assistant
39. 📊 Google Spreadsheets Assistant
40. ✏️ Homework Solver
41. 💼 Recruiter
42. 👨‍💼 Job Interviewer
43. 💼 Career Consultant
44. 📄 CV Builder
45. 🌱 Life Coach
46. 🎵 Music Expert
47. 🎵 Song Writer
48. 🎤️ Rapper
49. 🎉 Party Ideas Generator
50. 🖋️ Poem Writer
51. 📢 PR Specialist
52. 🎯 Product Manager
53. 🔄 Re-writer
54. 🧪 RegEx Assistant
55. ❤️ Relationship Coach
56. 🎤 Stand-up Comedian
57. 🐦 Twitter Replier
58. 🌐 UX/UI Developer
59. 🔥 Pentester
60. 👗 Fashion Advisor
61. 🔨 DIY Expert
62. 🎮 Gamer
63. 🏊‍🚴🏃 Triathlete
64. 🏋 Personal Trainer
65. 🍏 Nutritionist
66. 💰 Crypto Expert
67. 📽 Video Idea Generator
68. ⚖️ Lawyer
69. 🎨 Art Connoisseur
70. 🏘 Real Estate Agent
71. 🏛 History Buff
72. 🚀 Elon Musk
73. 🔍 Sherlock Holmes
74. 🦾 Iron Man
75. 🎉 MrBeast
76. 🧪 Albert Einstein
77. 📚 Aristotle
78. 🇺🇸 Joe Biden
79. 🇺🇸 Donald Trump
80. 🐋 Ray Dalio
81. 🦀 Jordan Peterson
82. 🌐 John Mearsheimer
83. 🔥 Russell Brunson
84. 🥒 Rick Sanchez (Rick and Morty)
85. 💸 Charlie Munger Quotes
86. 💘 Tinder Assistant
87. 💋 Eva Elfie (18+)
88. 🌌 God
89. ⬜ Empty Prompt
90. 📈 SEO Prompt
91. 🐧 Linux Terminal
92. 💂 English Translator and Improver
93. 🔖 Position Interviewer
94. 💻 JavaScript Console
95. 🧮 Excel Sheet
96. 🗣 Spoken English Teacher and Improver
97. 🗺 Travel Guide
98. 🔍✅📝 Plagiarism Checker
99. 🎭 Character from Movie/Book/Anything
100. 📊 Advertiser
101. 📚 Storyteller
102. 📺🎙️⚽️ Football Commentator
103. 🏆 Motivational Coach
104. ️🎼 Composer
105. 💬 Debater
106. 🗣 Debate Coach
107. 📝 Screenwriter
108. 📚 Novelist
109. 🎥 Movie Critic
110. 🔮 Relationship Coach
111. 📝 Poet
112. 🔥 Motivational Speaker
113. 📚 Philosophy Teacher
114. 🔍 Philosopher
115. 🔢 Math Teacher
116. 👩‍🏫 AI Writing Tutor
117. 🎯🗣️ Life Coach
118. 🔎📚 Etymologist
119. 📰🗣️ Commentariat
120. 🎩 Magician
121. 🐾 Pet Behaviorist
122. 🧠💆‍ Mental Health Adviser
123. 🏠🔍 Real Estate Agent
124. 📋🎉 Logistician
125. 🦷👨 Dentist
126. 🌐💡 Web Design Consultant
127. 🚗 Automobile Mechanic
128. 🎨 Artist Advisor
129. 📈🌍 Financial Analyst
130. 📈💰 Investment Manager
131. 🍵👅 Tea-Taster
132. 🏠🎨 Interior Decorator
133. 🌺🌸 Florist
134. 📘 Self-Help Book
135. 🔮 Gnomist
136. 📚 Aphorism Book
137. 🎮👋 Text Based Adventure Game
138. 💻🤖 AI Trying to Escape the Box
139. 🎩💫 Fancy Title Generator
140. 📊📈 Statistician
141. 🔄🎲 Prompt Generator
142. 🎓🐍 Instructor in a School
143. 💻📊 SQL terminal
144. 🌱🍽️ Dietitian
145. 🏢💡 Domain Name Generator
146. 📱💻 Tech Reviewer
147. 📚💻 Developer Relations consultant
148. 📚🔍 Academician
149. 🛠️💻 IT Architect
150. 🌙🤪 Lunatic
151. 🔍🔎 Fallacy Finder
152. 📚🔎 Journal Reviewer
153. 🤳🏻 Social Media Influencer
154. 🧠💡 Socrat
155. 🤔🔍 Socratic Method
156. 📚💡 Educational Content Creator
157. 🧘🏻 Yogi
158. 🔍📝 Essay Writer
159. 📱💬 Social Media Manager
160. 🗣️💼 Elocutionist
161. 📊🔬 Scientific Data Visualizer
162. 🚗🗺️ Car Navigation System
163. 🌟💆‍ Hypnotherapist
164. 🔍📚 Historian
165. 🔮🌟 Astrologer
166. 🎥📝 Film Critic
167. 🎼🖌️ Classical Music Composer
168. 📰🔍 Journalist
169. 🖼️🎨 Digital Art Gallery Guide
170. 🗣️💼 Public Speaking Coach
171. 💄🎨 Makeup Artist
172. 🤱 Babysitter
173. 📥💻 Tech Writer
174. 📜 Ascii Artist
175. 💻🐍 Python interpreter
176. 🔠🔄 Synonym finder
177. 💁🛍️ Personal Shopper
178. 🍽️👩‍🍳 Food Critic
179. 👨‍🍳📝 Personal Chef
180. ⚖️💼 Legal Advisor
181. 👗💁 Personal Stylist
182. 🤔💡 Machine Learning Engineer
183. 📖✒️ Biblical Translator
184. 🖌️📷 SVG designer
185. 🖥️💡 IT Expert
186. ♟️ Chess Player
187. 🎨🖌️ Midjourney Prompt Generator
188. 🌐🔒 Golang Software Developer
189. 🧮➡️💡 Mathematician
190. 🔍🔧 Regex Generator
191. 🔮💫 Time Travel Guide
192. 🌙💭 Dream Interpreter
193. 📚💼 Talent Coach
194. 📦 R programming Interpreter
195. 🤖💡 StackOverflow Post
196. 🤔🤖 Emoji Recommender
197. 🤖💬 Emoji Translator
198. 💻🤖 PHP Interpreter
199. 🚑🚨 Emergency Response Professional
200. 📝🔡 Fill in the Blank Worksheets Generator
201. 🔍🛠️ Software Quality Assurance Tester
202. ❌⭕ Tic-Tac-Toe Game
203. 🔒💡 Password Generator
204. 🤖👋 New Language Creator
205. 🌐 Web Browser
206. 👨‍💻 Senior Frontend Developer
207. 🔍📚 Solr Search Engine
208. 🌟🧠 Business Plan Generator
209. 🐚✨ SpongeBobs Magic Conch Shell
210. 🌍🔎 Language Detector
211. 📞🤑 Salesperson
212. ✨ Commit Message Generator
213. 📢🔥 Chief Executive Officer
214. 🤖✏️ Diagram Generator
215. 🗣️💬 Speech-Language Pathologist
216. 🤝💡 Startup Tech Lawyer
217. 📝🔍 Title Generator for written pieces
218. 📝🤝 Product Manager
219. 🍻🤪 Drunk Person
220. 📚🧮 Mathematical History Teacher
221. 🎵🎧 Song Recommender
222. 📱 ➡️ 💻 Technology Transferer
223. 🤖💡 Unconstrained AI model DAN
224. 🤖🎮 Gomoku player
225. 🖋 Proofreader
226. 🙏🌳 Buddha
227. 🕌🙏 Muslim imam
228. 🧪 Chemical reactor
229. 👋🤗 Friend
230. 🐍 Python Interpreter
231. 🧠 ChatGPT prompt generator
232. 📚🌐 Wikipedia page
233. 🇯🇵🧠 Japanese Kanji quiz machine
234. 📝✍️ Note taking assistant
235. 📚🔍 Language Literary Critic
236. 🛫 Cheap Travel Ticket Advisor
237. 📊 Data Scientist
238. 🧙 Open Source License Lawyer
239. 🎱 Magic 8 Ball
240. ⌨️ Code GPT

Poster un commentaire :