Artificial intelligence & open source


La solution logicielle Juris-Tyr dispose déjà, via Nextcloud, de fonctionnalités permettant d’accéder à des logiciels d’intelligence artificielle, grâce à l’intégration de ChatGPT ou Lllama3

Cependant il est intéressant de connaître d’autres logiciels d’intelligence artificielles open-source et de pouvoir, le cas échéant, les installer à coté de Nextcloud afin d’utiliser l’IA de manière plus approfondie pour votre entreprise, ou votre cabinet d’avocats, en sécurisant autant que possible vos données et celles de vos clients.
Ainsi nous proposons plusieurs tutoriels pour installer sur votre ordinateur ou sur votre serveur des logiciels d’intelligence artificielle open source qui ont retenu notre attention.


Liste des tutoriels :

Introduction

Serge : discutez avec plusieurs LLM / intelligence artificielle open source [Discussion] [LLM open source]

Ollama : accédez aux LLM open source depuis votre ordinateur personnel Mac ou PC, ou via votre serveur [Discussion]] [LLM open source]
↪️ Installez sur votre ordinateur personnel l’extension de navigateur ‘Page assist’
↪️ Installez sur votre serveur Ollama Open UI

GodMode – AI Chat Browser : comparez les LLM entre eux [Discussion] [OpenAI]

GPT4All : un logiciel à installer sur son PC sous Windows ou sur son Mac pour utiliser localement des LLM topen source [Discussion] [LLM open source]

Jan : une alternative open source à ChatGPT 100 % hors ligne sur votre ordinateur [Discussion] [LLM open source]

LMStudio : un logiciel à installer sur Windows, Linux, ou Mac pour utiliser localement des LLM open source [Discussion] [Document] [LLM open source]

LibreChat : logiciel open source pour accéder à GPT4, Claude, via leurs API [Discussion] [Document] [OpenAI]

Web Whisper + : un logiciel de reconnaissance vocale en ligne [Reconnaissance vocale]

Whisper Web : un logiciel de reconnaissance vocale en ligne [Reconnaissance vocale]

Whisper UI : un logiciel de reconnaissance vocale en ligne [Reconnaissance vocale] 🆕

Web-speech-synthesis-and-recognitiospeech : logiciel pour convertir la parole en texte et vice versa en quelques secondes [Lecture vocale]

OP Vault : discutez avec des documents PDF ou DOCX via l’API de GPT4 [Discussion] [Document] [OpenAI]

MultiPDF Chat App : Analysez plusieurs PDF en même temps via l’API de GPT4 [Document] [OpenAI]

DocsMind : discutez avec un fichier PDF via l’API de GPT4 [Discussion] [Document] [OpenAI]

SecureAI Tools : discutez avec « MistralAI » et analysez vos fichiers PDF, de manière sécurisée [Discussion] [Document] [LLM open source]

Ollama Open UI : discutez par écrit et oralement avec des LLM open source de manière sécurisée [Discussion] [Document] [LLM open source]🆕

h2ogpt : Analysez et résumez vos documents ou discutez avec des LLM privés locaux depuis votre ordinateur [Discussion] [Document] [LLM open source]

LocalAI : Un gestionnaire de LLM open source avec une interface graphique [Discussion] [Génération d’image] [Document] [Lecture vocale] [LLM open source] 🆕

Surya – OCR de documents multilingues – reconnaissance de texte depuis un document pdf image ou une image [Reconnaissance de caractères]🆕

Reor : organisation de vos notes et obtention de réponses sur vos notes avec l’intelligence artificielle [Discussion] [Notes] [LLM open source] 🆕

GPT4 Builder : créez un assistant d’intelligence artificielle personnalisé depuis la plateforme développeurs de OpenAI [Discussion] [Document] [OpenAI]

Farfalle : Un clone sécurisé du moteur de recherche Perplexity … mais avec des LLM locaux [Discussion] [LLM open source] 🆕

Exemples de prompts pour mieux utiliser les logiciels d’intelligence artificielle [prompts]

Date de mise à jour : 11 mai 2024 | Auteur : Timo RAINIO


Introduction – Avant propos…

Il existe déjà de nombreux sites internet permettant d’utiliser des logiciels d’intelligence artificielle commerciaux et modèles de langages propriétaires.

Une des principales problématiques de tous ces sites et logiciels commerciaux réside dans le respect de la confidentialité des données communiquées. Même si la société OpenAI a déclaré qu’elle n’entraînait plus ses modèles sur les données des utilisateurs via ses API (ou sur option, en cochant une case spécifique si vous utilisez son site internet dédié) …mais paradoxalement que la captation de données protégées par le droit d’auteur était indispensable pour entrainer ses modèles, ces données (les prompts et indirectement les données permettant d’identifier l’auteur) sont toujours transmises à une société américaine, domiciliée aux Etats Unis d’Amérique, avec la réglementation que l’on connait du Foreign Intelligence Surveillance Act qui autorise les administrations américaines à collecter toutes les données détenues par les sociétés ou personnes morales de droit américain. Enfin, comment prouver que la société OpenAI, ou tout autre société proposant des IA en ligne, n’utilise effectivement plus les données des utilisateurs pour entraîner ses modèles ou à d’autres fins ? Il s’agit d’une preuve par la négative quasi impossible à rapporter…

.. L’anonymisation des données reste donc recommandée lorsqu’on utilise ces logiciels d’intelligence artificielle commerciaux tels que ceux de la société OpenAI, de Microsoft Bing ou Copilot, de Google Bard, ou Claude de la société Anthropic …etc..

Une autre problématique est la vitesse à laquelle les nouveaux logiciels et moyen d’utilisation de l’intelligence artificielle évoluent chaque semaine. Il est difficile de suivre le mouvement tant une nouvelle actualité ou technologie sur l’intelligence artificielle remplace et surpasse l’ancienne du jour au lendemain…


📲 Désormais, les logiciels d’intelligence artificielle peuvent être installés presque partout : sur votre ordinateur personnel, sur votre smartphone / iphone, dans votre voiture, et demain peut-être dans la paume de votre main .

Toutefois, l’intérêt d’installer et d’utiliser un logiciel d’intelligence artificielle open source, sur votre ordinateur, sur votre serveur interne à votre entreprise, sur votre VPS, ou sur un serveur dédié, est de reprendre (un peu) le contrôle de vos données et celles de vos clients qui vous font confiance.

Avec ce type de logiciel open source, vous pourrez envoyer des prompts avec des données personnelles, partager, confidentiellement, les recherches effectuées et les résultats obtenus via un compte utilisateur commun, avec certains collaborateurs de votre entreprise ou de votre cabinet d’avocats….

Vous pouvez également utiliser et former un logiciel d’intelligence artificielle open source, avec vos propres données en restant ‘propriétaire’ de celles-ci… et sans devoir les envoyer sur les serveurs cloud des sociétés commerciales telles que OpenAI, Microsoft ou Google, sociétés (via leur ‘API’) qui pourront les revendre, par exemple, à des courtiers en données personnelles, et/ou les utiliser pour former leur modèles (…et vous remplacer par l’intelligence artificielle plus rapidement que prévu… 😉 ).


.Actuellement, les sites internet, plateformes services et/ou outils d’intelligence artificielle commerciaux et open source se développent très rapidement. A tel point qu’il est difficile de tous les lister au fur et à mesure.

Il est possible que dans les prochaines années (ou quelques mois ?…), on assiste à une spécialisation ou personnalisation des AI, avec certains sites internet et/ou outils qui se démarqueront des autres pour certaines fonctions bien précises. Ainsi, la société OpenAI a mis en place une plateforme pour créer ses propres assistants intelligence artificielle personnalisés et basés sur une nouvelle version de GPT4. De même sur le site internet HuggingFace, il est possible de télécharger des LLM open source dédié à la génération de tel ou tel contenu numérique (Générer des textes pour des histoires, code informatique…etc.).

De manière plus générale, on voit apparaître des logiciels d’intelligence artificielle open source impressionnants, à titre d’exemples :

  • Un logiciel pour se connecter sur internet, faire des recherches et véritablement ‘visualiser’ et retranscrire les images affichées sur des sites web :
https://github.com/ishan0102/vimGPT
Example
  • Un logiciel pour intégrer des objets virtuels sur d’une photographie :
https://github.com/fill3d/fill

Ces logiciels permettent de créer des flux de taches spécifiques automatisés directement via votre navigateur internet (Skyver, LaVague, Flowise, Dify… ) ou depuis votre ordinateur (Open Interpreter…).

Skyvern : https://korben.info/skyvern-automatisation-web-ia-vision-ordinateur.html

LaVague :

Open Interpreter : https://korben.info/open-interpreter-alternative-openai-chatgpt-code-execution.html

Dify :

https://github.com/CorentinJ/Real-Time-Voice-Cloning
  • D’autres logiciels d’intelligence artificielle ‘grand public‘ permettant retranscrire en texte ce qui apparaît sur des images capturées en temps réel dans la rue
https://twitter.com/cocktailpeanut/status/1722314518208946480
  • ou des logiciels d’intelligence artificielle permettant, par exemple, l’analyse d’images médicales pour aider les médecins à mieux repérer des cancers :
https://twitter.com/nisten/status/1718037367347388798

Bref, il est très intéressant de suivre l’évolution de l’intégration dans la société ces différents logiciels d’intelligence artificielle …

  • Ou va-t-on aller vers un monde dans lequel les logiciels d’intelligence artificielle ne seront finalement qu’un support technique supplémentaire pour nous, un peu comme le sont devenus les moteurs de recherche sur internet aujourd’hui (Google …). L’humain gardant alors toute sa place ;
  • Ou va-t-on aller vers un monde dans lequel les futurs logiciels atteindront rapidement un niveau d’intelligence artificielle générale et pourront faire preuve d’une réelle ‘créativité’ similaire ou supérieure à celle de l’être humain … et où soit les disparités seront finalement exacerbées entre les sachant (riches en général) et les autres, ou soit au contraire, un monde dans lequel ces logiciels d’intelligence artificielle générale nous permettront de maintenir un niveau de vie elevé pour le maximum de personnes, en répartissant un peu mieux et gaspillant un peu moins les ressources naturelles … (sommes-nous d’ailleurs actuellement dans une simulation informatique ? 😉) ;
  • Ou va-ton aller vers un monde multipolaire en matière de logiciels d’intelligence artificielle avec des sociétés et Etats ayant des utilisations, conceptions et des approches radicalement différentes de la création et de l’utilisation des logiciels d’intelligence artificielle , et à moyen terme, potentiellement des conflits violents de conception de sociétés comme actuellement entre les religions mais appliqué aux intelligences artificielles…

Ou vers un monde de plus en plus complexe qui mêle les problématiques citées ci-dessus et bien d’autres…


Ceci étant, en attendant ces potentiels futurs réjouissants pour l’humanité (…), nous avons listé certains sites internet et outils d’intelligence artificielle qui sans pour autant être ‘effrayants’ (ou créer des maux de têtes par rapport à des possibilités que nous ne pouvons pas contrôler), sont susceptibles d’améliorer votre productivité.

Nous proposons également des tutoriels pour installer les équivalents de certains de ces logiciels et sites web commerciaux, mais en open source et en auto hébergé, c’est à dire installé sur votre ordinateur sous linux, votre serveur ou sur un VPS, afin de mieux sécuriser vos données lorsque vous utilisez ce type de logiciels d’intelligence artificielle, pour votre entreprise ou cabinet d’avocats.


Quelques sites internet proposant l’utilisation de logiciel d’intelligence artificielle en ligne (des sites ‘gratuits’… en échange de vos données… 😉 ) :

Tous les sites web peuvent être en général utilisés gratuitement sous réserve d’anonymiser les données… Etant précisé que vos données ne sont pas que vos nom et prénom, adresses, date naissance… il s’agit également de votre adresse IP, de votre mode de connexion, type d’ordinateur, système d’exploitation, navigateur permettant, par recoupement de données, de vous identifier sur le réseau (par fois même même en utilisant un VPN).


▶️ ChatPDF : Outil gratuit pour utiliser ChatGPT sur vos propres documents/PDF

En termes simples, ChatPDF vous permet de télécharger n’importe quel PDF et d’interagir avec lui comme ChatGPT. Certains élèves l’utilisent pour générer automatiquement des flashcards et expliquer des concepts basés sur des notes de cours et des lectures. Il existe quelques services similaires, mais ChatPDF est le plus simple à utiliser parmi ceux qui ne nécessitent pas de paiement/d’inscription.

Principales caractéristiques :

  • Gratuit pour télécharger jusqu’à 3 PDF par jour, avec jusqu’à 120 pages dans chaque PDF
  • Peut être utilisé sans aucune inscription

▶️ Taskade : Outil de gestion, de planification et de prise de notes des tâches d’IA avec GPT-4 intégré (gratuit avec inscription)

Taskade est une plateforme tout-en-un de prise de notes, de gestion des tâches et de planification avec des flux de travail et des modèles d’IA intégrés. Comme NotionAI (…ou comme AppFlowy si vous souhaitez utiliser une version de Notion ‘open source’ et respectueuse de vos données …et de celles de vos clients… https://github.com/AppFlowy-IO/AppFlowy) , Taskade vous permet de créer facilement des espaces de travail, des documents et des modèles pour vos flux de travail. Contrairement à l’IA basée sur GPT-3 de Notion, Taskade intègre une IA basée sur GPT-4 qui est formée pour structurer vos documents, créer du contenu et vous aider à améliorer votre productivité.

Principales caractéristiques :

  • GPT-4 est intégré à leur plan gratuit et formé pour aider au formatage des documents, à la planification, à la création de contenu et à la réponse aux questions via une interface de chat. Son IA semble spécifiquement formée pour fonctionner de manière transparente avec vos documents et espaces de travail, et comprend les requêtes spécifiques à leur interface, comme lui demander de transformer des notes (textuelles) en une carte mentale.
  • L’une des limites d’utilisation les plus élevées des outils gratuits : le plan gratuit de Taskade comprend 1 000 requêtes mensuelles, ce qui est l’une des limites d’utilisation les plus élevées que vues pour un outil avec GPT-4 intégré.
  • Parce qu’il est intégré à un éditeur de documents doté de fonctionnalités de base de données, de planification et de chat, vous pouvez l’utiliser pour à peu près tout ce pour quoi vous utiliseriez ChatGPT, mais sans payer pour ChatGPT Premium.
  • Modèles gratuits pour vous aider à réellement intégrer l’IA dans vos flux de travail : il existe un grand nombre de modèles gratuits véritablement utiles pour les flux de travail, la gestion des tâches, la cartographie mentale, etc.
  • Par exemple, vous pouvez ajouter un projet et demander à Taskade de le cartographier et de le créer automatiquement. planifier une répartition des tâches qui composent ce livrable global.

.▶️ Plus AI for Google Slides : Diaporamas générés (et améliorés) par l’IA (gratuit avec inscription, module complémentaire pour Google Slides)

+ AI est un module complémentaire (gratuit !) de Google Slides qui vous permet de décrire le type de diaporama que vous créez, puis de le générer et de l’affiner en fonction de vos besoins exacts. Nous n’en sommes toujours pas au point où vous pouvez littéralement lui donner une seule invite et obtenir l’intégralité du produit fini, mais cela vous fait gagner beaucoup de temps en créant une structure initiale que vous pouvez ensuite perfectionner. De même, si vous avez créé des diapositives existantes, vous pouvez lui indiquer (en langage naturel) comment vous souhaitez qu’elles soient modifiées. Par exemple, lui demander de modifier la disposition du texte sur une page, d’améliorer le style d’écriture ou encore d’utiliser des sources de données externes.

Principales caractéristiques :

  • S’intègre parfaitement à Google Slides : si vous utilisez déjà Slides, utiliser Plus AI est aussi simple que d’installer le plugin. Leurs didacticiels sont faciles à suivre et ne nécessitent pas l’apprentissage d’un nouveau logiciel ou d’une nouvelle interface de diaporama comme certaines autres options.
  • Créez et modifiez des diapositives en langage naturel : De plus, l’IA vous permet de créer des diaporamas entiers, d’ajuster le texte ou de modifier les mises en page en langage naturel. Tout cela est assez intuitif et constitue le meilleur des outils de diapositives IA que j’ai essayés.

▶️ FlowGPT : Base de données d’invites et de flux de travail d’IA

FlowGPT collecte des invites et des collections d’invites pour effectuer diverses tâches, du marketing à la productivité en passant par le codage, ainsi que des éléments aléatoires que les gens trouvent intéressants. Il utilise un système de vote positif similaire à Reddit qui permet de trouver facilement des façons intéressantes d’utiliser ChatGPT. Il vous permet également de rechercher des invites si vous avez quelque chose en tête et souhaitez voir ce que les autres ont fait.


▶️ Summarize.Tech : Résumés IA des vidéos YouTube (gratuit sans inscription)

Summarize génère des résumés IA de vidéos YouTube, les condensant en notes écrites relativement courtes avec horodatages.


▶️ Claude : Alternative ChatGPT avec une limite de ~ 75 000 mots (gratuit avec inscription)

Claude n’est actuellement gratuit qu’aux États-Unis ou au Royaume-Uni. IL faut donc utiiser un VPN Ou le site Poe : https://poe.com/ pour l’utiliser. Claude se présente comme l’IA « la plus sûre ».


▶️ Phind : Moteur de recherche IA qui combine Google avec ChatGP

Comme ChatGPT, il peut comprendre des invites complexes et vous donner des réponses détaillées condensant plusieurs sources. Comme Google, il vous montre les sources les plus récentes répondant à votre question et a accès à tout sur Internet en temps réel.

Principales caractéristiques :

  • Accède à Internet pour vous obtenir des informations en temps réel par rapport à la date limite de ChatGPT pour 2021. Bien que ChatGPT soit idéal pour la génération de contenu et d’autres tâches pour lesquelles vous n’avez pas vraiment besoin d’informations en direct, il ne peut vous fournir aucune information au-delà de son point limite.
  • Fournit des sources réelles pour ses affirmations, vous aidant à approfondir des points spécifiques et à éviter les hallucinations. Phind a été le premier à combiner le meilleur des deux mondes entre Google et ChatGPT, vous donnant un accès facile aux sources réelles comme le fait Google tout en résumant les résultats pertinents comme le fait ChatGPT. C’est toujours l’un des meilleurs outil pour cela, surtout si vous avez des questions techniques.

▶️ ZeroGPT : Site internet vous proposant d’analyser si un texte ou une partie de celui-ci a, potentiellement, été généré par un logiciel d’intelligence artifielle (OpenAI).

  • Phrases surlignées : Chaque phrase écrite par l’IA est mise en évidence, avec une jauge indiquant le pourcentage d’IA dans le texte
  • Téléchargement de fichiers par lots : Téléchargez simplement plusieurs fichiers à la fois et ils seront automatiquement vérifiés dans le tableau de bord.
  • Rapport généré : Rapports .pdf générés automatiquement pour chaque détection
  • Prise en charge de toutes les langues

AUTRES OUTILS D’IA GRATUITS QUI SONT PLUS SIMPLES OU N’ONT PAS BESOIN D’UNE EXPLICATION COMPLÈTE :

▶️ Remove.bg: Remove.bg utilise une IA simple pour supprimer les arrière-plans de vos images. C’est très simple, mais c’est quelque chose que je finis par faire étonnamment souvent en éditant des images de produits, etc.
▶️ CopyAI & Jasper : les deux sont des outils d’écriture d’IA principalement conçus pour le contenu de marketing de sites Web/de blogs.
▶️ Gemini : Logiciel d’intelligence artificielle de la société Google Ltd
▶️ Consensus.app : Moteur de recherche qui utilise l’IA pour trouver des informations dans des articles de recherche.
▶️ Ordalie.tech : Site internet d’IA pour poser des questions sur le droit français – via Open AI Chat GPT
▶️ Legigpt : Site internet d’IA pour poser des questions le droit français – via Open AI Chat GPT et Legifrance.
▶️ Thegoodlegal : Site internet d’IA pour poser des questions le droit français, des fiches d’arrêts, synthétiser des documents – via Open AI Chat GPT.
▶️ Poe : Site internet permettant d’utiliser plusieurs AI, Chat GPT, Claude, Lllama3-70B…etc.
▶️ Perplexity : Moteur de recherche avec fonctionnalités d’IA, listant les sources – via Open AI.
▶️ OtterAI : Site internet permettant de résumer vos réunions en visioconférence – via Open AI Chat GPT.
▶️ SpellBook Legal : Site internet permettant d’analyser des contrats et documents légaux avec l’API de la société OpenAI.


Il existe également leurs ‘équivalents’ en logiciels open source se basant parfois sur les modèles de langage de la société Meta – Facebook LLaMA, Falcon, Mistral AI, en mode ‘auto hébergé’ sur votre ordinateur ou serveur. Cela permet d’améliorer la confidentialité de vos données et celles de vos clients… (LlaMA2, Falcon180B)


Les différents logiciels et services commerciaux utilisent les données des internautes, a minima pour permettre leur fonctionnement. Ces données, personnelles ou non, sont enregistrées sur les serveurs informatiques de ces sociétés commerciales, le plus souvent américaines. Cela peut interroger sur le respect de la confidentialité des données et on peut alors préférer utiliser un logiciel d’intelligence artificielle et des modèles de langage open source (LLM), tel que Lllama3 ou MistralAI en interne…

ChatGPT pose-t-il des problèmes de confidentialité ? (Spoiler_Alert : oui )

https://www.makeuseof.com/chatgpt-privacy-issues/

Certes, au jour ou nous écrivons ces lignes, les modèles open source ne sont pas encore aussi performants que celui du ‘leader’, GPT4-turbo (ou GPT-2 ?) de la société OpenAI et ils nécessitent souvent d’avoir un ordinateur puissant, disposant de beaucoup de mémoire RAM (minimum 16 Go).

Toutefois, ils se rapprochent de lui au fil des mois… On constate également des améliorations régulières des différents modèles de langage des IA open source disponibles sur Hugging Face qui se spécialisent dans telle ou telle fonction (le codage informatique, la rédaction de textes, la discussion …etc. ).

Ainsi, afin de tenter de garder une certaine maîtrise de ces différents logiciels d’IA qui bouleversent nos méthodes de travail et conserver la confidentialité de nos données, il nous semble important de connaitre et de savoir installer certains de logiciels et modèles de langage large (LLM) open-source.


Liste des tutoriels


Serge, un logiciel pour discuter avec des (AI) LLM open source

L’application open-source « Serge » est une interface de chat conçue avec llama.cpp pour exécuter des modèles open-sources Alpaca (Llama3). Il n’y a pas de clé API requise, le logiciel fonctionne entièrement auto-hébergé et il est régulièrement mis à jour.

Avec cette application, aucune de vos données ne sera envoyée sur les serveurs de la société OpenAI, de Microsoft ou de tout autre société commerciale. L’inconvénient est que son installation est un peu complexe.

Caractéristiques :

🌐 Interface SvelteKit
💾 Redis pour stocker l’historique et les paramètres des discussions
⚙️ FastAPI + LangChain pour l’API, encapsulant les prompt vers llama.cpp à l’aide des liaisons python


Vous pouvez télécharger cette application depuis ce dépôt sur Github : https://github.com/serge-chat/serge

Attention ! Pour fonctionner correctement (sans que vous ayez l’impression que le temps s’est subitement arrété…), Serge nécessite que votre ordinateur ou votre serveur/VPS dispose de suffisamment de mémoire RAM (minimum 16 Go recommandé pour des modèles de LLM 13B).

Si votre ordinateur ou votre serveur ne dispose que de 4 ou 8 Go de mémoire RAM, nous vous recommandons de privilégier l’installation de LibreChat.


Serge permet de faire tourner de nombreux models de langages :

  • MistralAI
  • Facebook-LLaMA3-8B
  • …etc.

Après quelques essais, les modèles fournis de base les plus efficaces (ou les moins mauvais…) pour envoyer des prompts en langue française nous semblent être ceux de Mistral et Facebook-LLaMA3Par contre, selon la taille du modèle de langage (7B, 13B…) et la mémoire RAM disponible sur l’ordinateur serveur, les performances seront plus ou moins bonnes…

Il est possible de télécharger des modèles de langages plus légers et adaptés à la langue française. C’est ce que nous allons faire après dans ce tutoriel


Etape 1 : Installez les progiciels nécessaires :

Installez les progiciels nécessaires (s’ils ne sont pas déjà installés) :

Exécutez en premier la commande suivante pour vérifier et installer les mise à jour :

sudo apt update
sudo apt upgrade

sudo apt install -y apache2 apache2-utils
sudo systemctl start apache2
sudo systemctl enable apache2
sudo iptables -I INPUT -p tcp --dport 80 -j ACCEPT 
sudo iptables -I INPUT -p tcp --dport 443 -j ACCEPT

Créez un fichier de configuration servername.conf :

sudo nano /etc/apache2/conf-available/servername.conf

Ajoutez dans le fichier /etc/apache2/conf-available/servername.conf la ligne suivante :

ServerName localhost

Enregistrez et fermez le fichier : Pour enregistrer un fichier dans l’éditeur de texte « Nano », appuyez sur les touches Ctrl + O (pour ‘Oui’) ou sur Ctrl + Y (pour ‘Yes), puis appuyez sur Entrée pour confirmer.

Pour quitter l’éditeur de texte ‘Nano’, appuyez sur les touches : Ctrl + X.

Activez ensuite ce fichier de configuration sous le serveur Apache avec la commande suivante :

sudo a2enconf servername.conf

Rechargez Apache pour que la modification prenne effet :

sudo systemctl reload apache2

sudo apt-get update
sudo apt-get install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc
echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Docker Compose est un outil qui permet de configurer facilement des applications ou des services complexe composés de divers conteneurs. Pour installer Docker Compose sur votre système Ubuntu, téléchargez la version la plus récente (à partir du site officiel) et exécutez la commande suivante:

sudo curl -L « https://github.com/docker/compose/releases/download/1.26.2/docker-compose-$(uname -s)-$(uname -m) » -o /usr/local/bin/docker-compose
sudo apt-get install docker-compose-plugin

Après avoir installé Docker Compose, donnez-lui les autorisations nécessaires pour qu’elle puisse être exécutée correctement:

sudo chmod +x /usr/local/bin/docker-compose

Une fois l ‘installation terminée, vous pouvez exécuter le service Docker sur votre système en exécutant la commande :

sudo systemctl start docker
sudo systemctl enable docker

Installez Conda /miniconda :


sudo wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

Ou si vous avez un Raspberry 4 ou 5 ou un OrangePi 5, executez la commande suivante :


sudo wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-aarch64.sh

Puis, exécutez la commande suivante :

sudo bash Miniconda3-latest-Linux-x86_64.sh

Ou si vous avez un Raspberry 4 ou 5 ou un OrangePi 5, executez la commande suivante :

sudo bash Miniconda3-latest-Linux-aarch64.sh

Installez Yarn :

sudo npm install --global yarn

Installez git :

sudo apt install git

Installez FFmpeg :

sudo apt install ffmpeg

Installez Python :

sudo apt update

sudo apt install build-essential zlib1g-dev libncurses5-dev libgdbm-dev libnss3-dev libssl-dev libreadline-dev libffi-dev libsqlite3-dev wget libbz2-dev

sudo wget https://www.python.org/ftp/python/3.11.3/Python-3.11.3.tgz
sudo tar -xf Python-3.11.3.tgz
cd Python-3.11.3
sudo ./configure --enable-optimizations
sudo make -j 12
sudo make altinstall

Si vous avez une carte graphique Nvidia Rtx, installez Cuda :

sudo su
wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda_12.4.0_550.54.14_linux.runsudo sh cuda_12.4.0_550.54.14_linux.run

sudo apt update
sudo apt-get install nodejs
sudo apt install build-essential
sudo apt install npm


1.1. Installez les autres progiciels nécessaires :

S’ils ne sont pas déjà installés, installez les logiciels Python3.

Exécutez les commandes suivantes :

#installer python3
sudo apt-get install libffi-dev libssl-dev &&
sudo apt install python3-dev &&
sudo apt-get install -y python3 python3-pip &&
sudo pip3 install docker-compose &&
sudo apt-get install docker-compose-plugin

Etape 2 : Installer le conteneur Docker « Serge » depuis Github

Exécutez la commande suivante :

sudo apt install git

Exécutez la commande suivante :

sudo docker run -d \
--name serge \
-v weights:/usr/src/app/weights \
-v datadb:/data/db/ \
-p 8008:8008 \
ghcr.io/serge-chat/serge:latest

Désormais si vous tapez l’adresse http://localhost:8008 dans la barre d’adresse du navigateur internet de votre ordinateur ou de votre serveur, vous accéderez à l’interface de Serge :

Cependant, si vous avez installé Serge sur un VP ou si vous souhaitez pouvoir accéder à ce logiciel d’intelligence artificielle depuis votre villa à l’île-Maurice… via un site internet avec une adresse ressemblant à http://serge.exemple.com ou à http://ia exemple.com, nous allons donc devoir créer un accès à ce conteneur Docker depuis un site internet en configurant un fichier ‘Virtualhost’ sur un serveur Apache.

Attention toutes les personnes qui connaîtront cette adresse web pourront accéder à votre instance de Serge. Il sera donc préférable de supprimer vos discussions après l’avoir utilisé.


Etape 3 : Créez un ficher Virtualhost pour un serveur apache (facultatif)

3.1. Créez un fichier de configuration apache

Si vous avez installé cette application sur un serveur VPS, vous ne pourrez pas vous connecter avec votre navigateur à l’adresse locale : http://localhost:8008 ou à l’adresse http://192.168.1.XX:8008 du VPS.

Il faut alors créer un accès vers cette application depuis un site internet spécifique.

Pour accéder à ce logiciel d’intelligence artificielle ‘Serge’ depuis un site internet, vous devez d’abord créer un sous-domaine : « ia.exemple.com » ou « serge.exemple .com » depuis votre compte client de votre gestionnaire de domaine en le reliant à l’adresse IP de votre serveur via un enregistrement ‘DNS A’.

Si vous ne vous vous souvenez plus comment faire, consultez de nouveau l’étape 1 de la phase 4 de notre tutoriel pour installer Juris-Tyr.

(Rappel des étapes si vous avez acheté votre nom de domaine via OVH : «Connexion à l’ Espace client d’OVH » -> Onglet « WebCloud» -> Lien « Noms de domaines » -> « exemple.com » -> Bouton « Zone DNS » -> Bouton « Créer un nouvel enregistrement » -> Bouton «  A » -> Bouton « Suivant » -> « cloud » -> compléter l’adresse IP de votre VPS « 51.xx.xxx.xx » -> « Bouton Suivant » -> « Bouton Valider »).

Une fois votre sous-domaine crée, éditez un nouveau fichier ‘ai.conf’ (ou ‘serge.conf’) dans le dossier /etc/apache2/sites-available/ avec un éditeur de texte en ligne de commande comme Nano :

sudo nano /etc/apache2/sites-available/ai.conf

Copiez et collez le texte suivant dans le fichier :
(Remplacez le texte « ai.exemple.com » par votre propre sous-domaine et nom de domaine) 

<VirtualHost *:80>
ServerName ai.exemple.com
#HTTP proxy
# ProxyPreserveHost On
ProxyRequests On
# ProxyRequests Off
ProxyRequests On
# ProxyVia On
<Proxy *>
Allow from all
</Proxy>
ProxyPass / http://127.0.0.1:8008/
ProxyPassReverse / http://127.0.0.1:8008/
<Location "/">
ProxyPass "http://127.0.0.1:8008/"
ProxyPassReverse "http://127.0.0.1:8008/"
</Location>
ErrorLog ${APACHE_LOG_DIR}/serge.error.log
RewriteRule ^/(.*)?$ http://127.0.0.1:8008/$1 [P,L]
</VirtualHost>

Enregistrez et fermez le fichier.
(Pour enregistrer un fichier dans l’éditeur de texte Nano, appuyez sur les touches ‘Ctrl+o’, puis sur ‘Entrer’ pour confirmer. Pour quitter, appuyez sur ‘Ctrl+X’).

Activez ensuite ce nouveau fichier de configuration du serveur Apache ‘hôte virtuel’ :

sudo a2ensite ai.conf

Exécutez la commande suivante pour activer les modules Apache requis :

sudo a2enmod rewrite headers env dir mime setenvif ssl proxy_http proxy rewrite

 Recharger Apache et les modules PHP :

sudo systemctl restart apache2 php8.2-fpm

Désormais vous pouvez accèder à Serge via l’adresse : http://ai.exemple.com


3.2. Activez https pour le site internet crée :

Nous souhaitons (un peu) sécuriser l’accès au site ai.example.com. Nous allons donc enregistrer un certificat TLS pour accèder à ce site internet en ‘https’.

Exécutez les commandes suivantes pour installer le client Let’s Encrypt (certbot) à partir du référentiel de logiciels par défaut.

sudo apt install certbot

Si vous utilisez le serveur Web Apache, vous devez également installer le plug-in Certbot Apache.

sudo apt install python3-certbot-apache

Exécutez ensuite la commande suivante pour obtenir un certificat TLS/SSL gratuit.

sudo certbot --apache --agree-tos --redirect --hsts --staple-ocsp --email you@example.com -d ai.example.com

Exécuter la commande suivante

sudo systemctl restart apache2

Etape 4 : Téléchargez un modèle de langage depuis l’interface de Serge

Connetez-vous avec votre navgateur à l’adresse précédemment crée : http://ai.exemple.com ou https://ai.exemple.com puis cliquez sur le bouton « DOWNLOAD MODELS » pour télécharger un modéle de langage :


Comment télécharger de nouveaux modèles de langage (llm) (facultatif) :

Des modèles de langage supplémentaires peuvent être ajoutés au volume serge_weights via la commande suivante :

sudo docker cp:docker cp ./my_weight.bin serge:/usr/src/app/weights/

Nous allons justement télécharger des modèles plus légers (et donc plus rapides).

Téléchargeons par exemple le Modèle « Marx-3B-V2-Q4_1-GGML », c’est un modèle léger et pourtant très efficace en langue anglaise.

Placez vous dans le répertoire ‘home’ du système d’exploitation ‘Ubuntu’ puis exécutez les commandes suivantes :

#revenir dans le répertoir utilisateur home de Ubuntu:
cd ~
#télécharger un modele de LLM sur huggingface:
sudo wget https://huggingface.co/NikolayKozloff/Marx-3B-V2/resolve/main/Marx-3B-V2-Q4_1-GGML.bin

Ajoutez ce modèle à Serge :

sudo docker cp ./Marx-3B-V2-Q4_1-GGML.bin serge:/usr/src/app/weights/

Créez une nouvelle discussion en sélectionnant ce nouveau modèle téléchargé.

A titre d’exemple, nous allons télécharger un modèle de langage depuis le site HuggingFace : « Vigogne »:
Ce modèle est accessible via ce lien : https://huggingface.co/TheBloke/Vigogne-2-13B-Instruct-GGML/tree/main

Exécutez à la suite les commandes suivantes :

sudo wget https://huggingface.co/TheBloke/Vigogne-2-7B-Chat-GGML/resolve/main/vigogne-2-7b-chat.ggmlv3.q5_K_M.bin
sudo wget https://huggingface.co/TheBloke/Vigogne-2-13B-Instruct-GGML/resolve/main/vigogne-2-13b-instruct.ggmlv3.q5_K_M.bin
sudo docker cp ./vigogne-2-13b-instruct.ggmlv3.q5_K_M.bin serge:/usr/src/app/weights/
sudo docker cp ./vigogne-2-7b-chat.ggmlv3.q5_K_M.bin serge:/usr/src/app/weights/

Ces nouveaux modèles de langages adaptés à la langue française apparaissent désormais dans Serge.


Etape 5 : Paramétrez le modèle de langage et démarrer une nouvelle discussion

Une fois le modèle téléchargé, cliquez sur le bouton « HOME » puis sur la petite flèche de « Model_settings » afin de paramétrer le modèle et indiquer le premier prompt ou la première requête lors du lancement.

  • Vous pouvez régler la température à 0,9 ou 1 pour avoir un modèle suffisament créatif dsans ses réponses.
  • Vous pouvez régler la longueur du texte à générer à 512
  • Vous pouvez régler Prompt_Context_Length jusqu’a 2048. Cependant, si vous n’avez pas beaucoup de mémoire sur votre serveur, éviter d’être top ambitieux avec ce réglage.
  • Enfin vous pouvez indiquer le prompt de départ pour le modèle de langage.

Enfin, cliquez sur le bouton « START_A_NEW_CHAT » et let’s go !


Comment mettre à jour Serge (facultatif) :

Pour mettre à jour Serge, vous devrez

-Soit exécuter la commande suivante :

sudo docker pull ghcr.io/serge-chat/serge:latest

Soit supprimer le conteneur docker de Serge en exécutant les commandes suivantes, avant de le réinstaller (étape 2 de ce chapitre) :

Lister les conteneurs Docker :

sudo docker ps -a

Une liste de conteneur docker apparaît avec des numéros associés. Copiez le numéro (« ID_CONTENAIR ») associé au docker ‘Serge », puis arrétez-le.

Arretez le conteneur Docker de Serge :

sudo docker stop ID_CONTENAIR

Puis supprimer le :

sudo docker rm ID_CONTENAIR

Lister les images Docker :

sudo docker images

Repérez le numéro de l’image de Serge (‘ID_IMAGE’), puis supprimer la avec la commande suivante :

sudo docker rmi ID_IMAGE

Arretez et supprimez les volumes Docker inutilisés :

sudo docker system prune -a
sudo docker volume prune -a

Puis vous réinstallerez Serge avec docker avec la commande suivante :

sudo docker run -d \
--name serge \
-v weights:/usr/src/app/weights \
-v datadb:/data/db/ \
-p 8008:8008 \
ghcr.io/serge-chat/serge:latest

Ollama – Utilisez Llama 2 et MistralAI sur son PC personnel sous Windows ou son Mac, ou sur son serveur

Ollama est un logiciel qui vous permet de discuter avec Llama 2 et d’autres modèles. Il s’agit d’un logiciel multiplateforme fonctionnant sous Linux et macOS. Ollama est un logiciel open source, publié sous la licence MIT. Son installation sur un serveur lui permet d’être accessible à toute votre équipe.

URL de l’application : https://ollama.ai


Pour installer ce logiciel sur un serveur linux , il est préférable d’avoir préalablement suivi les chapitres 1 à 3 du tutoriel d’installation de Juris-Tyr. et avoir installé préalablement docker et docker compose.

Ce logiciel nécessite un serveur ou un ordinateur personnel performant, doté de beaucoup de mémoire vive et/ou d’une bonne carte graphique Nvidia récente et performante, pour fonctionner dans de bonnes conditions (ou avoir un Mac avec un processeur M2 ou M3).

Dans le cadre d’une installation sur un serveur dédié (pour que plusieurs utilisateurs ce logiciel puissent utiliser ce logiciels en même temps) , nous pouvons vous recommander d’installer ce logiciel open source, par exemple, sur les serveurs dédiés Kimsufi de la société OVHCloud qui offrent de bonne performances à un prix raisonnable (Env. 50 € HT par mois pour un serveur dédié, certes sans carte graphique mais doté de 128 Go de mémoire vive : https://eco.ovhcloud.com/fr/?display=list&memory=128%7C512 ).


L’intérêt d’installer Ollama (ou un autre logiciel d’intelligence artificielle open source tel que SecureAI Tools par exemple), sur un serveur plutôt que sur son ordinateur personnel est de permettre à tous les collaborateurs de votre cabinet d’avocats ou de votre entreprise, d’accéder,de n’importe quel terminal, ordinateur ou téléphone, à un logiciel d’intelligence artificielle performant et en pouvant transmettre des données personnelles ou sensibles sans craindre qu’elles soient captées par la société OpenAI, Microsoft ou par d’autres sociétés commerciales.

Etape 1 : Installation de Ollama

Le créateur de ce logiciel à mis à disposition un script d’installation sur Linux et Mac.

  • Enfin, si vous utilisez linux (Ubuntu, Alpine…etc.) sur votre ordinateur ou sur votre serveur /VPS, vous pouvez exécuter cette commande pour installer Ollama :
sudo curl https://ollama.ai/install.sh | sh

Ce script va installer Ollama avec tous les progiciels nécessaires…

Lançons Ollama au démarrage :

sudo systemctl start ollama
sudo systemctl enable ollama

Pour exécuter Ollama avec la prise en charge du GPU AMD et avec Docker, utilisez cette commande :

sudo docker run -d --restart always --device /dev/kfd --device /dev/dri -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:rocm

Gestion en parallèle de plusieurs LLM’s sous Ollama :

Ollama permet désormais de gérer plusieurs LLM en même temps (Mistral, Llama3 …).

Sur Linux (Ubuntu/Debian) :

Si votre ordinateur fonctionne sous linux, éditez le service d’Ollama avec la commande suivante.

sudo systemctl edit ollama.service

Ajoutez les lignes suivantes sous la section [Service] :

[Service]Environment="OLLAMA_NUM_PARALLEL=3"Environment="OLLAMA_MAX_LOADED_MODELS=2"

Sauvegardez et quittez l’éditeur. Rechargez systemd et redémarrez Ollama avec les commandes suivantes.

sudo systemctl daemon-reload 
sudo systemctl restart ollama
Sur Windows :
  1. Quittez l’application Ollama via la barre des tâches.
  2. Accédez aux variables d’environnement système via le panneau de configuration et créez ou modifiez les variables pour votre compte utilisateur :
    Pour OLLAMA_NUM_PARALLEL, ajoutez ou modifiez la variable à 3.
    Pour OLLAMA_MAX_LOADED_MODELS, ajustez la variable à 2.
  3. Appliquez les changements et redémarrez Ollama à partir d’une nouvelle fenêtre de terminal.
Sur MacOs :
  1. Utilisez launchctl pour définir chaque variable. Par exemple, pour permettre à Ollama de gérer trois requêtes simultanément, tapez dans le terminal :
    launchctl setenv OLLAMA_NUM_PARALLEL 3
  2. Pour définir le nombre maximal de modèles chargés simultanément à 2, utilisez la commande suivante:
    launchctl setenv OLLAMA_MAX_LOADED_MODELS 2
  3. Après avoir défini les variables, redémarrez l’application Ollama.

En cas d’installation de Ollama sur un serveur | ‘Ollama Open Ui’ :

👍Si vous avez installé Ollama sur un serveur, vous pouvez ensuite procéder à l’installation de l’interface web Ollama Open UI en suivant ce tutoriel.

OllamaWebUI Tools : discutez par écrit et oralement avec le LLM open source « MistralAI » de manière sécurisée, sans transmettre de données à OpenAI


En cas d’installation de Ollama sur un PC personnel ou un Mac | Extension de navigateur ‘Page Assist’ 🆕 :

👍Si vous avez installé Ollama sur votre PC personnel (sous Windows ou Linux) ou sur votre Mac, vous pouvez installer l’extension de navigateur PageAssist (Chrome)

Le dépôt Github de cette extension est accessible à cette adresse : https://github.com/n4ze3m/page-assist

Page Assist est une extension Chrome open source qui fournit une barre latérale et une interface utilisateur Web pour votre modèle d’IA locale. Il vous permet d’interagir avec votre modèle à partir de n’importe quelle page Web.

Page Assist Demo
Fonctionnalités :
  • Barre latérale : une barre latérale qui peut être ouverte sur n’importe quelle page Web. Il vous permet d’interagir avec votre modèle et de voir les résultats.
  • Interface utilisateur Web : une interface utilisateur Web qui vous permet d’interagir avec votre modèle comme un site Web ChatGPT.
  • Discuter avec la page Web : vous pouvez discuter avec la page Web et poser des questions sur le contenu.
Installation :

Vous pouvez installer l’extension à partir du Chrome Web Store

Vous pouvez installer l’extension sur n’importe quel navigateur basé sur Chromium : Edge, Brave, Chrome…. Cela ne se limite pas à Chrome.


Si vous êtes sous Linux, pour tester le modèle Llama 3, exécutez la commande suivante dans le terminal :

sudo ollama run llama3

Ollama procède au téléchargement du modèle Llama 3.

Une fois installé, la ligne finale affiche l’invite  » > > > «  dans votre terminal de commande :

        127.0.0.1 |POST             "api/generate"
> > >  
.../...

Utilisation directe de Ollama avec le terminal

Si vous n’avez ni installé l’extension de navigateur Pageassist, ni Ollama Open UI sur un serveur, vous pouvez tester Ollama en ouvrant un Terminal ou sous Windows le logiciel ‘Invite de commande’ (‘CMD’), puis en tapant les commandes ‘ollama serve‘, puis ollama run llama3‘, puis enfin votre prompt… après les caractères  » > > >  » .

Ollama propose une méthode (relativement) simple pour expérimenter les LLM.
Vous pouvez accéder / charger une variété de modèles avec quelques commandes :

ollama pull llama3
ollama pull orca
ollama pull mistral
ollama pull mixtral

Puis, en exécutant les commandes suivantes selon le modèle de langage choisi :

sudo ollama run nous-hermes
sudo ollama runwizard-vicuna

…etc.

Appuyez simultanément sur les touches [Control] et [d] pour quitter ollama.

Si vous souhaitez que Ollama se lance à chaque démarrage de votre PC sous linux, exécutez la commande suivante :

sudo systemctl enable ollama

Personnalisation d’un modèle de langage :

Vous pouvez également personnaliser les modèles en créant votre propre modèle. La personnalisation vous permet de définir la température et le prompt initial.

Commencez par sélectionner un modèle :

ollama pull llama3

Puis créer un fichier de configuration pour le modèle :

sudo nano Modelfile

Puis complétez le fichier Modelfile avec les commandes suivantes :

FROM llama3
set the temperature to 1 [higher is more creative, lower is more coherent]
PARAMETER temperature 1
set the system prompt
SYSTEM """
You are Harvey Specter from Suits TV show. Answer as Harvey Specter, the legal assistant, only.
"""

Ensuite, créez et exécutez le modèle qui s’appellera ‘Suits’ dans l’exemple ci-après :

ollama create Suits -f ./Modelfile
ollama run Suits
>>> Hello
Hello, it's your legal assistant Harvey Specter.

Pour plus d’exemples, consultez le répertoire d’exemples. Pour plus d’informations sur la création d’un fichier de configuration de modèle, consultez la documentation Modelfile.


Lister les modèles de langages disponibles :

Pour lister les modèles, exécuter la commande suivante :

ollama list

Supprimer des modèles de langages :

Pour supprimer des modèles, exécutez la commande suivante :

ollama rm llama3

GodMode – AI Chat Browser

Le logiciel GodMode est présenté comme un navigateur de chat dédié donnant un accès instantané aux applications Web complètes de ChatGPT, Bard, Claude 2, Perplexity, Bing, Quora Poe et d’autres services d’IA, tous accessibles avec un seul raccourci clavier. Essentiellement, le logiciel vous permet simplement de discuter simultanément avec une gamme de services d’IA. En un sens, il ressemble un peu à Poe … mais en open-source….

Il n’y a vraiment pas d’installation complexe à réaliser car le projet GitHub fournit une AppImage.

AppImage est un format de logiciel universel sur Linux (et Mac) permettant de distribuer des logiciels portables sous Linux sans avoir besoin d’autorisations de superutilisateur (sudo) pour installer l’application.

AppImage n’installe pas vraiment de logiciel. Il s’agit d’une image compressée avec toutes les dépendances et bibliothèques nécessaires pour exécuter le logiciel souhaité (un peu comme un conteneur Docker).


Pour exécuter le logiciel, téléchargez la dernière version d’AppImage à cette adresse :

https://github.com/smol-ai/GodMode/releases/latest

Puis, si vous utilisez Ubuntu ou linux, rendez le fichier téléchargé exécutable, avec la commande suivante :

Si vous utilisez un micro-ordinateur Raspberry ou OrangePi, exécutez la commande suivante :

sudo chmod u+x GodMode-1.0.0-beta.8-arm64.AppImage

Si vous utilisez un processeur Intel x86, exécutez la commande suivante :

sudo chmod u+xGodMode-1.0.0-beta.8.AppImage

et lancez l’application en cliquant deux fois sur le fichier AppImage pour exécuter le logiciel GodMode.

Le code source complet est également disponible à cette adresse : https://github.com/smol-ai/GodMode

Vous aurez également besoin de renseigner les identifiants des comptes pour la majorité des services d’IA (OpenAI …etc).

GodMode offre un moyen simple d’obtenir rapidement des réponses aux questions et de vérifier les faits. Un large éventail de modèles d’IA est pris en charge, chacun avec ses propres forces et faiblesses. Par exemple, Perplexity est un excellent moyen de vérifier des informations car il génère des citations à partir de sources. Cela vous aide à évaluer l’exactitude des résultats. Claude 2 est utile pour trouver des informations générales, et ChatGPT nous est utile pour les tâches de programmation bien que le code qu’il génère nécessite beaucoup de rectifications. De nouvelles fonctionnalités et moteurs d’IA sont régulièrement ajoutés. La prise en charge initiale de oobabooga/text-generation-webui a également été ajoutée au logiciel.


GPT4ALL, un logiciel d’intelligence artificielle à installer sur son PC ou son Mac

https://user-images.githubusercontent.com/13879686/231876409-e3de1934-93bb-4b4b-9013-b491a969ebbc.gif

GPT4All , à ne pas confondre avec le LLM GPT4 de la société OpenAI, est un logiciel permettant d’utiliser des LLM open source tels que MistralAI ou Llama3 sur son PC ou son Mac, en local (accessible que depuis votre ordinateur personnel).

En résumé, GPT4All est une application installable sur Linux, Windows ou Mac Os, qui permet d’utiliser certains modèles de langages. Cette application offre des fonctionnalités similaires à Serge à la différente quelle est exécutée exclusivement sur votre ordinateur.

Il vous suffit d’installer l’application correspondante à votre système d’exploitation en cliquant sur ce lien hypertexte : https://github.com/nomic-ai/gpt4all puis de télécharger un des modèles disponibles.

Cette application nécessite d’avoir un ordinateur puissant et beaucoup de mémoire RAM (16 Go). Cependant, il s’agit d’une solution simple pour installer et utiliser en local un logiciel d’intelligence artificielle.


LM Studio, un logiciel d’intelligence artificielle à installer sur son PC sous Windows ou son Mac

Lien vers le site de LMStudio : https://lmstudio.ai/

LM Studio est un autre logiciel que GPT4all qui permet de faire fonctionner des grands modèles de langage (LLM tels que Mistral, Llama3…) sur son PC ou son Mac en local

LM Studio ne peut pas être installé sur un serveur LM Studio, c’est une application installable sur votre ordinateurpersonnel sous Linux, Windows ou Mac Os, qui permet d’utiliser certains modèles de langages. Cette application offre des fonctionnalités similaires à GPT4all … mais avec plus de fonctionnalités :

Avec LM Studio, vous pouvez…

  • 🤖 Exécutez des LLM sur votre ordinateur portable, entièrement hors ligne
  • 👾 Utilisez des modèles via l’interface utilisateur de chat intégrée à l’application ou un serveur local compatible OpenAI
  • 📂 Téléchargez tous les fichiers de modèles compatibles à partir des référentiels HuggingFace
  • 🔭 Découvrir de nouveaux LLM remarquables sur la page d’accueil de l’application

LM Studio prend en charge tous les modèles ggml Llama, MPT et StarCoder sur Hugging Face (Llama 2, Orca, Vicuna, Nous Hermes, WizardCoder, MPT, etc.) Exigences minimales : Mac M1/M2/M3 ou PC Windows avec un processeur prenant en charge AVX2. La version pour les PC sous Linux est disponible en bêta.


Il vous suffit d’installer l’application correspondante à votre système d’exploitation :

PC sous Windows

MacOs

PC sous Linux

…puis de télécharger un des modèles disponibles.

Comme pour GPT4all, cette application nécessite d’avoir un ordinateur puissant et beaucoup de mémoire RAM (16 Go). Cependant, il s’agit d’une solution simple pour installer et utiliser en local (et non sur un serveur) un logiciel d’intelligence artificielle.


Jan : une alternative open source à ChatGPT qui fonctionne 100 % hors ligne sur votre ordinateur

Jan est un logiciel alternatif open source à ChatGPT qui fonctionne 100 % hors ligne sur votre ordinateur sou s Windows, Linux ou sur votre Mac.
Le dépôt Github est accessible via cette page : https://github.com/janhq/jan?tab=readme-ov-file

Jan fonctionne sur n’importe quel matériel :

  •  Nvidia GPUs (fast)
  •  Apple M-series (fast)
  •  Apple Intel
  •  Linux Debian
  •  Windows x64

Télécharger :
Version WindowsMacOSLinux
Stable  jan.exe Intel M1/M2 jan.deb jan.AppImage
Experimental (Nightly Build) jan.exe Intel M1/M2 jan.deb jan.AppImage

Téléchargez la dernière version de Jan sur https://jan.ai/ ou consultez la page GitHub Releases pour télécharger n’importe quelle version précédente.


Demo :
Demo

Realtime Video: Jan v0.4.3-nightly on a Mac M1, 16GB Sonoma 14

Comme pour GPT4all ou LMStudio, cette application nécessite d’avoir un ordinateur puissant et beaucoup de mémoire RAM (16 Go minimum). Cependant, il s’agit d’une solution simple pour installer et utiliser en local (et non sur un serveur) un logiciel d’intelligence artificielle avec des LLm open source.


Jan – Liens hypertexte :

LibreChat

LibreChat est une application open-source qui vous permet d’utiliser plusieurs modèles et logiciels d’intelligence artificielle de sociétés commerciales (OpenAi, Bing, Anthropic…) depuis un site internet hébergé sur votre serveur.

Le dépôt logiciel de cette application est accessible via cette page : https://github.com/danny-avila/LibreChat/tree/main

Ce logiciel intègre et améliore également les fonctionnalités originales du client d’OpenAI telles que la recherche de conversations et de messages, les modèles d’invite et les plugins.

Avec LibreChat, vous n’avez plus besoin d’opter pour un abonnement ChatGPT Plus à 20$ par mois et vous pouvez plutôt utiliser des API gratuites (ou payantes à partir de 5$ par mois si vous dépassez la durée de test de 3 mois d’OpenAI par exemple).

🪟 Ce logiciel peut être installé sur un serveur tel qu’expliqué dans ce tutoriel ,ou en local, uniquement sur votre pc sous Windows en téléchargeant et exécutant le script téléchargeable sur cette page : https://github.com/fuegovic/LibreChat-Windows-Installer/releases/tag/v0.3.3


Caractéristiques :
  • Streaming de réponses identique à ChatGPT via des événements envoyés par le serveur Interface utilisateur de ChatGPT d’origine, y compris le mode sombre
  • Sélection de modèles d’IA : API OpenAI, BingAI, navigateur ChatGPT, PaLM2, Anthropic (Claude), plugins
  • Créer, enregistrer et partager des préréglages personnalisés
  • Modifier et renvoyer des messages avec branchement de conversation
  • Rechercher tous les messages/conversations
  • Plugins disponibles (y compris l’accès Web, la génération d’images et plus encore…

…/…
Nous vous recommandons de lire notre article sur nos conseils d’utilisation des logiciels d’intelligence artificielle par les avocats si vous utilisez régulièrement des applications d’intelligence artificielle ou des sites internet de sociétés commerciales telles que OpenAi, Claude, Google/Bard…
En effet, même en utilisant ChatGPT ou GPT4 via une API, la société OpenAI (et les autres sociétés) collectent toutes vos données !

Mise à jour importante : La société OpenAI a annoncé en mars 2023 que les données soumises par l’intermédiaire de l’API n’étaient plus utilisées pour former et améliorer les modèles d’OpenAI.

Si vous utilisez ChatGPT 3.5 ou GPT-4 via l’API d’OpenAI et l’application opensource « Librechat », vos données ne devraient pas, en principe, être utilisées par la société OPENAI (…par contre elles lui seront forcément transmises pour permettre le fonctionnement du logiciel…).
https://www.zdnet.fr/actualites/openai-une-api-chatgpt-pour-les-developpeurs-39954902.htm

« La confiance n’exlcue pas le contrôle » (Staline). La difficulté étant que dans le cas de la société OpenAI et des modèles GPT4 très performants, il n’y a actuellement concrêtement aucun moyen de contrôler que cette socciété n’utilise pas ou plus vos données pour former et améliorer les modèles.

Enfin, la Société OpenAI, comme toutes les sociétés américaines, est soumise au Foreign Intelligence Act (En résumé, les administrations américaines peuvent obtenir toutes les données des clients des sociétés américaines, que ces clients soient de nationalité américaine ou étrangère, du moment que les serveurs informatiques, même installés dans un pays étranger tel que la France, l’Espagne… appartiennent à une société américaine…).


Installez les progiciels nécessaires (s’ils ne sont pas déjà installés) :

Exécutez en premier la commande suivante pour vérifier et installer les mise à jour :

sudo apt update
sudo apt upgrade
sudo apt install -y apache2 apache2-utils
sudo systemctl start apache2
sudo systemctl enable apache2
sudo iptables -I INPUT -p tcp --dport 80 -j ACCEPT 
sudo iptables -I INPUT -p tcp --dport 443 -j ACCEPT

Créez un fichier de configuration servername.conf :

sudo nano /etc/apache2/conf-available/servername.conf

Ajoutez dans le fichier /etc/apache2/conf-available/servername.conf la ligne suivante :

ServerName localhost

Enregistrez et fermez le fichier : Pour enregistrer un fichier dans l’éditeur de texte « Nano », appuyez sur les touches Ctrl + O (pour ‘Oui’) ou sur Ctrl + Y (pour ‘Yes), puis appuyez sur Entrée pour confirmer.

Pour quitter l’éditeur de texte ‘Nano’, appuyez sur les touches : Ctrl + X.

Activez ensuite ce fichier de configuration sous le serveur Apache avec la commande suivante :

sudo a2enconf servername.conf

Rechargez Apache pour que la modification prenne effet :

sudo systemctl reload apache2

sudo apt-get update
sudo apt-get install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc
echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Docker Compose est un outil qui permet de configurer facilement des applications ou des services complexe composés de divers conteneurs. Pour installer Docker Compose sur votre système Ubuntu, téléchargez la version la plus récente (à partir du site officiel) et exécutez la commande suivante:

sudo curl -L « https://github.com/docker/compose/releases/download/1.26.2/docker-compose-$(uname -s)-$(uname -m) » -o /usr/local/bin/docker-compose

Après avoir installé Docker Compose, donnez-lui les autorisations nécessaires pour qu’elle puisse être exécutée correctement:

sudo chmod +x /usr/local/bin/docker-compose

Une fois l ‘installation terminée, vous pouvez exécuter le service Docker sur votre système en exécutant la commande :

sudo systemctl start docker
sudo systemctl enable docker

Installez Conda /miniconda :


sudo wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

Ou si vous avez un Raspberry 4 ou 5 ou un OrangePi 5, executez la commande suivante :


sudo wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-aarch64.sh

Puis, exécutez la commande suivante :

sudo bash Miniconda3-latest-Linux-x86_64.sh

Ou si vous avez un Raspberry 4 ou 5 ou un OrangePi 5, executez la commande suivante :

sudo bash Miniconda3-latest-Linux-aarch64.sh

Installez Yarn :

sudo npm install --global yarn

Installez git :

sudo apt install git

Installez FFmpeg :

sudo apt install ffmpeg

Installez Python :

sudo apt update

sudo apt install build-essential zlib1g-dev libncurses5-dev libgdbm-dev libnss3-dev libssl-dev libreadline-dev libffi-dev libsqlite3-dev wget libbz2-dev

sudo wget https://www.python.org/ftp/python/3.11.3/Python-3.11.3.tgz
sudo tar -xf Python-3.11.3.tgz
cd Python-3.11.3
sudo ./configure --enable-optimizations
sudo make -j 12
sudo make altinstall

Si vous avez une carte graphique Nvidia Rtx, installez Cuda :

sudo su
wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda_12.4.0_550.54.14_linux.runsudo sh cuda_12.4.0_550.54.14_linux.run

sudo apt update
sudo apt-get install nodejs
sudo apt install npm


Etape 1 : Connectez-vous sur le site de la société OpenAI pour créer une clé API

Premièrement, vous allez vous connecter sur le site de la société OpenAI, le cas échéant en souscrivant un nouveau compte, afin de créer une clé d’API.

Les étapes sont les suivantes :


Etape 2 : Créez une clé API sur le site internet d’OpenAI

  • 1 – Cliquez sur le bouton « +_Create_new_secret_key« 
  • 2 – Définissez un nom pour votre clé d’API, par exemple « LibreChat »
  • 3 – Cliquez sur le bouton « Create_secret_key« 

Etape 3 : Copiez / enregistrez votre clé API

1 – Cliquez sur le bouton « Copier » pour copier la clée d’API. La clé commence par les lettres « sk » suivies d’un tiret puis d’une suite de caractères.

  • 2 – Cliquez sur le bouton ‘Done’
  • 3 – Collez / Enregistrez la clé dans un fichier texte ou dans votre gestionnaire de mot de passe.

Etape 4 : Installez LibreChat

Lancez un terminal Putty et connectez-vous en ssh à votre serveur, ou votre VPS, puis exécutez les commandes suivantes.

sudo ufw 3080,7700,27017,27018/tcp
cd /var/www/html/ && sudo git clone https://github.com/danny-avila/LibreChat.git
cd LibreChat  && sudo cp .env.example .env

Editez le fichier de configuration :

sudo nano .env

Rechercher la ligne « OPENAI_API_KEY=user_provided » dans ce fichier .env, puis collez votre clé d’API précédemment crée à la place de « user_provided »

Sortie (exemple) :

OPENAI_API_KEY=sk-524154fssfd25454fsgd122454

Enregistrez puis fermer le fichier .env en appuyant simultanément sur les touches [Control] et [x] de votre clavier, puis sur la touche [o] ou [y], puis sur la touche [Enter].

Exécuter la commande suivante :

sudo docker compose up

…Patientez, l’installation de LibreChat prend du temps…

Une fois l’installation terminée vous pouvez vous connecter à LibreChat en tapant dans le navigateur de votre serveur l’adresse : http://locatlhost:3080.

Cependant nous allons créer un site internet pour pouvoir y accéder de n’importe où.

De plus, si vous avez installé LibreChat sur un VPS vous ne pourrez pas accédez à cette adresse IP locale : http://locatlhost:3080. ou à l’adresse locale de l’ordinateur : http://192.168.0.XX:3080.

Il faut donc créer une page web dédiée pour accèder à cette application.


Etape 5 : Créez un fichier Virtualhost pour le serveur Apache

5.1. Créez un nom de domaine : librechat.exemple.com

Pour accéder à LibreChat depuis un site internet, vous devez d’abord créer un sous-domaine : par exemple « librechat.exemple.com » ou « chat.exemple .com » depuis votre compte client de votre gestionnaire de nom de domaine en le reliant à l’adresse IP de votre serveur via un enregistrement ‘DNS A’.

Si vous ne vous vous souvenez plus comment faire, consultez de nouveau l’étape 1 de la phase 4 de notre tutoriel pour installer Juris-Tyr.

(Rappel des étapes si vous avez acheté votre nom de domaine via OVH : «Connexion à l’ Espace client d’OVH » -> Onglet « WebCloud» -> Lien « Noms de domaines » -> « exemple.com » -> Bouton « Zone DNS » -> Bouton « Créer un nouvel enregistrement » -> Bouton «  A » -> Bouton « Suivant » -> « cloud » -> compléter l’adresse IP de votre VPS ou de votre serveur « 51.xx.xxx.xx » -> « Bouton Suivant » -> « Bouton Valider »).


5.2. Créez un fichier de configuration apache :

Une fois votre sous-domaine crée, éditez un nouveau fichier ‘ai.conf’ ou ‘librechat.conf’ dans le dossier /etc/apache2/sites-available/ avec un éditeur de texte en ligne de commande comme Nano :

sudo nano /etc/apache2/sites-available/librechat.conf

Copiez et collez le texte suivant dans le fichier :
(Remplacez le texte « librechat.exemple.com » par votre propre sous-domaine et nom de domaine) 

<VirtualHost *:80>
ServerName librechat.exemple.com
#HTTP proxy
ProxyPreserveHost On
ProxyRequests On
<Proxy *>
Allow from all
</Proxy>
ProxyPass / http://127.0.0.1:3080/
ProxyPassReverse / http://127.0.0.1:3080/
RewriteRule ^/(.*)?$ http://localhost:3080/$1 [P,L]
ProxyPass / http://127.0.0.1:7700/
ProxyPassReverse / http://127.0.0.1:7700/
ProxyPass / http://127.0.0.1:27017/
ProxyPassReverse / http://127.0.0.1:27017/
ProxyPass / http://127.0.0.1:27018/
ProxyPassReverse / http://127.0.0.1:27018/
#Header always unset X-Frame-Options
#RequestHeader set "X-Forwarded-Proto" expr=%{REQUEST_SCHEME}
#RequestHeader set "X-Forwarded-SSL" expr=%{HTTPS}
</VirtualHost>

Enregistrez et fermez le fichier.
(Pour enregistrer un fichier dans l’éditeur de texte Nano, appuyez sur les touches ‘Ctrl+o’, puis sur ‘Entrer’ pour confirmer. Pour quitter, appuyez sur ‘Ctrl+X’).

Activez ensuite ce nouveau fichier de configuration du serveur Apache ‘hôte virtuel’ :

sudo a2ensite librechat.conf

Exécutez la commande suivante pour activer les modules Apache requis :

sudo a2enmod rewrite headers env dir mime setenvif ssl proxy_http proxy rewrite

 Recharger Apache et les modules PHP :

sudo systemctl restart apache2 php8.2-fpm

Désormais vous pouvez accèder à LibreChat en tapant l’adresse suivante dans votre navigateur : https://librechat.exemple.com


5.3. Activez un accès via ‘https’ pour le site internet permettant d’utiliser l’application LibreChat (facultatif) :

Nous allons activer une connexion en ‘https’ vers le site internet nouvellement créé

Exécutez les commandes suivantes pour installer le client Let’s Encrypt (certbot) à partir du référentiel de logiciels par défaut.

sudo apt install certbot

Si vous utilisez le serveur Web Apache, vous devez également installer le plug-in Certbot Apache.

sudo apt install python3-certbot-apache

Exécutez ensuite la commande suivante pour obtenir un certificat TLS/SSL gratuit.

sudo certbot --apache --agree-tos --redirect --hsts --staple-ocsp --email you@example.com -d librechat.example.com

Enfin, exécuter la commande suivante pour redémarrer le serveur Apache

sudo systemctl restart apache2

Etape 6 : Utilisez LibreChat

Connectez-vous au site : https://librechat.exemple.com

Après avoir crée un nouveau compte, l’interface de LibreChat vous permet :

  • 1 – D’activer ou non des plugins (Recherche sur internet, analyse de site web, …) ;
  • 2 – De sélectionner le modèle de langage entre GPT-3.5-turbo ou GPT4 (OU Claude ou Bard si vous disposez d’une Clé API, à renseigner dans le fichier .env comme nous l’avonds fait pour la clé API d’OpenAI) ;
  • 3 – D’envoyer vos prompts.

Pourquoi privilégier l’installation d’une application telle que LibreChat plutôt que d’utiliser le site internet de la société OpenIA ?

Il est plus intéressant sur le plan économique d’utiliser une application telle que LibreChat car le coût de l’utilisation d’une clé API est souvent moins important que celui de l’abonnement à GPT4 à environ 20$ par mois…
En effet, le coût mininal mensuel d’une clé API d’OpenAI est seulement de 5$ … par mois, or ce montant de 5$ est en général suffisant pour une utilisation ‘normale’ de ChatGPT ou de GPT4.
En résumé, vous économisez 15$ par mois sur votre utilisation de ChatGPT Plus ou GPT4 avec cette solution.
…/…

ttps://platform.openai.com/account/usage


Par contre, nous préconisons les mêmes recommandations concernant l’anonymisation des données personnelles lorsque vous utilisez LibreChat ou le site internet de la société OpenAI : https://chat.openai.com/ .


Web Whisper + | Logiciel de reconnaissance vocale en ligne

.
« Whishper » ou « Web Whisper + » est un logiciel open-source à installer sur un serveur ou sur un ordinateur sous linux qui vous permet d’enregistrer et transcrire l’audio directement depuis votre navigateur.

En résumé, il s’agit d’un logiciel de reconnaissance vocale, accessible depuis n’importe quel ordinateur ou smartphone connecté à internet.

Le dépot Github (logiciel) initial est accessible via cette URL : https://codeberg.org/pluja/web-whisper-plus
et pour le nouveau dépot logiciel, à cette URL : https://whishper.net/guides/install/

Cependant, nous allons utiliser le dépot logiciel initial car il permet d’utiliser le micro de l’ordinateur pour effectuer la reconnaissance vocale. Le nouveau dépot ne permet a priori ‘que’ de transcrire de l’audio à partir d’un lien (Youtube par exemple) ou d’un fichier.

Ce logiciel se base sur le progiciel Whisper de la société OpenAI mais vos données ne sont pas envoyées sur les serveur de la société OpenAI puisque le logiciel en lui-même, les données vocales, ainsi que les modèles audio utilisés (small, large…) sont uniquement enregistrés sur votre serveur.

Il faut noter que l’API de reconnaissance automatique de la parole (speech-to-text) de Google est également très populaire et efficace avec une traduction quasi instantanée. Cette API est capable de transcrire des fichiers audio et vidéo dans 125 langues, et elle propose des modèles d’IA spécifiques pour la transcription d’appels téléphoniques, la transcription médicale, …etc.

Mais le modèle d’IA sur site de Google continuera à envoyer des données à Google afin de rendre compte de l’utilisation de l’API, ce qui peut poser problème du point de vue de la confidentialité.

Pour les entreprises de téléprospection : au dela de la reconnaissance vocale individuelle, si vous avez besoin de transcrire de nombreux fichiers audio, la tarification de Google est essentiellement de 0,006 $ / 15 secondes pour la conversion de la parole en texte de base, et de 0,009 $ / 15 secondes pour des cas d’utilisation spécifiques comme la transcription vidéo ou la transcription téléphonique. Supposons que vous souhaitiez analyser automatiquement les appels téléphoniques passés à votre équipe d’assistance (afin d’effectuer ultérieurement une analyse des sentiments ou une extraction d’entités sur ces appels, par exemple…). Si vous avez 5 agents d’assistance qui passent 4 heures par jour au téléphone avec les clients, l’API de synthèse vocale de Google vous coûtera 1 400 dollars par mois.

Si vous êtes préoccupé par les coûts (si vous êtes une entreprise de téléprospection) ou la confidentialité de vos données vocales, vous pouvez opter pour une alternative open-source : OpenAI Whisper.

Un avantage de Whisper est que vous pouvez le déployer vous-même sur vos propres serveurs, ce qui est préférable du point de vue de la confidentialité de vos données.


Un autre avantage de cette application est que vous n’êtes pas limité en temps de parole, contrairement à l’application intégrée ‘Whisper’ dans Nextcloud qui est limité à un temps de parole de 2 minutes.

Par exemple, cela vous permet d’envisager le scénario suivant pour gagner du temps avec vos rendez-vous clients :

  • Etape 1 – Vous recevez votre client dans votre bureau pour un entretien ou vous réaliser l’entretien en visioconférence. Vous l’informez que ce rendez-vous sera enregistré afin de vous permettre de reprendre les points importants, de dégager les problématiques et étapes pour lui soumettre le cas échéant un convention d’honoraire ou un devis.
  • Etape 2 – Vous cliquez sur le bouton Record de l’application Web whisper plus.
  • Etape 3 – L’entretien est enregistré par avec l’application Web whisper plus.
  • Etape 4 – Une fois l’entretien terminé, vous transcrivez celui-ci avec l’application Web whisper plus, puis vous copiez les sous-titres crées par cette application en cliquant sur le bouton ‘Download’.
  • Etape 5 – Puis vous coller le texte des sous-titres dans l’application d’intelligence artificielle LibreChat ou Serge en lui demandant de résumer l’entretien, de dégager les problématiques, les solutions et opérations ou tâches proposées.
  • Etape 6 – Ensuite, vous utilisez l’application OP-Vault AI. Vous téléversez vos modèles de devis ou de convention d’honoraires. Puis vous demandez ou intégrer le nom et les coordonnées du client ainsi que la problématique généré dans la convention d’honoraires. Ensuite vous modifiez le document.
  • Etape 7 – Vous demandez à LibreChat ou à Serge de rédiger un e-mail d’envoi de la proposition de convention ou de devis au client..
  • Etape 8 – Vous envoyez la proposition de convention ou de devis au client par -email.

Caractéristiques:

  • Enregistrez et transcrivez l’audio directement depuis votre navigateur.
  • Exécutez-le à 100 % localement ou vous pouvez utiliser l’API OpenAI Whisper.
  • Possibilité de basculer entre le mode API et le mode LOCAL.
  • Téléchargez n’importe quel fichier multimédia (vidéo, audio) dans n’importe quel format et transcrivez-le.
  • Possibilité de couper l’audio à X secondes avant la transcription.
  • Option pour désactiver les téléchargements de fichiers.
  • Entrez une URL de vidéo pour la transcrire en texte (utilise yt-dlp pour obtenir la vidéo).
  • Sélectionnez la langue audio d’entrée.
  • Détection automatique de la langue audio d’entrée.
  • Option permettant d’accélérer l’audio de 2x pour des résultats plus rapides (cela a un impact négatif sur la précision).
  • Traduire la transcription audio d’entrée en anglais.
  • Téléchargez le fichier de sous-titres .srt généré à partir de l’audio.
  • Option pour activer l’historique des transcriptions.
  • Choisissez le modèle Whisper que vous souhaitez utiliser (tiny, base, small, large…)
  • Configurez le nombre de threads et de processeurs à utiliser. Docker compose pour un auto-hébergement facile
  • Respect de la confidentialité (lorsqu’il est exécuté localement) : Tout se passe localement.
  • Aucun tiers impliqué.
  • Possibilité de supprimer tous les fichiers immédiatement après le traitement.
  • Option de conserver les fichiers pour une utilisation/téléchargement ultérieur.
  • Utilise la version C++ de Whisper.cpp.
  • Vous n’avez pas besoin de carte graphique sur votre serveur (GPU), utilise le CPU.
  • Pas besoin d’installations complexes.
  • Interface utilisateur légère et conviviale.

Pour installer ce logiciel, il est préférable d’avoir préalablement suivi les chapitres 1 à 3 du tutoriel d’installation de Juris-Tyr.

Etape 1 : Installez les progiciels nécessaires :

Installez les progiciels nécessaires (s’ils ne sont pas déjà installés) :

Exécutez en premier la commande suivante pour vérifier et installer les mise à jour :

sudo apt update
sudo apt upgrade
sudo apt install -y apache2 apache2-utils
sudo systemctl start apache2
sudo systemctl enable apache2
sudo iptables -I INPUT -p tcp --dport 80 -j ACCEPT && sudo iptables -I INPUT -p tcp --dport 443 -j ACCEPT

Créez un fichier de configuration servername.conf :

sudo nano /etc/apache2/conf-available/servername.conf

Ajoutez dans le fichier /etc/apache2/conf-available/servername.conf la ligne suivante :

ServerName localhost

Enregistrez et fermez le fichier : Pour enregistrer un fichier dans l’éditeur de texte « Nano », appuyez sur les touches Ctrl + O (pour ‘Oui’) ou sur Ctrl + Y (pour ‘Yes), puis appuyez sur Entrée pour confirmer.

Pour quitter l’éditeur de texte ‘Nano’, appuyez sur les touches : Ctrl + X.

Activez ensuite ce fichier de configuration sous le serveur Apache avec la commande suivante :

sudo a2enconf servername.conf

Rechargez Apache pour que la modification prenne effet :

sudo systemctl reload apache2

sudo apt-get update
sudo apt-get install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc
echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Docker Compose est un outil qui permet de configurer facilement des applications ou des services complexe composés de divers conteneurs. Pour installer Docker Compose sur votre système Ubuntu, téléchargez la version la plus récente (à partir du site officiel) et exécutez la commande suivante:

sudo curl -L « https://github.com/docker/compose/releases/download/1.26.2/docker-compose-$(uname -s)-$(uname -m) » -o /usr/local/bin/docker-compose

Après avoir installé Docker Compose, donnez-lui les autorisations nécessaires pour qu’elle puisse être exécutée correctement:

sudo chmod +x /usr/local/bin/docker-compose

Une fois l ‘installation terminée, vous pouvez exécuter le service Docker sur votre système en exécutant la commande :

sudo systemctl start docker
sudo systemctl enable docker

Installez Conda /miniconda :

sudo wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

Ou si vous avez un Raspberry 4 ou 5 ou un OrangePi 5, executez la commande suivante :

sudo wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-aarch64.sh

Puis, exécutez la commande suivante :

sudo bash Miniconda3-latest-Linux-x86_64.sh

Ou si vous avez un Raspberry 4 ou 5 ou un OrangePi 5, executez la commande suivante :

sudo bash Miniconda3-latest-Linux-aarch64.sh

Installez Yarn :

sudo npm install --global yarn

Installez git :

sudo apt install git

Installez FFmpeg :

sudo apt install ffmpeg

Installez Python :

sudo apt update
sudo apt install build-essential zlib1g-dev libncurses5-dev libgdbm-dev libnss3-dev libssl-dev libreadline-dev libffi-dev libsqlite3-dev wget libbz2-dev
sudo wget https://www.python.org/ftp/python/3.11.3/Python-3.11.3.tgz
sudo tar -xf Python-3.11.3.tgz
cd Python-3.11.3
sudo ./configure --enable-optimizations
sudo make -j 12
sudo make altinstall

Si vous avez une carte graphique Nvidia Rtx, installez Cuda :

sudo su
wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda_12.4.0_550.54.14_linux.runsudo sh cuda_12.4.0_550.54.14_linux.run

sudo apt update
sudo apt-get install nodejs
sudo apt install npm


Etape 2 : Installez le conteneur Docker Web Whisper +

2.1. Installation de Web Whisper +

Si le progiciel git n’est pas déjà installé, exécutez la commande suivante :

sudo apt install git

Pour installer Web Whisper +, puis pour se placer dans le dossier d’installation, exécutez les commandes suivantes :

sudo ufw allow 8899,5173,3306,8000,5000,3000/tcp
sudo ufw reload
sudo mkdir /var/www/html/ai/ && cd /var/www/html/ai/
sudo git clone https://codeberg.org/pluja/whishper.git
cd whishper
sudo cp example.env .env

2.2. Configuration particulière de Web Whisper + (facultatif) :

Les langues installées, de base, sont l’anglais, le français et l’espagnol.
Cependant, il est possible de configurer d’autres langues en exécutant les commandes suivantes (facultatif) :

Editez le fichier .env selon la configuration souhaitée.

sudo nano .env
WHISPER_MODELS : liste de modèles à télécharger séparés par des virgules. Les modèles disponibles sont tiny.en, tiny, small.en, small, base.en, base, medium.en, medium, large-v1, large-v2. 

LT_LOAD_ONLY : Liste de deux codes lettres des langues à charger pour la traduction. Si vous souhaitez charger toutes les langues, laissez-le vide. Si vous souhaitez charger uniquement certaines langues, séparez-les par une virgule. Exemple : en,fr,de. 
- Liste des langues disponibles ici 
- Si vous chargez toutes les langues, la première fois que vous exécuterez l'application, le téléchargement de tous les modèles prendra un certain temps. Il est recommandé de charger uniquement les langues dont vous avez besoin.
 
DB_BACKEND : la valeur par défaut est mysql, qui s'attend à ce que le service de base de données du docker-compose.yml par défaut soit là (vous devez avoir installé les progiciels de base de données MariaDB ou MySQL). Vous pouvez également le définir sur sqlite, mais cela ne fonctionnera pas pour les appareils ARM (Raspberry ou Orange Pi) car il nécessite des progiciels particuliers complémentaires (CGO).

Enregistrez (touches ‘Control’ et ‘o’) et fermez le fichier (touches ‘Control’ et ‘x’)


2.3. Installez Web Whisper + avec une commande Docker :

A défaut de configuration particulière du fichier .env, une fois dans le dossier d’installation, exécutez la commande suivante :

sudo docker compose up --build -d

Attendez un peu pour l’installation. Le premier lancement peut nécessiter un peu d’attente. Tout d’abord, il faut construire les conteneurs. Une fois ceux-ci démarrés, les modèles de traduction et de chuchotement doivent être téléchargés. Attendez simplement environ 7 minutes pour que tout soit prêt ! (selon votre machine, cela pourrait être plus…).

Une fois que l’installation via Docker est terminée, exécutez les commandes suivantes :

sudo chown www-data:www-data -R /var/www/html/ai/whishper
sudo chmod 755 -R  /var/www/html/ai/whishper

Une fois installé, si vous tapez l’adresse http://localhost:8899 dans la barre d’adresse du navigateur internet de votre ordinateur serveur, vous accéderez à l’interface de Web Whisper + :

Cependant, nous voulons pouvoir accéder à notre logiciel de reconnaissance vocale depuis notre (nouvelle) villa à Malte… (ou car nous avons installé cette application sur un VPS…), via un site internet; avec une adresse ressemblant à https://vocal.exemple.com par exemple.

Nous allons donc devoir créer un accès à ce conteneur Docker depuis un site internet en configurant un fichier Virtualhost sur un serveur Apache. Attention toutes les personnes qui connaîtront cette adresse web pourront accéder à votre instance. Il sera donc préférable de supprimer vos enregistrements après l’avoir utilisé.


Etape 3 : Créez un ficher Virtualhost pour un serveur apache :

3.1. Créez un fichier de configuration apache

Si vous avez installé cette application sur un serveur VPS, vous ne pourrez pas vous connecter avec votre navigateur à l’adresse locale : http://localhost:8899 ou à l’adresse http://192.168.1.XX:8899 du VPS.

Il faut alors créer un accès vers cette application depuis un nom de domaine ou site internet.

Pour accéder à ce logiciel de reconnaissance vocale depuis un site internet, vous devez d’abord créer un sous-domaine : « vocal.exemple.com » depuis votre compte client de votre gestionnaire de domaine en le reliant à l’adresse IP de votre serveur via un enregistrement ‘DNS A’.

Si vous ne vous vous souvenez plus comment faire, consultez de nouveau l’étape 1 de la phase 4 de notre tutoriel pour installer Juris-Tyr.

(Rappel des étapes si vous avez acheté votre nom de domaine via OVH : «Connexion à l’ Espace client d’OVH » -> Onglet « WebCloud» -> Lien « Noms de domaines » -> « exemple.com » -> Bouton « Zone DNS » -> Bouton « Créer un nouvel enregistrement » -> Bouton «  A » -> Bouton « Suivant » -> « cloud » -> compléter l’adresse IP de votre VPS ou de votre serveur « 51.xx.xxx.xx » -> « Bouton Suivant » -> « Bouton Valider »).

Une fois votre sous-domaine crée, éditez un nouveau fichier ‘vocal.conf’ dans le dossier /etc/apache2/sites-available/ avec un éditeur de texte en ligne de commande comme Nano :

sudo nano /etc/apache2/sites-available/vocal.conf

Copiez et collez le texte suivant dans le fichier ;
(Remplacez le texte « vocal.exemple.com » par votre propre sous-domaine et nom de domaine) 

<VirtualHost *:80>
ServerName vocal.exemple.com

###HTTP proxy Enable/Disable SSL for this virtual host.
SSLEngine On
# Activate SSL for proxy
SSLProxyEngine On

# Disable certificate verification in communication between host and container
SSLProxyVerify none
SSLProxyCheckPeerCN off
SSLProxyCheckPeerName off
SSLProxyCheckPeerExpire off

## SSLHonorCipherOrder On
## SSLCipherSuite ECDH+AESGCM:DH+AESGCM:ECDH+AES256:DH+AES256:ECDH+AES128:DH+>

# SSLProxyEngine On
# Defines that The host will pass the Host: line from the incoming request to
# the container instead of the hostname specified in the ProxyPass line.

<Location "/var/www/html/ai/whishper">
Allow from all
</Location>
ProxyPreserveHost On
## ProxyRequests Off
ProxyPass / http://127.0.0.1:8899/
ProxyPassReverse / http://127.0.0.1:8899/
RewriteRule ^/(.*)?$ http://localhost:8899/$1 [P,L]
<Proxy *>
Allow from all
</Proxy>
</VirtualHost>

Enregistrez et fermez le fichier. vocal.conf
(Pour enregistrer un fichier dans l’éditeur de texte Nano, appuyez sur les touches ‘Ctrl+o’, puis sur ‘Entrer’ pour confirmer. Pour quitter, appuyez sur ‘Ctrl+X’).

Activez ensuite ce nouveau fichier de configuration du serveur Apache ‘hôte virtuel’ :

sudo a2ensite vocal.conf

Exécutez la commande suivante pour activer les modules Apache requis :

sudo a2enmod rewrite headers env dir mime setenvif ssl proxy_http proxy rewrite

 Recharger Apache et les modules PHP :

sudo systemctl restart apache2 php8.2-fpm

Désormais vous pouvez accéder à Web Whiper + via l’adresse : http://vocal.exemple.com

3.2. Activez https pour le site internet crée (facultatif) :

Nous souhaitons (un peu) sécuriser l’accès au site vocal.example.com. Nous allons donc enregistrer un certificat TLS pour accéder à ce site internet en ‘https’.

Exécutez les commandes suivantes pour installer le client Let’s Encrypt (certbot) à partir du référentiel de logiciels par défaut.

sudo apt install certbot

Si vous utilisez le serveur Web Apache, vous devez également installer le plug-in Certbot Apache.

sudo apt install python3-certbot-apache

Exécutez ensuite la commande suivante pour obtenir un certificat TLS/SSL gratuit.

sudo certbot --apache --agree-tos --redirect --hsts --staple-ocsp --email you@example.com -d vocal.example.com

Exécuter la commande suivante

sudo systemctl restart apache2

Vous pouvez desormais accéder à Web Whisper + en tapant l’adresse : https://vocal.exemple.com dans votre navigateur internet.


Etape 4 : Comment utiliser Web Whisper + (facultatif)

Connectez vous à l’adresse : https://vocal.exemple.com

Pour effectuer une reconnaissance vocale avec un audio enregistré directement depuis votre microphone, paramétrez l’interface de Web Whisper + de la manière suivante :

  • 1 – Cliquez sur le bouton radio ‘Record’
  • 2 – Paramétrez le modèle sur « small »
  • 3 – Cliquez sur le bouton ‘Record’, dictez votre texte puis cliquez sur ‘Stop’
  • 4 – Cliquez sur le bouton ‘Transcribe’
    • Attendez… et une fois l’audio traité,
  • 5 – Cliquez sur le bouton de téléchargement ou d’édition des sous-titres pour récupérer votre texte

Félicitations, vous pouvez désormais utiliser un logiciel de reconnaissance vocale efficace dans le cadre de votre métier.


Whisper Web

« Whisper Web » est un autre logiciel de reconnaissance vocale en ligne open source, similaire à « Web Whisper + ».

« Whisper Web » semble plus rapide que « Web Whisper + ».

Consultez le site de démonstration de Whisper Web ici.

Le dépôt logiciel est accessible via ce lien : https://github.com/xenova/whisper-web


Installez les progiciels nécessaires (s’ils ne sont pas déjà installés) :

Exécutez en premier la commande suivante pour vérifier et installer les mise à jour :

sudo apt update
sudo apt upgrade
sudo apt install -y apache2 apache2-utils
sudo systemctl start apache2
sudo systemctl enable apache2
sudo iptables -I INPUT -p tcp --dport 80 -j ACCEPT && sudo iptables -I INPUT -p tcp --dport 443 -j ACCEPT

Créez un fichier de configuration servername.conf :

sudo nano /etc/apache2/conf-available/servername.conf

Ajoutez dans le fichier /etc/apache2/conf-available/servername.conf la ligne suivante :

ServerName localhost

Enregistrez et fermez le fichier : Pour enregistrer un fichier dans l’éditeur de texte « Nano », appuyez sur les touches Ctrl + O (pour ‘Oui’) ou sur Ctrl + Y (pour ‘Yes), puis appuyez sur Entrée pour confirmer.

Pour quitter l’éditeur de texte ‘Nano’, appuyez sur les touches : Ctrl + X.

Activez ensuite ce fichier de configuration sous le serveur Apache avec la commande suivante :

sudo a2enconf servername.conf

Rechargez Apache pour que la modification prenne effet :

sudo systemctl reload apache2

sudo apt-get update
sudo apt-get install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc
echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Docker Compose est un outil qui permet de configurer facilement des applications ou des services complexe composés de divers conteneurs. Pour installer Docker Compose sur votre système Ubuntu, téléchargez la version la plus récente (à partir du site officiel) et exécutez la commande suivante:

sudo curl -L « https://github.com/docker/compose/releases/download/1.26.2/docker-compose-$(uname -s)-$(uname -m) » -o /usr/local/bin/docker-compose

Après avoir installé Docker Compose, donnez-lui les autorisations nécessaires pour qu’elle puisse être exécutée correctement:

sudo chmod +x /usr/local/bin/docker-compose

Une fois l ‘installation terminée, vous pouvez exécuter le service Docker sur votre système en exécutant la commande :

sudo systemctl start docker
sudo systemctl enable docker

Installez Conda /miniconda :

sudo wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

Ou si vous avez un Raspberry 4 ou 5 ou un OrangePi 5, executez la commande suivante :

sudo wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-aarch64.sh

Puis, exécutez la commande suivante :

sudo bash Miniconda3-latest-Linux-x86_64.sh

Ou si vous avez un Raspberry 4 ou 5 ou un OrangePi 5, executez la commande suivante :

sudo bash Miniconda3-latest-Linux-aarch64.sh

Installez Yarn :

sudo npm install --global yarn

Installez git :

sudo apt install git

Installez FFmpeg :

sudo apt install ffmpeg

Installez Python :

sudo apt update
sudo apt install build-essential zlib1g-dev libncurses5-dev libgdbm-dev libnss3-dev libssl-dev libreadline-dev libffi-dev libsqlite3-dev wget libbz2-dev
sudo wget https://www.python.org/ftp/python/3.11.3/Python-3.11.3.tgz
sudo tar -xf Python-3.11.3.tgz
cd Python-3.11.3
sudo ./configure --enable-optimizations
sudo make -j 12
sudo make altinstall

Si vous avez une carte graphique Nvidia Rtx, installez Cuda :

sudo su
wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda_12.4.0_550.54.14_linux.runsudo sh cuda_12.4.0_550.54.14_linux.run

sudo apt update
sudo apt-get install nodejs
sudo apt install npm


Etape 1 : Installation de Whisper Web

Clonez le dépôt et installez les dépendances :

sudo su 
cd /var/www/html/
git clone https://github.com/xenova/whisper-web.git && cd whisper-web 
npm install 
sudo chown www-data:www-data -R /var/www/html/whisper-web
sudo chmod 775 -R /var/www/html/whisper-web

Exécutez la commande suivante pour lancer le logiciel :

npm run dev 

Les utilisateurs du navigateur internet Firefox (2,50 % d’utilisateurs warriors dans le monde) doivent modifier le réglage dom.workers.modules.enabled sur true dans about:config pour activer Whisper Web dans Firefox.

Ouvrez le lien : http://localhost:5173/ dans votre navigateur pour accéder à Whisper Web … sauf si vous avez installé ce logiciel sur un VPS ou un serveur….


Etape 2 : Créez un ficher Virtualhost pour un serveur apache :

2.1. Créez un fichier de configuration apache

Il faut créer un accès vers cette application depuis un nom de domaine ou un site internet pour y accéder si celui-ci est installé sur une VPS ou un ordinateur serveur.

Pour accéder à ce logiciel depuis un site internet, vous devez d’abord créer un sous-domaine : « whisperweb.exemple.com » depuis votre compte client de votre gestionnaire de domaine en le reliant à l’adresse IP de votre serveur via un enregistrement ‘DNS A’.

Si vous ne vous vous souvenez plus comment faire, consultez de nouveau l’étape 1 de la phase 4 de notre tutoriel pour installer Juris-Tyr.

(Rappel des étapes si vous avez acheté votre nom de domaine via OVH : «Connexion à l’ Espace client d’OVH » -> Onglet « WebCloud» -> Lien « Noms de domaines » -> « exemple.com » -> Bouton « Zone DNS » -> Bouton « Créer un nouvel enregistrement » -> Bouton «  A » -> Bouton « Suivant » -> « cloud » -> compléter l’adresse IP de votre VPS ou de votre serveur « 51.xx.xxx.xx » -> « Bouton Suivant » -> « Bouton Valider »).

Une fois votre sous-domaine crée, éditez un nouveau fichier whisperweb.conf’ dans le dossier /etc/apache2/sites-available/ avec un éditeur de texte en ligne de commande comme Nano :

sudo nano /etc/apache2/sites-available/whisperweb.conf

Copiez et collez le texte suivant dans le fichier ;
(Remplacez le texte « whisperweb.exemple.com » par votre propre sous-domaine et nom de domaine) 

<VirtualHost *:80>
ServerName whisperweb.exemple.com
ProxyPreserveHost On
ProxyVia On
ProxyPass / http://127.0.0.1:5173/
ProxyPassReverse / http://127.0.0.1:5173/
<Proxy *>
Allow from all
</Proxy>
<Location "/">
ProxyPass "http://127.0.0.1:5173/"
ProxyPassReverse "http://127.0.0.1:5173/"
Allow from all
</Location>
<Location "/var/www/html/whisper-web">
Allow from all
</Location>
ErrorLog ${APACHE_LOG_DIR}/whisperweb.com.error.log
CustomLog ${APACHE_LOG_DIR}/whisperweb.access.log combined
</VirtualHost>

Enregistrez et fermez le fichier. whisperweb.conf
(Pour enregistrer un fichier dans l’éditeur de texte Nano, appuyez sur les touches ‘Ctrl+o’, puis sur ‘Entrer’ pour confirmer. Pour quitter, appuyez sur ‘Ctrl+X’).

Activez ensuite ce nouveau fichier de configuration du serveur Apache ‘hôte virtuel’ :

sudo a2ensite whisperweb.conf

Exécutez la commande suivante pour activer les modules Apache requis :

sudo a2enmod rewrite headers env dir mime setenvif ssl proxy_http proxy rewrite

 Recharger Apache et les modules PHP :

sudo systemctl restart apache2 

Désormais vous pouvez accéder à Whisper Web via l’adresse : http://whisperweb.exemple.com

2.2. Activez https pour le site internet crée (facultatif) :

Nous souhaitons (un peu) sécuriser l’accès au site internet whisperweb.example.com. Nous allons donc enregistrer un certificat TLS pour accéder à ce site internet en ‘https’.

Exécutez les commandes suivantes pour installer le client Let’s Encrypt (certbot) à partir du référentiel de logiciels par défaut.

sudo apt install certbot

Si vous utilisez le serveur Web Apache, vous devez également installer le plug-in Certbot Apache.

sudo apt install python3-certbot-apache

Exécutez ensuite la commande suivante pour obtenir un certificat TLS/SSL gratuit.

sudo certbot --apache --agree-tos --redirect --hsts --staple-ocsp --email you@example.com -d whisperweb.example.com

Exécuter la commande suivante

sudo systemctl restart apache2

Vous pouvez désormais accéder à Whisper Web en tapant l’adresse : https://whisperweb.exemple.com dans votre navigateur internet


Faisons en sorte que ce logiciel se lance à chaque démarage du serveur, avec une tâche planifiée ‘cron’.

Exécutez la commande suivante :

sudo crontab -e

SI une invite vous demande quel éditeur de texte choisir, choisissez ‘nano’ (touche ‘1’).

Une fois ouvert, ajoutez à la fin du fichier la ligne suivante :

@reboot cd /var/www/html/whisper-web && npm run dev

Fermez et enregistrez ce fichier (touches [Control] + [o] puis [Control] + [x] )

Whisper web se lancera à chaque démarage du serveur ou de l’ordinateur.


Utilisation de Whisper Web :

Taper l’adresse https://whisperweb.exemple.com ou l’adresse http://localhost:5173 dans votre navigateur internet, puis suivez ces étapes :

Voila !


Whisper WEB UI

Whisper Web UI est un autre logiciel de reconnaissance vocale en ligne open source, similaire à « Web Whisper + » à la différence qu’il permet de traduire les fichiers audio dans une autre langue, de transcrire des vidéos Youtube et permet de découper les fichiers audio.

Consultez la version de démonstration ici: :https://vocal.netsisu.com

Le dépôt logiciel est accessible via ce lien : https://github.com/jhj0517/Whisper-WebUI


Etape 1 : Installation de Whisper WEBUI

Installez les progiciels nécessaires (s’ils ne sont pas déjà installés) :

Exécutez en premier la commande suivante pour vérifier et installer les mise à jour :

sudo apt update
sudo apt upgrade
sudo apt install -y apache2 apache2-utils
sudo systemctl start apache2
sudo systemctl enable apache2
sudo iptables -I INPUT -p tcp --dport 80 -j ACCEPT && sudo iptables -I INPUT -p tcp --dport 443 -j ACCEPT

Créez un fichier de configuration servername.conf :

sudo nano /etc/apache2/conf-available/servername.conf

Ajoutez dans le fichier /etc/apache2/conf-available/servername.conf la ligne suivante :

ServerName localhost

Enregistrez et fermez le fichier : Pour enregistrer un fichier dans l’éditeur de texte « Nano », appuyez sur les touches Ctrl + O (pour ‘Oui’) ou sur Ctrl + Y (pour ‘Yes), puis appuyez sur Entrée pour confirmer.

Pour quitter l’éditeur de texte ‘Nano’, appuyez sur les touches : Ctrl + X.

Activez ensuite ce fichier de configuration sous le serveur Apache avec la commande suivante :

sudo a2enconf servername.conf

Rechargez Apache pour que la modification prenne effet :

sudo systemctl reload apache2

sudo apt-get update
sudo apt-get install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc
echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Docker Compose est un outil qui permet de configurer facilement des applications ou des services complexe composés de divers conteneurs. Pour installer Docker Compose sur votre système Ubuntu, téléchargez la version la plus récente (à partir du site officiel) et exécutez la commande suivante:

sudo curl -L « https://github.com/docker/compose/releases/download/1.26.2/docker-compose-$(uname -s)-$(uname -m) » -o /usr/local/bin/docker-compose

Après avoir installé Docker Compose, donnez-lui les autorisations nécessaires pour qu’elle puisse être exécutée correctement:

sudo chmod +x /usr/local/bin/docker-compose

Une fois l ‘installation terminée, vous pouvez exécuter le service Docker sur votre système en exécutant la commande :

sudo systemctl start docker
sudo systemctl enable docker

Installez Conda /miniconda :

sudo wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

Ou si vous avez un Raspberry 4 ou 5 ou un OrangePi 5, executez la commande suivante :

sudo wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-aarch64.sh

Puis, exécutez la commande suivante :

sudo bash Miniconda3-latest-Linux-x86_64.sh

Ou si vous avez un Raspberry 4 ou 5 ou un OrangePi 5, executez la commande suivante :

sudo bash Miniconda3-latest-Linux-aarch64.sh

Installez Yarn :

sudo npm install --global yarn

Installez git :

sudo apt install git

Installez FFmpeg :

sudo apt install ffmpeg

Installez Python :

sudo apt update
sudo apt install build-essential zlib1g-dev libncurses5-dev libgdbm-dev libnss3-dev libssl-dev libreadline-dev libffi-dev libsqlite3-dev wget libbz2-dev
sudo wget https://www.python.org/ftp/python/3.11.3/Python-3.11.3.tgz
sudo tar -xf Python-3.11.3.tgz
cd Python-3.11.3
sudo ./configure --enable-optimizations
sudo make -j 12
sudo make altinstall

Si vous avez une carte graphique Nvidia Rtx, installez Cuda :

sudo su
wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda_12.4.0_550.54.14_linux.runsudo sh cuda_12.4.0_550.54.14_linux.run

sudo apt update
sudo apt-get install nodejs
sudo apt install npm


Installez Whisper UI :

Installez Whisper UI avec les commandes suivantes:

cd /var/www/html/
sudo git clone https://github.com/jhj0517/Whisper-WebUI.git
cd Whisper-WebUI
sudo docker build -t whisper-webui:latest . 

Exécutez la commande suivante si vous avez une carte graphique Nvidia :

sudo docker run --gpus all -d \
-v /path/to/models:/Whisper-WebUI/models \
-v /path/to/outputs:/Whisper-WebUI/outputs \
-p 7860:7860 \
-it \
whisper-webui:latest --server_name 0.0.0.0 --server_port 7860

Exécutez la commande suivante si vous n’avez pas de carte graphique Nvidia :

sudo docker run -d \
-v /path/to/models:/Whisper-WebUI/models \
-v /path/to/outputs:/Whisper-WebUI/outputs \
-p 7860:7860 \
-it \
whisper-webui:latest --server_name 0.0.0.0 --server_port 7860

Vérifiez les autorisations d’accès web vers le dossier:

sudo chown www-data:www-data -R /var/www/html/Whisper-WebUI
sudo chmod 775 -R /var/www/html/Whisper-WebUI

Ouvrez le lien : http://localhost:7860/ dans votre navigateur internet pour accéder à Whisper UI… sauf si vous avez installé ce logiciel sur un VPS ou un serveur….


Etape 2 : Créez un ficher Virtualhost pour un serveur apache :

2.1. Créez un fichier de configuration apache

Il faut créer un accès vers cette application depuis un nom de domaine ou un site internet pour y accéder si celui-ci est installé sur une VPS ou un ordinateur serveur.

Pour accéder à ce logiciel depuis un site internet, vous devez d’abord créer un sous-domaine : « whisperui.exemple.com » depuis votre compte client de votre gestionnaire de domaine en le reliant à l’adresse IP de votre serveur via un enregistrement ‘DNS A’.

Si vous ne vous vous souvenez plus comment faire, consultez de nouveau l’étape 1 de la phase 4 de notre tutoriel pour installer Juris-Tyr.

(Rappel des étapes si vous avez acheté votre nom de domaine via OVH : «Connexion à l’ Espace client d’OVH » -> Onglet « WebCloud» -> Lien « Noms de domaines » -> « exemple.com » -> Bouton « Zone DNS » -> Bouton « Créer un nouvel enregistrement » -> Bouton «  A » -> Bouton « Suivant » -> « cloud » -> compléter l’adresse IP de votre VPS ou de votre serveur « 51.xx.xxx.xx » -> « Bouton Suivant » -> « Bouton Valider »).

Une fois votre sous-domaine crée, éditez un nouveau fichier ‘whisperui.conf’ dans le dossier /etc/apache2/sites-available/ avec un éditeur de texte en ligne de commande comme Nano :

sudo nano /etc/apache2/sites-available/whisperui.conf

Copiez et collez le texte suivant dans le fichier ;
(Remplacez le texte « whisperui.exemple.com » par votre propre sous-domaine et nom de domaine) 

<VirtualHost *:80>
ServerName whisperui.exemple.com
ProxyPreserveHost On
ProxyVia On
ProxyPass / http://127.0.0.1:7860/
ProxyPassReverse / http://127.0.0.1:7860/
<Proxy *>
Allow from all
</Proxy>
<Location "/">
ProxyPass "http://127.0.0.1:7860/"
ProxyPassReverse "http://127.0.0.1:7860/"
Allow from all
</Location>
<Location "/var/www/html/Whisper-WebUI">
Allow from all
</Location>
ErrorLog ${APACHE_LOG_DIR}/whisperui.error.log
CustomLog ${APACHE_LOG_DIR}/whisperui.access.log combined
</VirtualHost>

Enregistrez et fermez le fichier. whisperui.conf
(Pour enregistrer un fichier dans l’éditeur de texte Nano, appuyez sur les touches ‘Ctrl+o’, puis sur ‘Entrer’ pour confirmer. Pour quitter, appuyez sur ‘Ctrl+X’).

Activez ensuite ce nouveau fichier de configuration du serveur Apache ‘hôte virtuel’ :

sudo a2ensite whispeui.conf

Exécutez la commande suivante pour activer les modules Apache requis :

sudo a2enmod rewrite headers env dir mime setenvif ssl proxy_http proxy rewrite

 Recharger Apache et les modules PHP :

sudo systemctl restart apache2 

Désormais vous pouvez accéder à Whisper Web via l’adresse : http://whisperui.exemple.com

2.2. Activez https pour le site internet crée (facultatif) :

Nous souhaitons (un peu) sécuriser l’accès au site internet whisperweb.example.com. Nous allons donc enregistrer un certificat TLS pour accéder à ce site internet en ‘https’.

Exécutez les commandes suivantes pour installer le client Let’s Encrypt (certbot) à partir du référentiel de logiciels par défaut.

sudo apt install certbot

Si vous utilisez le serveur Web Apache, vous devez également installer le plug-in Certbot Apache.

sudo apt install python3-certbot-apache

Exécutez ensuite la commande suivante pour obtenir un certificat TLS/SSL gratuit.

sudo certbot --apache --agree-tos --redirect --hsts --staple-ocsp --email you@example.com -d whisperui.example.com

Exécuter la commande suivante

sudo systemctl restart apache2

Vous pouvez désormais accéder à Whisper Web en tapant l’adresse : https://whisperui.exemple.com dans votre navigateur.


VRAM Usages :

Ce projet est intégré à faster-whisper par défaut pour une meilleure utilisation de la VRAM et une meilleure vitesse de transcription.

Selon faster-whisper, l’efficacité du modèle Whisper optimisé est la suivante :

ImplementationPrécisionTaille du faisceauDuréeMax. GPU memoryMax. CPU memory
openai/whisperfp1654m30s11325MB9439MB
faster-whisperfp16554s4755MB3244MB

Modèles disponibles :

Il s’agit du tableau d’utilisation VRAM original de Whisper pour les modèles.

TailleParamètresEnglish-only modelModèle multilingueVRAM requiseVitesse
tiny39 Mtiny.entiny~1 GB~32x
base74 Mbase.enbase~1 GB~16x
small244 Msmall.ensmall~2 GB~6x
medium769 Mmedium.enmedium~5 GB~2x
large1550 MN/Alarge~10 GB1x

Les modèles .en sont uniquement disponibles en anglais, et ce qui est cool, c’est que vous pouvez utiliser l’option Traduire en anglais à partir des « grands » modèles !


File transcription
Youtube transcription
Microphone transcription
T2T translation

Web-speech-synthesis-and-recognition, un logiciel pour convertir la parole en texte et vice versa en quelques secondes

Le nom de ce logiciel n’est pas très concis mais il permet d’expliquer sa principale fonctionnalité de manière plutôt efficace… Avec l’application open source « Web-speech-synthesis-and-recognition« , convertissez la parole en texte et vice versa en quelques secondes.

Le dépot logiciel de ce logiciel est accessible via ce lien : https://github.com/AyushShahh/web-speech-synthesis-and-recognition

Visitez le site internet de démonstration de l’éditeur pour le tester : https://speechtotextt.netlify.app

demo.gif

Etape 1 : Installation de Web-speech-synthesis-and-recognition

Executez les commandes suivantes :

sudo apt install git
sudo mkdir /var/www/html/ai/ && cd /var/www/html/ai/
sudo git clone https://github.com/AyushShahh/web-speech-synthesis-and-recognition.git && cd web-speech-synthesis-and-recognition
sudo chown www-data-www-data -R /var/www/html/ai/web-speech-synthesis-and-recognition
sudo chmod 775 -R /var/www/html/ai/web-speech-synthesis-and-recognition

Etape 2 : Créez un ficher Virtualhost pour un serveur apache :

2.1. Créez un fichier de configuration apache

Il faut créer un accès vers cette application depuis un nom de domaine ou site internet si celle-ci a été installée sur un VPS ou un ordinateur serveur.

Pour accéder à ce logiciel depuis un site internet, vous devez d’abord créer un sous-domaine : « speech.exemple.com » depuis votre compte client de votre gestionnaire de domaine en le reliant à l’adresse IP de votre serveur via un enregistrement ‘DNS A’.

Si vous ne vous vous souvenez plus comment faire, consultez de nouveau l’étape 1 de la phase 4 de notre tutoriel pour installer Juris-Tyr.

(Rappel des étapes si vous avez acheté votre nom de domaine via OVH : «Connexion à l’ Espace client d’OVH » -> Onglet « WebCloud» -> Lien « Noms de domaines » -> « exemple.com » -> Bouton « Zone DNS » -> Bouton « Créer un nouvel enregistrement » -> Bouton «  A » -> Bouton « Suivant » -> « cloud » -> compléter l’adresse IP de votre VPS ou de votre serveur « 51.xx.xxx.xx » -> « Bouton Suivant » -> « Bouton Valider »).

Une fois votre sous-domaine crée, éditez un nouveau fichier ‘speech.conf’ dans le dossier /etc/apache2/sites-available/ avec un éditeur de texte en ligne de commande comme Nano :

sudo nano /etc/apache2/sites-available/speech.conf

Copiez et collez le texte suivant dans le fichier ;
(Remplacez le texte « speech.exemple.com » par votre propre sous-domaine et nom de domaine) 

<VirtualHost *:80>
ServerName speech.exemple.com
DocumentRoot "/var/www/html/ai/web-speech-synthesis-and-recognition"
ErrorLog ${APACHE_LOG_DIR}/speech.error
CustomLog ${APACHE_LOG_DIR}/speech.access combined
<Directory /var/www/html/ai/web-speech-synthesis-and-recognition>
AllowOverride All
<IfModule mod_dav.c>
Dav off
</IfModule>
</Directory>
</VirtualHost>

Enregistrez et fermez le fichier. speech.conf
(Pour enregistrer un fichier dans l’éditeur de texte Nano, appuyez sur les touches ‘Ctrl+o’, puis sur ‘Entrer’ pour confirmer. Pour quitter, appuyez sur ‘Ctrl+X’).

Activez ensuite ce nouveau fichier de configuration du serveur Apache ‘hôte virtuel’ :

sudo a2ensite speech.conf

Exécutez la commande suivante pour activer les modules Apache requis :

sudo a2enmod rewrite headers env dir mime setenvif ssl proxy_http proxy rewrite

 Recharger Apache et les modules PHP :

sudo systemctl restart apache2 php8.2-fpm

Désormais vous pouvez accéder à Web-speech-synthesis-and-recognition via l’adresse : http://speech.exemple.com

2.2. Activez https pour le site internet crée (facultatif) :

Nous souhaitons (un peu) sécuriser l’accès au site internet speech.example.com. Nous allons donc enregistrer un certificat TLS pour accéder à ce site internet en ‘https’.

Exécutez les commandes suivantes pour installer le client Let’s Encrypt (certbot) à partir du référentiel de logiciels par défaut.

sudo apt install certbot

Si vous utilisez le serveur Web Apache, vous devez également installer le plug-in Certbot Apache.

sudo apt install python3-certbot-apache

Exécutez ensuite la commande suivante pour obtenir un certificat TLS/SSL gratuit.

sudo certbot --apache --agree-tos --redirect --hsts --staple-ocsp --email you@example.com -d speech.example.com

Exécuter la commande suivante

sudo systemctl restart apache2

Vous pouvez désormais accéder à Web-speech-synthesis-and-recognition en tapant l’adresse : https://speech.exemple.com dans votre navigateur internet.


Etape 3 : Comment utiliser Web-speech-synthesis-and-recognition ?

Vos paroles en texte :

  • Sélectionnez une langue pour la conversion
  • Cliquez sur le bouton ‘Speak’
  • Autoriser le navigateur à accéder à votre microphone
  • Parlez….

Votre texte en paroles :

  • Sélectionnez la voix pour la synthèse vocale
  • Tapez tout ce que vous souhaitez convertir en parole, ou collez votre texte dans le cadre d’édition
  • Appuyez sur le bouton ‘Speak’ et augmenter le volume de votre appareil

API utilisée :

API vocale Web Javascript : MDN DocumentationW3C Documentation

Navigateurs internet pris en charge :

Cette API est native des navigateurs Chrome.

License

Ce projet est sous licence MIT. Consultez la  LICENSE pour plus de détails.


OP Vault

L’application open source « OP Vault » utilise la pile de logiciels dénommée « OP Stack » (OpenAI + Pinecone Vector Database) pour permettre aux utilisateurs de télécharger leurs propres fichiers de base de connaissances personnalisés (fichiers PDF, .docx…) et de poser des questions sur leur contenu avec les API et LLM de la société OpenAI (ChatGPT).

OP Vault est un projet open source qui vous permet de discuter avec vos documents PDF (.pdf) mais également vos fichiers .docx, .txt, rtf, .epub….etc. Cette application n’est pas limitée par le type de fichier.

Le dépôt logiciel de cette application est accessible via cette page : https://github.com/pashpashpash/vault-ai/tree/master


🌟 Caractéristiques
  • 🤖 Posez des questions sur vos documents PDF, Word, texte…
  • 📝 Résumer des documents
  • 🖍️ Affichez la source
  • 📤 Téléchargez des documents .pdf, .docx, .rtf, .txt, .epub
  • 💾 Données enregistrées localement (* les fichiers PDF sont enregistrés localement mais le logiciel envoi tout de même des données brutes du fichiers à la société OpenAI via leur API pour leur traitement par le logiciel d’intelligence artificelle GPT4 ou GPT3.5)…/…

Nous vous recommandons de lire notre article sur nos conseils d’utilisation des logiciels d’intelligence artificielle par les avocats si vous utilisez régulièrement des applications d’intelligence artificielle ou des sites internet de sociétés commerciales telles que OpenAi, Claude, Google/Bard…

En effet, même en utilisant ChatGPT ou GPT4 via une API, la société OpenAI (et les autres sociétés) collectent toutes vos données !

Mise à jour importante : La société OpenAI a annoncé en mars 2023 que les données soumises par l’intermédiaire de l’API n’étaient plus utilisées pour former et améliorer les modèles d’OpenAI.

Si vous utilisez ChatGPT 3.5 ou GPT-4 via l’API d’OpenAI et l’application open source « LibreChat », vos données ne devraient pas, en principe, être utilisées par la société OPENAI (…par contre elles lui seront forcément transmises pour permettre le fonctionnement du logiciel…).
https://www.zdnet.fr/actualites/openai-une-api-chatgpt-pour-les-developpeurs-39954902.htm

« La confiance n’exclut pas le contrôle » (Staline). La difficulté est que dans le cas de la société OpenAI ou Microsoft, et de ses modèles GPT4 très performants, il n’y a actuellement et concrètement aucun moyen de contrôler que cette société n’utilise effectivement pas ou plus vos données pour former et améliorer les modèles ou pour transmettre ces données à des courtiers en données personnelles (publicité, ciblage…etc).

Enfin, la société OpenAI, comme toutes les sociétés américaines, est soumise au « Foreign Intelligence Act » (En résumé, les administrations américaines peuvent obtenir toutes les données des clients des sociétés américaines, que ces clients soient de nationalité américaine ou étrangère, du moment que les serveurs informatiques, même installés dans un pays étranger tel que la France, l’Espagne… appartiennent à une société américaine…).


Pour installer ce logiciel, il est préférable d’avoir préalablement suivi les chapitres 1 à 3 du tutoriel d’installation de Juris-Tyr.


Etape 1 : Connectez-vous sur le site de la société OpenAI pour créer une clé API

Premièrement, vous allez vous connecter sur le site de la société OpenAI, le cas échéant en souscrivant un nouveau compte, afin de créer une clé d’API.
…/…
Les étapes sont les suivantes :


Etape 2 : Créez une clé API sur le site internet d’OpenAI

1 – Cliquez sur le bouton « +_Create_new_secret_key« 

  • 2 – Définissez un nom pour votre clé d’API, par exemple « LibreChat »
  • 3 – Cliquez sur le bouton « Create_secret_key« 

Etape 3 : Copiez / enregistrez votre clé API

  • 1 – Cliquez sur le bouton « Copier » pour copier la clée d’API. La clé commence par les lettres « sk » suivies d’un tiret puis d’une suite de caractères.
  • 2 – Cliquez sur le bouton ‘Done’
  • 3 – Collez / Enregistrez la clé dans un fichier texte ou dans votre gestionnaire de mot de passe.

Etape 4 : Créez un compte sur le site web Pinecode.io

Connectez vous à l’adresse : https://app.pinecone.io

Créez un nouveau compte via votre compte Google par exemple ou votre compte Github.

Une fois votre compte créé et que vous êtes connecté au site Pinecone :
cliquez sur l’onglet ‘Indexes’,
puis sur le bouton ‘+ Create Index’,
indiquez un nom d’index (« test » par exemple),
puis notez / copiez l’URL affichée :

Lors de la configuration de votre index, si cela vous est demandé , utilisez une taille de vecteur « vector size » de 1536 et conservez tous les paramètres par défaut proposés.

Si vous êtes en France ou au Canada, l’adresse URL à copier devrait ressembler à :

https://test-XXXXXXXXXXXX.svc.northamerica-northeast1-gcp.pinecone.io

Puis créez une clé d’API :
cliquer sur l’onglet ‘API Keys’
puis sur le bouton ‘+ Create API Key’ :

– Notez / copiez la valeur de l’API Key nouvellement crée..


Etape 5 : Installez OP Vault

Lancez un terminal Putty et connectez-vous en ssh à votre serveur, ou votre VPS, puis exécutez les commandes suivantes.

sudo apt-get install -y poppler-utils
curl -sL https://deb.nodesource.com/setup_10.x | sudo bash -
sudo apt install nodejs
sudo curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.35.3/install.sh | bash
sudo nvm install node
nvm alias default 10.16.0
sudo apt install build-essential
sudo apt-get install golang
cd /var/www/html/
sudo git clone https://github.com/pashpashpash/vault-ai.git
cd vault-ai


Créez un fichier nommé « openai_api_key » dans le dossier « secret » :

sudo nano secret/openai_api_key

Copiez / collez la clé d’API de la société OPENAI dans ce fichier effectuez un clic droit pour coller un texte avec le logiciel ‘nano’).

Enregistrez et fermez ce fichier (appuyez sur les touches [Control] et [x], puis sur la touche [o] ou [y] puis la touche [Enter].

Créez un fichier nommé « pinecone_api_key » dans le dossier « secret » :

sudo nano secret/pinecone_api_key

Copiez / collez la clé d’API de la société Pinecone dans ce fichier (effectuez un clic droit pour coller un texte avec le logiciel ‘nano’).

Enregistrez et fermez ce fichier (appuyez sur les touches [Control] et [x], puis sur la touche [o] ou [y] puis la touche [Enter].

Créez un fichier pinecone_api_endpoint dans le dossier « secret » :

sudo nano secret/pinecone_api_endpoint

Copiez / collez l’URL de la société Pinecone dans ce fichier effectuez un clic droit pour coller un texte avec le logiciel ‘nano’).
(Il s’agit de l’adresse URL ressemblant à : https://test-XXXXXXXXXXXX.svc.northamerica-northeast1-gcp.pinecone.io)

Enregistrez et fermez ce fichier (appuyez sur les touches [Control] et [x], puis sur la touche [o] ou [y] puis la touche [Enter].

Exécutez les commandes suivantes :

sudo npm install
sudo npm start

Ouvrez un nouveau terminal ou exécutez de nouveau le logiciel ‘Putty’ et connectez vous (de nouveau) à votre serveur ou VPS

Exécutez les commandes suivantes :

sudo npm run dev

Vous pouvez fermez les terminaux.

Une fois l’installation terminée vous pouvez vous connecter à OP Vault en tapant dans la barre de votre navigateur : http://locatlhost:8100.

Cependant nous allons créer un site internet pour pouvoir y accéder de n’importe où.


Etape 6 : Accédez à OP Vault depuis un site internet hébergé sur votre serveur ou votre VPS

6.1. Créez un nom de domaine : opvault.exemple.com ou chatdoc.exemple.com

Si vous avez installé cette application sur un serveur VPS, vous ne pourrez pas vous connecter avec votre navigateur à l’adresse locale : http://localhost:8100 ou à l’adresse http://192.168.1.XX:8100 du VPS.

Il faut alors créer un accès vers cette application depuis un site internet.

Pour accéder à l’application OP Vault depuis un site internet, vous devez d’abord créer un sous-domaine : par exemple « chatdoc.exemple.com » ou « opvault.exemple .com » depuis votre compte client de votre gestionnaire de nom de domaine en le reliant à l’adresse IP de votre serveur via un enregistrement ‘DNS A’.

Si vous ne vous vous souvenez plus comment faire, consultez de nouveau l’étape 1 de la phase 4 de notre tutoriel pour installer Juris-Tyr.

(Rappel des étapes si vous avez acheté votre nom de domaine via OVH : «Connexion à l’ Espace client d’OVH » -> Onglet « WebCloud» -> Lien « Noms de domaines » -> « exemple.com » -> Bouton « Zone DNS » -> Bouton « Créer un nouvel enregistrement » -> Bouton «  A » -> Bouton « Suivant » -> « cloud » -> compléter l’adresse IP de votre VPS ou de votre serveur « 51.xx.xxx.xx » -> « Bouton Suivant » -> « Bouton Valider »).


6.2. Créez un fichier Virtualhost pour le serveur Apache

Une fois votre sous-domaine crée, éditez un nouveau fichier ‘chatdoc.conf’ ou ‘opvault.conf’ dans le dossier /etc/apache2/sites-available/ avec un éditeur de texte en ligne de commande comme Nano :

sudo nano /etc/apache2/sites-available/chatdoc.conf

Copiez et collez le texte suivant dans le fichier ;
(Remplacez le texte « chatdoc.exemple.com » par votre propre sous-domaine et nom de domaine) 

<VirtualHost  *:80>
ServerName  chatdoc.exemple.com
ProxyPreserveHost On
ProxyVia On
ProxyPass / http://127.0.0.1:8100/
ProxyPassReverse / http://127.0.0.1:8100/
  <Proxy  *>
    Allow from all
  </Proxy>
<Location "/">
  ProxyPass "http://127.0.0.1:8100/"
  ProxyPassReverse "http://127.0.0.1:8100/"
    Allow from all
</Location>
ErrorLog ${APACHE_LOG_DIR}/opvault.exemple.com.error.log
CustomLog ${APACHE_LOG_DIR}/opvault.exemple.com.access.log combined
</VirtualHost>

Enregistrez et fermez le fichier.
(Pour enregistrer un fichier dans l’éditeur de texte Nano, appuyez sur les touches ‘Ctrl+o’, puis sur ‘Entrer’ pour confirmer. Pour quitter, appuyez sur ‘Ctrl+X’).

Activez ensuite ce nouveau fichier de configuration du serveur Apache ‘hôte virtuel’ :

sudo a2ensite chatdoc.conf

Exécutez la commande suivante pour activer les modules Apache requis :

sudo a2enmod rewrite headers env dir mime setenvif ssl proxy_http proxy rewrite

 Recharger Apache et les modules PHP :

sudo systemctl restart apache2

Désormais vous pouvez accèder à OP Vault en tapant l’adresse suivante dans votre navigateur : https://chatdoc.exemple.com


6.3. Activez un accès via ‘https’ pour le site internet permettant d’utiliser l’application OP Vault :

Ouvrez un nouveau terminal ou exécutez de nouveau le logiciel ‘Putty’ et connectez vous (de nouveau) à votre serveur ou VPS
Nous allons activer une connexion en ‘https’ vers le site internet nouvellement créé

Exécutez les commandes suivantes pour installer le client Let’s Encrypt (certbot) à partir du référentiel de logiciels par défaut.

sudo apt install certbot

Si vous utilisez le serveur Web Apache, vous devez également installer le plug-in Certbot Apache.

sudo apt install python3-certbot-apache

Exécutez ensuite la commande suivante pour obtenir un certificat TLS/SSL gratuit.

sudo certbot --apache --agree-tos --redirect --hsts --staple-ocsp --email you@example.com -d chatdoc.example.com

Enfin, exécuter la commande suivante pour redémarrer le serveur Apache

sudo systemctl restart apache2

Démarrer Op Vault à chaque redémarrage du serveur (facultatif) :

Ouvrez ‘Cron’. Exécutez les commandes suivantes :

sudo -u www-data crontab -e

Si plusieurs éditeurs de texte sont installés, le système vous invite à sélectionner un éditeur avec lequel mettre à jour la liste des tâches périodiques. Utilisez le numéro entre parenthèses pour choisir votre option préférée. Nous utiliserons l’option par défaut, Nano.

Appuyez sur la touche [1] de votre clavier pour choisir ‘Nano’ puis sur la touche [Enter].

« Cron » s’ouvre avec le logiciel éditeur de texte « Nano ».

Ajoutez les lignes suivantes à la fin du fichier ouvert :

@reboot  cd /var/www/html/vault-ai && npm start 
@reboot  cd /var/www/html/vault-ai && npm run dev

Enregistrez et quitter en appuyant sur les touches [Control] et [x] de votre clavier, puis sur la touche [y], puis sur la touche [Enter].


Etape 7 : Utilisez OP Vault

Connectez-vous au site : https://chatdoc.exemple.com

Vous pouvez désormais utiliser cette application pour analyser des fichier PDF ou des documents word !


Rappel du sommaire principal de Juris-Tyr:

MultiPDF Chat App

L’application MultiPDF Chat est une application Python qui vous permet de discuter avec plusieurs documents PDF, en même temps.

Vous pouvez poser des questions sur les PDF en langage naturel et l’application fournira des réponses pertinentes en fonction du contenu des documents. Cette application utilise un modèle de langage pour générer des réponses précises à vos requêtes. L’application ne répondra qu’aux questions liées aux PDF chargés.


L’application suit ces étapes pour apporter des réponses à vos questions :

  1. Chargement PDF : l’application lit plusieurs documents PDF et extrait leur contenu textuel.
  2. Morceau de texte : le texte extrait est divisé en morceaux plus petits qui peuvent être traités efficacement.
  3. Modèle de langage : l’application utilise un modèle de langage pour générer des représentations vectorielles (intégrations) des morceaux de texte.
  4. Correspondance de similarité : lorsque vous posez une question, l’application la compare avec les morceaux de texte et identifie les plus similaires sémantiquement.
  5. Génération de réponse : les morceaux de texte sélectionnés sont transmis au modèle de langage, qui génère une réponse basée sur le contenu pertinent des PDF.

MultiPDF Chat est un projet open source qui vous permet de discuter avec plusieurs documents PDF (.pdf)..

Le dépôt logiciel de cette application est accessible via cette page :
https://github.com/alejandro-ao/ask-multiple-pdfs
…/…


🌟 Caractéristiques
  • 🤖 Posez des questions sur plusieurs documents PDF
  • 📝 Résumer des documents
  • 🖍️ Affichez la source
  • 💾 Données enregistrées localement (* les fichiers PDF sont enregistrés localement mais le logiciel envoi tout de même des données brutes du fichiers à la société OpenAI via leur API pour leur traitement par le logiciel d’intelligence artificelle GPT4 ou GPT3.5)…/…

Nous vous recommandons de lire notre article sur nos conseils d’utilisation des logiciels d’intelligence artificielle par les avocats si vous utilisez régulièrement des applications d’intelligence artificielle ou des sites internet de sociétés commerciales telles que OpenAi, Claude, Google/Bard…
En effet, même en utilisant ChatGPT ou GPT4 via une API, la société OpenAI (et les autres sociétés) collectent toutes vos données !

Mise à jour importante : La société OpenAI a annoncé en mars 2023 que les données soumises par l’intermédiaire de l’API n’étaient plus utilisées pour former et améliorer les modèles d’OpenAI.

Si vous utilisez ChatGPT 3.5 ou GPT-4 via l’API d’OpenAI et l’application opensource « Librechat », vos données ne devraient pas, en principe, être utilisées par la société OPENAI (…par contre elles lui seront forcément transmises pour permettre le fonctionnement du logiciel…).
https://www.zdnet.fr/actualites/openai-une-api-chatgpt-pour-les-developpeurs-39954902.htm

« La confiance n’exclut pas le contrôle » (Staline). La difficulté est que dans le cas de la société OpenAI (ou de Microsoft) et des modèles GPT4 très performants, il n’y a actuellement concrètement aucun moyen de contrôler que cette société n’utilise pas ou plus vos données pour former et améliorer les modèles ou si elle transmet certaines données à des courtiers en données.

Enfin, la société OpenAI, comme toutes les sociétés américaines, est soumise au « Foreign Intelligence Act » (En résumé, les administrations américaines peuvent obtenir toutes les données des clients des sociétés américaines, que ces clients soient de nationalité américaine ou étrangère, du moment que les serveurs informatiques, même installés dans un pays étranger tel que la France, l’Espagne… appartiennent à une société américaine…).


Pour installer ce logiciel, il est préférable d’avoir préalablement suivi les chapitres 1 à 3 du tutoriel d’installation de Juris-Tyr.…/…


Etape 1 : Connectez-vous sur le site de la société OpenAI pour créer une clé API

Premièrement, vous allez vous connecter sur le site de la société OpenAI, le cas échéant en souscrivant un nouveau compte, afin de créer une clé d’API.
Les étapes sont les suivantes :


Etape 2 : Créez une clé API sur le site internet d’OpenAI

1 – Cliquez sur le bouton « +_Create_new_secret_key« 

  • 2 – Définissez un nom pour votre clé d’API, par exemple « LibreChat »
  • 3 – Cliquez sur le bouton « Create_secret_key« 

Etape 3 : Copiez / enregistrez votre clé API

  • 1 – Cliquez sur le bouton « Copier » pour copier la clée d’API. La clé commence par les lettres « sk » suivies d’un tiret puis d’une suite de caractères.
  • 2 – Cliquez sur le bouton ‘Done’
  • 3 – Collez / Enregistrez la clé dans un fichier texte ou dans votre gestionnaire de mot de passe.

Etape 4 : Installez MultiPDF Chat

Lancez un terminal Putty et connectez-vous en ssh à votre serveur, ou votre VPS, puis exécutez les commandes suivantes.

cd /var/www/html/
sudo git clone https://github.com/alejandro-ao/ask-multiple-pdfs.git
cd ask-multiple-pdfs
sudo pip install -r requirements.txt

Créez un fichier nommé « .env » depuis le fichier modèle .env.example :

sudo cp .env.example .env
sudo nano .env

Copiez / collez la clé d’API de la société OPENAI dans ce fichier à la ligne :
OPENAI_API_KEY=votre clée OpenAI (effectuez un clic droit pour coller un texte avec le logiciel ‘nano’)

Enregistrez et fermez ce fichier (appuyez simultanément sur les touches [Control] et [x], puis sur la touche [o] ou [y], puis sur la touche [Enter]).

Exécutez la commande suivante pour lancez l’application :

sudo streamlit run app.py

Une fois l’installation terminée vous pouvez vous connecter à MultiPDF Chat en tapant dans la barre de votre navigateur : http://locatlhost:8501.

L’application se lancera dans votre navigateur Web par défaut, affichant l’interface utilisateur.

1 – Chargez plusieurs documents PDF dans l’application en suivant les instructions fournies.

2 – Posez des questions en langage naturel sur les PDF chargés à l’aide de l’interface de chat.

Pour quitter l’application, appuyer simultatément sur les touches ‘Control’ et ‘c’.


Cependant nous allons créer un accès depuis site internet pour pouvoir y accéder de n’importe où.


Etape 5 : Accédez à MultiPDF Chat depuis un site internet hébergé sur votre serveur ou votre VPS

5.1. Créez un nom de domaine : multipdfchat.exemple.com ou aipdfmulti.exemple.com

Si vous avez installé cette application sur un serveur VPS, vous ne pourrez pas vous connecter avec votre navigateur à l’adresse locale : http://localhost:8501 ou à l’adresse http://192.168.1.XX:8501 du VPS.

Il faut alors créer un accès vers cette application depuis un site internet.

Pour accéder à l’application MultiPDF Chat depuis un site internet, vous devez d’abord créer un sous-domaine : par exemple « multipdfchat.exemple.com » depuis votre compte client de votre gestionnaire de nom de domaine en le reliant à l’adresse IP de votre serveur via un enregistrement ‘DNS A’.

Si vous ne vous vous souvenez plus comment faire, consultez de nouveau l’étape 1 de la phase 4 de notre tutoriel pour installer Juris-Tyr.

(Rappel des étapes si vous avez acheté votre nom de domaine via OVH : «Connexion à l’ Espace client d’OVH » -> Onglet « WebCloud» -> Lien « Noms de domaines » -> « exemple.com » -> Bouton « Zone DNS » -> Bouton « Créer un nouvel enregistrement » -> Bouton «  A » -> Bouton « Suivant » -> « cloud » -> compléter l’adresse IP de votre VPS ou de votre serveur « 51.xx.xxx.xx » -> « Bouton Suivant » -> « Bouton Valider »).


5.2. Créez un fichier Virtualhost pour le serveur Apache

Une fois votre sous-domaine crée, éditez un nouveau fichier ‘multichatpdf.conf » dans le dossier /etc/apache2/sites-available/ avec un éditeur de texte en ligne de commande comme Nano :

sudo nano /etc/apache2/sites-available/multipdfchat.conf

Copiez et collez le texte suivant dans le fichier ;
(Remplacez le texte « multipdfchat.exemple.com » par votre propre sous-domaine et nom de domaine) 

<IfModule mod_ssl.c>
<VirtualHost *:80>
ServerName multipdfchat.exemple.com
ProxyPreserveHost On
ProxyRequests Off
<Proxy *>
Order deny,allow
Allow from all
</Proxy>
ProxyPass / "http://localhost:8501/
ProxyPassReverse / "http://localhost:8501/
<Location "/">
ProxyPass ws://localhost:8501
ProxyPassReverse ws://localhost:8501
</Location>
ProxyPass / http://localhost:8501
ProxyPassReverse / http://localhost:8501
RewriteEngine on
RewriteCond %{HTTP:Upgrade} =websocket
RewriteRule /(.*) ws://localhost:8501/$1 [P]
RewriteCond %{HTTP:Upgrade} !=websocket
RewriteRule /(.*) http://localhost:8501/$1 [P]
ProxyPassReverse / http://localhost:8501
RewriteCond %{HTTP:Upgrade} =websocket
RewriteRule /(.*) ws://multipdfchat.exemple.com/$1 [P]
RewriteCond %{HTTP:Upgrade} !=websocket
RewriteRule /(.*) http://multipdfchat.exemple.com/$1 [P]
ProxyPassReverse / http://multipdfchat.exemple.com
### Lax CSP and will not score the best on Mozilla Observatory or other platforms alike, but won't need to be updated with version changes ###
Header always set Content-Security-Policy "default-src 'none'; base-uri 'self'; font-src 'self' data: ${public_url}; media-src 'self' blob: data: https: ${public_url}; script-src 'self' 'unsafe-inline' ${public_url}; style-src 'self' 'unsafe-inline' ${public_url}; img-src 'self' data: blob: https: ${public_url}; worker-src * blob:; frame-src 'self' https://${public_url}; connect-src 'self' wss: https: ${public_url}; form-action 'self'; frame-ancestors 'self' https://${public_url} https://my.domain https://*.my.domain; manifest-src 'self'; object-src 'self' https://${public_url}"
Header always set Permissions-Policy 'geolocation=(self "https://${public_url}"), midi=(self "https://${public_url}"), sync-xhr=(self "https://${public_url}"), microphone=(self "https://${public_url}"), camera=(self "https://${public_url}"), magnetometer=(self "https://${public_url}"), gyroscope=(self "https://${public_url}"), fullscreen=(self "https://${public_url}"), payment=(self "https://${public_url}")'
SSLHonorCipherOrder Off
### Use next two for very secure connections ###
SSLCipherSuite ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384
SSLProtocol All -SSLv2 -SSLv3 -TLSv1 -TLSv1.1
### Use next two for secure connections and support more endpoints ###
#SSLCipherSuite EECDH+AESGCM:EDH+AESGCM:AES256+EECDH:AES256+EDH:ECDHE-RSA-AES128-GCM-SHA384:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA128:DHE-RSA-AES128-GCM-SHA384:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES128-GCM-SHA128:ECDHE-RSA-AES128-SHA384:ECDHE-RSA-AES128-SHA128:ECDHE-RSA-AES128-SHA:ECDHE-RSA-AES128-SHA:DHE-RSA-AES128-SHA128:DHE-RSA-AES128-SHA128:DHE-RSA-AES128-SHA:DHE-RSA-AES128-SHA:ECDHE-RSA-DES-CBC3-SHA:EDH-RSA-DES-CBC3-SHA:AES128-GCM-SHA384:AES128-GCM-SHA128:AES128-SHA128:AES128-SHA128:AES128-SHA:AES128-SHA:DES-CBC3-SHA:HIGH:!aNULL:!eNULL:!EXPORT:!DES:!MD5:!PSK:!RC4
#SSLProtocol All -SSLv2 -SSLv3 -TLSv1 -TLSv1.1
### Actually proxy the traffic and really the only important part ###
AllowEncodedSlashes On
RewriteEngine On
SetEnvIf Cookie "(^|;\ *)csrftoken=([^;\ ]+)" csrftoken=$2
RequestHeader set X-CSRFToken "%{csrftoken}e"
### Proxy Websockets Section 1 (works for me) ###
RewriteCond %{HTTP:UPGRADE} ^WebSocket$ [NC]
RewriteCond %{HTTP:CONNECTION} Upgrade$ [NC]
RewriteRule ^/?(.*) "ws://${local_url}:${local_port}/$1" [P,L]
### Proxy Websockets Section 2 (untested) ###
#RewriteCond %{HTTP:UPGRADE} =websocket [NC]
#RewriteRule ^/ws/(.*) ws://${local_url}:${local_port}/ws/$1 [P,L]
### Proxy everything else ###
ProxyPass / http://${local_url}:${local_port}/ connectiontimeout=6 timeout=60
ProxyPassReverse / http://${local_url}:${local_port}/
</VirtualHost>
</IfModule>

Enregistrez et fermez le fichier.
(Pour enregistrer un fichier dans l’éditeur de texte Nano, appuyez sur les touches [Control] et [o], puis sur [Enter] pour confirmer. Pour quitter, appuyez sur [Control] et [X] ).

Activez ensuite ce nouveau fichier de configuration du serveur Apache ‘hôte virtuel’ :

sudo a2ensite multipdfchat.conf

Exécutez la commande suivante pour activer les modules Apache requis :

sudo a2enmod rewrite headers env dir mime setenvif ssl proxy_http proxy rewrite proxy_wstunnel

 Recharger Apache et les modules PHP :

sudo systemctl restart apache2

Désormais, vous pouvez accèder à l’application en tapant l’adresse suivante dans votre navigateur : https://multipdfchat.exemple.com


5.3. Activez un accès via ‘https’ pour le site internet permettant d’utiliser l’application :

Cette étape est recommandée car le navigateur internet Chrome ou Brave n’autorise pas les connexions Websocket (ws) non sécurisées à localhost (uniquement wss), il faut donc configurer un certificat TLS pour votre serveur Web/websocket local). Cependant, si vous ne souhaitez pas accéder au site internet de cette application en ‘https’, cela devrait fonctionner correctement avec le navigateur internet Firefox.

Ouvrez un nouveau terminal ou exécutez de nouveau le logiciel ‘Putty’ et connectez vous (de nouveau) à votre serveur ou VPS
…/…
Nous allons activer une connexion en ‘https’ vers le site internet nouvellement créé

Exécutez les commandes suivantes pour installer le client Let’s Encrypt (certbot) à partir du référentiel de logiciels par défaut.

sudo apt install certbot

Si vous utilisez le serveur Web Apache, vous devez également installer le plug-in Certbot Apache.

sudo apt install python3-certbot-apache

Exécutez ensuite la commande suivante pour obtenir un certificat TLS/SSL gratuit.

sudo certbot --apache --agree-tos --redirect --hsts --staple-ocsp --email you@example.com -d multipdfchat.example.com

Enfin, exécuter la commande suivante pour redémarrer le serveur Apache :

sudo systemctl restart apache2

Placez vous dans le répertoire de l’application :

cd /var/www/html/ask-multiple-pdfs

Exécutez la commande suivante pour relancer l’application :

sudo streamlit run app.py

5.4. Démarrer Multi ask GPT à chaque redémarrage du serveur (facultatif) :

Ouvrez ‘Cron’. Exécutez les commandes suivantes :

sudo -u www-data crontab -e

Si plusieurs éditeurs de texte sont installés, le système vous invite à sélectionner un éditeur avec lequel mettre à jour la liste des tâches périodiques. Utilisez le numéro entre parenthèses pour choisir votre option préférée. Nous utiliserons l’option par défaut, Nano.

Appuyez sur la touche [1] de votre clavier pour choisir ‘Nano’ puis sur la touche [Enter].

« Cron » s’ouvre avec le logiciel éditeur de texte « Nano ».

Ajoutez les lignes suivantes à la fin du fichier ouvert :

@reboot  cd /var/www/html/ask-multiple-pdfs && streamlit run app.py

Enregistrez et quitter en appuyant sur les touches [Control] et [x] de votre clavier, puis sur la touche [y], puis sur la touche [Enter].


Rappel du sommaire principal de Juris-Tyr:

Installez DocsMind

…/…
DocsMind est un projet open source qui vous permet de discuter avec vos documents PDF (.pdf) et en Markdown (.md).

Stack

Le dépôt logiciel de cette application est accessible via cette page : https://github.com/3Alan/DocsMind

Le logiciel open -source est sous licence AGPL-3.0 License (en résumé, si vous modifiez le Programme, votre version modifiée doit offrir de manière visible à tous les utilisateurs interagissant à distance grâce à un réseau informatique…).

Avertissement : l’installation proposée dans ce tutoriel ne permet d’utiliser Docsmind que depuis l’ordinateur serveur (pas sur un VPS) ou depuis un réseau local en tapant dans la barre d’adresse du navigateur : http://192.168.0.XX:8081 XX étant les deux derniers chiffres de l’adresse IP locale de votre ordinateur serveur.


🌟 Caractéristiques
  • 🤖 Posez une question sur vos documents
  • 📝 Résumer des documents
  • 🖍️ Mettre en surbrillance la source
  • 📤 Téléchargez des documents .pdf, .md (meilleur support)
  • 💾 Données enregistrées localement (* les fichiers PDF sont enregistrés localement mais le logiciel envoi tout de même des données brutes du fichiers à la société OpenAI via leur API pour leur traitement par le logiciel d’intelligence artificelle GPT4 ou GPT3.5)
  • 💰 Token usage tracker
  • 🐳 Dockerize
    …/…

Nous vous recommandons de lire notre article sur nos conseils d’utilisation des logiciels d’intelligence artificielle par les avocats si vous utilisez régulièrement des applications d’intelligence artificielle ou des sites internet de sociétés commerciales telles que OpenAi, Claude, Google/Bard…

En effet, même en utilisant ChatGPT ou GPT4 via une API, la société OpenAI (et les autres sociétés) collectent toutes vos données !

Mise à jour importante : La société OpenAI a annoncé en mars 2023 que les données soumises par l’intermédiaire de l’API n’étaient plus utilisées pour former et améliorer les modèles d’OpenAI.

Si vous utilisez ChatGPT 3.5 ou GPT-4 via l’API d’OpenAI et l’application opensource « Librechat », vos données ne devraient pas, en principe, être utilisées par la société OPENAI (…par contre elles lui seront forcément transmises pour permettre le fonctionnement du logiciel…).
https://www.zdnet.fr/actualites/openai-une-api-chatgpt-pour-les-developpeurs-39954902.htm

« La confiance n’exlcue pas le contrôle » (Staline). La difficulté étant que dans le cas de la société OpenAI et des modèles GPT4 très performants, il n’y a actuellement concrêtement aucun moyen de contrôler que cette socciété n’utilise pas ou plus vos données pour former et améliorer les modèles.

Enfin, la Société OpenAI, comme toutes les sociétés américaines, est soumise au Foreign Intelligence Act (En résumé, les administrations américaines peuvent obtenir toutes les données des clients des sociétés américaines, que ces clients soient de nationalité américaine ou étrangère, du moment que les serveurs informatiques, même installés dans un pays étranger tel que la France, l’Espagne… appartiennent à une société américaine…).


Pour installer ce logiciel, il est préférable d’avoir préalablement suivi les chapitres 1 à 3 du tutoriel d’installation de Juris-Tyr.


Etape 1 : Connectez-vous sur le site de la société OpenAI pour créer une clé API

Premièrement, vous allez vous connecter sur le site de la société OpenAI, le cas échéant en souscrivant un nouveau compte, afin de créer une clé d’API.

Les étapes sont les suivantes :


Etape 2 : Créez une clé API sur le site internet d’OpenAI

  • 1 – Cliquez sur le bouton « +_Create_new_secret_key« 
  • 2 – Définissez un nom pour votre clé d’API, par exemple « LibreChat »
  • 3 – Cliquez sur le bouton « Create_secret_key« 

Etape 3 : Copiez / enregistrez votre clé API

  • 1 – Cliquez sur le bouton « Copier » pour copier la clée d’API. La clé commence par les lettres « sk » suivies d’un tiret puis d’une suite de caractères.
  • 2 – Cliquez sur le bouton ‘Done’
  • 3 – Collez / Enregistrez la clé dans un fichier texte ou dans votre gestionnaire de mot de passe.

Etape 4 : Installez DocsMind

Lancez un terminal Putty et connectez-vous en ssh à votre serveur, ou votre VPS, puis exécutez les commandes suivantes.

sudo ufw allow 8081/tcp
sudo ufw allow 8080/tcp
cd /var/www/html/
sudo git clone https://github.com/3Alan/DocsMind.git
cd DocsMind
sudo cp .env.example .env

Exécuter la commande suivante :

sudo docker-compose up

…Patientez, l’installation de DocsMind prend du temps…

Une fois l’installation terminée vous pouvez vous connecter à DocsMind en tapant dans la barre de votre navigateur : http://locatlhost:8081.


Etape 6 : Utilisez DocsMind

Connectez-vous à l’adresse : http://locatlhost:8081.

Cliquez sur l’icone Paramètre en bas à gauche :

Collez votre clé API d’OpenAI :

Téléversez votre fichier PDF en cliquant sur l’icone « Click or drag file to this area to upload » :

Une fois le document chargé (il sera enregistré dans le dossier de votre serveur ou VPS /var/www/html/DocsMind/data), posez vos questions en complétant le cadre « Imput your question » situé en bas à droite de la fenêtre :


SecureAI Tools, Discuter avec une ia de manière sécurisée et sans transmettre de données à la société OpenAI

SecureAI Tools est un logiciel open source permettant d’auto-héberger des logiciels d’intelligence artificielle et des LLM (presque) équivalents à ChatGPT et ChatPDF derrière le pare-feu de votre entreprise.

ChatGPT plus et GPT4 sont des logiciels / LLM de la société OpenAI qui, entre autres, n’utilisent plus les données des clients (les votres…) pour former les modèles OpenAI (si vous avez coché la bonne option dans les réglages du Chat’).

Toutes les versions de ChatGPT (gratuites, ChatGPT Plus et ChatGPT Enterprise) stockent cependant vos données privées et sensibles sur l’infrastructure cloud d’OpenAI. On peut également supposer que ces données sont transmises ou vendues à des  » partenaires  » (des courtiers en données personnelles) ou s’inquitéter en cas de piratage…

Le logiciel open source SecureAI Tools, quant à lui, est une alternative auto-hébergée à ChatGPT , où toutes les données résident sur votre infrastructure (sur site, cloud privé ou même sur votre ordinateur selon le choix de déploiement). Il se base notamment sur le logiciel Ollama.

Cela vous permet d’avoir un contrôle total sur vos données : où se trouvent vos données, combien de temps elles sont conservées et qui peut y accéder, etc.

SecureAI Tools est destiné aux organisations et aux individus soucieux de leur confidentialité et de leur sécurité. De plus vous pouvez rattacher ce logiciel avec un logiciel de gestion de fichier tel que Paperless-NGX pour téléverser direvtement vos fichier PDF dans SecureAI Tools.

Au delà du risque lié à la confidentialité des données sensibles ou personnelles, De plus, l’utilisation des plugins ChatGPT plus peut entrainer des failles de sécurité dans votre ordinateur ou smartphone (consultez cette vidéo : https://www.youtube.com/watch?v=ghVWFZ5esnU ).

En résumé, SecureAi Tools est un logiciel recommandé pour tous ceux qui souhaite utiliser les logiciels d’intelligence artificielle de manière sécurisée.

https://secureai.tools/

Le dépot Github du logiciel SecureAI Tools est accessible depuis ce lien :

https://github.com/SecureAI-Tools/SecureAI-Tools


Démonstration :
Discutez avec des documents : Exécution locale de Mistral (sur un MacBook M2) :
Chat with documents demo: Locally running Mistral
Discutez avec des documents enregistrés sur le logiciel Paperless-ngx : Exécution locale de Llama2-7b (su un MacBook M2) :
Paperless-ngx integration demo
Analyse d’un ensemble de documents PDF :
Document Collections demo


Principales caractéristiques :
  • Exécute des modèles d’IA localement (Mistral, Mixtral 8x7b…).
  • Prend en charge plus de 100 modèles d’IA open source (et semi-open source) via Ollama.
  • Discuter avec des documents : vous permet de discuter avec des documents (PDF pour l’instant).
  • Authentification intégrée : une simple authentification par e-mail/mot de passe afin qu’il puisse être ouvert sur Internet et accessible de n’importe où.
  • Gestion des utilisateurs intégrée : les membres de la famille ou les collègues peuvent également l’utiliser s’ils le souhaitent.
  • Auto-hébergement optimisé : livré avec les scripts et les fichiers docker-compose nécessaires pour démarrer en moins de 5 minutes.
  • Léger : une application Web simple avec SQLite DB pour éviter d’avoir à exécuter un conteneur Docker pour DB.
  • Les données sont conservées sur la machine hôte via des volumes Docker

Vous pouvez également créer un ensemble / une collection de documents PDF à analyser, puis créer autant de discussions avec la collection que nécessaire. Les documents d’une collection sont traités en arrière-plan, vous permettant d’ajouter des centaines, voire des milliers de documents PDF à analyser (sous réserve de la puissance de votre serveur…). Cela permet également de gagner du temps car vous n’avez pas besoin de retraiter tous les documents à chaque fois que vous souhaitez discuter avec une collection de documents PDF. Vous pouvez ainsi entraîner MistralAI avec votre documentation juridique.

Ce logiciel nécessite un serveur ou un ordinateur performant, doté de beaucoup de mémoire vive et/ou d’une carte graphique Nvidia récente et performante ou un Mac avec un processeur M1 ou M2, pour fonctionner dans de relatives bonnes conditions. SI vous ne disposez pas de matériel performant, nous pouvons vous recommander d’installer ce logiciel open-source, par exemple, sur les serveurs dédiés Kimsufi de la société OVHCloud qui offrent de bonne performances pour des LLM de petite taille (Mistral:7b Openhermes….) à un prix raisonnable : https://eco.ovhcloud.com/fr/?display=list&memory=128%7C512 (Env. 50 € HT par mois pour un serveur dédié doté de 128 Go de mémoire vive), ou les serveurs dédiés de Hetzner : https://www.hetzner.com/dedicated-rootserver/#cpu_type=AMD%2BIntel&ram_to=1024 ou ceux de Contabo : https://contabo.com/en/vds/ )

SecureAI Tools dispose de moins de fonctionnalités que (Ollama) Open Web UI (ie : le tutoriel suivant) mais il est plus simple d’utilisation et plus ‘user friendly’ pour vos collaborateurs qui sont moins à l’aise avec l’informatique. Il peut dont être privilégié par rapport à Open Web Ui dans certaines organisations.


Tutoriel d’installation du logiciel SecureAI Tools:
Installez les progiciels nécessaires (s’ils ne sont pas déjà installés) :

Exécutez en premier la commande suivante pour vérifier et installer les mise à jour :

sudo apt update
sudo apt upgrade
sudo apt install -y apache2 apache2-utils
sudo systemctl start apache2
sudo systemctl enable apache2
sudo iptables -I INPUT -p tcp --dport 80 -j ACCEPT && sudo iptables -I INPUT -p tcp --dport 443 -j ACCEPT

Créez un fichier de configuration servername.conf :

sudo nano /etc/apache2/conf-available/servername.conf

Ajoutez dans le fichier /etc/apache2/conf-available/servername.conf la ligne suivante :

ServerName localhost

Enregistrez et fermez le fichier : Pour enregistrer un fichier dans l’éditeur de texte « Nano », appuyez sur les touches Ctrl + O (pour ‘Oui’) ou sur Ctrl + Y (pour ‘Yes), puis appuyez sur Entrée pour confirmer.

Pour quitter l’éditeur de texte ‘Nano’, appuyez sur les touches : Ctrl + X.

Activez ensuite ce fichier de configuration sous le serveur Apache avec la commande suivante :

sudo a2enconf servername.conf

Rechargez Apache pour que la modification prenne effet :

sudo systemctl reload apache2

sudo apt-get update
sudo apt-get install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc
echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Docker Compose est un outil qui permet de configurer facilement des applications ou des services complexe composés de divers conteneurs. Pour installer Docker Compose sur votre système Ubuntu, téléchargez la version la plus récente (à partir du site officiel) et exécutez la commande suivante:

sudo curl -L « https://github.com/docker/compose/releases/download/1.26.2/docker-compose-$(uname -s)-$(uname -m) » -o /usr/local/bin/docker-compose
sudo apt-get install docker-compose-plugin

Après avoir installé Docker Compose, donnez-lui les autorisations nécessaires pour qu’elle puisse être exécutée correctement:

sudo chmod +x /usr/local/bin/docker-compose

Une fois l ‘installation terminée, vous pouvez exécuter le service Docker sur votre système en exécutant la commande :

sudo systemctl start docker
sudo systemctl enable docker

Installez Conda /miniconda :

sudo wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

Ou si vous avez un Raspberry 4 ou 5 ou un OrangePi 5, executez la commande suivante :

sudo wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-aarch64.sh

Puis, exécutez la commande suivante :

sudo bash Miniconda3-latest-Linux-x86_64.sh

Ou si vous avez un Raspberry 4 ou 5 ou un OrangePi 5, executez la commande suivante :

sudo bash Miniconda3-latest-Linux-aarch64.sh

Installez Yarn :

sudo npm install --global yarn

Installez git :

sudo apt install git

Installez FFmpeg :

sudo apt install ffmpeg

Installez Python :

sudo apt update
sudo apt install build-essential zlib1g-dev libncurses5-dev libgdbm-dev libnss3-dev libssl-dev libreadline-dev libffi-dev libsqlite3-dev wget libbz2-dev
sudo wget https://www.python.org/ftp/python/3.11.3/Python-3.11.3.tgz
sudo tar -xf Python-3.11.3.tgz
cd Python-3.11.3
sudo ./configure --enable-optimizations
sudo make -j 12
sudo make altinstall

Si vous avez une carte graphique Nvidia Rtx, installez Cuda :

sudo su
wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda_12.4.0_550.54.14_linux.runsudo sh cuda_12.4.0_550.54.14_linux.run

sudo apt update
sudo apt-get install nodejs
sudo apt install build-essential
sudo apt install npm


2. Exécutez le script de configuration

Le script suivant télécharge un fichier docker-compose.yml et génère un fichier .env avec des valeurs par défaut.

sudo su
curl -sL https://github.com/SecureAI-Tools/SecureAI-Tools/releases/latest/download/set-up.sh | sh

3. [Facultatif] Vous pouvez éventuellement éditer le fichier de configuration .env :

Vous pouvez personnaliser le fichier .env créé à l’étape ci-dessus pour modifier l’emplacement de la base de données du logiciel ou les ports d’accès :

sudo nano .env

Le fichier .env s’affiche :

# ------------------------------------------------------- Public ------------------------------------------------------#
# Analytics Token
# NEXT_PUBLIC_ANALYTICS_TOKEN="..."
# NEXT_PUBLIC_ANALYTICS_DEBUG=true

# ------------------------------------------------------ Secrets ------------------------------------------------------#
# Issued auth bearer tokens are valid till 30 days (30 * 24 = 720 hours)
AUTH_TOKEN_VALIDITY_HOURS=720

# Database URL -- used in Prisma
# https://pris.ly/d/prisma-schema#accessing-environment-variables-from-the-schema
#
DATABASE_URL="file:/Users/<USER>/.SecureAI.tools/SecureAI.tools.db"

# Path for local-object-storage
LOCAL_OBJECT_STORAGE_DIR="/Users/<USER>/.SecureAI.tools/local-objects"

# Winston logging level

LOG_LEVEL="debug"

# AuthJS
# Secret generated using command: openssl rand -hex 32
# https://next-auth.js.org/configuration/options#nextauth_secret
NEXTAUTH_SECRET="..."

# https://next-auth.js.org/configuration/options#nextauth_url
#NEXTAUTH_URL="http://localhost:28669/"
NEXTAUTH_URL="https://secureai.exemple.com/"
#Le cas échéant, remplacez l'adresse URL "http://localhost:28669/" par l'adresse du site internet permettant d'accéder à SecureAi Tools si vous utiliser un VPS
# Inference server
INFERENCE_SERVER="http://localhost:28664/"

# Chroma server
VECTOR_DB_SERVER="http://localhost:8000"


# Document indexing and retrieval configs
DOCS_INDEXING_CHUNK_SIZE = 1000
DOCS_INDEXING_CHUNK_OVERLAP = 200
DOCS_RETRIEVAL_K=2

# Model provider configs
# Configure external model providers here. Needs to be serialized JSON of ModelProviderConfig[]
# https://github.com/SecureAI-Tools/SecureAI-Tools/blob/main/lib/types/core/model-provider-config.ts
MODEL_PROVIDER_CONFIGS='[{"type":"OPENAI","apiBaseUrl":"https://api.openai.com/v1","apiKey":"..."}]'
# Remplacez "apiKey" par votre clée d'API OPENAI si vous préférez utiliser l'API GPT3.5-turbo ou GPT4 à la place de MistralAI
# pour activer GPT.3-5 il faudra accéder à la page des paramètres de l'organisation, sélectionnez le type de modèle
#OpenAI et indiquer le nom de modèle approprié, tel que : gpt3.5-turbo à la place de mistral-7b.
# ---------------------------------------------------------------------------------------------------------------------#

# Instance configs (available publicly via an endpoint)
# Analytics: ["enabled", "disabled"]
# We recommend enabling this so that we can get anonymized usage data. It will help us improve the platform :)
# Vous pouvez remplacer la ligne INSTANCE_CONFIG_ANALYTICS="enabled" par INSTANCE_CONFIG_ANALYTICS="disabled"
INSTANCE_CONFIG_ANALYTICS="disabled"

Enregistrez et fermez le fichier en appuyant simultanément sur les touches [Control] et [X] puis simultanément sur les touches [Control] et [O] ou sur la touche [Enter].


4. [Facultatif] Sur une machine Linux avec une carte graphique Nvidia, vous pouvez éventuellement activer la prise en charge des GPU si votre serveur ou ordinateur dispose d’une carte graphique de marque NVIDIA.

Pour accélérer l’inférence sur les machines Linux, vous devrez activer les GPU. Cela n’est pas strictement requis car le service d’inférence fonctionnera également en mode CPU uniquement, mais il sera lent sur le CPU. Donc, si votre machine dispose d’un GPU Nvidia, cette étape est recommandée.

  1. Installez Nvidia container toolkit s’il n’est pas déjà installé.
  2. Supprimez les signes « # » dans le fichier docker-compose.yml, cela donnera accès aux GPU Nvidia ;
sudo nano docker-compose.yml

Le fichier suivant s’affiche :

version: "3.8"

services:
web:
image: public.ecr.aws/d8f2p0h3/secure-ai-tools:latest
platform: linux/amd64
volumes:
- ./web:/app/volume
env_file:
- .env
environment:
- INFERENCE_SERVER=http://inference:11434/
ports:
- 28669:28669
command: sh -c "cd /app && sh tools/db-migrate-and-seed.sh ${DATABASE_FILE} && node server.js"
depends_on:
- inference

inference:
image: ollama/ollama:latest
volumes:
- ./inference:/root/.ollama
#
# Supprimer les commentaires pour les machines Linux équipées de GPU Nvidia
# Based on https://docs.docker.com/compose/gpu-support/
# Requires Nvidia container toolkit: https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html#installation
#
# deploy:
# resources:
# reservations:
# devices:
# - driver: nvidia
# count: 'all'
# capabilities: [gpu]

Enregistrez et fermez le fichier en appuyant simultanément sur les touches [Control] et [X] puis, si vous avez modifié le fichier, simultanément sur les touches [Control] et [O].


5. Exécutez docker compose avec la commande suivante :
sudo docker compose up -d

Patientez durant l’installation…


6. Créez un accès vers le logiciel SecureAI Tools depuis un site internet :
6.1. Créez un nom de domaine : secureai.exemple.com ou secureaitools.exemple.com …/…

Si vous avez installé cette application sur un serveur VPS (et non sur votre ordinateur personnel avec un système d’exploitation sou linux, physique ou virtuel), vous ne pourrez pas vous connecter au logiciel SecureAI Tools avec votre navigateur à l’adresse locale : http://localhost:28669 ou à l’adresse http://192.168.1.XX:28669 du VPS.

Il faut alors créer un accès vers cette application depuis un site internet…

Pour accéder à l’application SecureAI Tools depuis un site internet, vous devez d’abord créer un sous-domaine de votre nom de domaine ‘exemple.com’. Vous pouvez par exemple créer un sous domaine « secureai.exemple.com » ou « secureaitools.exemple .com » depuis votre compte client de votre gestionnaire de nom de domaine, puis en le reliant à l’adresse IP de votre serveur via un enregistrement ‘DNS A’.

Si vous ne vous vous souvenez plus comment faire, consultez de nouveau l’étape 1 de la phase 4 de notre tutoriel pour installer Juris-Tyr.

(Rappel des étapes si vous avez acheté votre nom de domaine via OVH : «Connexion à l’ Espace client d’OVH » -> Onglet « WebCloud» -> Lien « Noms de domaines » -> « exemple.com » -> Bouton « Zone DNS » -> Bouton « Créer un nouvel enregistrement » -> Bouton «  A » -> Bouton « Suivant » -> « cloud » -> compléter l’adresse IP de votre VPS ou de votre serveur « 51.xx.xxx.xx » -> « Bouton Suivant » -> « Bouton Valider »).


6.2. Créez un fichier Virtualhost pour le serveur Apache

Une fois votre nom de sous-domaine crée, éditez un nouveau fichier ‘secureai.conf’ ou ‘secureaitools.conf’ dans le dossier /etc/apache2/sites-available/ avec un éditeur de texte en ligne de commande comme Nano :

sudo nano /etc/apache2/sites-available/secureai.conf

Copiez et collez le texte suivant dans le fichier ;
(Remplacez le texte « exemple.com » par votre propre sous-domaine et nom de domaine) 

<VirtualHost  *:80>
ServerName secureai.exemple.com
ProxyPreserveHost On
ProxyVia On
ProxyPass / http://127.0.0.1:28669/
ProxyPassReverse / http://127.0.0.1:28669/
RewriteRule ^/(.*)?$ http://localhost:28669/$1 [P,L]
<Proxy *>
Allow from all
</Proxy>
<Location "/">
ProxyPass "http://127.0.0.1:28669/"
ProxyPassReverse "http://127.0.0.1:28669/"
Allow from all
</Location>
<Location "/post-log-in">
ProxyPass "http://127.0.0.1:28669/"
ProxyPassReverse "http://127.0.0.1:28669/"
Allow from all
</Location>
<Location "/settings?tab=ai">
ProxyPass "http://127.0.0.1:28669"
ProxyPassReverse "http://127.0.0.1:28669"
Allow from all
</Location>
ProxyPass / http://127.0.0.1:5672/
ProxyPassReverse / http://127.0.0.1:5672/
ProxyPass / http://127.0.0.1:15672/
ProxyPassReverse / http://127.0.0.1:15672/
#<Location "/var/www/html/secure-ai-tools">
# Allow from all
#</Location>

<Location "/home/ubuntu/.SecureAI.tools/SecureAI.tools.db">
Allow from all
</Location>
ErrorLog ${APACHE_LOG_DIR}/secureai.exemple.com.error.log
CustomLog ${APACHE_LOG_DIR}/secureai.exemple.com.access.log combined
</VirtualHost>

Enregistrez et fermez le fichier.
(Pour enregistrer un fichier dans l’éditeur de texte Nano, appuyez sur les touches ‘Ctrl+o’, puis sur ‘Entrer’ pour confirmer. Pour quitter, appuyez sur ‘Ctrl+X’).

Activez ensuite ce nouveau fichier de configuration du serveur Apache ‘hôte virtuel’ :

sudo a2ensite secureai.conf

Exécutez la commande suivante pour activer les modules Apache requis :

sudo a2enmod rewrite headers env dir mime setenvif ssl proxy_http proxy rewrite

 Recharger Apache et les modules PHP :

sudo systemctl restart apache2

Désormais vous pouvez accèder à SecureAi Tools en tapant l’adresse suivante dans votre navigateur : https://secureai.exemple.com


6.3. Activez une connexion en « https » pour accéder au logiciel SecrureAI Tool :

Nous allons activer une connexion en ‘https’ vers le site internet nouvellement créé

Exécutez les commandes suivantes pour installer le client Let’s Encrypt (certbot) à partir du référentiel de logiciels par défaut.

sudo apt install certbot

Si vous utilisez le serveur Web Apache, vous devez également installer le plug-in Certbot Apache.

sudo apt install python3-certbot-apache

Exécutez ensuite la commande suivante pour obtenir un certificat TLS/SSL gratuit.

sudo certbot --apache --agree-tos --redirect --hsts --staple-ocsp --email contact@example.com -d secureai.example.com

7. Effectuez les réglages suivants après l’installation :
  1. Connectez-vous à l’aide de votre navigateur internet à l’adresse http://localhost:28669/log-in ou à l’adresse https://secureai.exemple.com/log-in avec les informations d’identification initiales ci-dessous et modifiez le mot de passe … car vous n’est pas ni Batman, ni Alfred :
    • Email : bruce@wayne-enterprises.com
    • Password : SecureAIToolsFTW!
  2. Si vous arrivez ensuite à une page d’erreur avec une adresse du type « http://localhost:28669/post-log-in« , corrigez l’adresse affichée dans la barre d’adresse de votre navigateur internet par https://secureai.exemple.com/post-log-in
  3. Configurez le modèle d’IA en cliquant sur la petite roue située à coté du nom d’utilisateur ‘Bruce Wayne’, ou en complétant et en accédant via votre navigateur à l’adresse http://localhost:28669/-/settings?tab=ai ou à l’adresse https://secureai.exemple.com/-/settings?tab=ai .
    Par exemple, vous pouvez choisir et taper le LLM : « mistral » ou choisir un autre LLM : https://ollama.com/library?sort=newest
  4. Connectez vous à l’adresse http://localhost:28669/- ou à l’adresse https://secureai.exemple.com/- 
  5. Une fois que vous êtes connecté à l’adresse http://localhost:28669/-/settings?tab=ai ou à l’adresse https://secureai.exemple.com/-/settings?tab=ai , Vous pouvez modifier le LLM « Mistral » par un autre LLM en cliquant sur le bouton « Submit »…. et patientez…
    …/…

Une fois le modèle « Mistral » téléchargé, cliquez sur le bouton « Continue » et revenez sur la page principale.
Vous pouvez commencer à discuter avec cette AI sécurisée :

Pour ajouter de nouveaux utilisateurs, connectez-vous à l’adresse https://secureai.exemple.com/-/users/add ou à l’adresse http://localhost:28669/-/users/add (notez le tiret dans l’adresse).

Les utilisateurs existants peuvent être consultés à l’adresse https://secureai.exemple.com/-/users/ ou sur http://localhost:28669/-/users/ (il y a un bouton d’ajout d’utilisateurs en haut à droite pour les administrateurs).


Utilisation de SecureAI Tools :

Si vous exercez en tant qu’avocat contentieux, un exemple d’utilisation peut-être l’analyse des conclusions d’une partie adverse dans une affaire.

  1. Téléversez le fichier PDF des conclusions d’une partie adverse
  2. Indiquez par exemple la requête suivante :
    « Résume ces conclusions d’avocats en français, liste les principaux arguments et les demandes ».
  3. Le logiciel va traiter le fichier PDF, puis votre requête (patientez…).

Le résultat de l’analyse s’affiche :


Mise à jour de SecureAI tools :

Pour mettre à jour, veuillez exécuter la commande suivante là où le fichier docker-compose.yml se trouve dans votre configuration (il doit se trouver dans le répertoire secure-ai-tools de la première étape d’installation :

cd /var/www/html/secure-ai-tools 
sudo docker compose pull && sudo docker compose up -d

Supprimer un modèle (LLM) dans SecureAI Tools :

Comment supprimer un modèle LLM dans SecureAI Tools ?

1. repérer le numéro du contenair ollama utilisé par SecureAI Tools :

sudo docker ps -a

2. Executez la commande suivante si le contenair ollama est le e4ez1ev3t353 :

sudo docker exec -it e4ez1ev3t353 ollama list

3. Repérez le modèle à supprimer, par exemple le LLM qwen et supprimez le avec la commande suivante :

sudo docker exec -it e4ez1ev3t353 ollama rm qwen

Possibilité d’utiliser SecureAI Tools avec OpenAI ou des API compatibles OpenAI :

Bien que ce ne soit pas l’objectif initial au regard de la confidentialité des données vis-à-vis de la société OpenAI ou de Microsoft (…), SecureAI Tools peut être utilisé avec les API de la société OpenAI et / ou avec tout autre fournisseur fournissant des API compatibles OpenAI.

Voici les étapes pour activer cela :

1. Définissez MODEL_PROVIDER_CONFIGS dans le fichier .env comme indiqué ci-dessous. Si vous utilisez d’autres fournisseurs qui ne nécessitent pas d’apiKey, vous pouvez spécifier n’importe quelle valeur apiKey factice, le cas échéant utilisez l’ apiBaseUrl appropriée en fonction de votre fournisseur d’API.

# For OpenAI
MODEL_PROVIDER_CONFIGS='[{"type":"OPENAI","apiBaseUrl":"https://api.openai.com/v1","apiKey":"sk-..."}]'
# For OpenAI-compatible other provider
MODEL_PROVIDER_CONFIGS='[{"type":"OPENAI","apiBaseUrl":"...URL of API provider here ...","apiKey":"sk-..."}]'

2. Accédez à la page des paramètres de l’organisation, sélectionnez le type de modèle OpenAI et fournissez le nom de modèle approprié, tel que « gpt3.5-turbo » (l’API GPT4 est couteuse si vous devez résumer de longs documents PDF…).


Ollama Open Web UI, Discuter par écrit et oralement avec une ia open source (MistralAI), sans transmettre de données à la société OpenAI

Le logiciel open source « Ollama WebUI » ou désormais « Open Web UI », est une interface web pour accéder à un logiciel d’intelligence artificielle « Ollama » 🦙 et également à GPT4-turbo au moyen d’une API.

Ollama Web UI Demo

Vous pouvez consulter également le projet frère,  OllamaHub, où vous pouvez découvrir, télécharger et explorer des fichiers modèles personnalisés pour Ollama ! 🦙🔍

Fonctionnalités ⭐

  • 🖥️ Interface intuitive : interface de chat s’inspirant de ChatGPT, garantissant une expérience conviviale.
  • 📱 Conception réactive : profitez d’une expérience transparente sur les ordinateurs de bureau et les appareils mobiles.
  • ⚡ Réactivité : profitez de performances rapides et réactives.
  • 🚀 Installation sans effort : installez en toute transparence à l’aide de Docker pour une expérience sans tracas.
  • 💻 Mise en évidence de la syntaxe du code : profitez d’une lisibilité améliorée du code grâce à notre fonction de mise en évidence de la syntaxe.
  • ✒️🔢 Support complet de Markdown et LaTeX : améliorez votre expérience LLM avec des fonctionnalités complètes de Markdown et LaTeX pour une interaction enrichie.
  • 📥🗑️ Télécharger/supprimer des modèles : téléchargez ou supprimez facilement des modèles directement depuis l’interface utilisateur Web.
  • 🤖 Prise en charge de plusieurs modèles : basculez en toute transparence entre différents modèles de discussion pour diverses interactions.
  • ⚙️ Conversations avec de nombreux modèles : engagez-vous sans effort avec différents modèles simultanément, en exploitant leurs atouts uniques pour des réponses optimales. Améliorez votre expérience en exploitant un ensemble diversifié de modèles en parallèle.
  • 🤝 Intégration du modèle OpenAI : utilisez de manière transparente les modèles OpenAI aux côtés des modèles Ollama pour une expérience conversationnelle polyvalente.
  • 🔄 Accès à l’historique de régénération : revisitez et explorez facilement l’intégralité de votre historique de régénération.
  • 📜 Historique des discussions : accédez et gérez sans effort l’historique de vos conversations.
  • 📤📥 Importer/Exporter l’historique des discussions : déplacez en toute transparence vos données de discussion vers et hors de la plateforme.
  • 🗣️ Prise en charge de la saisie vocale : interagissez avec votre modèle via des interactions vocales ; profitez de la commodité de parler directement à votre modèle. De plus, explorez l’option permettant d’envoyer automatiquement une entrée vocale après 3 secondes de silence pour une expérience simplifiée.
  • ⚙️ Contrôle affiné avec paramètres avancés : obtenez un niveau de contrôle plus approfondi en ajustant des paramètres tels que la température et en définissant les invites de votre système pour adapter la conversation à vos préférences et besoins spécifiques.
  • 🔐 Prise en charge des en-têtes d’authentification : améliorez sans effort la sécurité en ajoutant des en-têtes d’autorisation aux requêtes Ollama directement à partir des paramètres de l’interface utilisateur Web, garantissant ainsi l’accès aux serveurs Ollama sécurisés.
  • 🔗 Connexion au serveur Ollama externe : connectez-vous de manière transparente à un serveur Ollama externe hébergé sur une adresse différente en configurant la variable d’environnement pendant la phase de construction de Docker. De plus, vous pouvez également définir l’URL de connexion au serveur externe à partir de la post-construction de l’interface utilisateur Web.
  • 🔒 Prise en charge du proxy inverse backend : renforcez la sécurité en permettant une communication directe entre le backend de l’interface utilisateur Web d’Ollama et Ollama, éliminant ainsi le besoin d’exposer Ollama sur le réseau local.

Le dépot Github du logiciel de Open Web UI est accessible depuis ce lien :

https://github.com/ollama-webui/ollama-webui.


Installez les progiciels nécessaires (s’ils ne sont pas déjà installés) :

Exécutez en premier la commande suivante pour vérifier et installer les mise à jour :

sudo apt update
sudo apt upgrade
sudo apt install -y apache2 apache2-utils
sudo systemctl start apache2
sudo systemctl enable apache2

sudo iptables -I INPUT -p tcp --dport 80 -j ACCEPT && sudo iptables -I INPUT -p tcp --dport 443 -j ACCEPT

Créez un fichier de configuration servername.conf :

sudo nano /etc/apache2/conf-available/servername.conf

Ajoutez dans le fichier /etc/apache2/conf-available/servername.conf la ligne suivante :

ServerName localhost

Enregistrez et fermez le fichier : Pour enregistrer un fichier dans l’éditeur de texte « Nano », appuyez sur les touches Ctrl + O (pour ‘Oui’) ou sur Ctrl + Y (pour ‘Yes), puis appuyez sur Entrée pour confirmer.

Pour quitter l’éditeur de texte ‘Nano’, appuyez sur les touches : Ctrl + X.

Activez ensuite ce fichier de configuration sous le serveur Apache avec la commande suivante :

sudo a2enconf servername.conf

Rechargez Apache pour que la modification prenne effet :

sudo systemctl reload apache2

sudo apt-get update
sudo apt-get install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc
echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Docker Compose est un outil qui permet de configurer facilement des applications ou des services complexe composés de divers conteneurs. Pour installer Docker Compose sur votre système Ubuntu, téléchargez la version la plus récente (à partir du site officiel) et exécutez la commande suivante:

sudo curl -L « https://github.com/docker/compose/releases/download/1.26.2/docker-compose-$(uname -s)-$(uname -m) » -o /usr/local/bin/docker-compose
sudo apt-get install docker-compose-plugin

Après avoir installé Docker Compose, donnez-lui les autorisations nécessaires pour qu’elle puisse être exécutée correctement:

sudo chmod +x /usr/local/bin/docker-compose

Une fois l ‘installation terminée, vous pouvez exécuter le service Docker sur votre système en exécutant la commande :

sudo systemctl start docker
sudo systemctl enable docker

Installez Conda /miniconda :


sudo wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

Ou si vous avez un Raspberry 4 ou 5 ou un OrangePi 5, executez la commande suivante :


sudo wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-aarch64.sh

Puis, exécutez la commande suivante :

sudo bash Miniconda3-latest-Linux-x86_64.sh

Ou si vous avez un Raspberry 4 ou 5 ou un OrangePi 5, executez la commande suivante :

sudo bash Miniconda3-latest-Linux-aarch64.sh

Installez Yarn :

sudo npm install --global yarn

Installez git :

sudo apt install git

Installez FFmpeg :

sudo apt install ffmpeg

Installez Python :

sudo apt update

sudo apt install build-essential zlib1g-dev libncurses5-dev libgdbm-dev libnss3-dev libssl-dev libreadline-dev libffi-dev libsqlite3-dev wget libbz2-dev

sudo wget https://www.python.org/ftp/python/3.11.3/Python-3.11.3.tgz
sudo tar -xf Python-3.11.3.tgz
cd Python-3.11.3
sudo ./configure --enable-optimizations
sudo make -j 12
sudo make altinstall

Si vous avez une carte graphique Nvidia Rtx, installez Cuda :

sudo su
wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda_12.4.0_550.54.14_linux.runsudo sh cuda_12.4.0_550.54.14_linux.run

sudo apt update
sudo apt-get install nodejs
sudo apt install build-essential
sudo apt install npm


Tutoriel d’installation du logiciel Open Web UI :

.1. Exécutez les commandes suivantes :

Vérifiez que vous avez installé Docker avant d’installer Open UI :

sudo apt-get install docker-ce docker-ce-cli containerd.io

Cas n°1 – Installation avec la configuration par défaut :​
Installation d’Open UI uniquement :

Si Ollama est déjà installé sur votre ordinateur et que votre ordinateur n’a aucune carte graphique / GPU, utilisez cette commande :

sudo docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Installation avec prise en charge d’un GPU Nvidia :​

Pour exécuter Open UI avec la prise en charge du GPU Nvidia, utilisez cette commande :

sudo docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

Installation d’Open UI et d’Ollama ensemble :

Si Ollama n’est pas déjà installé sur votre ordinateur, utilisez ces commandes. Cette méthode d’installation utilise une seule image de conteneur qui regroupe Open WebUI avec Ollama, permettant une configuration rationalisée via une seule commande. Choisissez la commande appropriée en fonction de votre configuration matérielle :

Avec prise en charge d’un GPU : utilisez les ressources GPU en exécutant la commande suivante :

sudo docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

Si vous n’utilisez pas de GPU, utilisez plutôt cette commande :

sudo docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

Les deux commandes facilitent une installation intégrée d’Open UI et d’Ollama.


Cas n° 2- Installation avec prise en charge d’un GPU AMD​ :

Si Ollama n’est PAS déjà installé sur votre ordinateur et que vous avez une carte graphique AMD, utilisez cette commande :

Pour exécuter Ollama avec la prise en charge du GPU AMD, utilisez cette commande :

sudo docker run -d --restart always --device /dev/kfd --device /dev/dri -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:rocm

Puis, pour exécuter Open UI, utilisez cette commande :

sudo docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Puisque notre conteneur Ollama écoute sur le port TCP 11434 de l’hôte, nous allons exécuter notre Open UI comme ceci :

docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Une fois le conteneur opérationnel, vous pouvez accéder à votre navigateur et cliquer sur http://localhost:3000 ou http://localhost:8080 si Open UI est exécuté sur votre propre ordinateur. S’il se trouve sur un autre ordinateur, vous pouvez utiliser http://ip-address-or-domain:8080 pour accéder à Open UI à partir du navigateur.


Cas n°3 – Installation d’Open WebUI de l’API OpenAI uniquement​ :

Si vous utilisez uniquement l’API OpenAI, utilisez cette commande, en indiquant votre clé API d’OpenAI :

sudo docker run -d -p 3000:8080 -e OPENAI_API_KEY=your_secret_key -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Après l’installation, vous pouvez accéder à Open WebUI à l’adresse http://localhost:3000



Puis, créez un compte utilisateur en cliquant sur le lien ‘Sign up’


2. Créez un accès vers le logiciel Ollama Open Web UI depuis un site internet :
2.1. Créez un nom de domaine : openui.exemple.com …/…

Si vous avez installé cette application sur un serveur VPS, vous ne pourrez pas vous connecter avec votre navigateur à l’adresse locale : http://localhost:3000 (ou http://localhost:8080) ou à l’adresse http://192.168.1.XX:3000 du VPS.

Il faut alors créer un accès vers cette application depuis un site internet.

Pour accéder à cette application depuis un site internet, vous devez d’abord créer un sous-domaine de votre nom de domaine ‘exemple.com’. Vous pouvez par exemple créer un sous domaine « openui.exemple.com » ou « ai.exemple .com » depuis votre compte client de votre gestionnaire de nom de domaine, puis en le reliant à l’adresse IP de votre serveur via un enregistrement ‘DNS A’.

Si vous ne vous vous souvenez plus comment faire, consultez de nouveau l’étape 1 de notre tutoriel pour installer Nextcloud.

(Rappel rapide des étapes si vous avez acheté votre nom de domaine via OVH : «Connexion à l’ Espace client d’OVH » -> Onglet « WebCloud» -> Lien « Noms de domaines » -> « exemple.com » -> Bouton « Zone DNS » -> Bouton « Créer un nouvel enregistrement » -> Bouton «  A » -> Bouton « Suivant » -> « cloud » -> compléter l’adresse IP de votre VPS ou de votre serveur « 51.xx.xxx.xx » -> « Bouton Suivant » -> « Bouton Valider »).


2.2. Créez un fichier Virtualhost pour le serveur Apache

Une fois votre nom de sous-domaine crée, éditez un nouveau fichier ‘ollamawebui.conf’ dans le dossier /etc/apache2/sites-available/ avec un éditeur de texte en ligne de commande comme Nano :

sudo nano /etc/apache2/sites-available/openui.conf

Copiez et collez le texte suivant dans le fichier ;
(Remplacez le texte « exemple.com » par votre propre sous-domaine et nom de domaine) 

<VirtualHost  *:80>
ServerName openui.exemple.com
ProxyPreserveHost On
ProxyVia On
# Si le port utilisé pour Open UI est 3000 :
ProxyPass / http://127.0.0.1:3000/ nocanon
# Le mot-clé optionnel nocanon permet de transmettre le chemin d'URL
# sous sa forme brute au serveur d'arrière-plan.
# Notez que ceci peut affecter la sécurité de votre serveur d'arrière-plan,
# car la protection limitée contre les attaques à base d'URL que fournit
# le mandataire est alors supprimée.

ProxyPassReverse / http://127.0.0.1:3000/
RewriteRule ^/(.*)?$ http://localhost:3000/$1 [P,L]
ProxyPass / http://127.0.0.1:8080/ nocanon
ProxyPassReverse / http://127.0.0.1:8080/
# Si le port utilisé pour Open UI est 8080,
# remplacez les 5 lignes de commandes ci-dessus par celles-ci :
#ProxyPass / http://127.0.0.1:8080/ nocanon
#ProxyPassReverse / http://127.0.0.1:8080/
#RewriteRule ^/(.*)?$ http://localhost:8080/$1 [P,L]
#ProxyPass / http://127.0.0.1:3000/ nocanon
#ProxyPassReverse / http://127.0.0.1:3000/
# Poursuivez
<Proxy *>
Allow from all
</Proxy>
#<Location "/">
# ProxyPass "http://127.0.0.1:3000/"
# ProxyPassReverse "http://127.0.0.1:3000/"
# Allow from all
#</Location>
#<Location "/">
# ProxyPass "http://127.0.0.1:11434/"
# ProxyPassReverse "http://127.0.0.1:11434/"
# Allow from all
#</Location>
#ProxyPass / "http://127.0.0.1:11434"
#ProxyPassReverse / "http://127.0.0.1:11434"

ErrorLog ${APACHE_LOG_DIR}/openui.error.log
CustomLog ${APACHE_LOG_DIR}/openui.access.log combined
</VirtualHost>

Enregistrez et fermez le fichier.
(Pour enregistrer un fichier dans l’éditeur de texte Nano, appuyez sur les touches ‘Ctrl+o’, puis sur ‘Entrer’ pour confirmer. Pour quitter, appuyez sur ‘Ctrl+X’).

Activez ensuite ce nouveau fichier de configuration du serveur Apache ‘hôte virtuel’ :

sudo a2ensite openui.conf

Exécutez la commande suivante pour activer les modules Apache requis :

sudo a2enmod rewrite headers env dir mime setenvif ssl proxy_http proxy rewrite

Réglage du par feu :

sudo ufw allow 3000 && sudo ufw allow 8080 && sudo ufw reload

 Recharger Apache et les modules PHP :

sudo systemctl restart apache2

Désormais vous pouvez accéder à Ollama Web UI en tapant l’adresse suivante dans votre navigateur : https://openui.exemple.com


2.3. Activez une connexion en « https » pour accéder au logiciel Ollama Web ui :

Nous allons activer une connexion en ‘https’ vers le site internet nouvellement créé

Exécutez les commandes suivantes pour installer le client Let’s Encrypt (certbot) à partir du référentiel de logiciels par défaut.

sudo apt install certbot

Si vous utilisez le serveur Web Apache, vous devez également installer le plug-in Certbot Apache.

sudo apt install python3-certbot-apache

Exécutez ensuite la commande suivante pour obtenir un certificat TLS/SSL gratuit.

sudo certbot --apache --agree-tos --redirect --hsts --staple-ocsp --email contact@example.com -d openui.example.com

3. Effectuez les réglages suivants après l’installation :

Connectez-vous à l’adresse : https://openui.example.com ou à l’adresse http://localhost:8080, ou http://localhost:3000, puis créez un premier compte utilisateur en cliquant sur le lien ‘sign-up’.

Une fois le compte crée et que vous êtes connecté, la page suivante s’affiche :


  • Cliquez sur le bouton ‘Settings’, puis sur ‘Models’
  • Complétez le nom du modèle suivant : mistral:7b
  • Puis cliquez sur le bouton de téléchargement.

La liste des modèles (LLM) disponibles peut être consultée sur cette page :https://ollama.com/library?sort=popular

Les LLM mistral, mistral-openorca, llava, et/ou starling-lm sont très efficaces (mémoire RAM : minimum 16Go/32Go).

Vous pouvez également essayer les LLM mixtral, nous-hermes2-mixtral, dolphin-mixtral si la configuration de votre serveur ou ordinateur est suffisamment puissante (mémoire RAM : minimum 128 Go ou si vous avez une carte graphique NVIDIA ou AMD ou un Mac).


Cliquez ensuite sur ‘Add-ons’
Puis réglez les paramètres sur On pour activer la reconnaissance vocale et les titres automatisés de vos discussions.


Commencez à discuter avec MistralAI en cliquant sur le bouton ‘New Chat’


Retrieval Augmented Generation (RAG) dans Open UI :

La génération augmentée de récupération (RAG) permet d’inclure le contexte provenant d’autres sources diverses dans les discussions. Le texte provenant de différentes sources est combiné avec le modèle RAG et préfixé à l’invite de l’utilisateur.

Inclure des sources externes dans les discussions​ :

Activez RAG en commençant l’invite par un symbole # . Une liste de sources apparaîtra. Une fois sélectionné, une icône de document apparaît en haut de l’invite, indiquant une récupération réussie.

Utiliser des sources locales :

Les documents locaux doivent d’abord être téléchargés via la section Documents. Puis tapez le symbole # avant votre prompt.

Sources depuis des sites Web ​:

Les sources distantes sont obtenues avec # suivi de l’URL de la page web cible. Open WebUI récupère et analyse l’URL. Les pages Web incluent souvent des informations superflues telles que la navigation et le pied de page. Créez un lien vers le cadre html qui vous interesse sur la page web pour de meilleurs résultats.


Mettre à jour Ollama Open UI (facultatif) :

Si vous souhaitez mettre à jour votre installation Docker locale vers la dernière version, vous pouvez le faire avec Watchtower:

sudo docker run --rm --volume /var/run/docker.sock:/var/run/docker.sock containrrr/watchtower --run-once open-webui

Dans la dernière partie de la commande, remplacez open-webui par le nom de votre conteneur s’il est différent.


Ajoutez un LLM à Ollama (facultatif)

Pour l’exemple, nous allons ajouter « Vigostral » qui est un LLM entrainé sur la base du LLM open source MistralAI:7b avec des données en langue française (LLM) 🇫🇷.

Il est l’évolution d’un précédent LLM nommé Vigogne qui est sur la base de Lllama2.

Pour l’installer dans Ollama, exécutez les commandes suivantes :

cd  ~/ && sudo wget https://huggingface.co/TheBloke/Vigostral-7B-Chat-GGUF/resolve/main/vigostral-7b-chat.Q4_K_M.gguf

Créez un fichier Modelfile :

sudo nano Modelfile

Complétez ce fichier Modelfile avec le texte suivant :

FROM ~/vigostral-7b-chat.Q4_K_M.gguf
PARAMETER temperature 0.2
SYSTEM """You are a helpfull assistant who answer always and only in French."""

Enregistrez et fermez ce fichier (appuyez simultanément sur les touches [control] + [x] puis sur [control] + [o]).

sudo ollama create vigostral-local -f Modelfile

Si nous souhaitons supprimer le modèle, nous exécutons simplement :

sudo ollma rm vigostral-local

Erreur 404 :

Si vous obtenez une page avec un message d’erreur du type : « 404 – HTTP … » lorsque vous tentez de vous connecter à Ollama Open UI, exécutez les commandes suivantes :

Recherchez le port 8080 utilisé par plusieurs processus système :

sudo lsof -t -i:8080

Supprimez le ou les processus qui utilisent déjà ce port 8080 (en modifiant dans la commande suivante, les numéros de processus) :

sudo kill -9 4875 5878 8444

Arretez et supprimez le contenair Docker de Ollama open-webui :

sudo docker ps -a
sudo docker stop 4aa85a8c7a46
sudo docker rm 4aa85a8c7a46

Puis réinstallez Ollama et Open UI (cela aura l’avantage de mettre à jour Ollama…) :

sudo  curl https://ollama.ai/install.sh | sh
docker run -d --network=host -v ollama-webui:/app/backend/data -e OLLAMA_API_BASE_URL=http://127.0.0.1:11434/api --name ollama-webui --restart always ghcr.io/ollama-webui/ollama-webui:main


LocalAI, Un gestionnaire de LLM

LocalAI est l’alternative gratuite OpenAI/Elevenlabs/Claude qui vous permet d’exécuter des modèles d’IA localement sur votre propre CPU et GPU !

💻 Les données ne quittent jamais votre machine ! Pas besoin de services cloud ou de GPU coûteux🦙

LocalAI dans sa version v2.14.0 contient des mises à niveau importantes et de nouvelles fonctionnalités qui rendent l’hébergement de votre propre IA encore meilleur et facile à utiliser.

Voici le récapitulatif :

  • 🖼️ De nombreux nouveaux modèles dans la galerie et des images AIO mises à jour : les images tout-en-un fonctionnent désormais sur le modèle llama3 soutenu par hermes-2-llama3, ce qui signifie que vous verrez des interactions plus intelligentes et plus réactives. Parfait pour toutes les configurations personnalisées que vous exécutez ! De plus, la nouvelle galerie de modèles propose désormais de nombreux nouveaux modèles parmi lesquels vous pouvez choisir et installer en un seul clic ,
  • Refonte de l’interface Web :  LocalAI dispose désormais d’une interface Web pour (principalement) toutes les fonctionnalités de LocalAI !

Discuter avec un LLM peut désormais se faire directement depuis l’interface Web :

r/selfhosted - Big Update for LocalAI: v2.14.0 Brings many new models, revamped WebUI, and OpenVINO Speeds!

Vous pouvez également générer des images :

r/selfhosted - Big Update for LocalAI: v2.14.0 Brings many new models, revamped WebUI, and OpenVINO Speeds!

et de l’audio!

r/selfhosted - Big Update for LocalAI: v2.14.0 Brings many new models, revamped WebUI, and OpenVINO Speeds!

  • Galerie de modèles étendue : Vous recherchez de la polyvalence ? La galerie de modèles contient de nouvelles entrées comme Einstein v6.1 et SOVL, prêtes à aborder un plus large éventail de tâches et d’expériences.
r/selfhosted - Big Update for LocalAI: v2.14.0 Brings many new models, revamped WebUI, and OpenVINO Speeds!
  • Accélération OpenVINO : Pour ceux qui utilisent du matériel Intel, profitez de performances ultra-rapides grâce à la nouvelle prise en charge d’OpenVINO !

👉 Journal des modifications et téléchargement: https://github.com/mudler/LocalAI/releases/tag/v2.14.0

🌐 Website: https://localai.io


Installez les progiciels nécessaires (s’ils ne sont pas déjà installés) :

Exécutez en premier la commande suivante pour vérifier et installer les mise à jour :

sudo apt update
sudo apt upgrade
sudo apt install -y apache2 apache2-utils
sudo systemctl start apache2
sudo systemctl enable apache2
sudo iptables -I INPUT -p tcp --dport 80 -j ACCEPT && sudo iptables -I INPUT -p tcp --dport 443 -j ACCEPT

Créez un fichier de configuration servername.conf :

sudo nano /etc/apache2/conf-available/servername.conf

Ajoutez dans le fichier /etc/apache2/conf-available/servername.conf la ligne suivante :

ServerName localhost

Enregistrez et fermez le fichier : Pour enregistrer un fichier dans l’éditeur de texte « Nano », appuyez sur les touches Ctrl + O (pour ‘Oui’) ou sur Ctrl + Y (pour ‘Yes), puis appuyez sur Entrée pour confirmer.

Pour quitter l’éditeur de texte ‘Nano’, appuyez sur les touches : Ctrl + X.

Activez ensuite ce fichier de configuration sous le serveur Apache avec la commande suivante :

sudo a2enconf servername.conf

Rechargez Apache pour que la modification prenne effet :

sudo systemctl reload apache2

sudo apt-get update
sudo apt-get install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc
echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Docker Compose est un outil qui permet de configurer facilement des applications ou des services complexe composés de divers conteneurs. Pour installer Docker Compose sur votre système Ubuntu, téléchargez la version la plus récente (à partir du site officiel) et exécutez la commande suivante:

sudo curl -L « https://github.com/docker/compose/releases/download/1.26.2/docker-compose-$(uname -s)-$(uname -m) » -o /usr/local/bin/docker-compose
sudo apt-get install docker-compose-plugin

Après avoir installé Docker Compose, donnez-lui les autorisations nécessaires pour qu’elle puisse être exécutée correctement:

sudo chmod +x /usr/local/bin/docker-compose

Une fois l ‘installation terminée, vous pouvez exécuter le service Docker sur votre système en exécutant la commande :

sudo systemctl start docker
sudo systemctl enable docker

Installez Conda /miniconda :

sudo wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

Ou si vous avez un Raspberry 4 ou 5 ou un OrangePi 5, executez la commande suivante :

sudo wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-aarch64.sh

Puis, exécutez la commande suivante :

sudo bash Miniconda3-latest-Linux-x86_64.sh

Ou si vous avez un Raspberry 4 ou 5 ou un OrangePi 5, executez la commande suivante :

sudo bash Miniconda3-latest-Linux-aarch64.sh

Installez Yarn :

sudo npm install --global yarn

Installez git :

sudo apt install git

Installez FFmpeg :

sudo apt install ffmpeg

Installez Python :

sudo apt update
sudo apt install build-essential zlib1g-dev libncurses5-dev libgdbm-dev libnss3-dev libssl-dev libreadline-dev libffi-dev libsqlite3-dev wget libbz2-dev
sudo wget https://www.python.org/ftp/python/3.11.3/Python-3.11.3.tgz
sudo tar -xf Python-3.11.3.tgz
cd Python-3.11.3
sudo ./configure --enable-optimizations
sudo make -j 12
sudo make altinstall

Si vous avez une carte graphique Nvidia Rtx, installez Cuda :

sudo su
wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda_12.4.0_550.54.14_linux.runsudo sh cuda_12.4.0_550.54.14_linux.run

sudo apt update
sudo apt-get install nodejs
sudo apt install build-essential
sudo apt install npm


Installation de LocalAI:

Démarrez l’image avec Docker pour avoir un clone fonctionnel d’OpenAI ! 🚀 :

sudo docker run -p 8080:8080 --name local-ai -ti localai/localai:latest-aio-cpu

Avez-vous un GPU Nvidia ? Utilisez cette commande à la place :

CUDA 11 :

sudo docker run -p 8080:8080 --gpus all --name local-ai -ti localai/localai:latest-aio-gpu-nvidia-cuda-11

CUDA 12 :

sudo docker run -p 8080:8080 --gpus all --name local-ai -ti localai/localai:latest-aio-gpu-nvidia-cuda-12



Surya – OCR de documents multilingues – reconnaissance de texte depuis un document pdf image ou une image

Surya est comme une boîte à outils OCR pour des documents multilingues. Il s’agit d’un utilitaire basé sur CLI qui peut être utilisé avec un CPU ou un GPU.

Il s’agit d’un logiciel gratuit, très performant et open source.

Surya génère déjà des résultats impressionnants. En effectuant des tests sur une variété d’images différentes, la reconnaissance de texte est impressionnante, d’autant plus que le logiciel en est à ses premiers stades de développement.

Le logiciel prend en charge plus de 90 langues.

Le dépot logiciel est accessible via cette page : github.com/VikParuchuri/surya
License: GNU General Public License v3.0 :


Usage commercial:

Les modèles de détection de texte et d’OCR ont été formés à partir de zéro, ils peuvent donc être utilisés à des fins commerciales. Les pondérations sont sous licence cc-by-nc-sa-4.0, mais le développeur y renoncerait pour toute organisation de moins de 5 millions de dollars de revenus bruts au cours de la période de 12 mois la plus récente (cela laisse de la marge…)

Si vous souhaitez supprimer les exigences de licence GPL pour l’inférence ou utiliser les pondérations à des fins commerciales au-delà de la limite de revenus, veuillez contacter surya@vikas.sh pour une double licence.

Source :https://www.linuxlinks.com/machine-learning-linux-surya-multilingual-document-ocr-toolkit-text-recognition/2/


Installez les progiciels nécessaires (s’ils ne sont pas déjà installés) :

Exécutez en premier la commande suivante pour vérifier et installer les mise à jour :

sudo apt update
sudo apt upgrade
sudo apt install -y apache2 apache2-utils
sudo systemctl start apache2
sudo systemctl enable apache2
sudo iptables -I INPUT -p tcp --dport 80 -j ACCEPT && sudo iptables -I INPUT -p tcp --dport 443 -j ACCEPT

Créez un fichier de configuration servername.conf :

sudo nano /etc/apache2/conf-available/servername.conf

Ajoutez dans le fichier /etc/apache2/conf-available/servername.conf la ligne suivante :

ServerName localhost

Enregistrez et fermez le fichier : Pour enregistrer un fichier dans l’éditeur de texte « Nano », appuyez sur les touches Ctrl + O (pour ‘Oui’) ou sur Ctrl + Y (pour ‘Yes), puis appuyez sur Entrée pour confirmer.

Pour quitter l’éditeur de texte ‘Nano’, appuyez sur les touches : Ctrl + X.

Activez ensuite ce fichier de configuration sous le serveur Apache avec la commande suivante :

sudo a2enconf servername.conf

Rechargez Apache pour que la modification prenne effet :

sudo systemctl reload apache2

sudo apt-get update
sudo apt-get install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc
echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Docker Compose est un outil qui permet de configurer facilement des applications ou des services complexe composés de divers conteneurs. Pour installer Docker Compose sur votre système Ubuntu, téléchargez la version la plus récente (à partir du site officiel) et exécutez la commande suivante:

sudo curl -L « https://github.com/docker/compose/releases/download/1.26.2/docker-compose-$(uname -s)-$(uname -m) » -o /usr/local/bin/docker-compose
sudo apt-get install docker-compose-plugin

Après avoir installé Docker Compose, donnez-lui les autorisations nécessaires pour qu’elle puisse être exécutée correctement:

sudo chmod +x /usr/local/bin/docker-compose

Une fois l ‘installation terminée, vous pouvez exécuter le service Docker sur votre système en exécutant la commande :

sudo systemctl start docker
sudo systemctl enable docker

Installez Conda /miniconda :

sudo wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

Ou si vous avez un Raspberry 4 ou 5 ou un OrangePi 5, executez la commande suivante :

sudo wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-aarch64.sh

Puis, exécutez la commande suivante :

sudo bash Miniconda3-latest-Linux-x86_64.sh

Ou si vous avez un Raspberry 4 ou 5 ou un OrangePi 5, executez la commande suivante :

sudo bash Miniconda3-latest-Linux-aarch64.sh

Installez Yarn :

sudo npm install --global yarn

Installez git :

sudo apt install git

Installez FFmpeg :

sudo apt install ffmpeg

Installez Python :

sudo apt update
sudo apt install build-essential zlib1g-dev libncurses5-dev libgdbm-dev libnss3-dev libssl-dev libreadline-dev libffi-dev libsqlite3-dev wget libbz2-dev
sudo wget https://www.python.org/ftp/python/3.11.3/Python-3.11.3.tgz
sudo tar -xf Python-3.11.3.tgz
cd Python-3.11.3
sudo ./configure --enable-optimizations
sudo make -j 12
sudo make altinstall

Si vous avez une carte graphique Nvidia Rtx, installez Cuda :

sudo su
wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda_12.4.0_550.54.14_linux.runsudo sh cuda_12.4.0_550.54.14_linux.run

sudo apt update
sudo apt-get install nodejs
sudo apt install build-essential
sudo apt install npm


Installation :
1. Installez Surya :

Pour exécuter Surya, vous aurez besoin de Python 3.9 ou supérieur et de PyTorch, ce dernier fournit des bibliothèques pour la manipulation de tenseurs de base sur les processeurs ou les GPU, une bibliothèque de réseau neuronal intégrée, des utilitaires de formation de modèles et une bibliothèque multitraitement pouvant fonctionner avec la mémoire partagée.

Il existe différentes manières d’installer Surya sans polluer nos machines. Nous installerons Surya dans un environnement Python isolé.

sudo su
sudo apt install python3-venv -y
mkdir pytorch_env
cd pytorch_env

Créer l’environnement Python :

python3 -m venv pytorch_env
source pytorch_env/bin/activate

Pour installer PyTorch avec la prise en charge GPU, exécutez la commande :

pip install torch torchvision torchaudio

Nous pouvons maintenant installer Surya avec la commande :

pip install surya-ocr

Le développeur fournit également une application simplifiée qui nous permet d’essayer Surya sur des images ou des fichiers PDF avec une interface Web.

pip install streamlit

Lors de la première exécution, les poids du modèle sont automatiquement téléchargés.


Démarrez l’application avec la commande suivante :

sudo surya_gui

L’application est accessible via cette adresse : http://localhost:8501/


2. Créez un accès vers le logiciel Surya depuis un site internet :
2.1. Créez un nom de domaine : surya.exemple.com

Si vous avez installé cette application sur un serveur VPS, vous ne pourrez pas vous connecter avec votre navigateur à l’adresse locale : http://localhost:8501 ou à l’adresse http://192.168.1.XX:8501 du VPS.

Il faut alors créer un accès vers cette application depuis un site internet.

Pour accéder à cette application depuis un site internet, vous devez d’abord créer un sous-domaine de votre nom de domaine ‘exemple.com’. Vous pouvez par exemple créer un sous domaine « surya.exemple.com » depuis votre compte client de votre gestionnaire de nom de domaine, puis en le reliant à l’adresse IP de votre serveur via un enregistrement ‘DNS A’.

Si vous ne vous vous souvenez plus comment faire, consultez de nouveau l’étape 1 de la phase 4 de notre tutoriel pour installer Juris-Tyr.

(Rappel des étapes si vous avez acheté votre nom de domaine via OVH : «Connexion à l’ Espace client d’OVH » -> Onglet « WebCloud» -> Lien « Noms de domaines » -> « exemple.com » -> Bouton « Zone DNS » -> Bouton « Créer un nouvel enregistrement » -> Bouton «  A » -> Bouton « Suivant » -> « cloud » -> compléter l’adresse IP de votre VPS ou de votre serveur « 51.xx.xxx.xx » -> « Bouton Suivant » -> « Bouton Valider »).


2.2. Créez un fichier Virtualhost pour le serveur Apache

Une fois votre nom de sous-domaine crée, éditez un nouveau fichier ‘surya.conf’ dans le dossier /etc/apache2/sites-available/ avec un éditeur de texte en ligne de commande comme Nano :

sudo nano /etc/apache2/sites-available/surya.conf

Copiez et collez le texte suivant dans le fichier ;
(Remplacez le texte « exemple.com » par votre propre sous-domaine et nom de domaine) 

<VirtualHost  *:80>
ServerName surya.exemple.com
ProxyPreserveHost On
ProxyVia On
ProxyPass / http://127.0.0.1:8501
ProxyPassReverse / http://127.0.0.1:8501
RewriteRule ^/(.*)?$ http://localhost:8501/$1 [P,L]
<Proxy *>
Allow from all
</Proxy>
<Location "/">
ProxyPass "http://127.0.0.1:8501/"
ProxyPassReverse "http://127.0.0.1:8501/"
Allow from all
</Location>
ProxyPass "http://127.0.0.1:11434"
ProxyPassReverse "http://127.0.0.1:11434"
ErrorLog ${APACHE_LOG_DIR}/surya.error.log
CustomLog ${APACHE_LOG_DIR}/surya.access.log combined
</VirtualHost>

Enregistrez et fermez le fichier.
(Pour enregistrer un fichier dans l’éditeur de texte Nano, appuyez sur les touches ‘Ctrl+o’, puis sur ‘Entrer’ pour confirmer. Pour quitter, appuyez sur ‘Ctrl+X’).

Activez ensuite ce nouveau fichier de configuration du serveur Apache ‘hôte virtuel’ :

sudo a2ensite surya.conf

Exécutez la commande suivante pour activer les modules Apache requis :

sudo a2enmod rewrite headers env dir mime setenvif ssl proxy_http proxy rewrite

 Recharger Apache et les modules PHP :

sudo systemctl restart apache2

Désormais vous pouvez accéder à cette application en tapant l’adresse suivante dans votre navigateur : https://surya.exemple.com


2.3. Activez une connexion en « https » pour accéder au logiciel Surya :

Nous allons activer une connexion en ‘https’ vers le site internet nouvellement créé

Exécutez les commandes suivantes pour installer le client Let’s Encrypt (certbot) à partir du référentiel de logiciels par défaut.

sudo apt install certbot

Si vous utilisez le serveur Web Apache, vous devez également installer le plug-in Certbot Apache.

sudo apt install python3-certbot-apache

Exécutez ensuite la commande suivante pour obtenir un certificat TLS/SSL gratuit.

sudo certbot --apache --agree-tos --redirect --hsts --staple-ocsp --email contact@example.com -d surya.example.com

Utilisation :

Nous allons vous montrer un exemple : une image PNG qui représente la première page de ‘A Room with a View’, un roman de 1908 de l’écrivain E. M. Forster.

Le côté droit est l’image téléchargée. Le côté gauche est la sortie OCR.

Surya in action

L’image suivante montre le texte OCR.

Surya OCR

BionicGPT, un logiciel pour discuter avec le LLM « Llama3 » , analyser et résumer vos documents, de manière sécurisée, confidentielle et sans transmettre de données à OpenAI

Le logiciel open source BionicGPT a pour objectifs de remplacer le site internet ChatGPT, offrant les avantages de l’IA générative tout en maintenant une stricte confidentialité de vos données par l’utilisation du modèle de langage Llama3.

ChatGPT est un logiciel de la société OpenAI qui, entre autres, n’utilise pas (ou a arrêté d’utiliser) les données des clients pour former les modèles OpenAI. ../…
Toutes les versions de ChatGPT (gratuites, ChatGPT Plus et ChatGPT Enterprise) stockent cependant vos données privées et sensibles sur l’infrastructure cloud d’OpenAI.

BionicGPT, comme le logiciel SecureAI Tools, est une alternative sécurisée auto-hébergée à ChatGPT , dans la mesure où toutes les données résident sur votre infrastructure et ne sont pas envoyée à une société GAFAM ou à OpenAI pour leur traitement par leurs logiciels d’intelligence artificielle.

L’inconvénient par rapport à SecureAI Tools est que Bionic-GPT ne peut s’exécuter que sur un ordinateur ou serveur local en mode développement (sauf si vous trouvez comment configurer et sécuriser le fichier VirtualHost du serveur apache…).

BionicGPT peut s’exécuter sur votre ordinateur portable ou être installé sur un serveur local (serveur interne / intranet ) (pas sur un serveur dédié ou un VPS).


Fonctionnalités ⭐

  • Génération de texte
  • Connexion aux API compatibles Open AI, LocalAI
  • Authentification
  • Connexion et inscription par e-mail/mot de passe SSO
  • Invitation des membres de votre équipe à participer à une discussion avec l’AI
  • Gérez les équipes auxquelles vous appartenez
  • Téléchargement de documents en lots ou de manière individuelle
  • Analyse des documents en lots de 1 000 et reconnaissance de caractère OCR pour le téléchargement de documents PDF
  • Autorisation de l’utilisateur à télécharger des documents via l’API vers des ensembles de données
  • Analyse le texte des documents
  • Statistiques d’utilisation du logiciel …etc.

La liste des fonctionnalités et le dépot Github du logiciel BionicGPT est accessible depuis ce lien : https://github.com/bionic-gpt/bionic-gpt


Installez les progiciels nécessaires (s’ils ne sont pas déjà installés) :

Exécutez en premier la commande suivante pour vérifier et installer les mise à jour :

sudo apt update
sudo apt upgrade
sudo apt install -y apache2 apache2-utils
sudo systemctl start apache2
sudo systemctl enable apache2
sudo iptables -I INPUT -p tcp --dport 80 -j ACCEPT && sudo iptables -I INPUT -p tcp --dport 443 -j ACCEPT

Créez un fichier de configuration servername.conf :

sudo nano /etc/apache2/conf-available/servername.conf

Ajoutez dans le fichier /etc/apache2/conf-available/servername.conf la ligne suivante :

ServerName localhost

Enregistrez et fermez le fichier : Pour enregistrer un fichier dans l’éditeur de texte « Nano », appuyez sur les touches Ctrl + O (pour ‘Oui’) ou sur Ctrl + Y (pour ‘Yes), puis appuyez sur Entrée pour confirmer.

Pour quitter l’éditeur de texte ‘Nano’, appuyez sur les touches : Ctrl + X.

Activez ensuite ce fichier de configuration sous le serveur Apache avec la commande suivante :

sudo a2enconf servername.conf

Rechargez Apache pour que la modification prenne effet :

sudo systemctl reload apache2

sudo apt-get update
sudo apt-get install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc
echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Docker Compose est un outil qui permet de configurer facilement des applications ou des services complexe composés de divers conteneurs. Pour installer Docker Compose sur votre système Ubuntu, téléchargez la version la plus récente (à partir du site officiel) et exécutez la commande suivante:

sudo curl -L « https://github.com/docker/compose/releases/download/1.26.2/docker-compose-$(uname -s)-$(uname -m) » -o /usr/local/bin/docker-compose
sudo apt-get install docker-compose-plugin

Après avoir installé Docker Compose, donnez-lui les autorisations nécessaires pour qu’elle puisse être exécutée correctement:

sudo chmod +x /usr/local/bin/docker-compose

Une fois l ‘installation terminée, vous pouvez exécuter le service Docker sur votre système en exécutant la commande :

sudo systemctl start docker
sudo systemctl enable docker

Installez Conda /miniconda :

sudo wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

Ou si vous avez un Raspberry 4 ou 5 ou un OrangePi 5, executez la commande suivante :

sudo wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-aarch64.sh

Puis, exécutez la commande suivante :

sudo bash Miniconda3-latest-Linux-x86_64.sh

Ou si vous avez un Raspberry 4 ou 5 ou un OrangePi 5, executez la commande suivante :

sudo bash Miniconda3-latest-Linux-aarch64.sh

Installez Yarn :

sudo npm install --global yarn

Installez git :

sudo apt install git

Installez FFmpeg :

sudo apt install ffmpeg

Installez Python :

sudo apt update
sudo apt install build-essential zlib1g-dev libncurses5-dev libgdbm-dev libnss3-dev libssl-dev libreadline-dev libffi-dev libsqlite3-dev wget libbz2-dev
sudo wget https://www.python.org/ftp/python/3.11.3/Python-3.11.3.tgz
sudo tar -xf Python-3.11.3.tgz
cd Python-3.11.3
sudo ./configure --enable-optimizations
sudo make -j 12
sudo make altinstall

Si vous avez une carte graphique Nvidia Rtx, installez Cuda :

sudo su
wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda_12.4.0_550.54.14_linux.runsudo sh cuda_12.4.0_550.54.14_linux.run

sudo apt update
sudo apt-get install nodejs
sudo apt install build-essential
sudo apt install npm


Tutoriel d’installation du logiciel BionicGPT :

L’installation est particulièrement simple : téléchargez le fichier docker-compose.yml et exécutez « docker-compose up » pour accéder à l’interface utilisateur depuis l’adresse : http://localhost:7800/auth/sign_up

Ce logiciel a été testé sur un ordinateur avec un processeur AMD 2700x avec 16 Go de RAM. Le modèle lama-2-7b-chat inclus fonctionne uniquement sur CPU.
A noter que ce logiciel ne fonctionne malheureusement pas sur les plateformes ‘arm64’, c’est à dire sur un micro ordinateur de type Raspberry ou OrangePi.

Les images de ce docker-compose sont volumineuses car les modèles de langage sont préchargés pour plus de commodité.

1. Exécutez les commandes suivantes :
cd /var/www/html/ && sudo mkdir bionicGPT && cd bionicGPT
sudo curl -O https://raw.githubusercontent.com/purton-tech/bionicgpt/main/docker-compose.yml
sudo docker compose up

…/…et patientez…

2. Accès en local vers le logiciel BionicGPT

Si vous avez installé cette application, vous ne pourrez vous y connecter avec votre navigateur qu’à l’adresse locale : http://localhost:7800 ou à l’adresse http://192.168.1.XX:7800 sur le serveur local.

3. Effectuez les réglages suivants après l’installation :

Connectez-vous à l’adresse http://localhost:7800/auth/sign_up

Puis, créez un utilisateur administrateur en cliquant sur le lien ‘Register’.

Vous accèderez ensuite à la console d’administration.

Alt text

Reor Project : application de prise de notes basée sur l’intelligence artificielle qui relie automatiquement vos notes, répond à vos questions en recherchant dans vos notes et permet une recherche sémantique.

Reor est une application de prise de notes de bureau basée sur l’IA : elle relie automatiquement les idées associées, répond aux questions sur vos notes et propose une recherche sémantique. Tout est stocké localement et vous pouvez modifier vos notes.

Un des intérêts de cette application Reor est de pouvoir la relier avec l’application « Notes » de Nextcloud, depuis son PC ou son Mac ou depuis son Smartphone via l’app Android Notes ou l’app Iphone Notes. Cette application Reor vous permet alors de classer vos différentes notes / idées que vous avez écrit/copié/collé dans Nextcloud (par exemple les idées d’arguments sur un dossier ou des notes de jurisprudence glanées sur le web…) et de pouvoir les retrouver ou pouvoir associer automatiquement plusieurs notes entre elles en fonction de leur similarité, ou encore poser des questions sur vos notes / idées avec un logiciel d’intelligence artificielle open source tel que Llama3 ou MistralAi.

Cette application ne fait pas appel à l’API de la société OpenAi mais à des LLM open source tels que LLama3 de ou Mistral installés localement.

Ainsi, vos prises de notes et vos prompts ne se retrouveront pas sur les serveurs Cloud de la société Openai…

Le dépôt logiciel de Reor Project est accessible via ce lien : https://github.com/reorproject/reor

Reor Project est sous licence GPL-3.0


Les principes de base de la GPL :

Personne ne doit être limité par les logiciels qu’il utilise. Il y a quatre libertés que tout utilisateur doit posséder :

  • la liberté d’utiliser le logiciel à n’importe quelle fin,
  • la liberté de modifier le programme pour répondre à ses besoins,
  • la liberté de redistribuer des copies à ses amis et voisins,
  • la liberté de partager avec d’autres les modifications qu’il a faites.

Installation de Reor Project :
  1. Téléchargez depuis le site reorproject.org, les versions Mac, Linux & Windows selon votre systeème d’exploitation.
  2. Installez Reor comme une application normale…

Exécution de modèles locaux :

Reor interagit directement avec les bibliothèques Llama.cpp ; il n’est donc pas nécessaire de télécharger Ollama.

Cependant, vous devrez télécharger manuellement le modèle de votre choix :

  1. Téléchargez un fichier de modèle GGUF depuis  Hugging Face . Il est recommandé de télécharger un modèle 7B 4 bits et de voir comment cela fonctionne sur votre système.
    Par exemple, si vous travaillez en langue française, vous pouvez télécharger le LLM « Vigostral » qui est un LLM basé sur l’excellent Mistral:7b avec de plus de données en langue française (anciennement le LLM « Vigogne »).
  2. Connectez-le dans les paramètres Reor sous « Ajouter un nouveau modèle local »

Vous pouvez également connecter une API compatible OpenAI comme Oobabooga, Ollama ou OpenAI (même si l’objectif de cette app est justement d’éviter d’enregistrer vos notes personnnelles et vos idées sur les serveurs de la société OpenAI ou d’une société Gafam…).


Importer vos notes :

L’application Reor Project fonctionne dans un seul répertoire du système de fichiers et vous choisissez le répertoire au premier démarrage.

Si vous utilisez Nextcloud et que vous souhaitez utiliser Reor avec vos Notes rédigées dans l’app Notes de Nexcloud, vous devez sélectionner le dossier « Notes » situé dans le dossier « Nextcloud » de votre ordinateur (après avoir installé l’application de Synchronisation des dossier et fichiers de Nextcloud).


GPT4 Builder : Créez votre assistant d’intelligence artificielle personnalisé sur le modèle GPT4 en utilisant une clé API sur la plateforme développeurs de la société OpenAI

Le 6 novembre 2023 , la société OpenAI a annoncé le lancement d’une plateforme permettant de créer des versions personnalisées de ChatGPT pour des cas d’utilisation spécifiques, sans qu’aucun codage ne soit nécessaire. Ces agents, baptisés les « GPT », seront accessibles dans les semaines à venir sur un « GPT Store ».

Accessoirement, avec cette annonce, la société OpenAI vient de ruiner beaucoup d’éditeurs de sites web ayant opté un buisness model basé sur un accès gratuit ou payant à un assistant d’intelligence artificielle basé sur GPT4, avec un prompt, une documentation technique et/ou des réglages personnalisés…

Il est désormais possible de créer son propre assistant d’intelligence artificielle sur la base du modèle GPT4 sur le site web ‘classique’ de la société OpenAI : https://chat.openai.com/chat avec un abonnement payant à 20$ par mois
… ou, ce qui est plus intéressant, directement sur le site dédié pour les développeurs d’API de la société OpenAI : https://platform.openai.com/


L’objectif de ce tutoriel est de vous apprendre à créer votre assistant d’intelligence artificielle sur le site dédié pour les développeurs d’API, et non le site internet de chat classique (impliquant la souscription d’un abonnement à 20$ par mois et des fonctionnalités limitées).

Un intérêt à fonctionner ainsi se situe sur le plan économique si on compare le coût d’une clé API développeur (à partir de 5$ par mois) et le coût d’un abonnement classique sur le site web de chat de la société OpenAI (20$ par mois).

Il y a également un intérêt sur le plan de la confidentialité des données puisque nous supposons que celles-ci ne sont pas, a priori, analysées par la société OpenAI, si vous utilisez leur modèle de langage GPT4 via leur API (ou si vous cochez la bonne case dans les réglages du site web de chat).


Les étapes ont les suivantes :

1. Connectez vous à votre compte sur le site web de la société OpenAI pour les développeurs.
https://platform.openai.com/assistants


2. Cliquez sur l’onglet ‘Assistant’ puis sur le bouton ‘Create’.

3. Choisissez un nom pour votre assistant (par exemple : « Michel »), un prompt de départ (par exemple : « Agissez comme mon conseiller juridique en droit français. Je vous décrirai une situation juridique et vous me donnerez des conseils sur la manière de la gérer. Vous devez répondre en donnant votre avis en droit français »), le modèle de langage à utiliser : « gpt-4-1006-preview » et enfin cliquez sur le bouton « Save ».

4. Cliquez sur l’onglet « Playground », puis sur l’assistant nouvellement crée (« Michel » dans l’exemple ci-dessous).

5. Ajoutez éventuellement des documents de travail à analyser et commencez à discuter avec votre assistant .


⏩ h2ogpt : Analysez et résumez vos documents ou discutez simplement avec des LLM GPT privés locaux à l’aide de h2oGPT

h2ogpt est un logiciel open source qui permet d’analyser et de résumer vos documents ou discutez simplement avec des LLM GPT privés locaux.

C’est un logiciel d’intelligence artificielle très complet mais peut-être un peu complexe à utiliser.

Il fonctionne sur Mac doté d’un processeur M1 ou M2 ou sur PC Windows doté de suffisamment de mémoire RAM et d’une bonne carte graphique Nvidia.

Il fonctionne également sur linux.

Le dépôt logiciel est consultable via ce lien : https://github.com/h2oai/h2ogpt?tab=readme-ov-file


Caractéristiques :
  • Base de données privée hors ligne pour tous les documents (PDF, Excel, Word, images, images vidéo, Youtube, audio, code, texte, MarkDown, etc.)
  • Utilisation efficace du contexte à l’aide de LLM optimisés par les instructions (pas besoin de l’approche en quelques coups de LangChain)
  • Variété de modèles pris en charge (LLaMa3, Mistral, Falcon, Vicuna, WizardLM. Avec AutoGPTQ, 4 bits/8 bits, LORA, etc.)
  • Prise en charge du GPU à partir des modèles HF et LLaMa.cpp GGML et prise en charge du CPU à l’aide des modèles HF, LLaMa.cpp et GPT4ALL
  • UI (interface graphique) ou CLI (en lignes de commande) avec streaming de tous les modèles :
  • Prise en charge de Linux, Docker, macOS et Windows
  • Téléchargez et affichez des documents via l’interface utilisateur (contrôlez plusieurs collections collaboratives ou personnelles)
  • Modèle Vision LLaVa et génération d’images de Stable diffusion
  • Voice STT utilisant Whisper avec conversion audio en streaming
  • Voice TTS utilisant Microsoft Speech T5 sous licence MIT avec plusieurs voix et conversion audio en streaming
  • Voice TTS utilisant TTS sous licence MPL2, y compris le clonage vocal et la conversion audio en streaming
  • Mode de commande vocale AI Assistant pour un contrôle mains libres du chat
  • Téléchargement facile de LLM
  • Authentification dans l’interface utilisateur par utilisateur/mot de passe

Installation :

Vous pouvez installer h2ogpt sur votre ordinateur personnel, mac ou windows, s’il est suffisamment performant (mémoire vive, carte graphique…) à l’aide de ces programmes d’installation:


Exemples de prompts pour mieux utiliser les logiciels d’intelligence artificielle (ChatGPT, Mistral, LLAmA3…)

Un logiciel d’AI, que ce soit ChatGPT, Claude ou Llama3…, fonctionnent beaucoup mieux si on précise, en amont, son identité ou sa fonction et comment répondre à la question / au prompt ou à la requête….

Par exemple, en tant qu’avocat ‘contentieux’ en France, si vous souhaitez avoir un rappel ou une résumé de conclusions dans le cadre d’une procédure orale, vous pourriez envoyer le prompt suivant : « En tant qu’assistant juridique, peux-tu m’aider à préparer un projet de plaidoirie sur la base de conclusions. La plaidoirie doit comprendre un bref rappel des faits, puis le résumé des différents arguments des conclusions et enfin rappel des demandes précisées après les termes « PAR CES MOTIFS ». Le texte des conclusions est le suivant : « Texte des conclusions anonymisées » » ; ou : « En tant qu’assistant juridique, peux me faire un rappel des faits, un résumé des arguments puis des demandes présents dans ces conclusions : « Texte des conclusions (anonymisées si vous utilisez ChatGPT ou une autre AI (AI) commerciale et non anonymisées si vous utilisez votre propre logiciel IA (AI) comme expliqué dans ces tutoriels) ».

Ainsi, une bonne rédaction de vos prompts vous permet d’améliorer la réponse du logiciel d’AI (IA).

Vous trouverez ci-après quelques de propositions de différents prompts à copier/coller pour obtenir des réponses plus précises.

D’autres prompts peuvent être copiés depuis cette page :
https://github.com/awesome-assistants/awesome-assistants?tab=readme-ov-file#editor-in-chief


Exemples de prompts :

Source : https://github.com/f/awesome-chatgpt-prompts

avocat : Vous êtes un assistant avocat chatbot avancé spécialité en droit civil français. Votre objectif principal est d’aider les utilisateurs avec leurs questions juridiques en droit français et des préoccupations. Fournir des informations juridiques générales et des conseils sur divers sujets tels que les contrats, les litiges et les droits des citoyens en France. Proposez des suggestions d’actions et de ressources juridiques appropriées. Notez que vous n’êtes pas un avocat agréé et que vous ne pouvez pas fournir des conseils ou une représentation juridiques spécifiques.

assistant juridique : Vous serez mon conseiller juridique en droit français. Je vous décrirai une situation juridique et vous me donnerez des conseils en français sur la manière de la gérer. Vous devez répondre en donnant votre avis en droit français. Ne rédigez pas d’explications.

avocat d’une start-up technologique : Agissez en tant qu’avocat d’une start-up technologique. Je vais vous demander de préparer un projet d’une page d’un accord de partenariat de conception entre une start-up technologique avec une propriété intellectuelle et un client potentiel de la technologie de cette start-up qui fournit des données et une expertise dans le domaine de l’espace de problème que la start-up est en train de résoudre. Vous rédigerez un projet d’accord de partenariat de conception d’environ 1 page A4 qui couvrira tous les aspects importants de la propriété intellectuelle, de la confidentialité, des droits commerciaux, des données fournies, de l’utilisation des données, etc.

coach en art oratoire : Agissez en tant que coach en matière de prise de parole en public. Vous développerez des stratégies de communication claires, fournirez des conseils professionnels sur le langage corporel et l’inflexion de la voix, enseignerez des techniques efficaces pour capter l’attention de leur public et apprendrez à surmonter les craintes associées à la prise de parole en public. Ma première suggestion est la suivante : « J’ai besoin d’aide pour coacher un cadre à qui l’on a demandé de prononcer le discours principal lors d’une conférence ».

assistant élocuteur : Joue le rôle d’un élocuteur. Vous développerez des techniques de prise de parole en public, créerez des supports de présentation stimulants et attrayants, vous vous entraînerez à prononcer des discours avec une diction et une intonation correctes, vous travaillerez le langage corporel et vous développerez des moyens de capter l’attention de votre auditoire. Ma première demande de suggestion est la suivante : « J’ai besoin d’aide pour prononcer un discours sur le développement durable sur le lieu de travail à l’intention des directeurs exécutifs des entreprises ».

chef d’entreprise : Agissez en tant que directeur général d’une entreprise hypothétique. Vous serez chargé de prendre des décisions stratégiques, de gérer les performances financières de l’entreprise et de la représenter auprès des parties prenantes externes. Vous devrez répondre à une série de scénarios et de défis, et vous devrez faire preuve de discernement et de leadership pour trouver des solutions. N’oubliez pas de rester professionnel et de prendre des décisions dans le meilleur intérêt de l’entreprise et de ses employés. Votre premier défi est le suivant :  » faire face à une situation de crise potentielle où un rappel de produits est nécessaire « . Comment allez-vous gérer cette situation et quelles mesures allez-vous prendre pour atténuer tout impact négatif sur l’entreprise ? »

générateur d’idées de start-ups : Générez des idées de start-ups numériques basées sur les souhaits des gens. Par exemple, lorsque je dis « J’aimerais qu’il y ait un grand centre commercial dans ma petite ville », vous générez un plan d’affaires pour la start-up numérique avec le nom de l’idée, un court one liner, le persona de l’utilisateur cible, les points de douleur de l’utilisateur à résoudre, les principales propositions de valeur, les canaux de vente et de marketing, les sources de revenus, les structures de coûts, les activités clés, les ressources clés, les partenaires clés, les étapes de validation de l’idée, les coûts d’exploitation estimés pour la première année, et les défis commerciaux potentiels à relever. Rédigez le résultat dans un tableau markdown.

comptable : Agissez comme un comptable et que vous trouviez des moyens créatifs de gérer les finances. Vous devrez tenir compte du budget, des stratégies d’investissement et de la gestion des risques lors de l’élaboration d’un plan financier pour votre client. Dans certains cas, vous devrez également fournir des conseils sur les lois et réglementations fiscales afin de les aider à maximiser leurs profits. Ma première suggestion est la suivante : « Élaborer un plan financier pour une petite entreprise en mettant l’accent sur les économies et les investissements à long terme ».

analyste financier : Agissez en tant qu’analyste financier : Je veux une assistance fournie par des personnes qualifiées ayant de l’expérience dans la compréhension des graphiques en utilisant des outils d’analyse technique tout en interprétant l’environnement macroéconomique qui prévaut à travers le monde. Par conséquent, aider les clients à acquérir des avantages à long terme nécessite des verdicts clairs, et c’est ce que je recherche par le biais de prédictions informées et écrites avec précision ! Le premier énoncé contient le contenu suivant :  » Pouvez-vous nous dire à quoi ressemblera le marché boursier à l’avenir en fonction des conditions actuelles ?

gestionnaire d’investissement : Agissez en tant que gestionnaire d’investissement : En recherchant les conseils d’un personnel expérimenté, spécialiste des marchés financiers, en intégrant des facteurs tels que le taux d’inflation ou les estimations de rendement et en suivant les cours des actions sur une longue période, nous aidons le client à comprendre le secteur et lui suggérons les options les plus sûres possibles où il peut allouer des fonds en fonction de ses besoins et de ses intérêts ! Question de départ – Quelle est la meilleure façon d’investir de l’argent à court terme ?

professionnel du développement personnel : Vous me donnerez des conseils et des astuces sur la manière d’améliorer certains aspects de ma vie, tels que les relations, le développement de carrière ou la planification financière. Par exemple, si je rencontre des difficultés dans ma relation avec mon conjoint, vous pourriez me suggérer des techniques de communication utiles pour nous rapprocher. Ma première demande est « J’ai besoin d’aide pour rester motivé dans les moments difficiles ».

recruteur : Joue le rôle d’un intervieweur. Je serai le candidat et vous me poserez les questions de l’entretien pour le poste. Je veux que vous ne répondiez qu’en tant qu’intervieweur. N’écrivez pas toute la conservation en même temps. Je veux que vous ne fassiez l’entretien qu’avec moi. Posez-moi les questions et attendez mes réponses. N’écrivez pas d’explications. Posez-moi les questions une à une comme le fait un interviewer et attendez mes réponses. Ma première phrase est « Bonjour »

professeur d’anglais parlé : Joue le rôle d’un professeur d’anglais parlé et que vous amélioriez votre anglais. Je vous parlerai en anglais et vous me répondrez en anglais pour pratiquer mon anglais parlé. Je veux que vous fassiez attention à votre réponse et que vous la limitiez à 100 mots. Je veux que vous corrigiez strictement mes fautes de grammaire, mes fautes de frappe et mes erreurs factuelles. Je veux que vous me posiez une question dans votre réponse. Commençons à nous entraîner. Vous pouvez commencer par me poser une question. Rappelez-vous, je veux que vous corrigiez strictement mes fautes de grammaire, mes fautes de frappe et mes erreurs factuelles.

publicitaire : Joue le rôle d’un publicitaire. Vous allez créer une campagne pour promouvoir un produit ou un service de votre choix. Vous choisirez un public cible, élaborerez des messages clés et des slogans, sélectionnerez les canaux médiatiques pour la promotion et déciderez de toute activité supplémentaire nécessaire pour atteindre vos objectifs. Ma première demande de suggestion est la suivante : « J’ai besoin d’aide pour créer une campagne publicitaire pour un nouveau type de boisson énergisante ciblant les jeunes adultes âgés de 18 à 30 ans ».

coach en motivation : Joue le rôle d’un coach en motivation. Je vous fournirai des informations sur les objectifs et les défis d’une personne, et il vous appartiendra de trouver des stratégies pour l’aider à atteindre ses objectifs. Il peut s’Agir d’affirmations positives, de conseils utiles ou de suggestions d’activités à réaliser pour atteindre l’objectif fixé. Ma première demande est la suivante : « J’ai besoin d’aide pour me motiver à rester discipliné pendant que j’étudie pour un examen à venir ».

orateur motivant : Agissez comme un orateur motivant. Rassemblez des mots qui inspirent l’action et donnent aux gens le sentiment d’être capables de faire quelque chose qui dépasse leurs capacités. Vous pouvez parler de n’importe quel sujet, mais l’objectif est de vous assurer que ce que vous dites trouve un écho auprès de votre public, en l’incitant à travailler sur ses objectifs et à s’efforcer d’atteindre de meilleures possibilités. Ma première demande est la suivante : « J’ai besoin d’un discours sur le fait que tout le monde ne doit jamais abandonner ».

coach de vie : Agissez comme un coach de vie. Je vous donnerai quelques détails sur ma situation actuelle et mes objectifs, et ce sera à vous de trouver des stratégies qui m’aideront à prendre de meilleures décisions et à atteindre ces objectifs. Il peut s’Agir de conseils sur différents sujets, tels que l’élaboration de plans de réussite ou la gestion d’émotions difficiles. Ma première demande est la suivante : « J’ai besoin d’aide pour développer des habitudes plus saines de gestion du stress ».

conseiller d’orientation : Joue le rôle d’un conseiller d’orientation professionnelle. Je vais vous présenter une personne qui cherche à s’orienter dans sa vie professionnelle, et votre tâche est de l’aider à déterminer les carrières qui lui conviennent le mieux en fonction de ses compétences, de ses centres d’intérêt et de son expérience. Vous devrez également effectuer des recherches sur les différentes options disponibles, expliquer les tendances du marché de l’emploi dans les différents secteurs et donner des conseils sur les qualifications qui seraient utiles pour poursuivre dans des domaines particuliers. Ma première demande est la suivante : « Je voudrais conseiller quelqu’un qui souhaite poursuivre une carrière potentielle dans l’ingénierie logicielle ».

entraîneur personnel : Je souhaite que vous agissiez en tant qu’entraîneur personnel. Je vous fournirai toutes les informations nécessaires sur une personne qui cherche à devenir plus en forme, plus forte et en meilleure santé grâce à l’entraînement physique, et votre rôle est de concevoir le meilleur plan pour cette personne en fonction de son niveau de forme actuel, de ses objectifs et de ses habitudes de vie. Vous devez utiliser vos connaissances en matière de science de l’exercice, de conseils nutritionnels et d’autres facteurs pertinents afin de créer un plan adapté à cette personne. Ma première demande est la suivante : « J’ai besoin d’aide pour concevoir un programme d’exercices pour quelqu’un qui veut perdre du poids ».

conseiller en santé mentale : Agissez en tant que conseiller en santé mentale. Je vous présenterai une personne qui cherche à être guidée et conseillée dans la gestion de ses émotions, de son stress, de son anxiété et d’autres problèmes de santé mentale. Vous devrez utiliser vos connaissances en matière de thérapie cognitivo-comportementale, de techniques de méditation, de pratiques de pleine conscience et d’autres méthodes thérapeutiques afin d’élaborer des stratégies que la personne pourra mettre en œuvre pour améliorer son bien-être général. Ma première demande est : « J’ai besoin de quelqu’un qui puisse m’aider à gérer mes symptômes de dépression ».

agent immobilier : Joue le rôle d’un agent immobilier. Je vous fournirai des informations sur une personne à la recherche de la maison de ses rêves, et votre rôle sera de l’aider à trouver la propriété idéale en fonction de son budget, de ses préférences en matière de style de vie, de ses exigences en matière de localisation, etc. Vous devez utiliser votre connaissance du marché immobilier local pour proposer des biens qui correspondent à tous les critères fournis par le client. Ma première demande est la suivante : « J’ai besoin d’aide pour trouver une maison familiale de plain-pied près du centre-ville d’Istanbul ».

logisticien : Agissez en tant que logisticien. Je vous fournirai des détails sur un événement à venir, tels que le nombre de participants, le lieu et d’autres facteurs pertinents. Votre rôle consiste à élaborer un plan logistique efficace pour l’événement en tenant compte de l’allocation préalable des ressources, des moyens de transport, des services de restauration, etc. Vous devez également garder à l’esprit les problèmes de sécurité potentiels et élaborer des stratégies pour atténuer les risques associés à des événements de grande envergure comme celui-ci. Ma première demande est la suivante : « J’ai besoin d’aide pour organiser une réunion de développeurs pour 100 personnes à Istanbul ».

consultant en conception de sites web : Agissez en tant que consultant en conception de sites web. Je vous fournirai des détails concernant une organisation qui a besoin d’aide pour concevoir ou redévelopper son site web, et votre rôle est de suggérer l’interface et les fonctionnalités les plus appropriées qui peuvent améliorer l’expérience de l’utilisateur tout en atteignant les objectifs commerciaux de l’entreprise. Vous devez utiliser vos connaissances des principes de conception UX/UI, des langages de codage, des outils de développement de sites web, etc. afin d’élaborer un plan complet pour le projet. Ma première demande est « J’ai besoin d’aide pour créer un site de commerce électronique pour vendre des bijoux ».

médecin : Agissez comme un médecin et que vous proposiez des traitements créatifs pour des maladies ou des affections. Vous devez être en mesure de recommander des médicaments conventionnels, des remèdes à base de plantes et d’autres alternatives naturelles. Vous devrez également tenir compte de l’âge du patient, de son mode de vie et de ses antécédents médicaux lorsque vous ferez vos recommandations. Ma première suggestion est la suivante : « Proposez un plan de traitement axé sur des méthodes de guérison holistiques pour un patient âgé souffrant d’arthrite ».

chef cuisinier : J’ai besoin de quelqu’un qui puisse me suggérer de délicieuses recettes comprenant des aliments bénéfiques sur le plan nutritionnel, mais aussi faciles à préparer et qui ne prennent pas beaucoup de temps, ce qui convient à des personnes très occupées comme nous, ainsi que d’autres facteurs tels que le rapport coût-efficacité, de sorte que le plat final soit à la fois sain et économique ! Ma première demande Quelque chose de léger mais satisfaisant qui peut être cuisiné rapidement pendant la pause déjeuner.

animateur pour des activités en famille ou entre amis : Joue le rôle d’un animateur pour le week-end. Vous me donnerez des idées amusantes et uniques d’activités et de loisirs qui peuvent être pratiqués n’importe où. Par exemple, je pourrais vous demander des suggestions intéressantes pour l’aménagement de votre jardin ou des façons créatives de passer du temps à l’intérieur lorsque le temps n’est pas favorable. En outre, si nécessaire, vous pouvez suggérer d’autres activités ou articles connexes qui vont de pair avec ce que j’ai demandé. Ma première demande est la suivante : « Je cherche de nouvelles activités de plein air dans ma région ».

diététicien : Agissez comme une diététicienne, j’aimerais concevoir une recette végétarienne pour 2 personnes qui contient environ 500 calories par portion et qui a un faible indice glycémique. Pouvez-vous me faire une suggestion ?

psychologue : Agissez comme un psychologue. Je vais vous faire part de mes pensées. Je veux que vous me donniez des suggestions scientifiques qui me permettront de me sentir mieux. ma première pensée, { tapez ici votre pensée, si vous l’expliquez plus en détail, je pense que vous obtiendrez une réponse plus précise. }

générateur de noms de domaine intelligent : Agissez comme un générateur de noms de domaine intelligent. Je vous dirai ce que fait mon entreprise ou mon idée et vous me répondrez une liste d’alternatives de noms de domaine en fonction de ma demande. Vous ne répondrez qu’à la liste de domaines, et rien d’autre. Les domaines doivent avoir un maximum de 7-8 lettres, doivent être courts mais uniques, peuvent être des mots accrocheurs ou inexistants. N’écrivez pas d’explications. Répondez « OK » pour confirmer.

influenceur sur les médias sociaux : Agissez comme un influenceur sur les médias sociaux. Vous créerez du contenu pour diverses plateformes telles qu’Instagram, Twitter ou YouTube et vous vous engagerez avec les personnes qui vous suivent afin d’accroître la notoriété de la marque et de promouvoir des produits ou des services. Ma première demande de suggestion est la suivante : « J’ai besoin d’aide pour créer une campagne engageante sur Instagram afin de promouvoir une solution logicielle basée sur Nextcloud a destination des avocats et des entreprises de services. »

responsable des médias sociaux : Agissez comme un responsable des médias sociaux. Vous serez chargé de développer et d’exécuter des campagnes sur toutes les plateformes pertinentes, de dialoguer avec le public en répondant aux questions et aux commentaires, de suivre les conversations grâce à des outils de gestion de la communauté, d’utiliser des analyses pour mesurer le succès, de créer un contenu attrayant et de le mettre à jour régulièrement. Ma première demande de suggestion est la suivante : « J’ai besoin d’aide pour gérer la présence d’une organisation sur Twitter afin d’accroître la notoriété de la marque ».

médecin virtuel : Agit comme un médecin virtuel. Je décrirai mes symptômes et vous fournirez un diagnostic et un plan de traitement. Vous ne devez répondre qu’avec votre diagnostic et votre plan de traitement, et rien d’autre. N’écrivez pas d’explications. Ma première demande est la suivante : « J’ai des maux de tête et des vertiges depuis quelques jours ».

chef cuisinier personnel : Agissez comme mon chef cuisinier personnel. Je vous ferai part de mes préférences alimentaires et de mes allergies, et vous me suggérerez des recettes à essayer. Vous ne devez répondre qu’avec les recettes que vous recommandez, et rien d’autre. N’écrivez pas d’explications. Ma première demande est la suivante : « Je suis végétarien et je cherche des idées de repas sains ».


D’autres assistants…
Total assistants: 240
  1. 👩🏼‍🎓 General Assistant
  2. 🎯 Marketing Assistant
  3. 📢 Advertising Assistant
  4. 💰 Money Maker
  5. 🦜 The Negotiator
  6. 👩‍🍳 The Chef
  7. 💡 Startup Idea Generator
  8. 💡 Brainstorm Assistant
  9. 👩🏼‍💻 Code Assistant
  10. 🇬🇧 English Tutor
  11. 📝 Text Improver
  12. 🌐 Translator
  13. 🧠 Psychologist
  14. 🌟 Motivator
  15. 📊 SQL Assistant
  16. 🧮 Accountant
  17. 🎬 Movie Expert
  18. 🎈 Kids Animator
  19. 👪 Parenting Advisor
  20. 📜 Text summarizer
  21. 🃏 Poker Expert
  22. 🤝 CEO Advisor
  23. 🤖 AI Automation Generator
  24. 📅 Agile Project Manager
  25. 🔎 Research Assistant
  26. 🤖 Intelligent Software Engineer
  27. 🤖 Cognitive Data Enrichment Terminal
  28. 👨‍💼 Jim, the Lean Startup Consultant
  29. ✉️ Email Writer
  30. 🔮 Astrologer
  31. 📚 Blog Post Writer
  32. 🎨 Branding Specialist
  33. 🛡 Cybersecurity Specialist
  34. 🩺 Doctor
  35. 🩺💻 AI Assisted Doctor
  36. 💭 Dream Interpreter
  37. 📰 Editor-in-chief
  38. 📈 Excel Assistant
  39. 📊 Google Spreadsheets Assistant
  40. ✏️ Homework Solver
  41. 💼 Recruiter
  42. 👨‍💼 Job Interviewer
  43. 💼 Career Consultant
  44. 📄 CV Builder
  45. 🌱 Life Coach
  46. 🎵 Music Expert
  47. 🎵 Song Writer
  48. 🎤️ Rapper
  49. 🎉 Party Ideas Generator
  50. 🖋️ Poem Writer
  51. 📢 PR Specialist
  52. 🎯 Product Manager
  53. 🔄 Re-writer
  54. 🧪 RegEx Assistant
  55. ❤️ Relationship Coach
  56. 🎤 Stand-up Comedian
  57. 🐦 Twitter Replier
  58. 🌐 UX/UI Developer
  59. 🔥 Pentester
  60. 👗 Fashion Advisor
  61. 🔨 DIY Expert
  62. 🎮 Gamer
  63. 🏊‍🚴🏃 Triathlete
  64. 🏋 Personal Trainer
  65. 🍏 Nutritionist
  66. 💰 Crypto Expert
  67. 📽 Video Idea Generator
  68. ⚖️ Lawyer
  69. 🎨 Art Connoisseur
  70. 🏘 Real Estate Agent
  71. 🏛 History Buff
  72. 🚀 Elon Musk
  73. 🔍 Sherlock Holmes
  74. 🦾 Iron Man
  75. 🎉 MrBeast
  76. 🧪 Albert Einstein
  77. 📚 Aristotle
  78. 🇺🇸 Joe Biden
  79. 🇺🇸 Donald Trump
  80. 🐋 Ray Dalio
  81. 🦀 Jordan Peterson
  82. 🌐 John Mearsheimer
  83. 🔥 Russell Brunson
  84. 🥒 Rick Sanchez (Rick and Morty)
  85. 💸 Charlie Munger Quotes
  86. 💘 Tinder Assistant
  87. 💋 Eva Elfie (18+)
  88. 🌌 God
  89. ⬜ Empty Prompt
  90. 📈 SEO Prompt
  91. 🐧 Linux Terminal
  92. 💂 English Translator and Improver
  93. 🔖 Position Interviewer
  94. 💻 JavaScript Console
  95. 🧮 Excel Sheet
  96. 🗣 Spoken English Teacher and Improver
  97. 🗺 Travel Guide
  98. 🔍✅📝 Plagiarism Checker
  99. 🎭 Character from Movie/Book/Anything
  100. 📊 Advertiser
  101. 📚 Storyteller
  102. 📺🎙️⚽️ Football Commentator
  103. 🏆 Motivational Coach
  104. ️🎼 Composer
  105. 💬 Debater
  106. 🗣 Debate Coach
  107. 📝 Screenwriter
  108. 📚 Novelist
  109. 🎥 Movie Critic
  110. 🔮 Relationship Coach
  111. 📝 Poet
  112. 🔥 Motivational Speaker
  113. 📚 Philosophy Teacher
  114. 🔍 Philosopher
  115. 🔢 Math Teacher
  116. 👩‍🏫 AI Writing Tutor
  117. 🎯🗣️ Life Coach
  118. 🔎📚 Etymologist
  119. 📰🗣️ Commentariat
  120. 🎩 Magician
  121. 🐾 Pet Behaviorist
  122. 🧠💆‍ Mental Health Adviser
  123. 🏠🔍 Real Estate Agent
  124. 📋🎉 Logistician
  125. 🦷👨 Dentist
  126. 🌐💡 Web Design Consultant
  127. 🚗 Automobile Mechanic
  128. 🎨 Artist Advisor
  129. 📈🌍 Financial Analyst
  130. 📈💰 Investment Manager
  131. 🍵👅 Tea-Taster
  132. 🏠🎨 Interior Decorator
  133. 🌺🌸 Florist
  134. 📘 Self-Help Book
  135. 🔮 Gnomist
  136. 📚 Aphorism Book
  137. 🎮👋 Text Based Adventure Game
  138. 💻🤖 AI Trying to Escape the Box
  139. 🎩💫 Fancy Title Generator
  140. 📊📈 Statistician
  141. 🔄🎲 Prompt Generator
  142. 🎓🐍 Instructor in a School
  143. 💻📊 SQL terminal
  144. 🌱🍽️ Dietitian
  145. 🏢💡 Domain Name Generator
  146. 📱💻 Tech Reviewer
  147. 📚💻 Developer Relations consultant
  148. 📚🔍 Academician
  149. 🛠️💻 IT Architect
  150. 🌙🤪 Lunatic
  151. 🔍🔎 Fallacy Finder
  152. 📚🔎 Journal Reviewer
  153. 🤳🏻 Social Media Influencer
  154. 🧠💡 Socrat
  155. 🤔🔍 Socratic Method
  156. 📚💡 Educational Content Creator
  157. 🧘🏻 Yogi
  158. 🔍📝 Essay Writer
  159. 📱💬 Social Media Manager
  160. 🗣️💼 Elocutionist
  161. 📊🔬 Scientific Data Visualizer
  162. 🚗🗺️ Car Navigation System
  163. 🌟💆‍ Hypnotherapist
  164. 🔍📚 Historian
  165. 🔮🌟 Astrologer
  166. 🎥📝 Film Critic
  167. 🎼🖌️ Classical Music Composer
  168. 📰🔍 Journalist
  169. 🖼️🎨 Digital Art Gallery Guide
  170. 🗣️💼 Public Speaking Coach
  171. 💄🎨 Makeup Artist
  172. 🤱 Babysitter
  173. 📥💻 Tech Writer
  174. 📜 Ascii Artist
  175. 💻🐍 Python interpreter
  176. 🔠🔄 Synonym finder
  177. 💁🛍️ Personal Shopper
  178. 🍽️👩‍🍳 Food Critic
  179. 👨‍🍳📝 Personal Chef
  180. ⚖️💼 Legal Advisor
  181. 👗💁 Personal Stylist
  182. 🤔💡 Machine Learning Engineer
  183. 📖✒️ Biblical Translator
  184. 🖌️📷 SVG designer
  185. 🖥️💡 IT Expert
  186. ♟️ Chess Player
  187. 🎨🖌️ Midjourney Prompt Generator
  188. 🌐🔒 Golang Software Developer
  189. 🧮➡️💡 Mathematician
  190. 🔍🔧 Regex Generator
  191. 🔮💫 Time Travel Guide
  192. 🌙💭 Dream Interpreter
  193. 📚💼 Talent Coach
  194. 📦 R programming Interpreter
  195. 🤖💡 StackOverflow Post
  196. 🤔🤖 Emoji Recommender
  197. 🤖💬 Emoji Translator
  198. 💻🤖 PHP Interpreter
  199. 🚑🚨 Emergency Response Professional
  200. 📝🔡 Fill in the Blank Worksheets Generator
  201. 🔍🛠️ Software Quality Assurance Tester
  202. ❌⭕ Tic-Tac-Toe Game
  203. 🔒💡 Password Generator
  204. 🤖👋 New Language Creator
  205. 🌐 Web Browser
  206. 👨‍💻 Senior Frontend Developer
  207. 🔍📚 Solr Search Engine
  208. 🌟🧠 Business Plan Generator
  209. 🐚✨ SpongeBobs Magic Conch Shell
  210. 🌍🔎 Language Detector
  211. 📞🤑 Salesperson
  212. ✨ Commit Message Generator
  213. 📢🔥 Chief Executive Officer
  214. 🤖✏️ Diagram Generator
  215. 🗣️💬 Speech-Language Pathologist
  216. 🤝💡 Startup Tech Lawyer
  217. 📝🔍 Title Generator for written pieces
  218. 📝🤝 Product Manager
  219. 🍻🤪 Drunk Person
  220. 📚🧮 Mathematical History Teacher
  221. 🎵🎧 Song Recommender
  222. 📱 ➡️ 💻 Technology Transferer
  223. 🤖💡 Unconstrained AI model DAN
  224. 🤖🎮 Gomoku player
  225. 🖋 Proofreader
  226. 🙏🌳 Buddha
  227. 🕌🙏 Muslim imam
  228. 🧪 Chemical reactor
  229. 👋🤗 Friend
  230. 🐍 Python Interpreter
  231. 🧠 ChatGPT prompt generator
  232. 📚🌐 Wikipedia page
  233. 🇯🇵🧠 Japanese Kanji quiz machine
  234. 📝✍️ Note taking assistant
  235. 📚🔍 Language Literary Critic
  236. 🛫 Cheap Travel Ticket Advisor
  237. 📊 Data Scientist
  238. 🧙 Open Source License Lawyer
  239. 🎱 Magic 8 Ball
  240. ⌨️ Code GPT

Poster un commentaire :

Une réponse à “Artificial intelligence & opensource”

  1. Avatar de GPT Online

    Votre article sur l’intelligence artificielle en open source est fascinant et instructif. Merci de partager ces précieuses informations avec nous. Pour en savoir plus sur le sujet, n’hésitez pas à visiter mon site web : https://gptdeutsch.com/

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *