Tronche de Tech

• #58 - Marina Vinyes - Elle a recodé ChatGPT

  Elle a quitté un job de rêve pour coder son propre LLM. Parce que même les meilleurs ingénieurs IA sont en train d’être dépassés. Et pour cause. Aucun domaine n’avance plus vite que l’IA générative. Chaque semaine, un nouveau modèle. Un qui code. Un qui traduit vos vidéos. Un qui les génère… Et un… Qui s’appelle ”Banana” 🍌 Pendant que les utilisateurs ne savent plus où donner de la tête, les scientifiques eux se noient dans les publications… Et les ingénieurs dans le code 😅 Personne n’arrive à suivre le rythme. Absolument personne. Marina peut vous le confirmer. Après une thèse en IA, elle va passer 7 ans à faire du Machine Learning chez Criteo.Et chez Criteo, l’IA, c’est pas pour faire joli.C’est même une des pierres angulaires du produitAlors dès que les IA génératives pointent le bout de leur nez, Marina est déjà sur le coup.Au coeur de l’innovation.Au top du domaine.Et pourtant, même pour elle, le malaise est palpable.L’impression que tout va trop vite.Qu’elle n’a plus le temps de maitriser.Et que son propre domaine est en train de la dépasser.Alors elle prend une décision drastique :Tout plaquer.Mais pas pour faire le tour du monde.Non.Pour créer elle-même, son propre LLM.Le coder.Et l’entrainer, grâce aux 2 GPUs qu’elle vient d’acheter.Son objectif n’est pas d’aller concurrencer OpenAI ou Anthropic. ❌Mais juste, de continuer à maitriser ses outils.Plutôt que d’en devenir dépendant.Je suis parti à la rencontre de Marina Vinyes pour qu’elle me raconte tout ce qu’elle a tiré de cette expérience passionnante...Grâce à laquelle elle a pu contribuer au Project Numina,Une IA open-source qui après avoir remporté une olympiade de Maths,s’est mise en tête de rivaliser avec les modèles des GAFAM 🚀Un nouvel épisode qui risque (encore) de vous apprendre 2-3 trucs.(si c’est pas le cas, dites le moi en commentaire, je vous rembourse 😅)Bonne écoute 🎧PS : dites-moi ce que vous pensez de l'épisode en commentaire (et surtout, abonnez-vous !)Notes de l'épisode :le site de Andrej Karpathy : https://karpathy.ai/nanoGPT, l'implémentation simple d'un LLM : https://github.com/karpathy/nanoGPTle Hugging face du projet Numina : https://huggingface.co/AI-MOle site Unsloth AI : https://unsloth.ai/---------------------------------Retrouvez Marine sur :Linkedin : https://www.linkedin.com/in/marina-vinyes-ph-d-02257998son site : https://vinyesm.github.io/Et voici le repo GH avec le code de son LLM : https://github.com/vinyesm/nanoGPT-for-image--------------------------------Je suis Mathieu Sanchez, et vous pouvez me suivre ici : https://www.linkedin.com/in/matsanchez/Vous pouvez aussi suivre Tronche de Tech, sur vos réseaux favoris :- Linkedin : https://www.linkedin.com/company/tronche-de-tech/- Instagram : https://www.instagram.com/tronchedetech/ Hébergé par Acast. Visitez acast.com/privacy pour plus d'informations.

  --------  

  1:30:27

  --------

  1:30:27
• #57 - Yann Collet - Son algo a tout changé

  À 35 ans, il écrit sa toute 1ère ligne de code. 5 ans plus tard, les GAFAM se font la guerre pour essayer de le recruter. Et pour cause, cet autodidacte français a réussi, seul, à révolutionner un domaine entier de l’informatique. À l’époque, Yann a 35 ans. Son job ne l’épanouit pas vraiment. Par contre, le code l’attire depuis longtemps. Sauf qu’en France, à ce moment là, les développeurs sont payés une misère. Impossible d’en faire un plan de carrière. Alors Yann se lance sur son temps libre. Il dépoussière une vieille calculatrice HP de sa vie d’étudiant et commence à coder un jeu. Sans prétention, juste pour le plaisir. Très vite, ce petit jeu grossit.À tel point, qu’il ne peut plus fonctionner sans être compressé.Problème : il n’existe pas de librairie pour ça.Alors Yann se retrousse les manches.Il apprend l’assembleur.Et commence à tester des algos.Rien d’académique.Juste des idées qui lui viennent comme ça.Il développe comme ça le premier compresseur pour HP42.Et il en est pas peu fier.Sauf que ben…Tout le monde s’en fout de l’HP42. 🤷Qu’à cela ne tienne.Il suffit d’adapter tout ça sur PC et ça va forcément cartonner.Non ?Non.Très vite, Yann découvre qu’il n’a fait que ré-inventer la roue. 😅Il pourrait baisser les bras.Passer à autre chose.Mais il a beaucoup trop d’idées pour ça.Pendant plusieurs années, il va apprendre TOUT ce qu’il y a savoir sur la compression.Tester des algos.Se mesurer aux meilleurs.Et un jour, il réalise un truc.LZ4, l’un de ses algos, est devenu l’algo de compression le plus rapide du monde.Pas celui qui compresse le plus, non.Mais un bon taux de compression, et à la vitesse de l’éclair ⚡Pour les chercheurs qui l’entourent, c’est juste une curiosité.L’important, c’est surtout de compresser un max.La vitesse, c’est rigolo, mais secondaire.Ce que seul Yann réalise, c’est le potentiel révolutionnaire de cet outil.Les data centers.Les jeux vidéos.Les bases de données.Les systèmes d’exploitation.Tout le monde a besoin de “compression temps réel”.Mais comment faire pour que le monde entier puisse utiliser LZ4 ?Pour Yann, la réponse est une évidence.L’open-source.Sauf que son code est loin d’être “open-source ready”.Il va falloir tout reprendre....Quelques mois plus tard, Yann est prêt.La semaine prochaine, le monde va ENFIN découvrir LZ4.Sauf que Google va lui couper l’herbe sous le pied...C’est ce moment qu’ils choisissent pour open-sourcer Snappy, le compresseur de BigTable.Le même principe que LZ4.En plus rapide 😨L’industrie est en ébullition.Et Yann…Yann regarde le code de Snappy.Il n’a pas dit son dernier mot.Il fait craquer ses phalanges.”Challenge accepted” 😏La suite...Dans ce nouvel épisode !Bonne écoute 🎧PS : dites-moi ce que vous pensez de l'épisode en commentaire (et surtout, abonnez-vous !)---------------------------------Retrouvez Yann sur :- X : https://x.com/cyan4973- son blog sur la compression : https://fastcompression.blogspot.com/--------------------------------Je suis Mathieu Sanchez, CTO d'Acasi, et pour me suivre, c'est principalement sur Linkedin : https://www.linkedin.com/in/matsanchez/ Hébergé par Acast. Visitez acast.com/privacy pour plus d'informations.

  --------  

  1:22:05

  --------

  1:22:05
• #56 - Katia Gil Guzman - La vérité sur GPT-5

  “Que s’est-il passé avec GPT-5 ?”C’est la question que j’ai posé à cette ingénieure d’OpenAI.Sa réponse, surprenante, en dit long sur l’avenir des LLMs…2025 a été une année chargée pour le géant américain.👉 ”Codex”, pour le code👉 “gpt-image-1”, pour les images 👉 ”gpt-realtime”, pour discuter de vive voixEt enfin ”gpt-oss”, leurs modèles open-source qui font un carton. On parle quand même de plusieurs dingueries PAR MOIS 🤯La cadence est folle.Mais évidemment, l’évènement de 2025, c’est la sortie de GPT-5.Car, pour mémoire, GPT-4 date déjà de mars 2023.2 ans 1/2.Une éternité dans le monde de l’IA.Alors bien sûr, depuis, il y a eu plein de versions intermédiaires.GPT-4o, o1, GPT-4.1, GPT-4.5…Mais GPT-5, c’est ce qu’on appelle une nouvelle version “majeure”.Et comme tous les devs le savent…C’est une autre paire de manche.Autant vous dire que les attentes étaient hautes.Très hautes.Comme à son habitude, OpenAI ne fait pas les choses à moitié.GPT-5 est objectivement ultra-performant.Tous les benchmarks le prouvent.👉 Ultra bon en code👉 Plus facile à piloter👉 Beaucoup plus “précis”Pourtant, certains utilisateurs ont été un peu … “désorientés”.Au point parfois, de demander à rester sur l’ancienne version. 🤔OpenAI prend le sujet très au sérieux, et les équipes vont se mettre en 4 pour essayer de comprendre.Un mois de travail acharné, qui va porter ses fruits.Car ce qu’ils ont découvert en cours de route est une des clés du futur des IA génératives.Un apprentissage inestimable, qui servira autant à ceux qui créent les LLMs…Qu’à ceux qui les utilisent.Katia Gil Guzman est une des actrices de cette révolution.Ingénieure chez OpenAI, elle a vécu tout ça de l’intérieur… et sait exactement ce qu’il s’est passé.Elle m’a tout révélé, sans langue de bois, dans ce nouvel épisode.🎙️Vous y découvrirez ce qui rend GPT-5 si “spécial”.Ainsi que quelques exclus sur les modèles open-source d’OpenAI 🤩Bref, un incontournable, si vous voulez entrevoir le futur de l’IA. 🚀Bonne écoute 🎧PS : dites-moi ce que vous pensez de l'épisode en commentaire (et surtout, abonnez-vous !)Notes de l'épisode :- le portail développeur d'OpenAI : https://developers.openai.com/---------------------------------Retrouvez Katia sur Linkedin : https://www.linkedin.com/in/katiagilguzman--------------------------------Je suis Mathieu Sanchez, CTO d'Acasi, et pour me suivre, c'est principalement sur Linkedin : https://www.linkedin.com/in/matsanchez/Vous pouvez aussi suivre Tronche de Tech, sur vos réseaux favoris :- Linkedin : https://www.linkedin.com/company/tronche-de-tech/- Instagram : https://www.instagram.com/tronchedetech/- TikTok : https://www.tiktok.com/@tronchedetech- Twitter : https://twitter.com/TroncheDeTech Hébergé par Acast. Visitez acast.com/privacy pour plus d'informations.

  --------  

  1:16:15

  --------

  1:16:15
• #55 - Laurent Sifre - Un pionnier de l'IA

  En 2016, l’IA réalise un exploit qui va sidérer la planète. Cet ingénieur français est une des clés de ce succès. Retour en 2014.Après une thèse en reconnaissance d’image, Laurent termine son stage chez Google Brain, la prestigieuse branche IA du géant américain.Logiquement, il postule pour rester dans l’équipe.Mais, il y a un obstacle de taille : le visa.Pour les profils comme Laurent, c’est Google qui fait la demande au gouvernement.Le hic, c’est qu’il n’y a pas assez de place pour tout le monde.La décision se fait donc…Au tirage au sort 🎲Et malheureusement pour lui…La pièce tombera du mauvais côté. ☹️Mais Laurent n’est pas du genre à se laisser abattre.Quelques mois plus tôt, Google a racheté une obscure start-up anglaise du nom de…“Deepmind”Laurent propose alors à Google de rejoindre sa nouvelle filiale.Google accepte.Juste après son arrivée, Deepmind se lance dans un projet fou.Dépasser l’humain au jeu de Go. ⚫ ⚪Le jeu est réputé si complexe, que même les experts les plus optimistes sont sceptiques.Certains pensent qu’il faudra encore au moins 10 ans.D’autres, que c’est tout simplement impossible.Il faut dire qu’à ce moment là, aucun professionnel de Go ne prend ces IAs au sérieux.Pourtant, 6 mois plus tard…Stupeur.AlphaGo, la création de Deepmind, écrase le champion d’Europe 5 victoires à 0.En soi, c’est déjà un exploit.Mais on est encore loin du niveau des meilleurs.Laurent le sait pertinemment.Avec le reste de l’équipe, ils n’ont pas prévu de se reposer sur leurs lauriers.Pendant les mois qui suivent, ils vont se donner à fond.Repousser les limites.Avec un seul objectif :Le 9 Mars 2016.Ce jour-là, une légende se dressera devant eux.Le Coréen, Lee Sedol.Tout simplement le meilleur joueur du monde.La suite…Vous la connaissez sans doute.AlphaGo vaincra Lee, 4 à 1.Le 13 Mars 2016, jour de la seule victoire de Lee, restera dans les livres d’histoires comme le dernier jour où l’humain a encore pu prendre la machine en défaut.Moins de 20 après les échecs, l’IA dépasse finalement l’humain au jeu de Go…Grâce à une trésor d’ingénierie.Nommé AlphaGo.Un trésor, que peu de gens connaissent mieux que Laurent Sifre.Et dont il a accepté de me révéler tous les secrets !Mais son histoire est loin de s’arrêter là…Entre ses travaux sur AlphaFold (qui vaudront au CEO de Deepmind un prix Nobel de chimie) et ses projets avec the H Company….Cet épisode est un incontournable. 😉Bonne écoute 🎧PS : dites-nous ce que vous pensez de l'épisode en commentaire (et surtout, abonnez-vous !)---------------------------------Retrouvez Laurent sur Linkedin : https://www.linkedin.com/in/sifreOu via sa boîte, "The H company" : https://www.hcompany.ai/--------------------------------Je suis Mathieu Sanchez, CTO d'Acasi, et pour me suivre, c'est principalement sur Linkedin : https://www.linkedin.com/in/matsanchez/Vous pouvez aussi suivre Tronche de Tech, sur vos réseaux favoris :- Linkedin : https://www.linkedin.com/company/tronche-de-tech/- Instagram : https://www.instagram.com/tronchedetech/- Twitter : https://twitter.com/TroncheDeTech Hébergé par Acast. Visitez acast.com/privacy pour plus d'informations.

  --------  

  1:05:24

  --------

  1:05:24
• #54 - Claire Gouze - Touche pas à ma data

  Mes 2 pires angoisses de CTO : 🚨 une alerte de monitoring en pleine nuit 👉 un data scientist (comme Claire 👇) qui me demande : ”Je peux avoir accès à la base de prod stp 🙏 ?” Ça, c’est le début des ennuis. Parce que ce scénario je l’ai vu… Trop de fois. La data, bien sûr, c’est le nerf de la guerre. Le business. Le produit. Le marketing. Tout le monde la veut. Mais c’est les devs qui l’ont. Et qui la gardent, jalousement, dans leur base de donnée de production. Un beau matin, arrive le fameux “data scientist”. Recruté pour faire parler cette data. Permettre de mieux piloter la boite. Objectif ô combien louable au demeurant. Il lance alors sa première requête SQL pour calculer”Le panier moyen journalier de chaque client sur les 5 dernières années”Et là…C’est le drame. 😳Pendant que la requête est en train de tourner depuis 15mn, les téléphones du service client commencent à sonner plus qu’à l’accoutumée.”Euh, y’a quelqu’un qui a touché à la prod ?Apparemment, y’a plus rien qui marche.”Le temps que les devs se mettent en ordre de bataille et qu’ils remontent la piste…La requête se termine.Tout revient à la normale.”Bon, bizarre, on creusera si ça se reproduit 🤷”😅Ce scénario, c’est le lot de plein de start-ups avant qu’elles ne mettent en place une infrastructure data saine.Un bon “data pipeline”.Un outil clé pour qui veut piloter la croissance d’une boîte tech.Justement, Claire connait ce sujet par coeur.Parce qu’elle l’a fait pour des dizaines de start-up.Et finalement c’est loin d’être aussi compliqué qu’on le pense.Dans ce épisode, Claire Gouze m'explique exactement comment faire.Mais pas que !On a aussi parlé de :comment prédire la croissance des tomates ? 🤔comment on rentre au Y combinator, le plus grand incubateur de startup au mondeNao, l’IA qu’elle est en train de créer pour devenir le “cursor des data scientists”Bonne écoute 🎧PS : dites-nous ce que vous pensez de l'épisode en commentaire (et surtout, abonnez-vous !)Notes de l'épisode :j'ai plusieurs fois dit "GCP" là où je voulais dire "BigQuery" (mais vous êtes intelligents, vous aviez compris 😉)---------------------------------Retrouvez Claire Gouze sur Linkedin : https://www.linkedin.com/in/claire-gouzeNao, le "cursor" des data scientists (et accessoirement la boite de Claire !) : https://getnao.io/--------------------------------Je suis Mathieu Sanchez, CTO d'Acasi, et pour me suivre, c'est principalement sur Linkedin : https://www.linkedin.com/in/matsanchez/Vous pouvez aussi suivre Tronche de Tech, sur vos réseaux favoris :- Linkedin : https://www.linkedin.com/company/tronche-de-tech/- Instagram : https://www.instagram.com/tronchedetech/- TikTok : https://www.tiktok.com/@tronchedetech- Twitter : https://twitter.com/TroncheDeTech Hébergé par Acast. Visitez acast.com/privacy pour plus d'informations.

  --------  

  57:06

  --------

  57:06

Plus de podcasts Technologies

Podcasts tendance de Technologies

À propos de Tronche de Tech