Tronche de Tech

Oubliez les LLMs.
Les travaux de cette chercheuse en IA seront bientôt sur toutes les lèvres.

Cela faisait 20 ans que le monde de l’IA se cassait les dents sur ce problème.
Malgré les progrès fulgurants de la discipline, que ce soient les LLMs, ou même le deep learning en général, rien n’y faisait.

Impossible de faire mieux que les modèles de machine learning “classiques”.

On parle pourtant d’un problème qui vaut de l’or.

Imaginez pouvoir prédire le chiffre d’affaire d’une entreprise.
Ou bien le prix de vente de votre appartement.
Voire même les risques de cancer chez un patient.

Tout ça, sans aucune compétence en machine learning.

Et bien, c’est la promesse des TFM.
Les “Tabular Foundation Models”.
(Retenez bien cet acronyme)

Des modèles capables d’interpréter vos bases de données, et de prédire à peu près tout ce qui vous passerait par la tête.

La promesse est folle.
Et certains industriels l’ont bien compris, car sans faire de bruit, ils y ont déjà investis plusieurs millions.

Au coeur de cette révolution, il y a un labo de recherche français.
L’INRIA.

Déjà mondialement reconnus pour leurs travaux sur scikit-learn, une des libraires de ML les plus utilisées dans le monde,
Les voilà désormais leaders des TFM.

Mais comment ont ils réussi à “craquer” ce problème qui résistait depuis 20 ans ?

C’est la question que j’ai posé à Marine Le Morvan, chercheuse à l’INRIA et pionnière du domaine.

Bonne écoute 🎧

PS : dites-moi ce que vous pensez de l'épisode en commentaire (et surtout, abonnez-vous !)

Notes de l'épisode :

le modèle de fondation tabulaire de l'INRIA, "TabIClV2" : https://github.com/soda-inria/tabicl

---------------------------------

Retrouvez Marine sur :
- Linkedin : https://www.linkedin.com/in/marine-le-morvan-ba823a145/
- sa page : https://marinelm.github.io/

--------------------------------

Je suis Mathieu Sanchez, CTO d'Acasi, et pour me suivre, c'est principalement sur Linkedin : https://www.linkedin.com/in/matsanchez/

Vous pouvez aussi suivre Tronche de Tech, sur vos réseaux favoris :
- Linkedin : https://www.linkedin.com/company/tronche-de-tech/
- Instagram : https://www.instagram.com/tronchedetech/
- TikTok : https://www.tiktok.com/@tronchedetech
- Twitter : https://twitter.com/TroncheDeTech

Et nous rejoindre sur le Discord : https://discord.gg/EET4MfwXKHr
Hébergé par Acast. Visitez acast.com/privacy pour plus d'informations.

Ce disciple de Yann LeCun est en passe de faire économiser plusieurs milliards à l’industrie de l’IA.
En résolvant un problème qui plombe tous les modèles.

Tout a commencé chez Twitter.

À l’époque, Bertrand fait de la recherche sur les modèles d’IA du réseau social américain.

Tout se passe bien, jusqu’à l’arrivée d’un certain…
Elon Musk.

Car quand il débarque, Musk regarde ce que vous “produisez”.

Il compte vos lignes de codes.
(oui oui 🙄)

Mais il regarde aussi ce que vous rapportez. 🤑

Et quand votre boulot, c’est d’entraîner des modèles d’IAs,
Pour plusieurs dizaines de milliers de dollars,
Sans garantie de résultat…

Autant vous dire que vous n’êtes pas vraiment “rentables”. 😫

Quelques jours plus tard, le verdict tombe.

⛔ ACCESS DENIED ⛔

Impossible de se connecter au réseau interne. 😨

Le voilà licencié.
Sans autre forme de procès.

Mais qu’importe !

Car avant de perdre ses accès, Bertrand a eu le temps de découvrir quelque chose.

Un problème qui affecte les IAs de Twitter.
Et qui s’est généralisé récemment à toute la discipline.

Un problème qui paralyse petit à petit les chercheurs du monde entier.
Et qui concentre le pouvoir de l’IA dans les boîtes les plus puissantes de l’industrie.

Aussi incroyable que cela puisse paraître, Yann LeCun avait déjà étudié ce problème il y a presque 40 ans.
Dans un papier au nom évocateur :
”Optimal Brain Damage” 🤔

Depuis, Bertrand est en mission.
Il ne s’arrêtera pas tant qu’il n’aura pas transformé l’industrie.

Petit à petit.
Modèle après modèle.

Ce problème fondamental, et les techniques qu’il utilise pour le résoudre,
Bertrand Charpentier n’en fait pas de secrets.

Comment rendre les IAs jusqu’à 100x plus efficaces,
Voilà le thème de ce nouvel épisode.

Bonne écoute 🎧

PS : dites-moi ce que vous pensez de l'épisode en commentaire (et surtout, abonnez-vous !)

Notes de l'épisode :
le tweet de Bertrand, repris par Yann LeCun : https://x.com/Bertrand_Charp/status/1788244161956630842/photo/1
"Optimal Brain Damage", le papier de LeCun sur le pruning : https://proceedings.neurips.cc/paper_files/paper/1989/file/6c9882bbac1c7093bd25041881277658-Paper.pdf

---------------------------------

Retrouvez Bertrand sur Linkedin : https://www.linkedin.com/in/bertrand-charpentier-76995ab6/

--------------------------------

Je suis Mathieu Sanchez, CTO d'Acasi, et pour me suivre, c'est principalement sur Linkedin : https://www.linkedin.com/in/matsanchez/

Vous pouvez aussi suivre Tronche de Tech, sur vos réseaux favoris :
- Linkedin : https://www.linkedin.com/company/tronche-de-tech/
- Instagram : https://www.instagram.com/tronchedetech/
- TikTok : https://www.tiktok.com/@tronchedetech
- Twitter : https://twitter.com/TroncheDeTech

Et nous rejoindre sur le Discord : https://discord.gg/EET4MfwXKHr
Hébergé par Acast. Visitez acast.com/privacy pour plus d'informations.

Qui a déjà eu l’impression d’être “écouté” par son téléphone ? 🕵️

Il y a 5 ans, alors que je pensais devenir parano…
J’en ai eu la confirmation.

Ça vous est peut-être déjà arrivé.

Un soir, vous parlez avec un pote d’un sujet random…

Et le lendemain…
Facebook. Insta. Youtube.
Tous dégoulinent de pubs en rapport avec ce sujet.

Le jour où j’ai adopté un chat,
Internet a décidé que je devais TOUT savoir…
Sur les croquettes 🤦

Et là où j’ai vraiment commencé à me poser des questions,
C’est quand mon téléphone s’est mis à grésiller…
À CHAQUE fois que j’ouvrais l’appli Facebook.

Le bruit du micro, lorsqu’il s’activait...


Malheureusement, je n’ai jamais eu le fin mot de l’histoire.

Mais aujourd’hui, ce n’est plus vraiment le sujet.

Car les données personnelles…
C’est n’est que l’arbre qui cache la forêt.

Cloud.
Micro-processeurs.
Câbles sous-marins.
Systèmes d’exploitation.

Toute l’infrastructure numérique de l’Europe dépend d’entreprises privées étrangères.

Les conséquences sont colossales.

Pour nous.
Pour nos démocraties.
Pour notre capacité à continuer à exister.

Alors, comment en est-on arrivé là ?
Est-ce qu’il est déjà trop tard ?
Et pourquoi l’Europe est elle incapable de produire un GAFAM ?

Les réponses sont là.
Depuis longtemps.

Elles ne font pas franchement plaisir à entendre 😅
Mais si vous êtes prêts à le faire…

Alors il vous faut absolument écouter ce qu’Ophélie Coelho a à dire sur la “souveraineté numérique”…

Bonne écoute 🎧

PS : dites-moi ce que vous pensez de l'épisode en commentaire (et surtout, abonnez-vous !)

Notes de l'épisode :
- le livre d'Ophélie, "Géopolitique du Numérique" : https://editionsatelier.com/boutique/accueil/511-geopolitique-du-numerique--9782708295384.html

---------------------------------

Retrouvez Ophélie sur Linkedin : https://www.linkedin.com/in/ophelie-coelho/

--------------------------------

Je suis Mathieu Sanchez, CTO d'Acasi, et pour me suivre, c'est principalement sur Linkedin : https://www.linkedin.com/in/matsanchez/

Vous pouvez aussi suivre Tronche de Tech, sur vos réseaux favoris :
- Linkedin : https://www.linkedin.com/company/tronche-de-tech/
- Instagram : https://www.instagram.com/tronchedetech/
- TikTok : https://www.tiktok.com/@tronchedetech
- Twitter : https://twitter.com/TroncheDeTech

Et nous rejoindre sur le Discord : https://discord.gg/EET4MfwXKHr
Hébergé par Acast. Visitez acast.com/privacy pour plus d'informations.

En 2016, un inconnu débarque sur Twitter en affirmant avoir hacké la NSA.
Personne ne le croit.
Jusqu’au 16 août.

Cette semaine là, un hacker (ou un groupe) se faisant appeler “Shadow Brokers”, publie plusieurs messages inquiétants.

En substance, ils auraient infiltré un serveur de la NSA…
Et mis la main sur leurs outils de hacking.

Dit autrement :
Sur les cyberarmes les plus puissantes de la planète 😨

Si c’était avéré, les conséquences seraient catastrophiques.

Pourtant… les “shadow brokers” sont difficile à jauger.

Anglais approximatif.
Messages incohérents.
Presque amateur.

Sauf que quelques jours plus tard…

Ils publient une archive.
Un échantillon.

Qui ne laisse plus de place au doute.

En le croisant avec les données divulguées par Snowden 3 ans plus tôt,
Les experts doivent se rendre à l’évidence.

👉 Les cyberarmes de la NSA sont dans la nature 😨

Quelques mois plus tard, elles engendreront d’ailleurs 2 des PIRES cyberattaques de l’histoire…

Mais avant cela,
Alors que les Shadow Brokers essaient de brouiller les pistes,
Ils vont à nouveau faire un truc étrange.

Ils vont interpeller à plusieurs reprises sur twitter un hacker français.

Un certain : Matt Suiche

Une choix d’autant plus intriguant que Matt jouera un rôle déterminant dans “WannaCry”, la 1ère cyber-attaque provoquée par les outils de la NSA.

Alors, pourquoi lui ? 🤔

Et bien, pour une raison très précise…
La même qui lui vaut également le droit de figurer dans les “Epstein files” 😅

Pour la comprendre, je suis allé directement à la source.

Après de longs mois de discussion, j’ai finalement pu m’entretenir avec Matt Suiche en personne.

Bonne écoute 🎧

PS : dites-moi ce que vous pensez de l'épisode en commentaire (et surtout, abonnez-vous !)

Notes de l'épisode :
- l’apparition de Matt dans les Epstein files : https://www.justice.gov/epstein/files/DataSet%2011/EFTA02357644.pdf

---------------------------------

Retrouvez Matt sur :
Linkedin : https://www.linkedin.com/in/msuiche/
X : https://x.com/msuiche
son blog : https://www.msuiche.com/

--------------------------------

Je suis Mathieu Sanchez, CTO d'Acasi, et pour me suivre, c'est principalement sur Linkedin : https://www.linkedin.com/in/matsanchez/

Vous pouvez aussi suivre Tronche de Tech, sur vos réseaux favoris :
- Linkedin : https://www.linkedin.com/company/tronche-de-tech/
- Instagram : https://www.instagram.com/tronchedetech/
- TikTok : https://www.tiktok.com/@tronchedetech
- Twitter : https://twitter.com/TroncheDeTech

Et nous rejoindre sur le Discord : https://discord.gg/EET4MfwXKHr
Hébergé par Acast. Visitez acast.com/privacy pour plus d'informations.

Il y a 2 ans, la revue scientifique Nature prédisait l’effondrement des IAs, “empoisonnées” par leur propre données.
D’après cette ingénieure IA, ce n’est pas prêt d’arriver. ❌

Vous en avez sans doute entendu parler.

Encore aujourd’hui, la théorie dite du “model collapse” est très populaire.
Elle est même largement relayée par des influenceurs extrêmement crédibles.

Pourtant, cette théorie…
C’est n’importe quoi.

L’idée est simple.

Un LLM produit des textes “moyens”.
En tout cas, par rapport aux textes utilisés pour l’entrainer.

Bientôt, 90% des textes disponibles seront générés par des LLMs.
Ils seront donc très moyens.
Et aussi, beaucoup moins diversifiés.

En ré-entrainant un modèle sur ces nouveaux jeux de données, le LLM va devenir encore plus “moyen”.

C’est d’ailleurs même pire.

Dans l’article paru dans Nature, les chercheurs simulent plusieurs “cycles”.

Entrainement.
Génération de textes.
Ré-entrainement.
Re-génération de textes.

Et ainsi de suite.

À la fin, le LLM est tellement en PLS, qu’il est quasiment incapable de produire du texte cohérent.

La démonstration est implacable :
Les LLMs, nourris par leurs propres données, finissent par perdre les pédales.

Sauf que…

Chez les ingés IA, on ne lève même pas un sourcil. 😏

On regarde l’article.
Et on se marre. 😅

Loubna fait justement partie de ces ingénieurs.

Elle sait TRÈS BIEN comment sont entrainés les meilleurs LLMs…
Puisque justement, elle crée des “petits” modèles open-source, capable de titiller ceux des géants 💪

Alors comment fait-on pour empêcher les modèles de s’effondrer ?

Réponse avec Loubna Ben Allal dans ce nouvel épisode !

Bonne écoute 🎧

PS : dites-moi ce que vous pensez de l'épisode en commentaire (et surtout, abonnez-vous !)

---------------------------------

Retrouvez Loubna sur Linkedin : https://www.linkedin.com/in/loubna-ben-allal-238690152

--------------------------------

Je suis Mathieu Sanchez, CTO d'Acasi, et pour me suivre, c'est principalement sur Linkedin : https://www.linkedin.com/in/matsanchez/

Vous pouvez aussi suivre Tronche de Tech, sur vos réseaux favoris :
- Linkedin : https://www.linkedin.com/company/tronche-de-tech/
- Instagram : https://www.instagram.com/tronchedetech/
- TikTok : https://www.tiktok.com/@tronchedetech
- Twitter : https://twitter.com/TroncheDeTech

Et nous rejoindre sur le Discord : https://discord.gg/EET4MfwXKHr
Hébergé par Acast. Visitez acast.com/privacy pour plus d'informations.