Tronche de Tech

Ce disciple de Yann LeCun est en passe de faire économiser plusieurs milliards à l’industrie de l’IA.
En résolvant un problème qui plombe tous les modèles.

Tout a commencé chez Twitter.

À l’époque, Bertrand fait de la recherche sur les modèles d’IA du réseau social américain.

Tout se passe bien, jusqu’à l’arrivée d’un certain…
Elon Musk.

Car quand il débarque, Musk regarde ce que vous “produisez”.

Il compte vos lignes de codes.
(oui oui 🙄)

Mais il regarde aussi ce que vous rapportez. 🤑

Et quand votre boulot, c’est d’entraîner des modèles d’IAs,
Pour plusieurs dizaines de milliers de dollars,
Sans garantie de résultat…

Autant vous dire que vous n’êtes pas vraiment “rentables”. 😫

Quelques jours plus tard, le verdict tombe.

⛔ ACCESS DENIED ⛔

Impossible de se connecter au réseau interne. 😨

Le voilà licencié.
Sans autre forme de procès.

Mais qu’importe !

Car avant de perdre ses accès, Bertrand a eu le temps de découvrir quelque chose.

Un problème qui affecte les IAs de Twitter.
Et qui s’est généralisé récemment à toute la discipline.

Un problème qui paralyse petit à petit les chercheurs du monde entier.
Et qui concentre le pouvoir de l’IA dans les boîtes les plus puissantes de l’industrie.

Aussi incroyable que cela puisse paraître, Yann LeCun avait déjà étudié ce problème il y a presque 40 ans.
Dans un papier au nom évocateur :
”Optimal Brain Damage” 🤔

Depuis, Bertrand est en mission.
Il ne s’arrêtera pas tant qu’il n’aura pas transformé l’industrie.

Petit à petit.
Modèle après modèle.

Ce problème fondamental, et les techniques qu’il utilise pour le résoudre,
Bertrand Charpentier n’en fait pas de secrets.

Comment rendre les IAs jusqu’à 100x plus efficaces,
Voilà le thème de ce nouvel épisode.

Bonne écoute 🎧

PS : dites-moi ce que vous pensez de l'épisode en commentaire (et surtout, abonnez-vous !)

Notes de l'épisode :
le tweet de Bertrand, repris par Yann LeCun : https://x.com/Bertrand_Charp/status/1788244161956630842/photo/1
"Optimal Brain Damage", le papier de LeCun sur le pruning : https://proceedings.neurips.cc/paper_files/paper/1989/file/6c9882bbac1c7093bd25041881277658-Paper.pdf

---------------------------------

Retrouvez Bertrand sur Linkedin : https://www.linkedin.com/in/bertrand-charpentier-76995ab6/

--------------------------------

Je suis Mathieu Sanchez, CTO d'Acasi, et pour me suivre, c'est principalement sur Linkedin : https://www.linkedin.com/in/matsanchez/

Vous pouvez aussi suivre Tronche de Tech, sur vos réseaux favoris :
- Linkedin : https://www.linkedin.com/company/tronche-de-tech/
- Instagram : https://www.instagram.com/tronchedetech/
- TikTok : https://www.tiktok.com/@tronchedetech
- Twitter : https://twitter.com/TroncheDeTech

Et nous rejoindre sur le Discord : https://discord.gg/EET4MfwXKHr
Hébergé par Acast. Visitez acast.com/privacy pour plus d'informations.

Qui a déjà eu l’impression d’être “écouté” par son téléphone ? 🕵️

Il y a 5 ans, alors que je pensais devenir parano…
J’en ai eu la confirmation.

Ça vous est peut-être déjà arrivé.

Un soir, vous parlez avec un pote d’un sujet random…

Et le lendemain…
Facebook. Insta. Youtube.
Tous dégoulinent de pubs en rapport avec ce sujet.

Le jour où j’ai adopté un chat,
Internet a décidé que je devais TOUT savoir…
Sur les croquettes 🤦

Et là où j’ai vraiment commencé à me poser des questions,
C’est quand mon téléphone s’est mis à grésiller…
À CHAQUE fois que j’ouvrais l’appli Facebook.

Le bruit du micro, lorsqu’il s’activait...


Malheureusement, je n’ai jamais eu le fin mot de l’histoire.

Mais aujourd’hui, ce n’est plus vraiment le sujet.

Car les données personnelles…
C’est n’est que l’arbre qui cache la forêt.

Cloud.
Micro-processeurs.
Câbles sous-marins.
Systèmes d’exploitation.

Toute l’infrastructure numérique de l’Europe dépend d’entreprises privées étrangères.

Les conséquences sont colossales.

Pour nous.
Pour nos démocraties.
Pour notre capacité à continuer à exister.

Alors, comment en est-on arrivé là ?
Est-ce qu’il est déjà trop tard ?
Et pourquoi l’Europe est elle incapable de produire un GAFAM ?

Les réponses sont là.
Depuis longtemps.

Elles ne font pas franchement plaisir à entendre 😅
Mais si vous êtes prêts à le faire…

Alors il vous faut absolument écouter ce qu’Ophélie Coelho a à dire sur la “souveraineté numérique”…

Bonne écoute 🎧

PS : dites-moi ce que vous pensez de l'épisode en commentaire (et surtout, abonnez-vous !)

Notes de l'épisode :
- le livre d'Ophélie, "Géopolitique du Numérique" : https://editionsatelier.com/boutique/accueil/511-geopolitique-du-numerique--9782708295384.html

---------------------------------

Retrouvez Ophélie sur Linkedin : https://www.linkedin.com/in/ophelie-coelho/

--------------------------------

Je suis Mathieu Sanchez, CTO d'Acasi, et pour me suivre, c'est principalement sur Linkedin : https://www.linkedin.com/in/matsanchez/

Vous pouvez aussi suivre Tronche de Tech, sur vos réseaux favoris :
- Linkedin : https://www.linkedin.com/company/tronche-de-tech/
- Instagram : https://www.instagram.com/tronchedetech/
- TikTok : https://www.tiktok.com/@tronchedetech
- Twitter : https://twitter.com/TroncheDeTech

Et nous rejoindre sur le Discord : https://discord.gg/EET4MfwXKHr
Hébergé par Acast. Visitez acast.com/privacy pour plus d'informations.

En 2016, un inconnu débarque sur Twitter en affirmant avoir hacké la NSA.
Personne ne le croit.
Jusqu’au 16 août.

Cette semaine là, un hacker (ou un groupe) se faisant appeler “Shadow Brokers”, publie plusieurs messages inquiétants.

En substance, ils auraient infiltré un serveur de la NSA…
Et mis la main sur leurs outils de hacking.

Dit autrement :
Sur les cyberarmes les plus puissantes de la planète 😨

Si c’était avéré, les conséquences seraient catastrophiques.

Pourtant… les “shadow brokers” sont difficile à jauger.

Anglais approximatif.
Messages incohérents.
Presque amateur.

Sauf que quelques jours plus tard…

Ils publient une archive.
Un échantillon.

Qui ne laisse plus de place au doute.

En le croisant avec les données divulguées par Snowden 3 ans plus tôt,
Les experts doivent se rendre à l’évidence.

👉 Les cyberarmes de la NSA sont dans la nature 😨

Quelques mois plus tard, elles engendreront d’ailleurs 2 des PIRES cyberattaques de l’histoire…

Mais avant cela,
Alors que les Shadow Brokers essaient de brouiller les pistes,
Ils vont à nouveau faire un truc étrange.

Ils vont interpeller à plusieurs reprises sur twitter un hacker français.

Un certain : Matt Suiche

Une choix d’autant plus intriguant que Matt jouera un rôle déterminant dans “WannaCry”, la 1ère cyber-attaque provoquée par les outils de la NSA.

Alors, pourquoi lui ? 🤔

Et bien, pour une raison très précise…
La même qui lui vaut également le droit de figurer dans les “Epstein files” 😅

Pour la comprendre, je suis allé directement à la source.

Après de longs mois de discussion, j’ai finalement pu m’entretenir avec Matt Suiche en personne.

Bonne écoute 🎧

PS : dites-moi ce que vous pensez de l'épisode en commentaire (et surtout, abonnez-vous !)

Notes de l'épisode :
- l’apparition de Matt dans les Epstein files : https://www.justice.gov/epstein/files/DataSet%2011/EFTA02357644.pdf

---------------------------------

Retrouvez Matt sur :
Linkedin : https://www.linkedin.com/in/msuiche/
X : https://x.com/msuiche
son blog : https://www.msuiche.com/

--------------------------------

Je suis Mathieu Sanchez, CTO d'Acasi, et pour me suivre, c'est principalement sur Linkedin : https://www.linkedin.com/in/matsanchez/

Vous pouvez aussi suivre Tronche de Tech, sur vos réseaux favoris :
- Linkedin : https://www.linkedin.com/company/tronche-de-tech/
- Instagram : https://www.instagram.com/tronchedetech/
- TikTok : https://www.tiktok.com/@tronchedetech
- Twitter : https://twitter.com/TroncheDeTech

Et nous rejoindre sur le Discord : https://discord.gg/EET4MfwXKHr
Hébergé par Acast. Visitez acast.com/privacy pour plus d'informations.

Il y a 2 ans, la revue scientifique Nature prédisait l’effondrement des IAs, “empoisonnées” par leur propre données.
D’après cette ingénieure IA, ce n’est pas prêt d’arriver. ❌

Vous en avez sans doute entendu parler.

Encore aujourd’hui, la théorie dite du “model collapse” est très populaire.
Elle est même largement relayée par des influenceurs extrêmement crédibles.

Pourtant, cette théorie…
C’est n’importe quoi.

L’idée est simple.

Un LLM produit des textes “moyens”.
En tout cas, par rapport aux textes utilisés pour l’entrainer.

Bientôt, 90% des textes disponibles seront générés par des LLMs.
Ils seront donc très moyens.
Et aussi, beaucoup moins diversifiés.

En ré-entrainant un modèle sur ces nouveaux jeux de données, le LLM va devenir encore plus “moyen”.

C’est d’ailleurs même pire.

Dans l’article paru dans Nature, les chercheurs simulent plusieurs “cycles”.

Entrainement.
Génération de textes.
Ré-entrainement.
Re-génération de textes.

Et ainsi de suite.

À la fin, le LLM est tellement en PLS, qu’il est quasiment incapable de produire du texte cohérent.

La démonstration est implacable :
Les LLMs, nourris par leurs propres données, finissent par perdre les pédales.

Sauf que…

Chez les ingés IA, on ne lève même pas un sourcil. 😏

On regarde l’article.
Et on se marre. 😅

Loubna fait justement partie de ces ingénieurs.

Elle sait TRÈS BIEN comment sont entrainés les meilleurs LLMs…
Puisque justement, elle crée des “petits” modèles open-source, capable de titiller ceux des géants 💪

Alors comment fait-on pour empêcher les modèles de s’effondrer ?

Réponse avec Loubna Ben Allal dans ce nouvel épisode !

Bonne écoute 🎧

PS : dites-moi ce que vous pensez de l'épisode en commentaire (et surtout, abonnez-vous !)

---------------------------------

Retrouvez Loubna sur Linkedin : https://www.linkedin.com/in/loubna-ben-allal-238690152

--------------------------------

Je suis Mathieu Sanchez, CTO d'Acasi, et pour me suivre, c'est principalement sur Linkedin : https://www.linkedin.com/in/matsanchez/

Vous pouvez aussi suivre Tronche de Tech, sur vos réseaux favoris :
- Linkedin : https://www.linkedin.com/company/tronche-de-tech/
- Instagram : https://www.instagram.com/tronchedetech/
- TikTok : https://www.tiktok.com/@tronchedetech
- Twitter : https://twitter.com/TroncheDeTech

Et nous rejoindre sur le Discord : https://discord.gg/EET4MfwXKHr
Hébergé par Acast. Visitez acast.com/privacy pour plus d'informations.

La révolution Docker 🐳 n’est venue ni d’AWS, ni de Google.
Mais d’un français, inconnu, revenu bosser dans le garage de sa mère.

Un gars tout juste sorti d’école, recalé par Google, sans réseau…
Mais qui voit le futur du Cloud avant tout le monde.

Alors qu’AWS n’en est qu’à ses débuts,
Et que les pionniers commencent tout juste à se débattre avec des “machines virtuelles”,
Solomon pense déjà à l’étape d’après.

À l’époque, les briques de base des “conteneurs” sont déjà là.
D’ailleurs certains des géants du Cloud les utilisent déjà.
Mais personne n’a encore pris conscience de leur potentiel.

”En fait, je pense qu’on pourrait en faire une brique de packaging de l’application et…”

En général, le pitch s’arrête là.
Pas parce que l’idée est mauvaise, non.
Mais parce que personne ne la comprend. 🤷

Le monde n’est tout simplement pas prêt.

Solomon lui, n’en démord pas.
Et surtout, il a une folle envie de bidouiller.

Alors, même si il ne connait pas grand chose au monde des “start-ups”,
Il se lance.
À la poursuite de son obsession.

L’aventure va durer 10 ans.

5 ans de traversée du désert….

Puis un jour,
Alors que tout semblait perdu,
Solomon va tenter un truc.

Un geste complètement désespéré.

”Quitte à se crasher…
Autant que ça fasse un beau feu d’artifice 🎇”

Sauf que, contre tout attente…
C’est précisément là que le miracle se produit. 🤯

Du jour au lendemain, tout le monde s’arrache sa techno.

Les 5 années qui suivent, il va les passer dans le “vortex de l’hyperscale”.

Un monde impitoyable…
Dont il ne va pas sortir tout à fait indemne.

Bonne écoute 🎧

PS : dites-moi ce que vous pensez de l'épisode en commentaire (et surtout, abonnez-vous !)

---------------------------------

Retrouvez Solomon sur :
X : https://x.com/solomonstre
Linkedin : https://www.linkedin.com/in/solomonhykes/

--------------------------------

Je suis Mathieu Sanchez, CTO d'Acasi, et pour me suivre, c'est principalement sur Linkedin : https://www.linkedin.com/in/matsanchez/

Vous pouvez aussi suivre Tronche de Tech, sur vos réseaux favoris :
- Linkedin : https://www.linkedin.com/company/tronche-de-tech/
- Instagram : https://www.instagram.com/tronchedetech/
- TikTok : https://www.tiktok.com/@tronchedetech
- Twitter : https://twitter.com/TroncheDeTech

Et nous rejoindre sur le Discord : https://discord.gg/EET4MfwXKHr
Hébergé par Acast. Visitez acast.com/privacy pour plus d'informations.