Everything you need in one python file, without extra libraries

Two weeks ago, I wanted to understand Transformers. I read the original paper, I read articles I could find online, I listened to podcasts on Youtube. And then I tried to re-implement the model all by myself.

It was a failure.

As often, it’s hard to have all the information gathered in one place, condensed, to use that and to have something that works in the end. This article will probably fail too, hopefully it won’t.

After reading this entire article and the associated code, you should be able to…


Notre projet de détection des cancers de la peau prend de l’envol 🕊️!

Nous achevons aujourd’hui sa version démo pour le passer en bêta publique. Nous espérons ainsi obtenir le maximum de retour sur la fonctionnalité gratuite de base avant de diffuser les fonctionnalités élargies.

🚀Notre objectif - Des peaux saines!

Ce projet débute avec l’initiative AI for Tomorrow lancée entre autres par des étudiants de l’EMLyon et inaugurée par Cedric Villani le 21 Mai 2020.

Plusieurs défis de solidarité à relever ont ainsi été proposés dans le cadre de ce concours dont trois qui nous ont particulièrement intéressés: le soutien aux professionnels de santé, l’amélioration de la relation patient-thérapeute et la lutte contre les inégalités.

Comment répondre à…


Why is it important?

After an election, it’s often hard to recall who said what. Who was wrong or right, who predicted the right outcome and who used the right data or the right predictive model.

In this article I’ll compile some forecasts for the 2020 US Presidential election. I used these forecasts at 11 AM, November 2nd, one day before the elections. I use maps without toss-ups when available.

Forecasts

(1) fivethirtyeight.com

First website on Google when you search for a forecast. They explain their model here, the map is here. Basically they adjust polls with economic and demographic data, then they try to account for…


Propagation d’un virus dans une population

Cet article a pour but de transmettre un retour d’expérience sur la simulation de pandémies. Objectif? Comprendre les limites et l’intérêt de ces algorithmes. (Et si vous aussi vous souhaitez jouer, le code est libre!)

Quel type de simulation choisir?

Je divise personnellement les simulations de pandémies en deux sortes. Les simulations “statistiques” et les simulations “physiques”. Pour davantage de détail sur les différents types existants, voir ici et .

Les premières se basent essentiellement sur des statistiques existantes. Ainsi, si un pays dénombre 1000 cas/jour pendant une semaine, il existe un intervalle crédible de cas pour la deuxième semaine, la troisième etc... Cet intervalle…


Introduction

In this article I’ll present a beginner-oriented framework implementing neural networks in C++. The main goal of this code is to understand the root of neural networks for beginners, it also allows multiple modifications which are usually hard to implement in classical high-level framework (Pytorch, Tensorflow, Keras etc..).

So this code can also be used for some research because you can also do things you couldn’t do in other frameworks.

In this article:

  1. Features of the framework
  2. Neural networks from scratch
  3. Framework design
  4. Exotic backpropagation-free optimizer: Shaking Tree optimizer
  5. What I learned doing this
  6. Github repository

Let’s go!

1. Features of the framework

  • Graph implementation…


Linear Bottleneck with Efficient Channel Attention instead of Squeeze Excitation

Introduction

CNN are great blablabla… Let’s get to the point. SOTA for image classification on Imagenet is EfficientNet with 88.5% top 1 accuracy in 2020. EfficientNet comes from MobileNet V2. In this article, I introduce a combination of EfficientNet and Efficient Channel Attention (ECA) to highlight the results of the ECA paper from Tianjin/Dalian/Harbin universities.

Linear Bottleneck

EfficientNet is based on MobileNetV2. MobileNetV2 is composed of multiple blocks which are called linear bottlenecks or inverted residuals (they’re almost the same). More informations here, or in the mobilenetv2 paper.


Modification des représentations internes d’un réseau de neurones en cours d’entrainement

1. Le formalisme de l’apprentissage automatique

L’apprentissage automatique est la science regroupant les algorithmes ayant la capacité d’apprendre des données. Cette notion d’apprentissage est représentée mathématiquement de la façon suivante:


[UPDATE 2020/10/03: Prise en compte des nouveaux GPUs de Nvidia]

L’intelligence artificielle, à travers l’apprentissage profond, est une discipline bien établie. Les algorithmes utilisés progressent, mais ces algorithmes dépendent de machines bien physiques, nous allons voir comment construire un serveur d’apprentissage profond!

Qu’est-ce que c’est qu’un serveur? C’est une machine qui coûte à l’achat, qui consomme et coûte de l’électricité à l’usage, et qui utilise les logiciels que vous souhaitez sur le système d’exploitation que vous choisissez pour exploiter les composants que vous avez achetés.

Quel usage?

Première question à se poser: qu’est ce que l’on souhaite faire? Il est possible de…


Notre première application est disponible ici: https://www.hyugen.com/project/ap_face

Il s’agit d’une application de mesure de beauté sur webcam ou fichier. La métrique de beauté est principalement définie par les standards esthétiques contemporains.

Différents modèles ont été conçus, le premier modèle publié est celui qui respecte le mieux le compromis entre l’efficacité et le temps d’inférence, un modèle qui semble bien plus efficace existe mais il est trois fois plus lent que le modèle actuel ce qui rend son usage peu satisfaisant en temps réel sur des images provenant de la webcam, notamment sur des ordinateurs peu puissants.

La genèse

Une part…


Le problème: Les limites

Nous démarrons un projet pour résoudre un ou plusieurs problèmes. Pour concevoir une réponse à un besoin. Nous avons fais, faisons et allons faire face à des défis climatiques, des maladies, des crises économiques et des instabilités politiques. Nous avons besoin d’un développement durable et d’une capacité accrue dans la recherche et la stratégie économique. De nombreuses limites ont été repoussées grâce à une abondance d’énergie et de ressources. Nous n’aurions pas la société que nous avons actuellement sans fer, pétrole, uranium etc. La dernière décennie semblait sans limites. La présente semble limitée. Nous voyons des limites à la croissance

Hyugen AI

We work on statistics, machine learning, AI and we want to bring Artificial General Intelligence into the real world — Website: https://www.hyugen.com

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store