Everything you need in one python file, without extra libraries

Two weeks ago, I wanted to understand Transformers. I read the original paper, I read articles I could find online, I listened to podcasts on Youtube. And then I tried to re-implement the model all by myself.

It was a failure.

As often, it’s hard to have all the information gathered in one place, condensed, to use that and to have something that works in the end. This article will probably fail too, hopefully it won’t.

After reading this entire article and the associated code, you should be able to…


Propagation d’un virus dans une population

Cet article a pour but de transmettre un retour d’expérience sur la simulation de pandémies. Objectif? Comprendre les limites et l’intérêt de ces algorithmes. (Et si vous aussi vous souhaitez jouer, le code est libre!)

Quel type de simulation choisir?

Je divise personnellement les simulations de pandémies en deux sortes. Les simulations “statistiques” et les simulations “physiques”. Pour davantage de détail sur les différents types existants, voir ici et .

Les premières se basent essentiellement sur des statistiques existantes. Ainsi, si un pays dénombre 1000 cas/jour pendant une semaine, il existe un intervalle crédible de cas pour la deuxième semaine, la troisième etc... Cet intervalle…


Introduction

In this article I’ll present a beginner-oriented framework implementing neural networks in C++. The main goal of this code is to understand the root of neural networks for beginners, it also allows multiple modifications which are usually hard to implement in classical high-level framework (Pytorch, Tensorflow, Keras etc..).

So this code can also be used for some research because you can also do things you couldn’t do in other frameworks.

In this article:

  1. Features of the framework
  2. Neural networks from scratch
  3. Framework design
  4. Exotic backpropagation-free optimizer: Shaking Tree optimizer
  5. What I learned doing this
  6. Github repository

Let’s go!

1. Features of the framework

  • Graph implementation…


Linear Bottleneck with Efficient Channel Attention instead of Squeeze Excitation

Introduction

CNN are great blablabla… Let’s get to the point. SOTA for image classification on Imagenet is EfficientNet with 88.5% top 1 accuracy in 2020. EfficientNet comes from MobileNet V2. In this article, I introduce a combination of EfficientNet and Efficient Channel Attention (ECA) to highlight the results of the ECA paper from Tianjin/Dalian/Harbin universities.

Linear Bottleneck

EfficientNet is based on MobileNetV2. MobileNetV2 is composed of multiple blocks which are called linear bottlenecks or inverted residuals (they’re almost the same). More informations here, or in the mobilenetv2 paper.


Modification des représentations internes d’un réseau de neurones en cours d’entrainement

1. Le formalisme de l’apprentissage automatique

L’apprentissage automatique est la science regroupant les algorithmes ayant la capacité d’apprendre des données. Cette notion d’apprentissage est représentée mathématiquement de la façon suivante:


[UPDATE 2020/10/03: Prise en compte des nouveaux GPUs de Nvidia]

L’intelligence artificielle, à travers l’apprentissage profond, est une discipline bien établie. Les algorithmes utilisés progressent, mais ces algorithmes dépendent de machines bien physiques, nous allons voir comment construire un serveur d’apprentissage profond!

Qu’est-ce que c’est qu’un serveur? C’est une machine qui coûte à l’achat, qui consomme et coûte de l’électricité à l’usage, et qui utilise les logiciels que vous souhaitez sur le système d’exploitation que vous choisissez pour exploiter les composants que vous avez achetés.

Quel usage?

Première question à se poser: qu’est ce que l’on souhaite faire? Il est possible de…

Hyugen AI

We work on statistics, machine learning, AI and we want to bring Artificial General Intelligence into the real world — Website: https://www.hyugen.com

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store