Les réseaux de neurones sont un sous-ensemble de l’apprentissage automatique et sont au cœur des algorithmes d’apprentissage profond. Il s’agit d’une série d’algorithmes qui s’efforcent de reconnaître les relations sous-jacentes dans un ensemble de données. Les réseaux de neurone utilisent un processus qui imite le fonctionnement du cerveau humain, donc des neurones. L’architecture du réseau de neurone est composée d’unités individuelles appelées neurones qui imitent le comportement biologique du cerveau. Voici quelques architectures de réseaux neuronaux populaires que tout ML engineer devrait apprendre.
LeNet-5
C’est l’un des premiers modèles pré-entraînés proposés par Yann LeCun, il a une architecture très fondamentale. Les ML engineers ont utilisé cette architecture pour reconnaître les caractères manuscrits tout comme imprimés à la machine et elle a été utilisée pour détecter les chèques manuscrits par les banques sur la base du jeu de données MNIST. Le principal avantage de cette architecture est l’économie de calcul et de paramètres. Elle est faite dans un réseau de neurone multi-layer (multi-couches) étendu.
SqueezeNet
Une architecture SqueezeNet empile un ensemble de “fire modules” et quelques “pooling layers”. Le comportement de compression et d’expansion est courant dans les architectures neuronales. Il s’agit d’un réseau de neurone convolutif qui utilise des stratégies de design pour réduire le nombre de paramètres. On notera notamment l’utilisation de “fire modules” qui “écrasent” les paramètres à l’aide de convolutions 1×1.
ENet
Il a été conçu par Adam Paszke. Ce réseau est constitué d’une architecture de segmentation sémantique. Celle-ci utilise une architecture compacte d’encodeur-décodeur. Il s’agit d’un réseau très léger et efficace.
Network-in-network
Il s’agit d’une architecture de réseau de neurone qui offre une puissance combinatoire plus élevée et qui est simple et très efficace. Elle améliore la capacité de discrimination du modèle pour les taches locales dans le champ réceptif. La couche convolutionnelle classique utilise des filtres linéaires suivis d’une fonction d’activation non linéaire pour analyser l’entrée (input).
Dan Ciresan Net
En 2010, Dan Claudiu Ciresan et Jurgen Schmidhuber ont publié l’une des toutes premières implémentations de réseaux de neurone avec un GPU. Le réseau de neurone comportait jusqu’à 9 couches. Il a été mis en œuvre sur un processeur graphique NVIDIA GTX 280. Ce modèle était doté d’une fonction de backward et d’une forward.
VGG
VGG signifie Visual Geometry Group, il s’agit d’une architecture CNN (convolution neuronal network – Réseau de neurone convolutif) profonde standard à plusieurs couches. Oxford a été le premier à utiliser des filtres 3×3 beaucoup plus petits dans chaque couche convolutionnelle et à les combiner en une séquence de convolutions. Dans VGG, les grands filtres d’AlexNet comme 9 x 9 ou 11 x 11 n’ont pas été utilisés.
AlexNet
Il a remporté le défi de reconnaissance visuelle à grande échelle d’Imagenet en 2012. Le modèle a été proposé par Alex Krizhevsky et ses collègues. Il mettait à l’échelle les connaissances de LeNet en un réseau de neurone beaucoup plus grand qui pouvait être utilisé pour apprendre des objets et des hiérarchies d’objets beaucoup plus complexes.
Overfeat
Il s’agit d’un type classique d’architecture de réseau de neurone convolutif, qui utilise la convolution, la mise en commun et des couches entièrement connectées. En 2013, le laboratoire de Yann LeCun à l’Université de New York a mis au point Overfeat, qui est un dérivé d’AlexNet. De nombreux articles ont été publiés sur l’apprentissage des boîtes de délimitation après avoir appris l’article proposé sur les boîtes de délimitation.
Bottleneck
Le temps d’inférence a été maintenu bas à chaque couche par la réduction du nombre d’opérations et de caractéristiques par la couche “bottleneck” (goulot d’étranglement) d’Inception. Il y a 3 couches convolutionnelles au lieu de 2. Les trois couches sont des convolutions 1×1, 3×3, et 1×1, où les couches 1×1 sont responsables de la réduction puis de l’augmentation des dimensions, laissant la couche 3×3 un goulot d’étranglement avec une dimension entrée/sortie plus petite.
ResNet
Il s’agit du réseau résiduel, introduit par les chercheurs de Microsoft. Il s’agit d’un modèle dorsal puissant qui est utilisé très fréquemment dans de nombreuses tâches de vision par ordinateur. ResNet utilise une “skip connection” pour ajouter la sortie d’une couche antérieure à une couche ultérieure et permet d’atténuer le problème du gradient évanescent (vanishing gradient).
Voici donc les 10 réseaux de neurone que vous devriez connaître !
Cet article vous a plu ? Découvrez nos 5 derniers articles dans le même thème !
