Впервые рассмотрение нейронной сети, состоящей как бы из чисто логических элементов, принимающих решения, было сделано в 1943 году МакКаллохом и Питсом. Отказавшись от дифференциальных уравнений, которые описывают физические процессы распространения импульса, они представили нейрон как простой переключательный элемент, который может находиться в одном из двух устойчивых состояний - «включено» или «выключено».
Для упрощения анализа предполагалось, что нейроны срабатывают только в моменты, определяемые целыми числами. Каждый нейрон характеризуется порогом и временем передачи, которое обычно считается единичным. Импульсы могут быть или положительными или отрицательными. Нейрон срабатывает, если алгебраическая сумма входов в данный момент превышает порог.