Înainte de a ne preocupa să ne facem rețelele neuronale profunde, va fi util să implementăm unele superficiale, pentru care intrările se conectează direct la ieșiri. Acest lucru se va dovedi important din câteva motive. În primul rând, mai degrabă decât să fim distrași de arhitecturi complicate, ne putem concentra pe noțiunile de bază ale antrenării rețelelor neuronale, inclusiv parametrizarea stratului de ieșire, gestionarea datelor, specificarea unei funcții de pierdere și antrenarea modelului. În al doilea rând, această clasă de rețele superficiale se întâmplă să cuprindă setul de modele liniare, care include multe metode clasice de predicție statistică, inclusiv regresia liniară și softmax. Înțelegerea acestor instrumente clasice este esențială deoarece acestea sunt utilizate pe scară largă în multe contexte și va trebui adesea să le folosim ca puncte de referință (baselines) atunci când justificăm utilizarea unor arhitecturi mai sofisticate. Acest capitol se va concentra strict pe regresia liniară, iar următorul ne va extinde repertoriul de modelare prin dezvoltarea rețelelor neuronale liniare pentru clasificare.

:maxdepth: 2
 
linear-regression
oo-design
synthetic-regression-data
linear-regression-scratch
linear-regression-concise
generalization
weight-decay