ср (x, y) (x, y, z) R2 срз ввс × ∀э, щ ∈ D ∀λ ∈ [0, 1]

Compendio di Analisi
Di seguito riporto denizioni e risultati di Analisi utili per poter avere una
omprensione minimale degli aspetti tenii del Metodo dei Minimi
n
Quadrati. Riordo he on R si india l'insieme omposto da tutte le
n-uple di numeri reali, e he la sua struttura è di spazio vettoriale on
prodotto salare (faio appello alle vostre onosenze di Algebra Lineare) e
ompleto (faio appello alle vostre onosenze di Analisi); riordo inoltre
he omunemente i si riferise ad un generio elemento di uno spazio
∈ Rn in genera si rappresenta
vettoriale hiamandolo
. Un punto
x
punto
on la srittura (x1 , . . . , xn ); ai nostri sopi tuttavia saranno suienti gli
2
3
spazi R e R , i ui generii punti saranno rappresentati rispettivamente
on
(x, y)
e
(x, y, z).
Funzione reale di due variabili reali: è una funzione he ha ome dominio
2
un sottoinsieme D di R e ome odominio un sottoinsieme di R. Il suo
3
grao dunque è un sottoinsieme dello spazio R , il ui generio punto sarà
indiato on la terna
(x, y, f (x, y)),
on
(x, y) ∈ D ;
osserviamo poi he ha
senso parlare di massimi e minimi di una tale funzione dato he il suo
odominio è un sottoinsieme di R.
2
Convessità: un insieme D ⊂ R è
punto
x
onvesso
y
λ + (1 − λ) ∈ D
se
x y∈D
∀ ,
(ovvero se presi omunque due
D ).
Una funzione f : D → R è detta onvessa se ∀ ,
ha he f (λ + (1 − λ) ) ≤ λf ( ) + (1 − λ)f ( ).
segmento he li unise è tutto ontenuto in
x
y
x
Proposizione 1 (senza dimostrazione): sia
x y∈D
y
D′ ⊂ R
e sia
∀λ ∈ [0, 1] ⊂ R
punti in D il
e
e
∀λ ∈ [0, 1] ⊂ R
f : D′ → R
si
una
funzione onvessa derivabile due volte e on derivata seonda ontinua; se
′
esiste x̄ ∈ D tale he df (x̄)/dx = 0 allora x̄ è punto di minimo loale e
globale per
f.
D ⊂ R2 e sia f : D → R una funzione. La derivata
parziale della funzione f rispetto ad x alolata nel punto 0 = (x0 , y0 ) si
india on il simbolo ∂f ( 0 )/∂x ed è uguale a
Derivate parziali: sia
x
x
lim
x→x0
f (x, y0) − f (x0 , y0)
x − x0
quando questo limite esiste. In maniera analoga si denise la derivata
parziale rispetto ad
y
alolata in
x
0 ome il limite (quando esiste)
f (x0 , y) − f (x0 , y0 )
x→x0
y − y0
lim
il
e la si india on il simbolo
∂f (
x )/∂y
0
Le derivate parziali di una funzione
esse in due variabili ome
R2
Gradiente: il punto di
gradiente
x
∇f ( 0 ).
della funzione
f
f,
.
f :D→R
sono dunque funzioni, anhe
D.
e i loro domini sono sottoinsiemi di
di oordinate
alolato
x
x
∂f ( 0 ) ∂f ( 0 )
,
)
(
∂x
∂y
nel punto
x
si hiama
0 , e si india on la srittura
Esso rappresenta la direzione lungo la quale la funzione
maggiormente.
Dierenziabilità: una funzione
x
f :D→R
x
è detta
x
dierenziabile
x x
rese
x
in
x x ) = 0.
f ( ) − f ( 0 ) − ∇f ( 0 ) · ( −
x→x0
k − 0k
lim
f
0 se
0
x
In termini più geometrii diiamo he f è dierenziabile nel punto 0 se il
3
piano in R di equazione z = f ( 0 ) + ∇f ( 0 ) · ( − 0 ) approssima al primo
ordine la funzione
f
viino ad
x
x
x
0.
x x
Questa denizione è intimamente legata alla denizione di derivata in una
sola dimensione: se prima si erava una
un
piano
retta
approssimante ora si era
approssimante.
Come onseguenza di questo legame vi è il fatto he i massimi e minimi
loali di una funzione di due variabili sono da rierare tra i punti in ui il
gradiente si annulla, proprio ome si faeva per le funzioni di una sola
variabile. Anhe qui però dobbiamo essere auti: se in un punto il gradiente
si annulla non è detto he esso sia un massimo o un minimo, infatti la
x
funzione potrebbe resere lungo
f :D→R
Matrie hessiana: sia
ma deresere lungo
y,
o vieversa.
una funzione di due variabili, e
supponiamo he abbia derivate parziali in ogni punto
x∈D
; se le derivate
parziali sono a loro volta derivabili parzialmente otteniamo derivate parziali
suessive: ad esempio se si deriva parzialmente rispetto ad
parziale rispetto ad
x
y
la derivata
si ottiene una derivata mista; si può dimostrare (ma
qui non lo faiamo) he, sotto opportune ipotesi di regolarità sulla
funzione
y
f,
non è rilevante se si deriva prima rispetto ad
2
o vieversa, dunque la srittura
Si hiama
matrie hessiana
india on
Hf ( 0 )
avendo posto
x
∂ f
∂x∂y
e
e poi rispetto ad
non presenta ambiguità.
della funzione
f
alolata
nel punto
la matrie 2x2 il ui elemento di posto
x1 = x
x
(i, j)
x
0 e si
vale
∂2f
,
∂xi ∂xj
x2 = y .
Proposizione 2 (senza dimostrazione): sia
D ⊂ Rn
onvesso e sia
f :D→R
una funzione di due variabili on derivate parziali del primo e del seondo
ordine ontinue; allora
x
∀ ∈ D.
f
è onvessa se e solo se
x
Hf ( )
è denita positiva
Proposizione 3 (senza dimostrazione): sia
D ⊂ Rn
onvesso, sia
f :D→R
una funzione di due variabili onvessa e on derivate prime e seonde
ontinue, e supponiamo he
e globale per
x
∇f ( 0 ) = 0;
f.
allora
x
0 è punto di minimo loale
Notiamo he quanto aermato non è he una estensione a due variabili della
Proposizione 1.
Conseguenze
Nel Metodo dei Minimi Quadrati la funzione di ui si era il minimo è
S(a, b) =
n
X
(yi − (a + bxi ))2 ,
i=1
dove
xi
ed
yi
sono i nostri dati, e
a, b ∈ R.
Quanto detto sopra dovrebbe fornire le motivazioni dei passaggi tenii di
Analisi del suddetto metodo (presente al apitolo 9 paragrafo 2 del Ross); il
fatto he la funzione
S
sia onvessa si dimostra faendo vedere he la sua
matrie hessiana è denita positiva, e per vedere questo basta far vedere
he il suo elemento di posto (1,1) è positivo e he il determinante della
HS(a, b)(1, 1) = 2n > 0 ∀a, b e il determinante di
HS(a, b) si sopre alolandolo he è un multiplo positivo della varianza dei
dati xi , ed essa è una quantità sempre positiva: da iò segue he i valori A e
matrie è positivo. Ma
B trovati on il Metodo dei Minimi Quadrati sono eettivamente quelli he
minimizzano la funzione
S.