Capitulo 2 Sistemas de Ecuaciones Lineales

GHO SEL - MA33A 1

Mtodos Numricos para Sistemas de

Ecuaciones Lineales

Gonzalo Hernndez Oliva

Clculo Numrico MA-33A

Universidad de ChileDepartamento de Ingeniera Matemtica

GHO SEL - MA33A 2

MN para SEL: Temario1) Motivacin Aplicaciones SEL:

a) Interpolacin Polinomialb) Mnimos Cuadradosc) Mtodo Simplex Optimizacin Lineal

2) Definiciones y Resultados Bsicos

3) Mtodos de Pivoteo (Directos) para SEL: Gauss y Gauss-Jordan

4) Anlisis de Error del Mtodo de Gauss

GHO SEL - MA33A 3

5) Matriz Inversa y Determinante

6) Factorizacin de Matrices

7) Mtodos Iterativos para SEL a) Mtodo de Jacobi y Gauss-Seidelb) Mtodo de Relajacin SOR y Gradiente

Conjugadoc) Anlisis de Error de los Mtodos Iterativosd) Mtodos para Vectores y Valores Propios

MN para SEL: Temario

GHO SEL - MA33A 4

MN para Sist. de Ecs. Lineales:1) Motivacin 1: Interpolacin Polinomial

Dados (n+1) puntosEncontrar un polinomio de grado n tal que:

( ) 1,..., 1i ip x y i n= = +

xi

yip(x)

xx

x

xxx

x

x

x

0( )

nk

i i k ik

y p x a x=

= = ( , )i ix y

GHO SEL - MA33A 5

1 x1 x12 x1n1 x2 x22 x2n1 x3 x32 x3n 1 xn1 xn12 xn1n

a0a1a2an

y1y2y3yn1

0

( ) 1,..., ( 1)

( )

i in

ki i k i

k

y p x i n

y p x a x=

= = += =

MN para Sist. de Ecs. Lineales:1) Motivacin 1: Interpolacin Polinomial

GHO SEL - MA33A 6

xi

yi

Dados n puntos (xi , yi )Encontrar la recta que mejor los representa:

Nube de puntos con tendencialineal

[ ]0 1

20 1, 1

min ( )n

k kky x = +

0 1k ky x = +

++ +++ +

+ + ++ ++++

+

++++ +++

+

+++ +

++

++

+ +

+

++

++

++++++

MN para Sist. de Ecs. Lineales:1) Motivacin 2: Mnimos Cuadrados

GHO SEL - MA33A 7


GHO SEL - MA33A 8

coefici

entes

Sea . Se quiere determinar un polinomio de grado n segn MCC:

Ecuaciones Normales:

[ , ]f a b( )np x

[ ]2( )

min ( ) ( )n

b

T np xa

f x p x dx =

a

b x0dx a

b x1dx a

b x2dx a

b xndx

a

bx1dx

a

bx2dx

a

bx3dx

a

bxn1dx

a

bxndx

a

bxn1dx

a

bxn2dx

a

bx2ndx

a0a1an

a

b x0 fxdxa

bx1 fxdx

a

bxnfxdx

1 1

1

i j i j

ijb ai j

+ + + += + +

Matriz tipo Hilbert !


GHO SEL - MA33A 9

Sea . Determinemos polinomio de grado 3 segn MC:

( ) sin( )f x x= 3( )p x

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

0

0.2

0.4

0.6

0.8

1

x

sin(pi*x) v/s -1/20+103/25x-103/25x2

s

i

n

(

p

i

*

x

)

v

/

s

p

3

(

x

)

1 1/2 1/3 1/41/2 1/3 1/4 1/51/3 1/4 1/5 1/61/4 1/5 1/6 1/7

a0a1a2a3

2/1/

2 4/32 6/3

23( ) 4.12 4.12 0.05p x x x= +


GHO SEL - MA33A 10

( ) sin( )f x x=

( ) sin( )f x x=

5,6

0( ) kk i

kp x a x

==

MN para Sist. de Ecs. Lineales:1) Motivacin 2: Mnimos CuadradosEjemplo 1:

GHO SEL - MA33A 11

7

0( ) kk i

kp x a x

==

2( ) 1xf x

x= +

9

0( ) kk i

kp x a x

==

Ejemplo 2:

-5 -4 -3 -2 -1 0 1 2 3 4 5-0.5

-0.4

-0.3

-0.2

-0.1

0

0.1

0.2

0.3

0.4

0.5

y=x/(x2+1) 7th degree 9th degree


GHO SEL - MA33A 12

Regin Factible

min

0

n

t

xc x

Ax bx

\

0Ax bx

1

nT

k kk

c x c x=

=

x2

x1

z

Vrtices

MN para Sist. de Ecs. Lineales:1) Motivacin 3: Programacin Lineal

GHO SEL - MA33A 13

Resolver un sistema de n ecuaciones lineales y n incgnitas consiste en determinar los valores de las variables: x1 , x2 , ... , xn tales que, dados: A = (aij) y b = (bi) (i =1,...,n ; j =1,...,n) se satisfagan las ecuaciones: Ax = b

......

......

MN para Sist. de Ecs. Lineales:2) Defs. y Resultados Bsicos 1

11 12 1 1 1

21 22 2 2 2

1 2

n

n

n n nn n n

a a a x ba a a x b

a a a x b

=

""

# % # # #"

GHO SEL - MA33A 14

Todo SEL se puede resolver bien numricamente ? Sea A mn invertible y b m. Entonces

es posible demostrar que si se perturba A o b se tiene:


(1)

(2)

1

1

x AA A

x x A

x bA A

x b

+

GHO SEL - MA33A 15

La norma de C mn se define segn:

Se define el nmero de condicionamiento* de A segn:

Se tiene que: cond (A) 1.

11,..., 1,...,1 1 1max max ,...,

n n n

ij j nji n i nj j jC c c c = == = =

= =


1( )cond A A A =

*Revisar clculo del cond(A) en Matlab

GHO SEL - MA33A 16

Veamos un ejemplo:0.550 0.423 0.127 1

0.484 0.372 0.112 -1

0.550 0.423 0.127 -0.4536

0.48 3 0.372 0.112 0.89

Se tiene: cond(A) = 0.9737833.3 = 7621.8 !!! El sistema es mejor condicionado si se tiene

que cond (A) esta cerca de 1 (Mat. de Hilbert)

A =

A+A =

b = x =

b = x =


GHO SEL - MA33A 17

Sin Anulacin de Pivote: Parte 1: Eliminacin de variables

bajo la diagonal en las ecuaciones mediante operaciones elementales:Multiplicar una ecuacin por un real Sumar dos ecuaciones

Se entonces producen ceros bajo la diagonal. Parte 2: Sustitucin backward de las variables

en las ecuaciones

MN para Sist. de Ecs. Lineales3) Mtodo de Gauss 1

GHO SEL - MA33A 18

Sustitucin Backwards:

MN para Sist. de Ecs. Lineales3) Mtodo de Gauss 2

( 1)

( 1)1

1 ( 1), ...,1

n nn

nn

n

k k n kj jj kkk

ux

u

x u u x k nu

+

+= +

= = =

Veamos un ejemplo.

GHO SEL - MA33A 19

En la iteracin k de la primera etapa del mtodo de Gauss es posible que el pivote akii (elementos de la diagonal de la ecuacin i) se anule. En este caso se permuta la ecuacin i con la ecuacin m de mayor pivote en mdulo (pivoteo parcial):

| akmi | | akji | para todo j = i+1,,n Investigue la estrategia de pivoteo completo

...

MN para Sist. de Ecs. Lineales:3) Mtodo de Gauss 3Estrategias de Pivoteo

GHO SEL - MA33A 20

Una medida de la eficiencia de un algoritmo es el tiempo que demora en ejecutarse, el cual es proporcional al nmero de operaciones aritmticas (ops)

Ops_Gauss(n) = i=1

n-1

(n - i)(2n - 2i + 6)

MN para Sist. de Ecs. Lineales:3) Mtodo de Gauss 4: # de Ops

, ,

Parte 1O(n3)

i=1

(2i - 1)n

+Parte 2O(n2)

GHO SEL - MA33A 21

El mtodo de Gauss Jordan consiste en aplicar 2 veces la primera parte del mtodo de Gauss, es decir: triangularizar superior e inferiormente la matriz A

Ops_G-J(n) = i=1

n-1

(n - i)(2n - 2i + 6)

MN para Sist. de Ecs. Lineales:3) Mtodo de Gauss - Jordan:

, , i=1

4i + nn-1

+

Parte 1

O(n3)

Parte 2

O(n2)

GHO SEL - MA33A 22

Es posible hacer un anlisis de propagacin de errores, que se obtienen al realizar las operaciones aritmticas de la primera y segunda etapa del mtodo de Gauss o Gauss Jordan Se demuestra que esta propagacin de

errores disminuye si se utiliza alguna tcnica de pivoteo (parcial o completo)

MN para Sist. de Ecs. Lineales:4) Anlisis de Error del M. de Gauss:

GHO SEL - MA33A 23

Matriz inversa A: Se aplica el mtodo de Gauss Jordan al SEL aumentado con las columnas de la matriz identidad

MN para Sist. de Ecs. Lineales:5) Matriz Inversa y Determinante 1:

a11 a12 a1na21 a22 a2n an1 an2 ann

1 0 00 1 0 0 0 1

GHO SEL - MA33A 24

El det(A) se puede definir recursivamente mediante la frmula de Laplace:

Frmula vlidapara cualquierfila i o columna j

Matriz Cofactor ij de ASe obtiene eliminandofila i y columna j

1det( ) ( 1) det( )

ni j

ij ijj

A a A+=

=


GHO SEL - MA33A 25

Propiedades del Determinante:a) Si todos los coeficientes de una fila o

columna de A son ceros det(A) = 0b) Si dos o ms filas o columnas de A son

linealmente dependientes det(A) = 0c) Si se reemplaza la fila i (Fi) por la fila j (Fj)

donde i j entonces det(A) = -det(A)d) Si se reemplaza la fila i (Fi) por (Fi + Fj)

donde i j entonces det(A) = det(A)


GHO SEL - MA33A 26

Propiedades del Determinante:e) Si A y B son dos matrices cuadradas de

igual tamao: det(AB) = det(A)det(B)f) det(At) = det(A)g) Si A es invertible: det(A-1) = 1/det(A)h) Si A es una matriz triangular inferior,

superior o diagonal:

1

det( )n

kkk

A a=

=


GHO SEL - MA33A 27

Para calcular el det(A) se aplica el mtodo de Gauss y la descomposicin A = LU:

Efectivamente, si se puede triangularizar la matriz A, entonces:

PA = LU det(A) = det(PTLU)det(A) = det(PT)det(L)det(U) = det(PT)det(U)

1

det( )n

kkk

U u=

=


GHO SEL - MA33A 28

Descomposicin A = LU (Alg. Gauss)

MN para Sist. de Ecs. Lineales:6) Factorizacin de Matrices 1: A=LU

mnn-1

1

00

0m32m31

1mn2mn1

01m21

001

0

un-1n-1

u2n-1

u1n-1

00

unn00

u2nu220u1nu12u11

L UA = LU

GHO SEL - MA33A 29

MN para Sist. de Ecs. Lineales:6) Factorizacin de Matrices 2: Crout Una matriz A cuadrada es tridiagonal si sus

coeficientes no nulos se ubican en las diagonales principal y secundarias

A

a 11 a12 0 0 0a 21 a22 a 23 0 00 a32 a 33 a34 00 0 a 43 a44 0 0 0 0 ann1 ann

GHO SEL - MA33A 30

Una matriz A cuadrada tridiagonal puede ser factorizada segn A=LU donde:l 11 0 0 0 0l 21 l22 0 0 00 l32 l 33 0 00 0 l 43 l44 0 0 0 0 l nn1 l nn

1 u 12 0 00 1 u23 00 0 1 0 u n1n0 0 0 1

L U

MN para Sist. de Ecs. Lineales:6) Factorizacin de Matrices 3: Crout

GHO SEL - MA33A 31

Mtodo de Crout para matrices tridiagonales:l11 a11u12 a12l11

Paso 1:

Paso 2: Para i=2,,n-1

Paso 3:

l ii1 a ii1l ii a ii l ii1u i1i

u ii1 a ii1l iilnn1 ann1lnn ann lnn1u n1n

MN para Sist. de Ecs. Lineales:6) Factorizacin de Matrices 4: Crout

GHO SEL - MA33A 32

Una matriz cuadrada A es definida positiva si y solo si: xtAx > 0 para todo x n

Teorema: Si A es definida positiva:a) det(A) 0b) akk > 0 para todo k=1,,n

c)

d)

MN para Sist. de Ecs. Lineales:6) Fact. de Matrices 5: Cholesky

1 , 12

max max

( ) kj kkk j n k n

ij ii jj

a a

a a a i j

<

GHO SEL - MA33A 33

Teorema: A es definida positiva si y solo si los determinantes de las matrices cofactores principales son positivos: det(Akk) > 0 para todo k=1,,n.


akkak1

a1ka11Akk =

Matriz cofactor principal k

GHO SEL - MA33A 34

Teorema: A es definida positiva si y solo si puede factorizarse como A = LLT donde L es una matriz triangular inferior con lii > 0 para todo i=1,,n.

En este caso para resolver un SEL Ax = b se debe aplicar la sustitucin forward -backward


GHO SEL - MA33A 35

MN para Sist. de Ecs. Lineales:6) Fact. de Matrices 8: Met. CholeskyPaso 1: l11 a 11

Paso 2: Para j=2,,n

Paso 3: Para i=2,,n-1 l ii aii k1

i1lik2

1/2

Para j=(i+1),,n l ji aji

k1

i1ljk l ik

lii

l j1 aj1 /l11

Paso 4: lnn ann k1

n1lnk2

1/2

GHO SEL - MA33A 36

Factorizacin QR:A = QRQ matriz ortogonal: QtQ = I (Gram-Schmidt)R = QtA

Factorizacin SVD:Anxm = USVt

Unxn , Vmxm matrices ortogonalesSnxm matriz valores singulares (raz v.p. At*A)

MN para Sist. de Ecs. Lineales:6) Fact. Matrices 9: Ortogonalizacin

GHO SEL - MA33A 37

Mtodos Iterativos:x(0) n

x(k+1) = F(x(k)) k 0Los mtodos para SEL son de la forma:

F(x(k)) = Bx(k) + h

donde B nn , h n

MN para Sist. de Ecs. Lineales:7) Mtodos Iterativos para SEL 1:

GHO SEL - MA33A 38

En general se construyen B y h de la siguiente forma:Sean M y N nn tales que:M es invertible y A = M N Entonces:Ax = b Mx = Nx + b x = M-1Nx + M-1b

Esto sugiere definir:B = M -1N y h = M -1b


GHO SEL - MA33A 39

Luego, si descomponemos A = (aij ) invertible segn:

A = diag(A) + low(A) + up(A)

Donde diag(A) , low(A) , up(A) nn se definen segn:

aij si i = jdiag(A)ij =

0 si i j


GHO SEL - MA33A 40

aij si i > jlow(A)ij =

0 si i j aij si i < j

up(A)ij = 0 si i j

En base a estas definiciones se tienen los mtodos de Jacobi y Gauss - Seidel


GHO SEL - MA33A 41

Jacobi: define M y N segn:M = diag(A)

N = -[low(A) + up(A)]

B = - diag(A)-1 [low(A) + up(A)]

h = diag(A)-1 b


GHO SEL - MA33A 42

MN para Sist. de Ecs. Lineales:7) Mtodos Iterativos para SEL 6: Si x(k) = (xi(k)) i = 1,,n es el vector de la

iteracin k del mtodo de Jacobi, entonces satisface la siguiente frmula iterativa:

( 1)

1( ) 1 , 1,2,3...

nk

ij j ijj ik

iii

a x b

x i n ka

=

+ = =

GHO SEL - MA33A 43

Gauss - Seidel: define M y N segnM = [diag(A) + low(A)] N = - up(A)

B = - [diag(A) + low(A)]-1 [up(A)]

h = [diag(A) + low(A)]-1 b

J y G-S convergen x0 si A es estrictamente diagonal dominante:

1, 1,...,nkk kjj j ka a k n= > =


GHO SEL - MA33A 44


iteracin k del mtodo de Gauss-Seidel, satisface la siguiente frmula iterativa:

1( ) ( 1)

1 1( ) 1 ,

1,2,3...

i nk k

ij j ij j ij j ik

iii

a x a x bx i n

ak

= = +

+ = =

GHO SEL - MA33A 45


iteracin k del mtodo de SOR, satisface la siguiente frmula iterativa:

1( ) ( 1)

1 1( ) ( 1)(1 )

1 , 1,2,3...

i nk k

ij j ij j ij j ik k

i iii

a x a x bx x

ai n k

= = +

+ = + =

GHO SEL - MA33A 46

Para matrices tridiagonales y definidas positivas, el valor ptimo de est dado por la frmula:

Donde:


21 1T

1

1

[ ( )] ( ( ) ( ))

[ ( ) ( )] ( )J

G

T Diag A Low A Up AT Diag A Low A Up A

= += +

GHO SEL - MA33A 47

Si A es definida positiva, el mtodo del gradiente conjugado est dado por:


12min ( )n

t t

xq x x Ax x b Ax b

= =

\

0 0 0 0 0, ,nx g Ax b d g = = \

1k k k kx x d+ = +

Paso 0:

Paso 1:

Paso 2:

( )( )

k t kk

k t k

g dd Ad

=

GHO SEL - MA33A 48

1( )( )

k t kk

k t k

g Add Ad

+

=

Mtodo del gradiente conjugado:


Paso 4:

1 1k k k kd g d+ += +Paso 5: Si no hay errores de redondeo el mtodo

del gradiente conjugado converge en a lo ms n iteraciones.

1 1k kg Ax b+ += Paso 3:

GHO SEL - MA33A 49

Anlisis de Error de los Mtodos Iterativos Es posible hacer un anlisis de propagacin

de errores que se obtienen al realizar las operaciones aritmticas de las iteraciones del mtodo de Jacobi y Gauss Seidel Si x(k) es la iteracin k de J o G-S y Ax = b:

cond(A)

( ) ( )1

k kx x b AxA A

x b


GHO SEL - MA33A 50

Si A es una matriz cuadrada, el polinomio en definido por:

p() = det(A- I)es el polinomio caracterstico de A

El polinomio p es de grado n y tiene a lo ms n races distintas (complejas). Estas races de p se denominan valores propios de A.


GHO SEL - MA33A 51

Definicin: El radio espectral de A: (A) se define como:

(A) = max | i |donde i es un valor propio de A

Proposicin: Si A es una matriz cuadrada:a) || A ||2 = (AtA)b) (A) || A ||


i=1,,n

GHO SEL - MA33A 52

La relacin entre mtodos iterativos para SEL y valores propios la establece los siguientes resultados:

Proposicin: Si xk es la iteracin k de un mtodo iterativo para un SEL que tiene la forma:

xk+1 = Txk + c y Ax = bEntonces:

|| xk x || (T)k || x0 x || Para k


GHO SEL - MA33A 53


Proposicin: Si xk es la iteracin k de un mtodo iterativo para un SEL que tiene la forma:

xk+1 = Txk + c y Ax = bEntonces: xk x ssi (T) < 1

Proposicin: Si los mtodos de Jacobi y Gauss-Seidel convergen se tiene que:

0 (TGS) < (TJ) < 1

GHO SEL - MA33A 54

Bibliografa

1) R. Burden & J. D. Faires, Anlisis Numrico, Sptima Edicin, ThomsonLearning, 2002.

2) J. Stoer & R. Burlisch, Introduction toNumerical Analysis, Second Edition, Springer, 1992.

3) G. Hernndez O.: Apuntes de Clculo Numrico 2007

/ColorImageDict > /JPEG2000ColorACSImageDict > /JPEG2000ColorImageDict > /AntiAliasGrayImages false /CropGrayImages true /GrayImageMinResolution 300 /GrayImageMinResolutionPolicy /OK /DownsampleGrayImages true /GrayImageDownsampleType /Bicubic /GrayImageResolution 300 /GrayImageDepth -1 /GrayImageMinDownsampleDepth 2 /GrayImageDownsampleThreshold 1.50000 /EncodeGrayImages true /GrayImageFilter /DCTEncode /AutoFilterGrayImages true /GrayImageAutoFilterStrategy /JPEG /GrayACSImageDict > /GrayImageDict > /JPEG2000GrayACSImageDict > /JPEG2000GrayImageDict > /AntiAliasMonoImages false /CropMonoImages true /MonoImageMinResolution 1200 /MonoImageMinResolutionPolicy /OK /DownsampleMonoImages true /MonoImageDownsampleType /Bicubic /MonoImageResolution 1200 /MonoImageDepth -1 /MonoImageDownsampleThreshold 1.50000 /EncodeMonoImages true /MonoImageFilter /CCITTFaxEncode /MonoImageDict > /AllowPSXObjects false /CheckCompliance [ /None ] /PDFX1aCheck false /PDFX3Check false /PDFXCompliantPDFOnly false /PDFXNoTrimBoxError true /PDFXTrimBoxToMediaBoxOffset [ 0.00000 0.00000 0.00000 0.00000 ] /PDFXSetBleedBoxToMediaBox true /PDFXBleedBoxToTrimBoxOffset [ 0.00000 0.00000 0.00000 0.00000 ] /PDFXOutputIntentProfile (None) /PDFXOutputConditionIdentifier () /PDFXOutputCondition () /PDFXRegistryName () /PDFXTrapped /False

/Description > /Namespace [ (Adobe) (Common) (1.0) ] /OtherNamespaces [ > /FormElements false /GenerateStructure true /IncludeBookmarks false /IncludeHyperlinks false /IncludeInteractive false /IncludeLayers false /IncludeProfiles true /MultimediaHandling /UseObjectSettings /Namespace [ (Adobe) (CreativeSuite) (2.0) ] /PDFXOutputIntentProfileSelector /NA /PreserveEditing true /UntaggedCMYKHandling /LeaveUntagged /UntaggedRGBHandling /LeaveUntagged /UseDocumentBleed false >> ]>> setdistillerparams> setpagedevice

Capitulo 2 Sistemas de Ecuaciones Lineales

Documents

Transcript of Capitulo 2 Sistemas de Ecuaciones Lineales