Diseños No Experimentales

33
1 UNIVERSIDAD YACAMBÚ VICE-RRECTORADO DE INVESTIGACIÓN Y POSTGRADO INSTITUTO DE INVESTIGACIÓN Y POSTGRADO Barquisimeto, julio de 2014 Paredes Gabriela, Paredes Vanessa. Araujo Alejandro, Bastidas Orlando Di 0 DISEÑOS CUANTITATIVO S DE INVESTIGACIO N. DISEÑOS NO EXPERIMENTALES TRANSECCIONAL

description

Participantes Maestría Educación Ambiental.

Transcript of Diseños No Experimentales

1

UNIVERSIDAD YACAMBÚ VICE-RRECTORADO DE INVESTIGACIÓN Y POSTGRADO

INSTITUTO DE INVESTIGACIÓN Y POSTGRADO

Barquisimeto, julio de 2014 Paredes Gabriela, Paredes Vanessa. Araujo Alejandro, Bastidas

Orlando

Di

0

diseños cuantitativos de Investigacion. Diseños No Experimentales Transeccional

1

Editorial

El Trinomio de la Investigación.  

Nombre que decidimos colocarle a nuestra revista para identificarnos ante el Profesor de la materia DISEÑOS CUANTITATIVOS DE LA INVESTIGACIÓN, del pensum de estudios de la Maestría en Educación Ambiental que se imparte en la Universidad Yacambú, ubicada en Barquisimeto, Estado Lara, Venezuela; a los fines de presentar esta investigación que permite clasificar los diseños no experimentales y analiza cada uno de estos diseños: definición, características, análisis de datos,  su  propósito, naturaleza, usos y  aplicaciones. Asimismo, sucintamente  aborda la historia y diferencias entre la investigación experimental y la no experimental.

En el Diseño Cuantitativo de Investigación no experimental Transeccional, tema que nos ocupa, en algunas ocasiones la investigación se centra en analizar cuál es el nivel o estado de una o diversas variables en un momento dado, o bien cuál es la relación entre un conjunto de variables en un punto en el tiempo. En estos casos el Diseño apropiado (bajo un enfoque no experimental) es el transversal o Transeccional. 

El diseño es un plan estratégico que se desarrolla para obtener la información que se quiere en una investigación, es decir lo que debe hacer para alcanzar sus objetivos de estudio y para contestar las interrogantes de conocimiento que se han planteado. Diseño de investigación, Se concibe como estrategias en las cuales se pretende obtener respuestas a las interrogantes y comprobar las hipótesis de investigación, con el fin de alcanzar los objetivos del estudio. La investigación no experimental es la búsqueda empírica y sistemática en la que el científico no posee control directo de las variables independientes, debido a que sus manifestaciones ya han ocurrido o que son inherentemente no manipulables. Se hacen inferencias sobre las relaciones entre las variables, sin intervención directa sobre la variación simultánea de las variables independiente y dependiente (Kerlinger, 2002).

Esperamos humildemente, ser portadores de información concisa y precisa a aquellas personas interesadas en el tema, en virtud de esta premisa hemos redactado con léxico sencillo y ejemplos ilustrativos en su mayoría.

2

Contenido:

HISTORIA DEL DISEÑO EXPERIMENTAL 3

DISEÑOS NO EXPERIMENTALES DE INVESTIGACIÓN. 5

Características que no pueden ser manipuladas por razones éticas: 6

CARACTERÍSTICAS DE DISEÑOS NO  EXPERIMENTALES 8

Diferencias 9

TIPOS DE DISEÑOS DEI NVESTIGACIÓN NO EXPERIMENTALES 10

INVESTIGACIÓN TRANSECCIONAL O TRANSVERSAL 11

UTILIDAD DE LOS ESTUDIOSTRANSVERSALES 12

LOS DISEÑOS TRANSECCIONALES 13

DISEÑOS TRANSECCIONALES DESCRIPTIVOS 15

DISEÑOS TRANSECCIONALES CORRELACIONALES/CAUSALES 18

Características 19

Ventajas – limitaciones 22

Conclusiones 23

Glosario 24

Referencias 25

3

HISTORIA DEL DISEÑO EXPERIMENTAL

Para cualquier fenómeno donde existe la incertidumbre el procedimiento apropiado para investigarlo es experimentar con él, de manera que puedan identificarse las características del interés. Una de las tendencias más notables en la década pasada fue el uso de experimentos cuidadosamente diseñados y científicamente controlados.

Según Ronald Fisher máximo exponente del diseño experimental en su obra

Titulada “Statistical methods forresearch workers”, afirma que la historia de la teoría estadística empleada en el diseño de experimentos se remonta al célebre ensayo de Thomas Bayes publicado en 1763 y conocido como el primer intento de utilizar la teoría de la probabilidad como instrumento de razonamiento inductivo, para deducir de lo particular a lo general o de la muestra a la población. Posteriormente el Sir Ronald A Fisher(1890-1962), influenciado por Pearson y Student (W.S. Gosset), hizo importantes y numerosas a la estadística, con investigaciones hacia el interior de distribuciones de datos estadísticos con el coeficiente de correlación; concibió la idea de diseño de experimentos con un método para obtener información más completa y más precisa en la realización de un experimento.

4

Durante los años de 1930 la influencia de su trabajo estadístico se difundió a través del mundo de habla inglesa y frecuentemente más allá, así que después de la segunda guerra mundial con la formación de la Sociedad Internacional Biométrica en 1947, un nuevo campo de la investigación científica fue reconocido. Como resultado de la introducción de métodos competentes y la purificación del razonamiento inductivo por los cales Fisher había sido primeramente el responsable, fue el innovador del uso delos métodos estadísticos en el diseño de experimentos; desarrollo y uso por primera vez el análisis de varianza como herramienta primaria para el análisis estadístico en el diseño experimental. A pesar de que Fisher fue el pionero, muchos otros han contribuido de manera significativa a las publicaciones sobre el diseño de experimentos; entre ellos pueden encontrarse. F. Yates, G.Box, R. Bose, O. Kempthorne, W.Cochran Y Douglas Montgomery.

Muchas de las primeras aplicaciones del diseño experimental se dieron en el área de la agricultura y ciencias biológicas; sin embargo las primeras aplicaciones industriales del diseño experimental se hicieron en la década de 1930, en la industria textil y de la lana británica. Después de la segunda guerra mundial, los métodos de diseños de experimentos se introdujeron en las industrias de los Estados Unidos y Europa.

Estos grupos industriales son todavía áreas muy fértiles para el uso del diseño experimental en el desarrollo de productos y procesos. La industria delos semiconductores y la electrónica se ha servido también por muchos años y con considerable éxito de los métodos del diseño experimental. En años recientes ha habido un renovado interés por el virtud de que varias industrias han descubierto de que sus competidores han estado usando por muchos años experimentos diseñados y que esto ha sido un factor importante en su éxito competitivo.

Los contribuyentes más destacados de estas innovaciones y perfeccionamiento han sido indudablemente los profesores Karl Pearson, W.S. Gosset y Ronald

Fisher, cuyas teorías fueron muy discutidas y hasta combatidas en sus principios, pero que hoy se aceptan y se siguen sin discusión por la mayoría delos modernos estadistas. Podemos afirmar que el diseño sirve ya de complemento obligado y de ampliación necesaria a los cursos normales de estadística

5

DISEÑOS NO EXPERIMENTALES DE INVESTIGACIÓN.

La investigación no experimental es aquella que se realiza sin manipular deliberadamente variables. Es decir, es la investigación donde no hacemos variar intencionalmente las variables independientes. Lo que hacemos en la investigación no experimental es observar fenómenos tal y como se dañen su contexto natural, para después analizarlos

Como señala Kerlinger (1979, p.116). “La investigación no experimental o expos-facto es cualquier investigación en la que resulta imposible manipular variables o asignar aleatoriamente a los sujetos o a las condiciones”. De hecho, no hay condiciones o estímulos a los cuales se expongan los sujetos del estudio. Los sujetos son observados en su ambiente natural, en su realidad. En un experimento, el investigador construye deliberadamente una situación ala que son expuestos varios individuos. Esta situación consiste en recibir un tratamiento, condición o estímulo bajo determinadas circunstancias, para después analizar los efectos de la exposición o aplicación de dicho tratamiento o condición. Por decirlo de alguna manera, en un experimento se

‘construye” una realidad. En cambio, en un estudio no experimental no se construye ninguna situación, sino que se observan situaciones ya existentes, no provocadas intencionalmente por el investigador. En la investigación no experimental las variables independientes ya han ocurrido y no pueden ser manipuladas, el investigador no tiene control directo sobre dichas variables, no puede influir sobre ellas porque ya sucedieron, al igual que sus efectos.

Características inherentes de personas u objetos que son complejas de manipular:

Hábitat de un animal, fuertes Incrementos salariales Antigüedad en el trabajo

6

Características que no pueden ser manipuladas por razones éticas:

Consumo de alcohol, tabaco o un medicamento (si la personase encuentra saludable)

Agresiones físicas, adopción, impedimentos físicos Características que no se pueden manipular Personalidad (sus rasgos) Energía explosiva de un volcán Estado civil de los padres (divorciados, casados, unión libre, etc.) Masa de un meteorito.

EJEMPLOS ILUSTRATIVOS

Tomemos un ejemplo para explicar el concepto de investigación no experimental y su diferencia con la experimentación. Vamos a suponer que un investigador desea analizar el efecto que produce el consumo de alcohol sobre los reflejos humanos. Si decidiera seguir un enfoque experimental, no experimental, el investigador podría acudir a lugares donde se localicen distintas personas con diferentes consumos de alcohol (por ejemplo, oficinas donde se haga la prueba del nivel de consumo de alcohol digamos una estación de policía donde acuden personas que tienen pequeños incidentes de tránsito y como parte dela rutina se les mide el grado de consumo de alcohol). En contraría personas que han bebido cantidades elevadas, medias y bajas de alcohol, así como quienes no han ingerido alcohol. Mediría la calidad de sus reflejos, llevaría a cabo sus comparaciones y establecería el efecto del consumo de alcohol sobre los reflejos humanos.

Claro está que no sería ético un experimento que obligara a las personas a consumir una bebida que afecta gravemente la salud. El ejemplo es sólo para ilustrar la diferencia entre la investigación experimental y la que no lo es. Pero, vayamos más a fondo a analizarlas diferencias. En la investigación experimental se construye la situación y se manipula de manera intencional a la variable independiente (en este caso el consumo del alcohol), después se observa el efecto de esta manipulación sobre la variable dependiente (en este caso la calidad de los reflejos). Es decir, el investigador influyó directamente en el grado de consumo de alcohol de los sujetos.

7

En la investigación no experimental no hay ni manipulación intencional ni asignación al azar

.

Los sujetos ya consumían un nivel de alcohol y en este hecho el investigado no tuvo nada que ver, no influyó en la cantidad de consumo de alcohol de los sujetos. Era una situación que previamente existía, ajena al control directo del investigador. En la investigación no experimental se eligieron personas con diferentes niveles de consumo, los cuales se generaron por muchas causas (alguien tuvo una comida con sus amigos, otra persona era alcohólica, una más estaba en depresión, etcétera) pero no por la manipulación intencional y previa del consumo de alcohol. En cambio en el experimento, sí se generaron los niveles de consumo de alcohol por una manipulación deliberada de esta variable.

En resumen, en un estudio no experimental los sujetos ya pertenecían a un grupo o nivel determinado de la variable independiente por autoselección.

Esta diferencia esencial genera distintas características entre la investigación experimental y la no experimental, que serán referidas cuando se analicen comparativamente ambos en foques. La investigación no experimental investigación sistemática y empírica en la que las variables independientes no se manipulan porque ya han sucedido. Las inferencias sobre las relaciones entre variables se realizan sin intervención o influencia directa y dichas relaciones se observan tal y como se han dado en su contexto natural.

Un ejemplo no científico (y tal vez hasta burdo) para ilustrar la diferencia entre un experimento y un no experimento serían las siguientes situaciones:

“EXPERIMENTO”

Hacer enojar intencionalmente a una persona para ver sus reacciones.

“NO EXPERIMENTAL”

Ver las reacciones de esa persona cuando llega enojada.

8

CARACTERÍSTICAS DE DISEÑOS NO  EXPERIMENTALES

 

La investigación experimental como la no experimental son herramientas muy

valiosas y ningún tipo es mejor que el otro.

El diseño a seleccionar en una investigación depende más bien del problema a

resolver y del contexto que rodea al estudio.

En la investigación no experimental el control sobre las variables es menos

riguroso.

En la investigación no experimental resulta más complejo separar los efectos de

las múltiples variables que intervienen, sin embargo puede hacerse infiriendo.

En la investigación no experimental se está más cerca de las variables formuladas

hipotéticamente como "reales" y en consecuencia tenemos mayor validez externa

(posibilidad de generalizar los resultados a otros individuos y situaciones

comunes).

En resumen, ambas clases de investigación tanto la experimental como la no

experimental, se utilizan para el avance del conocimiento y en ocasiones resulta

más apropiado un tipo u otro, dependiendo del problema de investigación al que

nos enfrentamos.

9

Diferencias:

La investigación experimental tiene alcances iniciales y finales

correlaciónales y explicativos.

La investigación no experimental es sistemática y empírica en la que las

variables independientes no se manipulan porque ya han sucedido.

Las inferencias sobre las relaciones entre variables se realizan sin

intervención o influencias directas, y dichas relaciones se

observan tal como se han dado en su contexto natural.

Merten (2005) señala que la investigación no experimental es apropiada

para variables que no se pueden o deben ser manipuladas o resulta

complicado hacerlo

10

TIPOS DE DISEÑOS DEI NVESTIGACIÓN NO EXPERIMENTALES

Hernández, Fernández y Baptista (2010) establecen que diversos autores han adoptado variados criterios para catalogarla investigación no experimental.

Sin embargo, la mayoría consideran la siguiente manera de clasificar dicha investigación:

Por su dimensión temporal o el número de momentos o puntos en el tiempo, en los cuales se recolectan datos.

En algunas ocasiones la investigación se centra en:

Analizar el nivel o modalidad de una o diversas variables en un momento dado. Evaluar una situación, comunidad, evento, fenómeno o contexto en un punto del tiempo y/o determinar o ubicar cual es la relación entre un conjunto de variables en un momento.

En estos casos el diseño apropiado bajo un enfoque no experimental es el transversal o Transeccional, ya que su alcance inicial o final ya sea exploratorio, descriptivo, correlacional o explicativo.

Otras veces, la investigación se concentra en:

Estudiar cómo evolucionan una o varias variables o las relaciones entre ellas.analizar los cambios a través del tiempo de un evento, una comunidad, un fenómeno, una situación o un contexto. En situaciones como esta el diseño apropiado (bajo enfoque no experimental) es el longitudinal. Dicho de otro modo, los diseños no experimentales se pueden clasificar en transeccionales y longitudinales

11

INVESTIGACIÓN TRANSECCIONAL O TRANSVERSAL

Los diseños de investigación Transeccional o Transversal. Recolectan datos en un solo momento, en un tiempo único.

Su propósito es describir variables, y analizar su incidencia e interrelación en un momento dado. Es como tomar una fotografía de algo que sucede. Por ejemplo, investigar el número de empleados, desempleados y subempleados en una ciudad en cierto momento. O bien, determinar el nivel de escolaridad de los trabajadores de un sindicato en un punto en el tiempo O tal vez, analizar la relación entre la autoestima y el temor de logro en un grupo de atletas de pista (en determinado momento). O bien, analizar si hay diferencias en contenido de sexo entre tres telenovelas que están exhibiéndose simultáneamente.

Pueden abarcar varios grupos o subgrupos de personas, objetos o indicadores.

 Por ejemplo, medir los niveles de aprovechamiento de grupos de primero, segundo y tercer año de instrucción básica o primaria; o tal vez medir la relación entre la autoestima y el temor de logro en atletas de deportes acuáticos, de raqueta y de pista. Pero siempre, la recolección de los datos es en un único momento.

Los diseños de investigación por encuesta, son:

Los Diseños Transversales y Los Longitudinales.

El más utilizado en la investigación por encuesta, es el diseño transversal, en el que los datos se recogen, sobre uno o más grupos de sujetos, en un solo momento temporal.

TÉCNICA DE UN ESTUDIO TRANSVERSAL

1. Selección de una muestra de población de estudio.

2. Medición de la variable predictores (factor de riesgo) y variable resultado (enfermedad).

12

UTILIDAD DE LOS ESTUDIOSTRANSVERSALES

Los estudios de prevalencia son de uso frecuente en Salud Pública, porque permiten:

1. La descripción de un fenómeno de salud.

2. La identificación de la frecuencia poblacional de un fenómeno de salud.

3. La generación de hipótesis de trabajo o hipótesis explicatorias.

VENTAJAS DE UN ESTUDIO TRANSVERSAL

1. Permiten estudiar varias variables resultado como enfermedad y exposición.

2. Buen control de la selección de los sujetos de estudio.

3. Poco tiempo de ejecución del estudio puesto que no hay seguimiento de los individuos y generalmente poco costo económico.

4. Son un buen paso inicial en la elaboración de un estudio de cohorte.

5. Proporcionan estimadores de prevalencia.

INCONVENIENTES DE UN ESTUDIO TRANSVERSAL

1. Imposibilidad de determinar si la exposición precede a la enfermedad, es decir, imposibilidad para establecer direccionalidad de asociaciones.

2. La información de la exposición es muy vulnerable a errores de medición, especialmente si es recogida retrospectivamente. Existe ambigüedad temporal si se recogen exposiciones actuales.

3. Imposibilidad de distinguir entre factores de riesgo y factores pronósticos porque los investigadores conocen cuántos individuos han pasado la enfermedad.

4. Posible sesgo de supervivencia: Los casos observados pueden tener una mayor supervivencia, puesto que los fallecidos no suelen entrar en el estudio.

5. No es eficaz para estudiar enfermedades raras, letales o de corta supervivencia.

6. Imposibilidad de identificar relaciones causales entre los factores estudiados, puesto que mide simultáneamente efecto (variable dependiente) y exposición (variable independiente).

13

LOS DISEÑOS TRANSECCIONALES

Pueden dividirse en dos:

DESCRIPTIVOSEXPLORATORIOSCORRELACIONALES/CAUSALES

,,

14

15

DISEÑOS TRANSECCIONALES DESCRIPTIVOS

Tienen como objetivo indagar la incidencia y los valores en que se manifiesta una o más variables

Tal como sabemos, en el Diseño de Investigación no experimental descriptivo, se observan y describen los fenómenos tal como se presentan en forma natural. Su objetivo es indagar la incidencia y los valores en que se manifiestan una o más variables(dentro del enfoque cuantitativo) o ubicar, describir, categorizar y proporcionar una visión de una comunidad, un evento, un contexto, un fenómeno o una situación .su vez se clasifican en:

Diseño descriptivo simple: forma más elemental de la investigación.

PROCESO

El investigador busca y recoge información contemporánea con respecto a un objeto de estudio, pero presentándose el control de un tratamiento (No hay comprobación de hipótesis).

16

Diagrama o esquema M O Muestra InformaciónNo podemos suponer la influencia de variables extrañas.

FUNCIONES:

1. Describir una característica.

2. Análisis Estadístico: análisis de frecuencia, medidas de tendencia central (media, moda).

3. Instrumentos de recolección de datos :

a) Lista de observación, Lista de cotejo, encuesta, cuestionario.

b) Gráficos: barras simples, comparativas, de sectores, pictogramas.

Diseño Descriptivo comparativo:

 Parte de considerar dos o más investigaciones descriptivas simples. Se trata de recolectar información relevante en varias muestras con respecto a un mismo fenómeno.

PROCESO

Teniendo el investigador información de varias muestras, procederá el investigador a comparar esos datos recogidos.

17

DISEÑOS TRANSECCIONALES CORRELACIONALES/CAUSALES

Cuando se limitan a relaciones no causales, se fundamentan en hipótesis Correlacionales y cuando buscan evaluar relaciones causales, se basan en hipótesis causales

EJEMPLOS

Una investigación que pretendiera indagar la relación entre la atracción física y la confianza durante el noviazgo en parejas de jóvenes, observando qué tan relacionadas están ambas variables (se limita a ser correlacional). Una investigación que estudiara cómo la motivación intrínseca influye en la productividad de los trabajadores de línea de grandes empresas industriales, de determinado país y en cierto momento, observando si los obreros más productivos son los más motivados, y en caso de que así sea, evaluando el por qué y cómo es que la motivación intrínseca contribuye a incrementar la productividad (esta investigación establece primero la correlación y luego la relación causal entre las variables).

18

Características

Menor control.Las variables están más cercanas a la realidad.Los grupos son naturales.No hay manipulación.Es sistemática y empírica.

Los diseños de Investigación pueden ser:

Transeccionales Longitudinales.

19

Los Diseños no experimentales: están basados en la observación del objeto a estudiar, en su ambiente natural, sin manipular su realidad.

20

21

22

Ventajas – limitaciones

Tanto los diseños de investigación experimentales, como los no experimentales, son valiosos para las ciencias sociales y naturales. Su selección dependerá del  problema y del contexto donde se estudian.

En la investigación no experimental, estamos en consecuencia más cerca de las variables hipotetizadas como “reales”, por consiguiente tendrá mejor validez interna que externa.

Tendencias a errores metodológicos y sesgo (prejuicio, juicio u opinión formada antes de que se conozcan los hechos y que se pueden desviar los resultados de la investigación).

Los sujetos de la muestra pueden o no haber sido seleccionados mediante un proceso aleatorio (azar).

Los grupos no son necesariamente representativos de todos los sujetos de la  población.

Las características y los desenlaces no se imponen sino que se observan y se describen. Existe flexibilidad en el tiempo a utilizar para la investigación.

El investigador define las características delos individuos elegibles para los grupos y detectan diferencias entre ellos.

23

Conclusiones

Con la exploración que hemos realizado sobre LOS DISEÑOS DE INVESTIGACION NO EXPERIMENTALES TRANSECCIONALES, nos queda un conocimiento sumario pero suficiente para entender la importancia de las ciencias que soportan o dan base a información que a veces nosparece trivial y que además cotidianamente no damos el valor que tienen y Representan en nuestra sociedad .

Es gratificante conocer y presentar “grosso modo” una visión fresca, actualizada, contemporánea de uno de los modelos de investigación de índole cuantitativo que no utiliza experimentos y que se ejecutan en un solo momento de ésta, con sus variables, ventajas, limitaciones, entre otros.  Formando parte de las técnicas que conforman la Estadística como ciencia aplicada a las sociales en el mundo globalizado de hoy.

El Diseño no experimental es Transeccional, cuando el investigador se centra en analizar el estado o nivel de las variables en un momento dado, los datos son recolectados en un tiempo único

Nos queda una enriquecedora experiencia con esta revista virtual que hemos aprendido a realizarla confiando en la tecnología de avanzada que siempre está a la mano esperando ser útil a quien desee aprovecharla, como inmigrantes tecnológicos que somos. Desempeñando el rol de transmisores de epistemología para obtener así un aprendizaje significativo aportado por el Trinomio de La Investigación.

 

24

Términos 

Diseño: “Plan o esquema del investigador que recoge las estrategias utilizadas en el estudio”.

Empírico: “Que está basado en la experiencia y en la observación de los hechos”.

Sistemático: “Que sigue o se ajusta a un sistema o conjunto de elementos ordenados”

Variables: “Se pueden definir como todo aquello que se va a medir, controlar y estudiar en una investigación o estudio”.

25

Referencias Bibliográficas

Técnicas de recolección de Datos, Disponible en: http://bloquemetodologicodelainvestigacionudo2010.wordpress.co m/tecnicas-e-instrumentos-de-recoleccion-de-datos/ Consultado el 30 de junio de 2014.

Diseño de Investigación, Disponible en: http://www.aniorte- nic.net/apunt_metod_investigac4_4.htm Consultado el 30 de junio de 2014

Diseño de Investigación no Experimental. Disponible en: http://www.slideshare.net/conejo920/diseo-de-investigacion-no- experimental Consultado el 04 de julio de 2014.

Diseño No Experimental de una Investigación. Disponible en: http://www.buenastareas.com/ensayos/Dise%C3%B1os-No- Experimentales-De-Investigacion/1175098.html Consultado el 05 de julio de 2014.

Diseños no experimentales transversales, descriptivos y exploratorios.Disponible en: http://www.slideshare.net/uabcpsique/diseos-no- experimentales-transversales-transversales-descriptivos-y- exploratorios Consultado el 05 de julio de 2014

.Recolección de datos, Disponible en: http://www.monografias.com/trabajos12/recoldat/recoldat.shtml  Consultado el 09 de julio de 2014.

Técnicas de recolección de Datos, Disponible en: http://bloquemetodologicodelainvestigacionudo2010.wordpress.co m/tecnicas-e-instrumentos-de-recoleccion-de-datos/ Consultado el 10 de julio de 2013.