Triangulation and mixed methods in contemporary social sciences

Pablo Forni* y Pablo De Grande**

PDF

*Doctor en Sociología por la Universidad de Notre Dame. Instituto de Investigación en Ciencias Sociales, Facultad de Ciencias Sociales, Universidad del Salvador. Investigador independiente del Consejo Nacional de Investigaciones Científicas y Técnicas (Conicet). Temas de especialización: métodos cualitativos de investigación en ciencias sociales, organizaciones de la sociedad civil. Tucumán 1845, C1050AAK, Ciudad Autónoma de Buenos Aires, Argentina.

**Doctor en Ciencias Sociales y Humanidades por la Universidad de Quilmes. Instituto de Investigación en Ciencias Sociales, Facultad de Ciencias Sociales, Universidad del Salvador. Investigador asistente del Conicet. Temas de especialización: teoría social, redes sociales, infancia.

Resumen: La combinación de diferentes metodologías en una misma investigación ha devenido en una práctica habitual en las ciencias sociales contemporáneas. De la subsidiariedad de lo cualitativo a lo cuantitativo y la incompatibilidad entre métodos se pasó, hace ya más de medio siglo, a discutir y plantear formas de integración. Este artículo revisa dos propuestas sobre la combinación de métodos, la triangulación metodológica y los métodos mixtos, y analiza el impacto de las mismas en investigaciones recientes a través de un análisis bibliométrico de artículos publicados en idioma español en el catálogo académico Redalyc entre 2001 y 2016.

Palabras clave: método de investigación, análisis cualitativo, análisis cuantitativo, ciencias sociales, triangulación, bibliometría.

Abstract: The combination of different methodologies in the same research has become common practice in contemporary Social Sciences. From the subsidiarity of qualitative to quantitative research and the incompatibility between these methods, over half a century ago, the discussion shifted towards how to integrate them. This article reviews two proposals about the combination of methods —methodological triangulation and mixed methods— and analyzes their impact on recent research through a bibliometric analysis of articles published in Spanish in the Redalyc academic catalogue between 2001 and 2016.

Keywords: research method, qualitative analysis, quantitative analysis, social sciences, triangulation, bibliometrics.

En este artículo revisamos un modo de concebir la investigación social que desde los márgenes de la oposición cualitativo-cuantitativo (o comprensivo-cualitativo) ha avanzado en la dirección de sostener que ambos paradigmas de producción de conocimiento no serían mutuamente excluyentes sino que, por el contrario, sería viable una articulación productiva entre ambos.

En los últimos 50 años, estos esfuerzos se agruparon en buena medida bajo la noción de triangulación y, más recientemente, también bajo la idea de mixtura de métodos, o de métodos mixtos. Nos preguntamos, en primer lugar, de qué modo estas dos nociones coinciden o difieren; en segundo lugar, en qué medida los debates sobre complementariedad metodológica han logrado penetrar en las prácticas de investigación social en América Latina.

En investigación social, “triangular” significa combinar distintas fuentes de datos, investigadores, teorías o métodos en el estudio de un fenómeno.

El término “triangulación” proviene de la topografía y la navegación y es la operación por la cual se determina la posición de un objeto por entrecruzamiento de las líneas rectas trazadas desde diferentes puntos. Utilizando principios básicos de la trigonometría, múltiples puntos de vista permiten mayor exactitud (Denzin, 1978; Jick, 1979).

Literalmente, en términos topográficos, “triangulación” significa que un punto puede ser localizado a partir de otros dos cuya ubicación es conocida, una vez medidos los ángulos del triángulo formado por dichos tres puntos. En términos ontológicos, ésta y otras definiciones suponen la existencia de una realidad separada del observador; en términos epistemológicos, los puntos de mira no están sujetos a interpretación, sino que pueden establecerse a partir de la experiencia sensorial. Más de un crítico afirma que las operaciones de triangulación realizadas en investigación social no se ajustan con precisión al significado trigonométrico del término (Massey, 1999; Kelle, 2001).

Si bien, como ya hemos señalado, el concepto de triangulación metodológica es utilizado desde mediados del siglo pasado en diferentes textos, la metáfora aparece explicitada por primera vez en la publicación de Eugene Webb et al. de 1966. Dos textos particularmente influyentes en el desarrollo de la triangulación han sido el libro The Research Act, de Norman Denzin (1978), por el despliegue de la metáfora, y el artículo de Todd Jick (1979) referido a sus posibles aplicaciones.

En las reflexiones metodológicas en nuestro idioma, la aparición del concepto de triangulación se da más tardíamente. Un texto influyente en esta línea ha sido el artículo de María Antonia Gallart (1993) sobre integración metodológica, en el cual se planteaba la importancia de dar primacía a la pregunta de investigación por sobre las preferencias metodológicas en la elección de estrategias de investigación. Formaba parte de un volumen (Forni, Gallart y Vasilachis, 1993) en el que se exponían casos de utilización de diferentes abordajes cualitativos en investigación social; entre los textos destacaba el de Jick sobre triangulación.

Unos pocos años después, en un libro dedicado a la integración de métodos cuantitativos y cualitativos, Eduardo Bericat (1998), citando a Denzin, aludía a la triangulación sólo como una de las posibles formas de integración, junto a la complementación y la combinación.

Durante las dos últimas décadas, la triangulación ganó espacio y legitimidad progresivamente dentro de las ciencias sociales de habla hispana. Se incluye en cursos de metodología de grado y posgrado de diferentes universidades de la región, y dejó de ser una rareza para convertirse en un concepto habitual en proyectos de investigación, tesis y publicaciones académicas.

Mientras ello acontecía en el mundo hispanoparlante, otro concepto era acuñado en defensa de la productividad de la variedad metodológica de técnicas de investigación aplicada. Este nuevo artefacto era la noción de mixed methods,1 la cual se refiere a la conveniencia de observar la realidad en investigación a partir de combinaciones (mezclas) de paradigmas metodológicos y de técnicas de investigación (Creswell, 2015).

Algunos de los autores que propugnan el abordaje de los “métodos mixtos” reflexionan sobre la necesidad de un pragmatismo metodológico en el que el proceso de investigación encuentra semejanzas —en sus principios de libertad para adicionar y combinar incesantemente nuevos elementos— con el arte de cocinar (Creswell, 2015). Cuando se cocina, se combina un ingrediente con otro y se produce un producto nuevo y diferente. El modo en que estos ingredientes se mezclan puede variar de una receta (o investigación) a la siguiente. La metáfora permite destacar que tanto el abordaje cuantitativo como el cualitativo son necesarios para producir investigación mixta. Adicionalmente, la investigación mixta se encuentra al alcance de cualquier investigador con sólo incorporar unas pocas habilidades a su caja de herramientas (Leech y Onwuegbuzie, 2010: 64).

Ahondando en los sentidos de la voz inglesa mixing, John Creswell (2015) señala que si se busca en el diccionario su definición, remite tanto a una cosa que se disuelve en otra como a una cosa que se conecta a otra. Ejemplifica estos dos modos de ocurrencia con la preparación de la masa para un pastel, en la que mientras que la harina se disuelve en la mezcla, cuando se agregan pasas, éstas permanecen intactas pese a estar en la masa. Así sucede en los métodos mixtos, concluye el autor: los datos cuantitativos y cualitativos pueden disolverse el uno en el otro o permanecer separados.

Mientras que la literatura en inglés mencionada anteriormente coincide en señalar un crecimiento en el uso del término “métodos mixtos”, así como en su nivel de adopción en diferentes disciplinas de las ciencias sociales y de la salud (entre otras), no hemos hallado información acerca de su impacto en publicaciones en nuestro idioma.

En este artículo analizaremos en primer lugar el origen y el desarrollo de los conceptos de triangulación y métodos mixtos. Mientras que ambos forman parte del campo más amplio de las propuestas de integración y combinación metodológica para la investigación social, consideramos que cabe establecer una comparación sistemática de sus fundamentos y principios, con el fin de evaluar en qué medida son intercambiables, o si sus sentidos se superponen sólo parcialmente, y de qué modo.

En segundo lugar, a partir de un relevamiento bibliométrico de artículos académicos que han utilizado los términos “triangulación” y “métodos mixtos” entre 2001 y 2016, proponemos sopesar el impacto de estas propuestas en el conjunto de campos disciplinares de las Ciencias Sociales.

Para ello, se expone en primer lugar una síntesis de la divergencia metodológica ocurrida en el siglo pasado en torno a la llamada “guerra de los paradigmas”. Presentaremos a continuación una breve reseña de las dos propuestas de integración metodológicas antes mencionadas (la triangulación y los métodos mixtos), para luego caracterizar en términos bibliométricos la pregnancia de estas vertientes en la producción de artículos de habla hispana en el presente siglo (2001-2016).

La llamada “guerra de los paradigmas”

Si bien tanto las estrategias metodológicas cuantitativas como las cualitativas tienen sus orígenes en los padres fundadores de las ciencias sociales y sus desarrollos pioneros a comienzos del siglo pasado, a partir de los años treinta y sobre todo a partir de la posguerra se da una preeminencia y legitimidad casi excluyente por parte de los métodos cuantitativos dentro de las ciencias sociales en Estados Unidos, con importantes repercusiones en los medios académicos de Europa y América Latina.

Las estrategias metodológicas cuantitativas se originan y desarrollan en el seno del denominado paradigma positivista, postpositivista o naturalista en las ciencias sociales, mientras que los métodos cualitativos lo hacen en el seno del paradigma hermenéutico o interpretativo. Las estrategias metodológicas cuantitativas parten del método hipotético deductivo y enfatizan el uso de estadísticas sociales con el fin de encontrar patrones de regularidad en los fenómenos sociales, así como relaciones causales entre variables. Se valen de datos cuantitativos, primordialmente de fuentes censales, catastrales, encuestas y, más recientemente, en registros de Big Data. Como contrapartida, las estrategias metodológicas cualitativas parten del método hipotético deductivo, el de la inducción o alguna combinación de ambos, y procuran la comprensión de los fenómenos sociales teniendo en cuenta la perspectiva de los sujetos involucrados. En este caso, los datos pueden provenir de entrevistas, etnografías, documentos, fotografías y filmaciones, páginas web, entre otros.

A mediados del siglo pasado, los manuales de metodología prestaban por lo general escasa atención a los métodos cualitativos, reduciéndolos a un puñado de técnicas de recolección de datos (observación, entrevista, lectura de documentos), relegados casi con exclusividad a investigaciones de carácter exploratorio o a las primeras etapas de un proyecto de investigación (Selltiz et al., 1959).

La hegemonía de la investigación por encuestas (survey research) perdurará durante las décadas de los años cincuenta y sesenta; la tradición cualitativa quedará relegada a ocupar un lugar menor en las principales universidades. Entonces se señalaban como limitaciones de los métodos cualitativos la escasa sistematicidad en el análisis de los datos y la dificultad o imposibilidad de realizar generalizaciones con apoyo en la representatividad estadística de las observaciones.

En este contexto surgieron variadas voces disidentes abogando por formas de investigar que excedieran el nivel de la cuantificación de los fenómenos sociales.

Algunos de los argumentos centrales que se alzaron relativizando la mirada cuantitativa giraron en torno a recuperar la “imaginación sociológica” de los clásicos de las ciencias sociales (Wright Mills, 1986), hacer uso de la inducción analítica como alternativa al modelo hipotético deductivo (Becker, 1953), rechazar formas de medición que produzcan relaciones incongruentes e interpretaciones forzadas de los datos (Cicourel, 1964), elaborar construcciones teóricas a partir de los datos y no a la inversa (Glaser y Strauss, 1967) y la utilización de métodos “no intrusivos” como alternativas al monopolio de las encuestas (Webb et al., 1966).

Este proceso de crítica al interior del campo de las ciencias sociales comenzó a cuestionar los alcances y a señalar las limitaciones de las estrategias cuantitativistas de investigación. Los llamados giro lingüístico (Rorty, 1992), giro interpretativo (Mottier, 2005) y giro cultural (Jacobs y Spillman, 2005), junto al surgimiento de un conjunto de teorías de la práctica que pusieron el foco en el nivel de la experiencia subjetiva para la comprensión del mundo social, clausuraron definitivamente la posibilidad de sostener una mirada de lo social basada exclusivamente en la “medición” de categorías estáticas y con programas de investigación universalistas y objetivistas.

Esta oleada crítica asoció en buena medida el abordaje cuantitativo con una despreocupación recurrente por las relaciones de poder que articulan el sentido individual y colectivo de la acción y de las dinámicas de construcción de las categorías, nociones y métodos de cada investigación, así como con la invisibilización de los procesos culturales e históricos que explican e interpretan lo social.

Complementariedad metodológica: la noción de triangulación

Si bien algunos clásicos de la investigación social estadounidense, como los estudios sobre Hawthorne publicados en 1939 (Gillespie, 1993), así como Yankee City (Lloyd Warner, 1963) y Union Democracy (Lipset, Trow y Coleman, 1956), pueden mencionarse como antecedentes a la noción de triangulación,2 es en la obra de Eugene Webb et al. (1966) donde el término es introducido por primera vez en forma explícita en textos metodológicos, vinculado con el uso de múltiples estrategias para abordar el estudio de un objeto de investigación.

Estos autores propusieron, desde distintas disciplinas (psicología, sociología, historia), utilizar formas de recolección de datos alternativos a las entrevistas y encuestas predominantes en esos momentos. Se trataba de variantes de la observación que compartían la característica de no ser reactivas, es decir, de no alterar a los sujetos y su entorno. En el primer capítulo del libro señalan:

Una vez que una proposición ha sido confirmada por dos o más procesos de medición independientes, se reduce en gran medida la incertidumbre de su interpretación. La evidencia más persuasiva se da a través de la triangulación de procesos de medición. Si una proposición puede sobrevivir al ataque de una serie de medidas imperfectas, con todo su error irrelevante, debe depositarse confianza en ésta. Por supuesto, esta confianza aumenta a través de la minimización del error en cada instrumento de medición y de la creencia razonable de que los efectos de las fuentes de error son diferentes y divergentes (Webb et al., 1966: 3).

Así, partiendo del hecho de que todo método es imperfecto y tiene sesgos, abogaban por la complementariedad de modo que, al indagar sobre las mismas variables o categorías, sus debilidades y fortalezas se complementaran. Lo que se buscaba en esta primera formulación de la triangulación era la convergencia.

Algunos años después, y de la mano de la creciente legitimidad y expansión de las metodologías cualitativas, el concepto de triangulación amplió su significado (Forni, 2010). En la figura 2 puede verse este despliegue, que es fundamentalmente responsabilidad de Denzin, sociólogo cualitativista.

El uso más habitual del término triangulación es el de la triangulación entre métodos considerados como complementarios en la investigación de un fenómeno.

En la triangulación intra método se combinan variantes del mismo método (sea cualitativo o cuantitativo); en cambio, la triangulación inter métodos implica implantar abordajes metodológicos distintos (cuantitativos y cualitativos) en una misma investigación.

La triangulación de datos (ya sea en el tiempo o en el espacio) implica implantar diferentes estrategias de recolección de datos, con el fin de contrastar un determinado conjunto de observaciones con otros, abordando el mismo fenómeno.

La triangulación de investigadores tiene que ver con la conformación de equipos de investigación que permitirían superar los sesgos que le daría un investigador solitario a un determinado proyecto.

La triangulación teórica implica combinar perspectivas teóricas en una misma investigación de modo que éstas se complementen en el análisis de los datos u ofrezcan abordajes alternativos de un mismo fenómeno con el fin de sopesar cuál es más adecuado (Forni, 2010).

El concepto de triangulación es fundacional en el desarrollo de los proyectos de investigación que combinan metodologías cuantitativas y cualitativas. Surge y se despliega en forma contemporánea al resurgimiento de los métodos cualitativos y es crecientemente utilizado a medida que lo cualitativo gana espacio y legitimidad dentro de las ciencias sociales. Es por esto que Jennifer C. Greene (2007) afirma que la triangulación ha sido como una “rama de olivo” en los duros días de la guerra de los paradigmas, cuando los investigadores se enfrentaban en arduas disputas en torno a la legitimidad o cientificidad del entonces emergente paradigma interpretativo o hermenéutico en las ciencias sociales.

En efecto, los “contendientes” de ambos bandos coincidían en que los resultados de un proyecto de investigación eran inconmensurables en relación con los hallazgos de otra investigación formulada desde un paradigma diferente (Kuhn, 1967). En contraste, la triangulación metodológica se planteaba desde una postura pragmatista en términos epistemológicos. Esto es, asumir la estrategia metodológica más fructífera para cada parte del proyecto de investigación.3

Hibridación metodológica: la mixtura de los métodos mixtos

Con la paulatina superación de la “guerra de los paradigmas”, el uso de la triangulación comienza a popularizarse en proyectos de investigación y publicaciones académicas, y junto a ella, más recientemente, la noción de “métodos mixtos”.

Si bien es difícil establecer los inicios del término aquí considerado, un hito o punto de partida que puede considerarse como inicio de los “métodos mixtos” es la publicación del libro Mixed Methodology. Combining Qualitative and Quantitative Approaches, de dos psicólogos sociales y profesores de metodología de la investigación, Abbas Tashakkori y Charles Teddlie, en 1998. Fue el volumen 46 de la serie Applied Social Research Methods de la editorial Sage. Se planteaba que el concepto de triangulación ha sido clave para acabar con la hegemonía de los “puristas de un mono método”. En este sentido, los autores resaltan como cruciales el texto pionero de Donald T. Campbell y Donald W. Fiske, así como los desarrollos posteriores de Denzin, Patton y Jick, entre otros. Sin embargo, aseveran que los métodos mixtos superan la triangulación y la reducen a la búsqueda de resultados convergentes y no a las múltiples formas de triangulación que ya a fines de los setenta habían planteado los autores recién mencionados (Denzin, 1978; Tashakkori y Teddlie, 1998: 42).

Ante el uso creciente del término “métodos mixtos”, proponen una taxonomía que incluye tres tipos: 1) diseños de estatus equivalente (entre el componente cualitativo y el cuantitativo), 2) diseños de estatus dominante y 3) diseños con niveles de abordaje múltiples. Una importante aclaración que realizan es que los métodos mixtos refieren en estos diseños tanto en la producción como en el análisis de los datos. En las conclusiones del volumen, resaltan la preeminencia de la pregunta de investigación por sobre consideraciones metodológicas o de paradigma. El mejor método será el que mejor responda a la pregunta de investigación, ya sea cuantitativo, cualitativo o mixto.

Según Creswell (2015: 2), principal propulsor y activo difusor de este movimiento, la investigación con métodos mixtos es aquella en la que el investigador reúne datos cuantitativos y cualitativos, los integra y luego realiza interpretaciones basadas en combinar las fortalezas de ambos. Su premisa central es que el uso de abordajes cuantitativos y cualitativos de estudio, en combinación, brinda una mejor comprensión de los problemas de investigación (Cresswell y Plano Clark, 2011: 5).

Las principales características del método mixto serían las siguientes:

• Recoge y analiza persuasiva y rigurosamente tanto datos cualitativos como cuantitativos (basados en preguntas de investigación);
• mezcla (o integra o vincula) los dos tipos de datos concurrentemente a través de su combinación (o fusión), secuencialmente al construir uno sobre otro, o por incrustamiento (embedding) de uno en el otro;
• otorga prioridad a una o ambos tipos de datos (según qué enfatiza cada investigación);
• utiliza estos procedimientos en un solo estudio o en múltiples fases de un programa de estudio;
• enmarca estos procedimientos dentro de visiones filosóficas del mundo y lentes teóricas; y
• combina los procedimientos en diseños de investigación específicos que dirigen el plan para la conducción del estudio (Cresswell y Plano Clark, 2011: 5).

Lo que siguió a la publicación de Tashakkori y Teddlie fue una amplia difusión y aceptación del término “métodos mixtos” que resultó en que los mismos autores compilaran en 2003 la primera edición del Sage Handbook of Mixed Methods in Social Science and Behavioral Research y una segunda en 2010. Este manual de 912 páginas y 31 secciones cubre desde fundamentos filosóficos hasta cómo obtener fondos y poder publicar investigaciones que utilizan métodos mixtos. Para 2012, se habían publicado al menos 31 libros en inglés dedicados íntegramente a los métodos mixtos (Onwuegbuzie, 2012).

En el mundo académico de habla inglesa, los métodos mixtos han provocado numerosas reflexiones y elaboraciones en torno a su uso en años recientes. Por otra parte, su relevancia se vincula con su utilización en áreas aplicadas de las ciencias sociales y de la salud. Al inicio de su “libro introductorio” de 2015, Cresswell (2015) explica que lo que lo impulsó a escribir dicho volumen fue la necesidad de contar con un texto para aquellos participantes en talleres sobre métodos mixtos que no tenían tiempo para indagar sobre los mismos o aprender sobre ellos en mayor profundidad.

Otro rasgo sobresaliente del impacto del término “métodos mixtos” es su institucionalización. No sólo implicó numerosas publicaciones, sino que también desembocó en la creación de una revista académica especializada, el Journal of Mixed Methods Research desde 2007, y de la Mixed Method International Research Association en 2013.

Indicando la madurez de los métodos mixtos como estrategia de investigación, en un trabajo más reciente, Creswell plantea una tipología de diseños de investigación que muestran el despliegue de los mismos (figura 3),
en modo muy similar a lo hecho por Denzin en la década de los años setenta para la triangulación (figura 2).

La figura 3 exhibe el criterio básico de Creswell para la formulación de esta tipología. Este autor distingue en primer lugar entre diseños básicos y avanzados de acuerdo con la menor o la mayor dificultad en su formulación e implantación. En el sector de diseños básicos utiliza dos principios clasificatorios combinados. Por un lado, distingue si la implantación de los métodos cualitativos y cuantitativos es sincrónica o diacrónica. Cabe aclarar que lo sincrónico es denominado aquí “convergente” y lo diacrónico, “secuencial”. Este criterio temporal es combinado con otra bien conocida clasificación de los proyectos de investigación de acuerdo con sus fines como exploratorios o explicativos.

Lo original aquí es que identifica a aquellas investigaciones en las que la primera fase es cuantitativa y la segunda cualitativa con diseños de carácter exploratorio, y a aquellas en las que la primera fase es cualitativa y la segunda cuantitativa, con diseños con finalidad explicativa. Esta última diferenciación probablemente se origina en la casuística conocida por el autor, más que en algún principio lógico.

En el sector de los diseños avanzados, utiliza otros criterios de clasificación para plantear otros tres tipos de diseño posibles. De acuerdo con el autor, cada diseño avanzado resultaría de la combinación de un diseño básico con algún otro elemento. El diseño denominado de intervención tiene el propósito de estudiar un problema a través de conducir un experimento o un ensayo de intervención y sumar datos cualitativos. El denominado diseño de justicia social implicaría estudiar un problema desde una perspectiva teórica general de justicia social; se trataría de agregar dicha perspectiva a una investigación que utiliza métodos mixtos con el propósito de indagar qué aporta esta perspectiva teórica a la comprensión de dicho problema. Por último, la evaluación por múltiples etapas correspondería a una investigación que se plantea evaluar a lo largo del tiempo la implantación de un programa o proyecto de política pública, por ejemplo (Creswell, 2015).

En síntesis, tanto los conceptos de triangulación como el de métodos mixtos aluden a la combinación de diferentes alternativas metodológicas y/o teóricas en el mismo proyecto de investigación. Enarbolando una postura pragmatista y enfatizando el carácter único de cada investigación, los autores que desde hace medio siglo han escrito sobre triangulación y métodos mixtos no hacen sino explicitar el fenómeno que se encuentra presente en las ciencias sociales desde comienzos del siglo pasado. Aunque tardío, su impacto ha sido y es significativo en las publicaciones académicas hispanoamericanas, sobre todo en el presente siglo. Lo que sigue es un análisis empírico sobre el uso de ambos conceptos en nuestro idioma.

Hacia una cuantificación del impacto en publicaciones académicas

La estrategia utilizada para estimar el grado de adopción o uso de las modalidades investigadas se inscribe en una tradición de evaluación del desarrollo científico por medio de indicadores bibliométricos (Arencibia y De Moya Anegón, 2008; Van Raan, 1996).

Este tipo de técnicas se apoya en cuantificar publicaciones o citaciones coincidentes con una o varias características sobre un conjunto de documentos existentes. Este proceso no es lineal, y tanto la construcción de la información como su interpretación suponen dificultades técnicas y conceptuales complejas. Se han señalado en este sentido tempranamente los riesgos y las limitaciones de estas técnicas a la luz de las diferencias que pueden existir entre áreas científicas, tanto por sus hábitos de publicación como por las diferencias de sentido que pueden no ser captadas por un abordaje de tipo cuantitativo (Bordons y Zulueta, 1999).

Sin desconocer estas limitaciones, este artículo propone sacar provecho de la mirada que estas técnicas pueden facilitar, realizando una caracterización de la difusión de las estrategias metodológicas combinadas, a partir de la “co-ocurrencia” de palabras y la “co-clasificación” (Tijssen y Van Raan, 1994) en publicaciones de habla hispana para el periodo 2001-2016.

Corpus

Para realizar el análisis que aquí se presenta, hemos seleccionado el corpus de artículos publicados en español de ciencias sociales y humanidades de Redalyc. Se trata de un repositorio con sede en la Universidad Autónoma del Estado de México, y cosecha e indexa artículos de revistas académicas de acceso abierto de habla hispana.4

Para realizar esta selección fueron comparadas las características del repositorio con las de otras bases bibliográficas disponibles: Dialnet, Google Scholar, La Referencia y Scielo. Frente a ellas, Redalyc presentaba varias características que lo convertían en una fuente particularmente apropiada para indagar en los objetivos de este artículo.

Por una parte, Redalyc tiene una cobertura general en ciencias sociales y humanidades, y ha ampliado progresivamente su cobertura desde el año 2000 a un número cada vez más amplio de publicaciones y editores.

Por otra, ha sido muy exitoso en dar un impulso a la consolidación de las revistas de acceso abierto (publicaciones que permiten ser leídas gratuitamente) de habla hispana. Un gran número de revistas con sede académica —que originalmente no tenían propósito de lucro— pudieron a través de Redalyc compatibilizar sus principios de gratuidad con la preocupación por dar visibilidad a sus publicaciones periódicas, sin precisar para ello ceder los derechos de sus materiales a editoriales de acceso por pago.

En tercer lugar, Redalyc —al igual que Scielo— ofrece un catálogo de artículos de revistas curadas, es decir, que si bien es amplio en sus criterios de inclusión, garantiza que los textos allí listados son producto de publicaciones académicas que cumplen con sus criterios básicos de admisión. Estos incluyen, además del libre acceso a los contenidos, la existencia de un proceso documentado de evaluación por pares, una antigüedad de al menos tres años y un contenido de al menos 75% de artículos producto de investigaciones científicas de publicación original (Redalyc, 2018).

Para realizar una estimación de impacto como se quería realizar, esto era más confiable que fuentes no curadas, como es el caso de Google Scholar. A pesar de la utilidad que ésta tiene para la búsqueda de materiales, su criterio de inclusión es considerar como texto válido para su catálogo cualquier documento rastreado en la web que tenga una apariencia académica ante sus indexadores automatizados.

Para nuestros fines, esta diversidad corría el riesgo de dar con sesgos difíciles de reconocer, al considerar como válidos muchos textos que podrían ser poco relevantes, estar poco evaluados, o incluso no tratarse de textos académicos, además de no poder determinarse con precisión bajo estas circunstancias las fechas de publicación (dado que incluye textos no editados en libros o revistas) ni las adscripciones disciplinares. En todos estos aspectos, Redalyc parecía asegurar de manera más adecuada la homogeneidad de sus ítems y la precisión de los metadatos ofrecidos de cara a una valoración cuantitativa de sus características.

En cuarto lugar, Redalyc ofrece un buscador de texto completo (mantiene índices sobre el título, el resumen y el contenido de los artículos). Esto lo hacía más apropiado que otras fuentes, como La Referencia, la cual indexa materiales en su buscador sin incluir su contenido (“full text”).

Un aspecto adicional que también hacía particularmente útil a Redalyc para la realización de estimaciones bibliométricas era la habilidad de su buscador para organizar los resultados por año de publicación y por disciplina.

Al igual que Scielo, no sólo el país en que se localiza la publicación puede ser indicado en las consultas, sino que también es posible consultar los totales por disciplina en que se enmarcan las publicaciones involucradas en los resultados.

Esta dimensión resultaba relevante dado nuestro interés por indagar en las características de la producción total de textos que se han hecho eco del problema de la combinación metodológica, así como para caracterizar qué grado de penetración puede observarse para esta cuestión en cada una de tales disciplinas.

En la tabla 1 se presenta una síntesis de este análisis, con las características de cada índice evaluado, con la cantidad de resultados no supervisados (la cantidad global estimada por el sitio al ingresar e indicar los términos buscados) obtenidos en cada uno de ellos.

Hemos excluido del análisis la caracterización por país, por considerar que para llevar adelante el mismo resultaba más relevante la localización de los autores que la localización de la revista, información que no estaba disponible de manera agregada.

La apertura por disciplina y por año muestra, en la tabla 2, el crecimiento general del tamaño del índice a lo largo del periodo investigado, así como el peso relativo de cada área de conocimiento. Cabe señalar que en el último periodo casi la mitad de las disciplinas muestran una baja en la cantidad de artículos catalogados, las cuales son administración, comunicación, ciencia política, derecho, economía y psicología.

Para el periodo 2001-2004, cabe señalar que Redalyc no exige a los responsables de las publicaciones el envío de la producción previa al año 2005 como condición de ingreso. En consecuencia, si la fecha de creación de la revista es anterior, el editor puede elegir enviar la totalidad de sus textos o sólo aquellos posteriores a 2005.

Muestra

Las dimensiones consideradas como criterios de la selección de la conformación de la muestra dispuesta para el análisis fueron: la disciplina, el año de publicación y la presencia de términos seleccionados acordes a la temática investigada. Estas dimensiones han sido especificadas de la siguiente manera:

• Año: fueron incluidos artículos publicados entre 2001 y 2016 inclusive.
• Disciplina: del total disponible, fueron incluidas aquellas vinculadas con disciplinas sociales, humanísticas en términos amplios, a saber: administración y contabilidad, antropología, comunicación, derecho, economía y finanzas, educación, filosofía, historia, lengua y literatura, multidisciplinarias (ciencias sociales), política, psicología y sociología.
• Idioma: se incluyeron solamente artículos en español.
• Términos seleccionados: la especificación de contenido restringió la muestra a artículos que contuvieran en su título, su resumen o su contenido la palabra “triangulación” o el par de palabras “métodos mixtos”. Se evaluaron algunas combinaciones alternativas, como “métodos mezclados”, “mixed methods” y “métodos combinados”, pero no produjeron mejoras de peso en los resultados, por lo que se mantuvieron las dos alternativas mencionadas.

A partir de estos criterios, la muestra quedó inicialmente constituida por 2 851 artículos que contenían los términos seleccionados (“triangulación” y “métodos mixtos”) en las disciplinas seleccionadas.

Procedimiento

Para construir la muestra, se combinó el buscador que ofrece Redalyc en su página web con un proceso automatizado de obtención, descarga y análisis textual.

Dado que el buscador no exhibe la disciplina entre los resultados de la búsqueda, sino que solamente permite indicarla como criterio de filtro, se realizaron tantas búsquedas como disciplinas se quiso tomar en consideración, imputando la disciplina puesta como filtro a los artículos obtenidos en cada consulta.

Luego, se unificaron los resultados de todas las consultas, manteniendo la columna de disciplina como valor independiente y recuperando el año de publicación que era exhibido junto a cada ítem en los resultados de las búsquedas.

En el caso de los artículos para el término “triangulación”, el buscador devolvía también resultados coincidentes con familias de la palabra solicitada, como artículos que contenían la palabra “triángulo”.

Debido a que no podían ser tratados como sinónimos válidos, se sistematizó la descarga del total de artículos sugeridos como coincidentes con los criterios indicados. Luego, se recorrió cada uno de los documentos obtenidos, y junto a su título y su resumen (obtenidos en el resultado de la búsqueda), se evaluó si contenían o no los términos de interés (“triangulación” y “métodos mixtos”). Por este proceso, de los 8 101 documentos facilitados por el sitio al aplicarse los filtros de disciplina y año, fueron confirmados 2 851 como casos “positivos” para las condiciones deseadas.

Respecto al texto completo, en 0.6% de los casos el documento no se encontraba disponible, por lo que fueron evaluados por medio de su título y su resumen, sin encontrarse sesgos sistemáticos en este grupo (por ejemplo, ser todos de un mismo año, país o disciplina).

Con los artículos que pasaron estas verificaciones se elaboró el listado definitivo de documentos incluidos en la muestra, consignándose para cada uno, además de la disciplina y el año de publicación, en qué lugar se habían encontrado las coincidencias (título, resumen o contenido), y cuántas coincidencias habían ocurrido.5

Finalmente, para poder calcular las frecuencias relativas, era necesario conocer la cantidad total de artículos que Redalyc dispone por disciplina para cada año indexado. Para ello, se realizaron en su buscador consultas con la condición cuasi-nula de tener al menos una letra “a” en el título, texto o resumen. Las cantidades de resultados para esta condición fueron utilizadas como estimadores de los totales de artículos disponibles en el sitio por disciplina en cada año.

Tanto para los totales como para la obtención de artículos coincidentes con los criterios de búsqueda se utilizó el filtro de idioma, incluyendo solamente artículos en español.

Triangulación metodológica

A diferencia de lo ocurrido con el término “métodos mixtos”, la noción de “triangulación” producía dudas respecto a la homogeneidad del sentido atribuido a ella a lo largo de las disciplinas. Mientras que el relevamiento de antecedentes para esta investigación conjuntó con “métodos mixtos” solamente trabajos que eran de interés al tema, “triangulación” es una metáfora que antecede a su uso en metodología de la investigación, y esto podía afectar la calidad de los datos que este artículo estaba en proceso de producir.

En virtud de que se trataba de una muestra relativamente grande como para evaluar el sentido dado a la triangulación en cada artículo, decidimos insertar una etapa cualitativa de lectura de los artículos obtenidos de Redalyc, estableciendo un criterio de muestreo estratificado aleatorio para la misma.

De ese modo, fueron seleccionados de entre los 2 851 documentos una muestra al azar de 20 documentos por disciplina que contenían el término “triangulación”. De estos 260 documentos, se obtuvo el texto completo y se examinó si el uso dado al término de interés se vinculaba con la discusión más amplia de la combinación de métodos, fuentes o miradas para la mejor realización de un trabajo de investigación. Como resultado de este análisis, en la tabla 3 puede apreciarse que en varias disciplinas existen sentidos que “compiten” con la acepción metodológica del término “triangulación”. Tal es el caso de la antropología, donde sólo algo más de la mitad de los casos (55.0%) se ajustaba a un uso referido a cuestiones metodológicas.

Este hecho es de interés por sí mismo, y abona la conveniencia de triangular las miradas sobre los objetos de estudio. En nuestro caso, “triangulación” parecía al inicio de la investigación un término poco ambiguo en ciencias sociales y humanidades. Sin embargo, sin que sea un listado exhaustivo, hemos dado con referencias a triangulaciones comerciales (la actividad de empresas que median en ciertas transacciones para ocultar el origen de otras), triangulaciones laborales (también conocida como tercerización laboral), la triangulación geodésica, la triangulación edípica, entre otras.

Como resultado de este muestreo, para reforzar la confiabilidad de las afirmaciones derivadas del análisis, se decidió excluir las disciplinas en las cuales la presencia del término se asociara con aspectos metodológicos con un nivel inferior al 75% de los casos. Consecuentemente, fueron excluidas de la muestra general administración y contabilidad, antropología, derecho, historia, filosofía y lengua y literatura.

Análisis

El análisis fue realizado utilizando la herramienta spss, versión 21. Se realizaron tablas descriptivas con las frecuencias absoluta y relativa, por año y disciplina, de los artículos coincidentes con los términos seleccionados. Se extrajeron también los promedios de apariciones y las cantidades según ubicación de los términos.

Resultados de la evaluación del impacto por disciplina y estrategia metodológica

Frecuencias

Para el total del periodo, los artículos con referencias al término “triangulación” fueron 2 217 y los referidos a “métodos mixtos” fueron 161 (tabla 4).

En el caso de las publicaciones vinculadas con “triangulación”, el último periodo (2013-2016) muestra un total de artículos ocho veces mayor que el registrado en el primer periodo (2001-2004), yendo de 107 artículos a 915 artículos. Dado que el repositorio y la producción académica en ciencias sociales y humanidades en la región han ampliado su volumen de publicaciones durante esos años, cabe señalar que este crecimiento de trabajos referidos a triangulación excede en términos relativos al aumento general de publicaciones, el cual aumentó entre ambos periodos 3.58 veces
(tabla 4, fila Totales).

Para las publicaciones referidas a “métodos mixtos”, el crecimiento es más abrupto en razón de que la temática emerge dentro del periodo estudiado, y sólo se registra un trabajo en el primer periodo (2001-2004), el cual no se refiere a este término en el uso metodológico que aquí nos interesa. El primer artículo con estas características en la muestra es del año 2006 y caracteriza los métodos mixtos dentro de los esfuerzos por validar resultados del campo educativo (Rodríguez, Pozo Llorente y Gutiérrez Pérez, 2006). En el periodo 2005-2008 se registran 16 artículos con referencia a este término, y se alcanzan los 115 artículos para el último periodo (2013-2016).

El análisis de la ubicación de las menciones (título, resumen, cuerpo) ha sido incluido como aproximación a la centralidad que los mismos tenían en los textos que conforman la muestra.

Del mismo se desprende que, tanto para “triangulación” como para “métodos mixtos”, el volumen de discusión metodológica reflejada en artículos con referato es escaso. Así, para el periodo 2013-2016, del total de 915 artículos que dan uso al término “triangulación”, sólo cinco de ellos (0.55%) lo presentan en el título. En el caso de los “métodos mixtos”, quizá por su más reciente aparición, la discusión parece algo más presente, pues el término está en tres de los títulos de los 87 artículos identificados (3.45%) en el mismo periodo.

Distribución

El siguiente aspecto que fue de interés considerar a partir de este conjunto de artículos fue la composición disciplinar de los mismos. El análisis intenta responder qué áreas de producción académica son las que se han hecho eco en mayor medida de las proclamas metodológicas en favor de la heterogeneidad metodológica y la superación de la oposición “cuali-cuanti” por la vía de la combinación y la complementariedad.

En primera instancia, la mirada por disciplina buscará destacar cuáles de ellas han aportado mayor volumen de investigaciones o trabajos bajo esta estrategia metodológica, por lo que el indicador que será de interés será la frecuencia absoluta de publicaciones involucradas.

En la gráfica 1 puede verse la distribución por disciplina, tanto para “triangulación” como para “métodos mixtos”. En términos relativos, su lectura da cuenta del fuerte peso que los trabajos sobre educación tienen en la aparición de este tipo de estrategias metodológicas.

Mientras que los trabajos en psicología y sociología (los dos siguientes mayores productores por disciplina) aportan en el total 18.13% y 12.22% respectivamente, la producción del área de educación aporta 47.81% de los artículos que incluyen referencias a las nociones de “triangulación”, mientras que una relación similar se da en las referencias a “métodos mixtos”.

Si se contrastan estos valores con los totales por disciplina de la tabla 2, se observa que el fuerte peso de los artículos del área educativa no se explica solamente por su mayor volumen en el total de textos en el catálogo (los trabajos de educación constituyen la disciplina más numerosa, con 26 315 trabajos), en vista de que psicología muestra una participación mucho menor, siendo la segunda categoría más numerosa (un total de 20 768 artículos).

Asimismo, es notorio que, si bien la aparición de referencias a “métodos mixtos” es menor en términos absolutos, su extracción disciplinar se encuentra enormemente emparentada con la observada para artículos que se refieren a “triangulación”: ambos reciben el mayor aporte de trabajos sobre educación (45.34% y 47.81% respectivamente), y en ambos casos el segundo aporte proviene de producción en psicología (18.63% y 18.13%, respectivamente).

Evolución

Un segundo abordaje a la composición disciplinar de la producción en torno a metodologías combinadas de investigación permite dar cuenta de la medida en que cada disciplina se ha visto interpelada por las mismas. Es decir, en términos relativos a la producción anual de cada área de conocimiento para artículos de habla hispana, cuál ha sido el volumen de trabajos que han dado cuenta en forma explícita de técnicas de triangulación o del recurso a métodos mixtos. Es de interés evaluar esta composición a lo largo del tiempo, con la intención de advertir tendencias en la adopción diferenciada de estas perspectivas teórico-metodológicas.

En la gráfica 2 se presenta la evolución de la cantidad de artículos cada 10 000 con menciones a triangulación o a métodos mixtos por disciplina en periodos de cuatro años.

En el periodo 2013-2016, las áreas de educación y de comunicación son las de mayor permeabilidad con respecto a triangulación, con 508 y 287 artículos cada 10 000 artículos, respectivamente. Psicología y multidisciplinarias de ciencias sociales son las siguientes disciplinas en cantidad de artículos con menciones a triangulación, con 233 y 202 por cada 10 000, respectivamente.

Para métodos mixtos, educación es también la categoría más destacada, casi igualada por ciencia política, con 57 y 52 artículos cada 10 000, respectivamente. En tercer y cuarto lugar se encuentran psicología y comunicación, ambas con 32 artículos cada 10 000.

En forma general, en consonancia con lo señalado en la tabla 4, se observa que, tanto para triangulación como para métodos mixtos, las referencias muestran un crecimiento sostenido de sus frecuencias relativas en todo el periodo.

En el primer caso, la cantidad de apariciones cada 10 000 artículos es de 90 en el primer periodo investigado (2001-2004) y llega, tras un crecimiento sostenido, a 270 artículos cada 10 000 en el periodo 2013-2016. En el caso de los métodos mixtos, en consonancia con su aparición más tardía, comienza a crecer en el periodo 2005-2008 con seis casos cada 10 000, y logra llegar a 34 cada 10 000 en el último periodo.

Conclusiones

En este artículo hemos revisado el surgimiento y el desarrollo de los conceptos de triangulación y métodos mixtos en las ciencias sociales.

En primer lugar, cabe señalar que ambos surgen en momentos históricos diferentes en cuanto al desarrollo de las ciencias sociales. Mientras que la triangulación surge en la década de los años sesenta, en pleno auge de los métodos cuantitativos en Estados Unidos, los métodos mixtos lo hacen a fines del siglo pasado, cuando los métodos cualitativos han ganado reconocimiento y su combinación con métodos cuantitativos ya no es una novedad, sino algo de uso frecuente.

En este sentido, podemos señalar que las coyunturas académicas en que han ganado impulso cada uno de ellos han sido diferentes. La triangulación puede ser vista como parte de la reacción a la hegemonía de la investigación por encuestas y el predominio de los métodos cuantitativos a mediados del siglo pasado. Los métodos mixtos, en cambio, surgen a fines de siglo como una respuesta a las demandas crecientes de cientistas sociales y practicantes, en una variedad de campos (salud pública, programas sociales, diagnósticos institucionales, políticas públicas en general), de modelos prácticos para organizar, gestionar y legitimar el uso de metodologías en forma combinada.

La triangulación implicó explicitar y legitimar en términos teóricos y epistemológicos la complementariedad, entre otras, de las estrategias cualitativas y cuantitativas, volviéndose, tal como escribe Greene (2007), la rama de olivo en la guerra de los paradigmas. Los métodos mixtos, por su parte, fueron el desarrollo más reciente de una serie de libros de texto, seminarios y webinarios diseñados para difundir y facilitar la combinación de métodos cuantitativos y cualitativos a públicos cada vez más amplios y variados. Antes que una superación de la triangulación en términos de las estrategias metodológicas de las ciencias sociales, constituyen un importante trabajo de divulgación en el interior del campo académico, facilitando guías y dando consejos prácticos para afrontar algunos desafíos concretos de la combinación metodológica. El crecimiento significativo de la triangulación y los métodos mixtos confirma la legitimidad tanto de las estrategias metodológicas cuantitativas como de las cualitativas en las ciencias sociales, así como el fin de la guerra de los paradigmas en la producción científica en nuestro idioma.

Con el propósito de hacer accesible la heterogeneidad metodológica y de fuentes, los impulsores de los métodos mixtos han elegido descartar —con relativo éxito— las metáforas cartográficas y trigonométricas, para anclar su propuesta en imágenes más mundanas y conocidas, como las situadas en la cocción de panes y pasteles. Un dato al menos curioso de este desplazamiento es que los principales referentes de los métodos mixtos citados aquí no mencionan, excepto por algún texto inicial, el término triangulación, ya sea como antecedente o como concepto cercano a sus formulaciones.

Respecto del relevamiento bibliométrico, cabe retomar algunos elementos que han destacado durante el análisis. En primer lugar, el repositorio Redalyc mostró ser consistente y tener una cobertura amplia en el campo de las ciencias sociales y las humanidades. Los documentos obtenidos del repositorio tuvieron correspondencia (a la luz del análisis muestral cualitativo realizado sobre los resultados) con el tipo de texto esperado, es decir, artículos en publicaciones con revistas arbitradas. Si bien esto consolida a este repositorio como fuente para futuros análisis bibliométricos, cabe también señalar la imposibilidad de su buscador de realizar consultas con criterios estrictos,6 lo que en nuestro caso condujo a la necesidad de un procesamiento posterior que descartara “falsos positivos”. En segundo lugar, el análisis por disciplina nos condujo a poner en duda la homogeneidad que uno de nuestros términos bajo análisis tenía en los diferentes campos de conocimiento. Así, pudimos dar cuenta de que “triangulación” en disciplinas como historia o antropología distaba mucho de remitir a la noción de triangulación metodológica que queríamos estudiar.

Por otra parte, algunas disciplinas mostraron una mayor penetración de estas preocupaciones en sus campos de investigación; las revistas de las áreas de ciencias de la educación, la comunicación y la categoría de ciencias sociales (multidisciplinares) destacaron a este respecto en términos generales, con un gran salto positivo para métodos mixtos en ciencia política hacia el final del periodo.

En la evolución de la frecuencia relativa (cantidad de menciones cada 10 000 artículos), se advirtió un crecimiento de las menciones a “triangulación” a lo largo del periodo 2001-2016, triplicando el valor en el total general (de 90 menciones al inicio, llega a 270 hacia el final de la serie). Esta misma tendencia ocurre también al discriminar por ramas de conocimiento, con excepción de economía y finanzas, que mostró un estancamiento en el intervalo 2013-2016.

En el caso de los “métodos mixtos”, la tendencia también fue hacia un aumento en la cantidad relativa y absoluta de referencias a ellos, pero siempre expresado en un volumen de menciones mucho menor en comparación con la “triangulación”. Así, mientras que las referencias a este último término, tal como mencionamos, llegaron a 270 cada 10 000 artículos hacia el final del periodo, las ligadas con “métodos mixtos” alcanzaron sólo 34 menciones relativas.

La simultaneidad de ambos crecimientos y el volumen casi ocho veces mayor de menciones a triangulación permiten rechazar la idea de que los métodos mixtos han venido a suplir un declive de la noción de triangulación o de su uso, notoriamente vigente. Por el contrario, ambas propuestas parecen haberse articulado, extendiendo los canales por los que se materializa la noción de triangulación, o de combinación metodológica “cuali-cuanti”.

Finalmente, cabe tener presentes las limitaciones del abordaje por medio del cual hemos trabajado, concibiendo al “impacto” como la posibilidad de cada término de ser usado en la producción de un texto. Si bien hemos complementado la simple mención con un análisis muestral que diera cuenta de la validez en términos de sentido atribuido al término, el presente relevamiento no ha evaluado el tipo de puesta en práctica que cada una de las investigaciones hizo, por lo que nuestras conclusiones permiten mostrar la aparición de la triangulación metodológica, lo que hace posible que ésta sea una meta, un debate o una estrategia, entre otros modos, de insertarse en esos discursos.

Bibliografía

Arencibia Jorge, Ricardo, y Félix de Moya Anegón (2008). “La evaluación de la investigación científica: una aproximación teórica desde la cienciometría”. Acimed 17 (4).

Becker, Howard (1953). “Becoming a marihuana user”. American Journal of Sociology 59 (3): 235-242.

Bericat, Eduardo (1998). La integración de los métodos cuantitativos y cualitativos en la investigación social. Significado y medida. Barcelona: Ariel.

Bordons, María, y María Ángeles Zulueta (1999). “Evaluación de la actividad científica a través de indicadores bibliométricos”. Revista Española de Cardiología 52 (10): 790-800.

Brewer, John, y Albert Hunter (2006). Foundation of Multimethod Research. Synthesizing Styles. Thousand Oaks: Sage.

Child, Julia, Louisette Bertholle y Simone Beck (2001). Mastering the Art of French Cooking. Nueva York: Alfred A. Knopf.

Cicourel, Aaron (1964). Method and Measurement in Sociology. Nueva York: The Free Press.

Cresswell, John (2015). A Concise Introduction to Mixed Methods Research. Thousand Oaks: Sage.

Cresswell, John, y Vicki Plano Clark (2011). Designing and Conducting Mixed Methods Research. Thousand Oaks: Sage.

De Grande, Pablo, y Pablo Forni (2018). “Redalyc-Bibliometer”. Recuperado de <https://github.com/discontinuos/redalyc-bibliometer>.

Denzin, Norman (1978). The Research Act. Nueva York: McGraw Hill.

Fludd, Robert (1617-1619). Utriusque Cosmi, Maioris scilicet et Minoris, metaphysica, physica, atque technica Historia. Oppenheim.

Forni, Pablo (2010). “Reflexiones metodológicas en el bicentenario. La triangulación en la investigación social: 50 años de una metáfora”. Revista Argentina de Ciencia Política 13/14: 255-270.

Forni, Floreal, María Antonia Gallart e Irene Vasilachis (1993). Métodos cualitativos II. La práctica de la investigación. Buenos Aires: Centro Editor de América Latina.

Gallart, María Antonia (1993). “La integración de métodos y la metodología cualitativa. Una reflexión desde la práctica de la investigación”. En Métodos cualitativos II. La práctica de la investigación, compilado por Floreal Forni, María Antonia Gallart e Irene Vasilachis. Buenos Aires: Centro Editor de América Latina.

Gillespie, Richard (1993). Manufacturing Knowledge. A History of the Hawthorne Experiments. Cambridge: Cambridge University Press.

Glaser, Barney G., y Anselm Strauss (1967). The Discovery of Grounded Theory: Strategies for Qualitative Research. Chicago: Aldine.

Greene, Jennifer C. (2007). Mixed Methods in Social Inquiry. San Francisco: Jossey-Bass.

Guba, Egon, e Yvonna Lincoln (1994). “Competing paradigms in qualitative research”. En Handbook of Qualitative Research, 105-117. Thousand Oaks: Sage.

Jacobs, Mark, y Lyn Spillman (2005). “Cultural Sociology at the Crossroads of the Discipline”. Poetics 33 (1): 1-14.

Jick, Todd (1979). “Mixing qualitative and quantitative methods. Triangulation in action”. Administrative Science Quarterly 24 (4): 602-661.

Kelle, Udo (2001). “Sociological explanations between micro and macro and the integration of qualitative and quantitative methods”. Forum: Qualitative Social Research 2 (1).

Kuhn, Thomas (1967). The Structure of Scientific Revolutions. Chicago: The University of Chicago Press.

Leech, Nancy, y Anthony Onwuegbuzie (2010). “Unpacking the barriers and finding solutions for successful mixed research studies in stress and coping research and beyond”. En Toward a Broader Understanding of Stress and Coping: Mixed Methods Approaches, compilado por Kathleen Collins, Anthony Onwuegbuzie y Qun Jiao. Charlotte: Information Age Publishing.

Lipset, Seymour Martin, Martin Trow y James Coleman (1956). Union Democracy. What makes Democracy Work in Labor Unions and other Organizations? Nueva York: Anchor Books.

Lloyd Warner, William (editor) (1963). Yankee City. Yale: Yale University Press.

Massey, Alexander (1999). “Methodological triangulation or how to get lost without being find out”. En Explorations in Methodology. Studies in Educational Ethnography, vol. 2, coordinado por Alexander Massey y Geoffrey Walford. Stanford: jai Press.

Mendizábal, Nora (2014). “Estrategia metodológica subyacente en el Informe sobre el Estado de las Clases Obreras Argentina”. Revista Latinoamericana de Metodología de las Ciencias Sociales 4 (2).

Mottier, Véronique (2005). “The interpretative turn: History, memory and storage in qualitative research”. Forum: Qualitative Social Research 6 (2).

Onwuegbuzie, Anthony (2012). “Putting the mixed back into quantitative and qualitative research in educational research and beyond: Moving towards the ʽradical middleʼ”. International Journal of Multiple Research Approaches 6: 129-219.

Pressler, Charles, y Fabio Dasilva (1996). Sociology and Interpretation. From Weber to Habermas. Nueva York: State University of New York Press.

Raan, Anthony van (1996). “Advanced bibliometric method as quantitative core or peer review based evaluation and foresight exercises”. Scientometrics 36 (3): 397-420.

Redalyc (2018). “Criterios de evaluación”. Recuperado de <http://www.redalyc.org/redalyc/media/redalyc_n/estaticasredalyc/Criterios/criterios.html>.

Rodríguez Sabiote, Clemente, Teresa Pozo Llorente y José Gutiérrez Pérez (2006). “La triangulación analítica como recurso para la validación de estudios de encuesta recurrentes e investigaciones de réplica en Educación Superior”. Relieve. Revista Electrónica de Investigación y Evaluación Educativa 12 (2): 289-305.

Rorty, Richard (coord.) (1992). The Linguistic Turn: Essays in Philosophical Method. Chicago: The University of Chicago Press.

Selltiz, Claire, Marie Jahoda, Morton Deutsch y Stuart Cook (1959). Research Methods in Social Relations. Revised. Nueva York: Holt, Runehart and Wilson.

Tashakkori, Abbas, y Charles Teddlie (1998). Mixed Methodology. Combining Qualitative and Quantitative Approaches. Thousand Oaks: Sage.

Tashakkori, Abbas, y Charles Teddlie (2010). Sage Handbook of Mixed Methods in Social & Behavioral Research. Thousand Oaks: Sage.

Tijssen, Robert, y Anthony van Raan (1994). “Mapping changes in science and technology: Bibliometric co-occurrence analysis of the R&D literature”. Evaluation Review 18 (1): 98-115.

Webb, Eugene, Donald Campbell, Richard Schwartz y Lee Sechcrest (1966). Unobtrusive Measures-Nonreactive Research in the Social Sciences. Chicago: Rand McNally.

Wright Mills, Charles (1986). La imaginación sociológica. México: Fondo de Cultura Económica.

Recibido: 20 de abril de 2018

Aceptado: 26 de febrero de 2019