PROGRAMA PARA COMPARAR DATOS DE ARCHIVOS TXT

Necesito un programa que básicamente me lea los datos de un archivo TXT y los compare con otros archivos TXT y si en todos existe el mismo dato lo guarde en otro archivo TXT sin que se repitan, si ya fue guardado un dato que no lo vuelva a guardar. >>> Adjunto un archivo PDF con los detalles. Que pueda haber cualquier número de archivos, sistema 4 archivos, 5, 6, etc.… (Qué sea un dato que pregunte el programa al ejecutar). Los archivos están numerados [login to view URL], [login to view URL], ……, [login to view URL], etc. De tal forma que el programa me pregunte el número de archivos a tratar y yo se lo pueda indicar de forma externa, de esa forma, él gestione todos los archivos de dos en dos, de tres en tres, etc., hasta terminarlos todos, según el sistema indicado en el punto anterior. Los archivos resultados los guarde en una subcarpeta que cree donde se ejecute el programa que se llame “Resultados” y los nombres de los archivos serán como en el gráfico, 1+[login to view URL], 1+2+[login to view URL], 1+2+3+[login to view URL], …., 1+2+3+4+…..+[login to view URL] (según el número de archivos a comparar que se le ha indicado para buscar los datos). Si se le indica que son entre 4 archivos, pues el nombre de todos los archivos resultados que vayan saliendo serán: 1+2+3+[login to view URL], 2+3+4+[login to view URL], etc. Todos los datos que contienen los archivos TXT están separados por líneas, es decir que cada línea tiene la cadena de texto a buscar, número o letras, Ejemplo: R0056879T003 La longitud de la cadena de texto a buscar puede variar, y también cada archivo puede tener más líneas de texto que los otros, aunque creo que no afectaría esto último, dado que al no estar en todos los archivos que se le indique quedan descartadas. Este programa me lo han hecho en MSDOS *.bat pero va muy lento, dada la cantidad de datos que pueden tener los archivos, puede tardar todo un día para sólo comparar dos archivos, así que lo importante también será escoger el lenguaje de programación que lo haga más rápido, personalmente creo que leer y escribir los archivos constantemente lo ralentiza y también como son muchos datos por archivos, pueden tener mas de 500.000 líneas de texto, no sé si se puede cargar en memoria todo para que sea más rápido. Lo dejo a elección del programador y sus conocimientos, porque los míos son muy básicos. En conclusión: Un programa que solicite al iniciar: - Número de archivos a gestionar. - Número de archivos a comparar a la vez. Que sea rápido gestionando toda la información.