Bayes Forecast, web crawlers especializados
Profesor de la asignatura «Conceptos fundamentales de informática», del Curso de Postgrado en Administración Pública, del Ministerio para las Administraciones Públicas (MAP), el Instituto Nacional de Administraciones Públicas (INAP) y la Fundación Ortega y Gasset, dos ediciones, Madrid, 1995 y 1996.
El programa de conversión de Bitmaps (BMP) de 16 bits de Windows al formato ICO (de icono) de Unix lo comenzó a desarrollar Juan Ramón Miraz, al comienzo de los noventa, y la versión final que se adjunta en este post la terminé yo.
El formato ICO de Unix especifica un mapa de bits como una matriz de caracteres ASCII, donde cada letra se asocia con el color del pixel de su misma fila y columna. Hubo una época que los bitmaps de los botones de los interfaces de usuario yo lo pintaba así, utilizando el editor vi de Unix y letra a letra. Por ejemplo, asociaba la v al verde, la b al blanco, la r al rojo, etc., para que me fuera más fácil, e iba poniendo letras, una a una, hasta que el botón quedaba bien. Para mi era una gratificante labor artesanal.
A partir de este programa también desarrollé el que convierte del formato BMP al formato BIF, que era un formato propio mio, que utilizaba en combinación con Clipper.
Aunque ahora se podrían recompilar estos dos códigos fuente para las versiones de Windows de 64 bits, sigo utilizando los ejecutables originales de 16 bits. Antes estos ejecutables de 16 bits podían correr mediante emulación en Windows de 32 bits, pero ahora el Windows de 64 bits ya no emula al de 16 bits.
Para poder seguir ejecutando estas pequeñas joyas históricas, sin necesidad de recompilarlas (y más aun en aquellos casos en el que el compilador es también de 16 bits) utilizo el emulador de x86 con DOS de DOSBox que se publica con licencia GNU GPL y aceptan donaciones (yo se la di).
Aunque adjunto en PDF el código fuente completo de los 2 programas de conversión y un ejemplo del formato ICO generado con mi logotipo personal, pongo a continuación el ciclo fundamental de extracción de pixels de un Bitmap (BMP) de 16 colores. Como curiosidad, en esta época, por razones de normalización con el equipo de software con el que trabajaba, los corchetes { } están en la vertical del bloque de código y no dos caracteres antes como es mi costumbre habitual:
for (Y=0, YMax=Bmih.biHeight; Y < YMax; Y++)
{
fseek(Bmp, RowStart, SEEK_SET);
for (X=0, XMax=Bmih.biWidth; X < XMax; X++)
{
Arg = fgetc(Bmp);
H = (Arg >> 4) & 0x0F; H = Color[H];
L = Arg & 0x0F; L = Color[L];
X++;
fprintf(Pix,"%c%c",(char)H,(char)L);
}
RowStart -= RowBytes;
fprintf(Pix,"\n");
fputc('.',stdout); fflush(stdout);
}
Bmp2Ico, Bmp2Bif código fuente completo y ejemplo de icono ICO
En 1994 organice un curso, busqué al profesor estudié y me presenté al Graduate Management Admission Test (GMAT) de la Universidad de Princeton (Nueva Jersey), obteniendo una puntuación superior al percentil 80.
Este test es el que se requiere es Estados Unidos para cursar estudios económicos en las universidades y maestrias en dirección y administración de empresas.
Profesor de la asignatura «Panorámica del hardware», en el Master de Ingeniería de Tráfico, organizado por la Asociación para la Carretera, la Dirección General de Tráfico (DGT) y la Universidad Politécnica de Madrid (UPM). Impartido en la Escuela Universitaria de Ingeniería Técnica de Obras Públicas (UPM). Participé las dos ediciones de 1994 y 1995.
Este Sistema Inteligente de Codificación (SIC) estaba basado en un primer prototipo de EQ Sistemas Inteligentes para el Instituto Nacional de Estadística (INE) de apoyo a la codificación automática de enfermedades según el Código Internacional de Enfermedades (CIE).
Este hardcopy muestra la arquitectura interna de SIC, que estaba basada en un esquema de pizarra. A continuación se incluye la documentación de este sistema inteligente de codificación, que se ha dejado adrede tal y como se documentaba al inicio de la década de los 90, aunque, por supuesto, ya disponíamos de unos estupendos Macintoshs.
+--------------------------------------------------------------------+
| SIC: SISTEMA INTELIGENTE DE CODIFICACION. |
+--------------------------------------------------------------------+
| 1.- INTRODUCCION. |
+--------------------------------------------------------------------+
SIC es una aplicación de demostración, desarrollada por EQ Sistemas
Inteligentes. Su objetivo es presentar cómo puede realizarse una
codificación automática de literales a partir de una información que
puede ser parcial y/o errónea.
La tarea de codificación de SIC consiste en asignar códigos a
literales, aún cuando estos literales contengan errores, utilicen
sinónimos o no correspondan totalmente con los literales originales.
Para ello SIC cuenta con la siguiente información:
a) Uno o varios dicionarios con las palabras que se manejan en los
literales (un vocabulario básico del dominio de aplicación).
Sobre estos diccionarios SIC aplica diversos métodos de búsqueda
especializados en encontrar palabras a pesar de sus posibles
errores (de tecleo, ortografía, fallos en lecturas por medios
ópticos, por errores en transmisión, etc.). A estos métodos se
les denomina especialistas.
b) Un diccionario de sinónimos, que proporciona, para cada palabra,
uno o varios sinónimos dependiendo, como se verá, del modo de
trabajo de SIC.
c) La tabla original de codificación en la que a cada código se le
asocia un literal. Sobre ella SIC construye un diccionario
canónico (normalizado) que le permite manejar los literales con
independencia del contexto en el que trabaja la aplicación.
Esta versión de demostración de SIC proporciana tres funcionalidades
principales:
a) Validación de palabras durante la entrada de datos.
b) Codificación asistida, dado un literal se codifica y en caso de
dudas (cuando existen varias soluciones posibles) se consulta con
el usuario.
c) Codificación automática de conjuntos de literales.
A estas tres funcionalidades se accede a través de las tres primeras
opciones menú principal de la aplicación y son las tres consecuencia
de la arquitectura interna de SIC.
En el ejemplo escogido para esta demostración se utiliza una versión,
parcial, del Código Internacional de Enfermedades (CIE), realizado por
la Organización Mundial de la Salud (OMS). Esta codificación de
enfermedades se aplica para la codificación partes de defunción (cada
parte está formado por cuatro causas de muerte).
+--------------------------------------------------------------------+
| 2.- ARQUITECTURA. |
+--------------------------------------------------------------------+
SIC posee una arquitectura general, esto es, independiente del dominio
o área de aplicación. Por tanto aunque esta demostración se realice
para la codificación de enfermedades puede ser transportable a otras
áreas como, por ejemplo, la codificación postal (nombres de calles,
nombres de municipios, etc.), la codificación de productos a partir de
sus descripciones, la localización de títulos de libros, etc.
Frente casos complejos de codificación, diccionarios de gran volumen o
retricciones de tiempo, esta arquitectura general debe especializarse
(incluyéndole información sobre el dominio y el contexto en el que se
realiza la codificación) para que proporcione los rendimientos que se
requieran.
+------------------------------------------------------------------+
| +------++--------------++-----------------------------------+ |
| +--+---+ES|| ARQUITECTURA || DICCIONARIOS ORTOGRAFICOS (Dio) | |
| |PARTES|==|+--------------+|+-----+ +-----+ +-----+ +-----+| |
| |======|==| +-------+ ||DIO 1| |DIO 2|...|DIO i|...|DIO n|| |
| |======+--+ |PIZARRA| ||=====| |=====| |=====| |=====|| |
| +-+----+ +-+-+-+-+ |+--+--+ +--+--+ +--+--+ +--+--+| |
| +-+-----+ +>-+=|=|=|=+-+ |Ind#############################---+ |
| |FILTRO | | +-+-+-+-+ | | +-+-+ +-+-+ +-+-+ +-+-+ +-+-+ | |
| +-+-----+ | |=|=|=|=| +>--+ |DIR| |INV| |BID| |FON| |ORT| | |
| +-+-----+ | +-+-+-+-+<+ | +---+ +---+ +---+ +---+ +---+ | |
| |SCANNER+-+ |=|=|=|=| +---+ CLASE DE LOS ESPECIALISTAS (Esp) | |
| +-------+ +-+-+-+-+ +-----------------------------------+ |
| +-------+ |=|=|=|=| +---------+ +-----+ +---+-------+ |
| |SINONIM+-<--+-+-+-+-+ +>--+GRAMATICA+->-+CANON+->-+COD|LITERAL| |
| | (Sin) +->--+=|=|=|=+-+ |CANONICA | |=====| |===|=======| |
| |=======| +-+-+-+-+ +---------+ +-----+ |===|=======| |
| |=======| |=|=|=|=+<--------S-O-L-U-C-I-O-N---<-+===|=======| |
| +-------+ +-+-+-+-+ +---+-------+ |
+------------------------------------------------------------------+
Figura: Arquitectura de SIC.
Pulsando la combinación de teclas [Alt-U], una vez dentro de la
aplicación SIC, puede accederse a un menú de utilidades una de cuyas
opciones es un semi-gráfico, con una versión simplificada de la
arquitectura interna de la aplicación SIC (ver figura anterior).
Esta arquitectura esta basada en un sencillo mecanismo de PIZARRA, con
un control semi-rígido. Sobre esta pizarra, los diferentes métodos
especialistas (DIRecto, INVerso, BIDireccional, FONético, etc.) en
localización de palabras apuntan sus resultados, decidiendo la pizarra
quién o quienes de ellos dan soluciones más verosímiles.
En líneas generales el funcionamiento de SIC es el siguiente (se ha
destacado en mayúscula, en cada punto, una palabra clave que permite
identificar la fase de proceso en la figura de la arquitectura):
a) En una primera fase los literales son filtrados eliminando
posibles caracteres extra¤os y transformados, bien a mayúsculas
o a minúsculas (FILTRO).
b) Posteriormente cada literal es procesado, separando las posibles
palabras (o tokens) que lo constituyen (SCANNER).
c) Cada palabra es buscada en los diccionarios por toda una familia
de especialistas. Dependiendo de si la palabra es directamente
correcta o de si tiene muchos errores este proceso se demorará
más o menos. La PIZARRA controla este proceso y su resultado es
una gama de posibles literales, constituidos por variantes de
palabras. En la decisión sobre que variantes de palabras se
eligen influyen las opiniones, coincidentes o discrepantes, de
los diferentes especialistas y la importancia relativa de cada
uno de ellos.
d) La gama de posibles literales es procesada con el diccionario de
SINONIMOS, sustituyéndose cada palabra por su sinónimo o
sinónimos principales. Dependiendo de si para cada palabra
existen uno o varios sinónimos, la gama de literales originales
puede simplificarse o complicarse.
e) Cada literal, resultado de la fase anterior es normalizado según
una forma CANONICA, ello facilita su confrontación con la tabla
original de codificación.
f) Finalmente, cada literal canónico (CANON) es confrontado con una
versión canónica de la tabla de codificación. Devolviéndose los
resultados a la pizarra.
g) Cuando la pizarra dispone de todas las posibles variantes
(SOLUCIONES) de codificación decide:
=) bien cual de ellas es la correcta,
=) bien que no dispone de criterios suficientes para discernir
entre varias (en este caso y en codificación asistida se pide
ayuda al usuario) o
=) bien que ninguna de las soluciones propuestas es
suficientemente válida.
+--------------------------------------------------------------------+
| 3.- CONFIGURACION. |
+--------------------------------------------------------------------+
Desde el mismo menú anterior ([Alt-U]) se puede acceder a una ventana
de configuración de esta versión de SIC, cuyas opciones son:
a) Test en partes (S/N): Que permite decir si se desea o no realizar
una verificación de palabras durante la entrada de datos.
b) Control de pizarra (S/N): Si se pone a "S" esta versión de SIC
muestra, en cada paso de codificación, sus resultados
intermedios. Ello permite entender su funcionamiento interno.
c) Modo de funcionamiento respecto a los sinónimos. SIC posee 2
modos de trabajo (no modificable):
=) Relación Palabras N:1 Principal (Sinónimos sencillos).
=) Relación Palabras N:M Principal (Sinónimos complejos).
Esto es:
=) Si se dá el caso que en cada familia de sinónimos, todos
con el mismo significado, puede escogerse, siempre, una sóla
palabra principal representante de todos (relación N:1).
=) O si por el contrario, una palabra puede tener varios
sinónimos, con diferentes significados, dependiendo del
contexto en el que se utilice (relación N:M).
El diccionario de sinónimos de esta versión de SIC pertenecen a
al segundo caso.
d) Sonido (en décimas de segundo): Si se pone un entero superior a
cero SIC generará un pitido en cada fase de codificación.
Permite, por tanto, controlar, de forma aproximada, la duración
de las diferentes fases de codificación.
e) Filtros de palabras y de códigos que facilitan a SIC la taréa de
aceptar o rechazar palabras parecidas o códigos parecidos. El
comportamiento de SIC es muy dependiente de estos dos parámetros.
=) Valores muy altos, cercanos a la unidad, harán que SIC tenga
un comportamiento muy estricto, dando gran seguridad a su
codificación, pero por el contrario rechazando algunos
literales por pocas de diferencias.
=) Valores muy bajos, cercanos al cero, harán que SIC tenga un
comportamiento muy flexible, encontrando posibles soluciones
para casi todo, pero generando, a menudo, excesivas variantes.
Dependiendo del contexto de aplicación y de las restricciones que
deban cumplirse deberán ajustarse dichos parámetros. Por
ejemplo, en un mismo dominio, para la verificación en entrada
debe utilizarse un filtro de palabras más bajo que el que se
utilizaría para la codificación asistida.
+--------------------------------------------------------------------+
| 4.- INSTALACION Y ARRANQUE. |
+--------------------------------------------------------------------+
Cree un subdirectorio en su disco duro, por ejemplo, de nombre SIC.
C:\> MKDIR SIC
Copie el contenido del disco de distribución en el subdirectorio
subdirectorio anterior.
C:\> COPY A:*.* SIC
Ejecute el fichero SICDemo.Bat.
C:\> CD SIC
C:\> SICDEMO
Todo ello puede realizarse, directamente con el programa Instala.Bat
C:\> A:INSTALAR A: C:
SIC puede ejecutarse directamente sobre el disco flexible de
distribución, pero los tiempos de respuesta pueden ser desesperantes.
Si en el momento de ejecución de SIC y tras pulsar el [Intro]
correspondiente, pulsa la tecla [Del] (Suprimir) entra en un menú de
autoconfiguración del interfaz de usuario de la aplicación SIC. Desde
este menú se puede modificar algunas de las caracteristicas del
interfaz de usuario de SIC.
De este menú se sale con la tecla escape [Esc]. Si algunas de las
opciones de este menú le da errores, NO SE PREOCUPE, está buscando
Pixmaps o configuraciones del entorno de desarrollo McEQ sobre el que
está construido SIC y que no se distribuyen junto a él.
+--------------------------------------------------------------------+
| 5.- CONTACTO. |
+--------------------------------------------------------------------+
Para cualquier cuestión o consulta no dude en ponerse en contacto con
nosotros:
EQ Sistemas Inteligentes
+--------------------------------------------------------------------+
| GRACIAS POR SU ATENCION. |
+--------------------------------------------------------------------+
Profesor del curso «Desarrollo de sistemas basados en el conocimiento con la herramienta TIRS». Dos ediciones, la primera para El Corte Inglés y la segunda para el Instituto Nacional de Estadística (INE).
Referencia de mi tesis doctoral en el número 1, del volumen 4, de la revista Sigart Bulletin, de ACM Press. Edición al cuidado de W. Lewis Johnson, USC, Information Sciences Institute, California, USA.
Colaborador del trabajo «PCCP: Una aplicación de la ingeniería del conocimiento para la evaluación de cuestionarios de personalidad de las Fuerzas Armadas», bajo la dirección de Miguel Ángel Núñez del Centro Regional de Psicología (CREPSI) durante mi servicio militar (este fue uno de los trabajos que realicé dentro de las áreas de las aplicaciones a la psicología militar y de la captura óptica de datos).
Este trabajo galardonado con el 2º Premio de Investigación en Psicología Militar «General González del Pino», del Ministerio de Defensa en 1992 (BOE número 282, del martes 24 noviembre 1992, Resolución 421/39369/1992, de 18 de noviembre, de la Secretaria de Estado de Administración Militar, por la que se otorga el Premio de Investigación Psicológica «General González del Pino»).
Resumen: Para dicha aplicación desarrollé el módulo de equiparación de patrones de perfiles de personalidad de los individuos a evaluar con los individuos ya evaluados y clasificados en un banco de datos histórico. Los nuevos individuos podían entrar a formar parte de este banco de datos tras su evaluación, clasificación y seguimiento, con lo que se producía un enriquecimiento constante del banco de datos inicial. La equiparación se realizaba a través de la definición de una medida de distancia entre todos los atributos de la personalidad que medía la aplicación y los de los individuos registrados en el banco de datos. Para optar al premio, también participé en la redacción de la parte de la memoria correspondiente a este módulo de equiparación de perfiles de personalidad.
Mi tesis en Teseo
Inicialmente se hizo un sólo tema coordinado por Francisco López Crespo, luego se ampliaron a cuatro temas (coordinados por mí) y, a partir de ahí, el contenido de estos módulos fue reutilizado por los organismos encargados del temario de forma independiente a los autores iniciales.
Estos autores iniciales fueron, por orden alfabético: Manuel Alonso González, María Jesús Díaz García, Ana García Serrano, Martín Molina González, Eduardo Izquierdo Lázaro, Sascha Ossowski y Antonio Salmerón.
Tengo conocimiento de, al menos, cuatro ediciones, cuya historia describo a continuación, aunque es posible que haya habido muchas más.
Cuatro ediciones:
Ver el apartado de restricciones del temario de la oposición
Con el título «Time to market e ingeniería concurrente», fue una conferencia sobre técnicas avanzadas de diseño y manufacturación industrial para Structural Dynamics Research Corporation (SDRC) y Hewlett-Packard, con dos ediciones una en Madrid y otra en Barcelona, 1992.
Ponencia titulada «Arquitecturas de segunda generación para el diagnóstico profundo en instalaciones industriales», dentro del curso sobre Técnicas Avanzadas de la Inteligencia Artificial, de la Universidad de Extremadura (UNEX) en 1992.
Pertenece al conjunto de ponencias realizadas ya cerca, y en el marco, de la presentación de mi tesis doctoral. Cada ponencia representaba un paso adelante en el refino de las ideas de la tesis.