EXTRACCION DE OPENDATA CON PDI

EXTRACCION DE DATOS DEL PORTAL DE DATOS ABIERTOS DE LA MUNICIPALIDAD DE MIRAFLORES

(http://datosabiertos.miraflores.gob.pe/)

PASO1: SE CREA UN DATAGRID Y EN LA PESTAÑA META SE CREA UNA VARIABLE DE TIPO STRING

PASO2: EN LA PESTAÑA DATA SE PEGA LA URL DE LA PAGINA DE DONDE SE VA EXTRAER LOS DATOS.

 PASO3: SE  INSERTA LA HERRAMIENTA HTTP CLIENT DENTRO DE ELLA EN LA PESTAÑA GENERAL SE ACTIVA EL CHECK DONDE SE ACEPTA EL URL DEL CAMPO ANTERIOR.

PASO 4: SE INSERTA LA HERRAMIENTA JSON DONDE EN LA PESTAÑA FILE SE ACTIVA LA OPCION “FUENTE SE DEFINE COMO CAMPO “ DONDE RECUPERAS EL CAMPO DEFINIDO ANTERIORMENTE.

 PASO 5. SE SELECCIONA LA PESTAÑA FIELD DONDE SE DEFINE LOS CAMPOS A EXTRAER.

PASO 6. SE SELECCIONA EL CAMPO DE LOS DATOS.

PASO 7. YA QUE LOS DATOS ARROJAN DE FORMA VERTICAL, LO COLOCAMOS EN SUS CAMPOS RESPECTIVOS TOMANDOLOS DE 4 EN 4.

PASO 8: SE INSERTA UN ARCHIVO DE SALIDA EN EXCEL , DONDE SE DEFINE LOS CAMPOS Y SE COLOCA LA RUTA ,DONDE SE ALMACENARA LOS DATOS EXTRAIDOS .

RESULTADO:

   

Conociendo a Pentaho

Pentaho es un conjunto de herramientas que abarca todo el espectro de Business Intelligence (BI).

Es una de las soluciones BI lideres en el Open Source la cual es promovida por una gran comunidad de usuarios y empresas en todo el mundo ; tambien tiene versiones de paga la cual es promovida por la empresa del mismo nombre.

Toda la plataforma de Pentaho corre bajo Java, en cualquier Sistema Operativo.

Pentaho es muy flexible te permite extenderlo, configurarlo y añadir plugins (FusionChart, Librerias Graficas de Google, OpenFlash, Saiku, CDE,...) de acuerdo a tus necesidades.

Voy hacer una descripción de las herramientas con las que he venido trabajando con Pentaho:

• Pentaho Data Integration (PDI):  Esta herramienta permite realizar los procesos de extracción, transformación y carga (ETL, por sus siglas en Ingles), de una manera muy sencilla a través de una interfaz gráfica, estos procesos se los puede schedular para que se ejecuten en un determinado periódo.
• Shema Workbench: Esta herramienta nos permite crear nuestros Cubos (medidas y dimensiones) de manera gráfica, para que sean explotados por diversos visores OLAP que soporten Mondrian (Jpivot, Saiku, STpivot, LaAzada,..).
• BI Server: Es la parte Web que te brinda Pentaho, para que puedan ser construidos, desplegados y visualizados nuestros reportes y dashboards.
• Pentaho Report Designer (PRD): Potente herramienta para la creación de reportes transaccionales.
• CDE (Comunity Dashboard Editor) : Plugin que se integra con Pentaho, y nos permite crear Tableros de Mando (Dashboards).
• Pentaho Design Studio (PDS): Esta herramienta agrega un potencial de alto valor a Pentaho, a través de él podemos integrar códigos de terceros, realizar tareas complejas (como por ejemplo si queremos que suceda un evento en base a una condición , etc..)

Publicación de un Reporte al Servidor Web de Pentaho

Pasando Parametros desde un .xaction a un .prpt

1. Crear un archivo .prpt con Pentaho Report Designer

2. Agregar parametro (paramSucursal)

select id_sucursal,desc_sucursal
from dim_sucursal


3. Query:

select desc_producto,sum(cantidad) from fact_ventas f
inner join dim_producto p on f.id_producto = p.id_producto
inner join dim_sucursal s on f.id_sucursal = s.id_sucursal
where s.id_sucursal = ${paramSucursal} group by 1

4. Dar un preview

5. Publicar al PUC (Consola de Usuario de Pentaho)

6. Crear un .xaction con Pentaho Design Studio

7. Agregar el parametro paramSucursal

8. Añadir un Process Action. Report > Pentaho Report

luego seleccionamos el archivo .prpt y añadimos el parametro

9. Seleccionamos el Process Output.

Y Listo!!!!

Cómo cambiar la clave de Pentaho Administration Console (PAC)

En ésta publicación explico el procedimiento para cambiar de clave a la consola de administración de Pentaho (PAC - Pentaho Administration Console)

Por defecto la clave de la consola es password, para cambiarla se debe realizar lo siguiente:

1. Abrir una consola de comandos (cmd)

2. Ir al directorio de PAC. Por ejemplo: D:\pentaho\biserver-ce-3.10.0\administration-console\lib

3.  Ejecutar el siguiente comando:

java -cp jetty-6.1.2.jar;jetty-util-6.1.9.jar org.mortbay.jetty.security.Password nuevaClave

NOTA: el último argumento corresponde a la nueva contraseña de la consola

4. Se mostrarán los siguientes resultados con el valor de la clave ofuscada y encriptada en MD5.

5. Copiar el valor de OBF. Por ejemplo: OBF:1uvc1zlq1sar1xu11llp1lk11xth1saj1zls1uuu

6. Ir al directorio D:\pentaho\biserver-ce-3.8.0\administration-console\resource\config y editar el archivo login.properties

7. Reemplazar el valor de OBF

8. Finalmente, iniciar PAC o reiniciar sí ya estaba en ejecución

Migración desde una Base de datos a otra con Pentaho ETL

Los pasos para la migración son muy simples, lo contrastaremos con un ejemplo:

Inicio:

Base de datos Destino: MySQL

Base de datos Fuente: Postgres

1) Crear un nuevo Job, desde mi herramienta Pentaho Data Integration

2) Crear la conexión a la Base de Datos (Origen) y la conexión a la Base de Datos (Destino)

3) Desde el menu Tools, Asistente , escoger Asistente para copiar tablas.

4) Se abrira una ventana, donde debemos elegir la BD fuente y la BD destino, asi como las tablas a migrar.

5) En la siguiente pantalla, dar el nombre del job y la ruta donde se almacenara las transformaciones, debera aparecer las transformaciones listas para ser ejecutadas desde el job, como se muestra:

6) Ejecutar el job, y listo.

Cambiando el puerto a Pentaho

Por defecto viene con el puerto 8080, para cambiarlo solo tenemos que configurar dos archivos:

1)  ...\tomcat\webapps\pentaho\WEB-INF\web.xml

<!-- FullyQualifiedServerUrl is used only in the case of offline content generation and whenever something need to talk back to the server -->
<context-param>
<param-name>fully-qualified-server-url</param-name>
<param-value>http://localhost:8081/pentaho/</param-value>
</context-param>

2)  ...\tomcat\conf\server.xml

<Connector URIEncoding="UTF-8" port="8081" protocol="HTTP/1.1"
connectionTimeout="20000"
redirectPort="8443" />

Y listo, reiniciar el sistema.