Blog

¿Por qué no lo hemos visto hasta ahora? Primer mapa de zonificación escolar en Bilbao

Ahora que todavía está el plazo abierto de elección de centro escolar en Euskadi, es bueno momento para rescatar estas visualizaciones que hicimos en verano. Un ejemplo más de la necesidad de abrir datos abiertos.

Por increíble que parezca no existe un mapa de cómo se dibujan los contornos que sirven para asignar puntos para acceder a cada centro escolar en Euskadi. Hay una descripción en pdf de qué secciones censales y distritos corresponten a cada centro, hay una aplicación para calcular los puntos en base a una dirección, pero no existe el mapa.

Hemos analizado el sistema de zonas que tiene asignado cada centro para otorgar los puntos por cercanía a la hora de adjudicar las plazas escolares. Hemos dibujado dos zonas por cada centro: una que asigna 5 puntos (naranja fuerte) y otra que asigna 2 puntos (naranja claro). En blanco las zonas que no dan puntos. .

Puedes ver la documentación en la wiki de Bilbao Data Lab o en este repositorio para documentar y guardar el códgo en R y los datos transformados.

Leyenda de los gráficos

Zonas escolares de asignación de puntos por centro escolar:

¿Cómo lo hemos hecho?

Partiendo del PDF que lista los centros escolares y la zonas a las que pertenecen para asignar los puntos vamos a generar dos archivos de datos (ver carpeta /data):

  • Un archivo de contornos con el dibujo de las zonas. Descarga geojson (archivo en proyección EPSG3042).
  • Una tabla con tres columnas: zona, centro escolar y puntos asignados. Descarga csv.

Luego con un script de R (ver script) se importan los contornos de las zonas, el listado que relaciona las zonas con los centros escolares y se dibuja un mapa por cada centro escolar (ver /images).

1. Crear contornos de zonas

Para poder representar las zoans primero necesitamos dibujarlas. Cada zona está definida en el PDF por los distritos, secciones censales o calles que la componen. La cosa se complica porque a veces se definen por negación. por ejemplo, la zona 430601-ABANDO está compuesta por el distrito 6 de Bilbao (Bilbao-D06) pero no por la sección censal 15 de ese distrito “(Salbu/Excepto)Bilbao-D06-S015”.

Hemos realizado este proceso con Qgis uniendo y restando distritos, secciones censales. Para añadir y restar las calles que se indican en algunas zonas, se han creado polígonos aproximados que recogen las calles indicadas. En la defición de los polígonos asociados a calles se podría afinar más de lo que lo hemos hecho, lo dejamos como tarea pendiente.

2. Crear relación de centros y zonas escolares

Creamos una tabla basada en los datos de la zonifiación del PDF. Cada línea corresponde con un arelación entre las zonas creadas del paso anterior con un centro escolar.

zonacentro escolarpuntos (o baremo)
430101-SAN INAZIO – IBARREKOLANDA014509 – CEIP Intxixu Ikastola HLHImax
430101-SAN INAZIO – IBARREKOLANDA014924 – CEIP San Inazio-San Ignacio HLHImax
430102-SAN PEDRO – DEUSTUIBARRA014509 – CEIP Intxixu Ikastola HLHImin
430102-SAN PEDRO – DEUSTUIBARRA014924 – CEIP San Inazio-San Ignacio HLHImin

3. Script de R para dibujar zonas

En el script se puede ver al completo cómo se producen los PNG con un mapa de la zonificación para cada. Mostramos aquí a modo de resumen cómo se dibuja un mapa:

# Instala y carga librerías
library(tidyverse)
library(ggmap)
library(rgdal)
library(gsubfn)

# Carga contornos de zonas escolares
zonas <- readOGR("data/zonificacion-escolar-bilbao.geojson")
# Carga relación de centros escolares y zonas
centros_zonas <- read.delim("data/centros-zonas.csv",sep = ",")

# Se selecciona un centro escolar
centro_select <- "015360 - CEIP Miribilla HLHI"
# Se elimina el código numérico del nombre
centro_select_name <- toupper((strapplyc( centro_select, "[0-9]* - (.*)", simplify = TRUE)))

# Se dibuja el mapa
ggplot() +
  # rellena regiones con valor max
  geom_polygon(data = zonas[zonas@data$SEC_PROV_D %in% centros_zonas[centros_zonas$centro == centro_select & centros_zonas$puntos == "max","zona"], ], aes(x=long, y=lat,group=group), fill="orange",alpha=0.8,size = 0.1) +
  # rellena regiones con valor min
  geom_polygon(data = zonas[zonas@data$SEC_PROV_D %in% centros_zonas[centros_zonas$centro == centro_select & centros_zonas$puntos == "min","zona"], ], aes(x=long, y=lat,group=group), fill="orange", alpha=0.3,size = 0.1) +
  # dibuja contornos de todas las zonas
  geom_path(data=zonas,aes(x=long, y=lat,group=group), colour="black",size = 0.1)

El resultado, añadiendo los contornos de los distritos, la ría y los puntos para cada centro, quedaría así:

El script utiliza un “loop” con un “for” para generar automazidamente todos los mapas.

Existe la opción de añadir de fondo una base cartográfica, que se hace con la librería OpenStreetMap de R usando map ← openmap(c(lat = 43.26596 + 0.027, lon = -2.93141 - 0.09), c(lat = 43.26596 - 0.065, lon = -2.93141 + 0.055), type = “osm”) donde osm indica la base cartográfica elegida.

Una vez generadas todas las imágenes podemos hacer un “small multiple” con todos los mapas.

Usaremos el comanto »montage» de imagemagick para hacer el mosaico: montage 0* -geometry 450×450+0+0 montage_geom.png (imágenes reducidas a 450px con separación de 0 píxeles.

Otra forma es verlo en un gif animado:

Datos

Cartografía

Bilbao Data Lab colabora con Open Data Bizkaia

El 29 de mayo de 2018, de 16:00 a 18:00, 7 personas de Bilbao Data Lab estuvimos en WikiToki compartiendo conocimiento con dos representantes de la Dirección de Buen Gobierno y Transparencia de la Diputación Foral de Bizkaia, en concreto con la directora, Nerea Martiartu y el técnico responsable de Open Data Bizkaia, Diego Álvarez.

La reunión tenía como objetivo colaborar en la iniciativa vizcaína de datos abiertos, de manera que la publicación de datos responda en mayor medida a las necesidades de quienes reutilizamos los datos.

Sigue leyendo Bilbao Data Lab colabora con Open Data Bizkaia

Hemos ganado el premio Elkarlan 2017

Este viernes 11 de mayo de 2018 recibiremos oficialmente en Bilbao Data Lab el premio Elkarlan 2017 de proyectos de cogeneración de valor público en la categoría “fomento a la cultura open data” que promueve el Gobierno Vasco e Innobasque.

El acto tendrá lugar a partir de las 10.00h en el Archivo histórico de Euskadi  (C/María Díaz de Haro 3. Bilbao). Para ir al evento hace falta mandar email para confirmar  asistencia en gobernantza@euskadi.eus. Puedes descargar el programa completo de la entrega de premios. Bilbao Data Lab, como el resto de premiados, hará presentación sobre su proyecto a partir de las 12.30h:

Esperemos que este premio nos ayude a seguir creciendo.

Aprovechamos para dar las gracias a todas las personas que han hecho y hacen posible Bilbao Data Lab: quienes organizan o participanen algunas de las sesiones; quienes han mandado un email con una duda, una aportación o una sugerencia; quienes aportan ideas y energía; quienes ayudan a difundir y a documentar; y a quienes quieran seguir trabajando para hacer posible lo que describíamos en el resumen del texto que entregamos al concurso sobre Bilbao Data Lab «un espacio de encuentro, una iniciativa, una comunidad para personas interesadas en promover la cultura de los datos abiertos, su análisis y visualización fomentando el uso de prácticas y herramientas abiertas y colaborativas».

Más información sobre el premio en el blog de Open Data Euskadi y resolución oficial.

También puedes ver este documento (PDF) con toda la información sobre el proyecto que entregamos en octubre del año pasado.


Por cierto, ya somos 179 en la lista de correo, anímate a formar parte.

Imágenes de la presentación:

También puedes escuchar lo que contamos al recibir el premio (no pudimos grabar el inicio de la charla, justo cuando hacíamos la broma sobre la falsa correlación entre consumo de alcohol y posición en La Liga del Athletic):

Recepción del premio Elkarlan 2017.

Os dejamos con un resumen de las actividades que hemos desarrollado:

Bilbao Data Lab en Databeers Euskadi Bilbao

Pues eso, que nos llegó invitación a Bilbao Data Lab por Twitter de si queríamos participar en Databeers Euskadi en Bilbao. Como Gorka kobeaga ha estado desarrollando una nueva interfaz para interactuar con los datos de Udalmap (ver repositorio) pues irá él a contarnos ¡A ver cuándo podemos verla online!

Así que esta tarde 19 diciembre 2017 a las 19.00h en Icaza Colaborando, en Alameda Mazarredo 47. Hay que apuntarse al evenbrite gratuito para ir.

VII DataBeers Euskadi – Bilbao

El DataBeers Euskadi será el próximo martes 19 de diciembre en Icaza Colaborando a partir de las 19:00.

¡Vente al punto de encuentro de referencia en Euskadi para conocer historias y profesionales punteros en el manejo de los datos!

Para esta ocasión contamos con los siguientes ponentes confirmados:

– Izaskun Mendia, Data engineer en Tecnalia. “Título pendiente de confirmar”

– Fernando Presa, Founder&CEO en Nexmachina. “Análisis de datos y toma de decisiones a través del IoT”

– Belén Muñiz, Data Scientist en Laboral Kutxa. “La Banca: un negocio maduro en el uso de datos y metodologías estadísticas

– Gorka Kobeaga, Bilbao DataLab. “Abriendo datos abiertos”

Reserva tu entrada gratuita a través de la plataforma Eventbrite ¡el aforo es limitado!

Un año de Bilbao Data Lab + Introducción a git

Por favor, confirma tu asistencia al taller apuntándote en este formulario. Actividad gratuita. Trae tu ordenador portátil si puedes.

Qué

17.00h Sesión resumen sobre el año (30minutos aprox.)

Explicación del hilo conductor que hemos seguido en el desarrollo de Bilbao Data Lab y las motivaciones ¿por qué hemos hecho esas sesiones? ¿Cómo encajan las herramientas que se han trabajado en la metodología o proceso de trabajo con datos? ¿cómo acceder y sacar partido a los recursos que se han generado?


Link a esta línea del tiempo.

17.30h Sesión Git (1h30′ aprox.)

La idea es que cada cual se mire los fundamentos de git en casa y en la sesión comentemos las líneas generales: qué es, conceptos básicos, practiquemos y resolvamos dudas.

El objetivo es perder el miedo colectivamente a colaborar con git.

Acabo de repasar el libro de git y está muy bien tanto como para iniciarse como para hacerse un experto. Está disponible en inglés y castellano entre otros muchos idiomas.

Recomendamos leer los capítulos (no hace falta que leáis todo libro):

Si tienes dudas muy específicas para el taller podrías publicarlas en los issues del repositorio.

 

19.00h Pintxo-pote de cierre (19.00h)

Finalmente tomar unas cervezas en Sarean (plaza de Corazón de María).

 

Necesidades para el taller

      • Trae descargado/instalado de casa Git.
      • Crea cuenta en github.com.

Código

Tenemos un repositorio en github para experimentar sin miedo a romper nada. Falta pensar qué construimos colaborativamente, pero primero necesitaremos que os hagáis un usuario en github (hay un apartado entero dedicado a git en el libro, capítulo 6). Una vez creado que apunteis el nombre de usuario en esta lista para que que os podamos dar permisos de escritura.

Quién

mpartido por Pablo Rey Mazón miembro de montera34.com y uno de los impulsores de Bilbao Data Lab. Su blog personal es numeroteca.org y en Twitter @numeroteca.

Cuándo y dónde

La próxima sesión de Bilbao Data Lab será el  lunes 19 de junio de 2017 en Wikitoki (Plaza La Cantera, 5 – 2. Bilbao).

Actividad gratuita.

Horario: 17.00h a 19.00h (y luego pintxo-pote).

Por favor, confirma tu asistencia al taller apuntándote en el doodle.

Déjanos tu email a través de este formulario para estar informado de Bilbao Data Lab:

Introducción al análisis y visualización de datos en Relaciones Laborales (UPV)

Este taller desarrollado en la Facultad de Relaciones Laborales y Trabajo social de la UPV fue una introducción al análisis y visualización de datos basado en los datos de Udalmap. Toda la información relacionada en este taller está disponible en la wiki del repositorio de Udalmap de Bilbao Data Lab.

Impartido por Asier Goikoetxea y Pablo Rey Mazón.

Puedes consularara el taller inicial sobre los datos de Udalmaps de diciembre 2016.

Cronología del taller

A. Teoría

  1. Introducción a la disciplina del Análisis de Datos (10 min) diapositivas
  2. Workflow de un proyecto de Analizar datos (10 min) https://rpubs.com/haxier/workflow-datos
  3. Demo de un workflow completo utilizando R con los datos de Udalmap (10 min) http://rpubs.com/haxier/demo-udalmap-r

B. Práctica +info y diapositivas

  1. Gráficos con hoja de cálculo (Google Spreadsheets)
  2. Mapas (Carto)

Otros datos

«Chuleta» de indicadores de Udalmap https://github.com/BilbaoDataLab/udalmap-r-maps/wiki/Indicadores-Udalmap y en euskera https://github.com/BilbaoDataLab/udalmap-r-maps/blob/master/data/aldagaiak-udalmap.pdf

Información sobre datos udalmap http://www.eustat.eus/about/datos/acerca_udalmap_c.pdf

 

 

Taller de Rapidminer

Actividad gratuita. No hace falta tener conocimientos previos para participar. Si tienes un ordenador portátil ¡tráelo! Aún así, pedimos a la gente que se apunte en este Doodle para confirmar su asistencia.
Para estar al tanto de lo que pasa en Bilbao Data Lab, apúntate a la lista de correo.

Descarga diapositivas de presentación en pdf.

Qué

El objetivo de este taller es trabajar con RapidMiner sobre un modelo de datos aleatorio y realizar un análisis básico de tres herramientas que proporciona la herramienta de manera automática, a saber, estadística descriptiva, análisis multivariante y predicción.

RapidMiner se distribuye bajo la AGPL licencia de código abierto y ha sido organizada por SourceForge.

Necesidades para el taller

Registrarse y traer descargado el programa.

Programa

  1. Introducción a Rapidminer
  2. Diseñar un modelo de datos en conjunto
  3. Análisis: Estadísticos descriptivos
  4. Análisis: Clúster
  5. Análisis: Árboles de decisión

Cuándo y dónde

La próxima sesión de Bilbao Data Lab será el miércoles 26 de abril de 2017 en Wikitoki (Plaza La Cantera, 5 – 2. Bilbao) de 18.00 a 19.30h.

Quién

Álvaro Fierro es investigador en Cultumetría S.L y Doctorando de Economía con una Tesis sobre “Métodos Cuantitativos para medir la Imagen de marca de las Ciudades a través de la Web 2.0”. Es Licenciado en Ciencias Económicas, especialidad Economía Internacional y Desarrollo por la Universidad del País Vasco /Euskal Herriko Unibertsitatea y Máster en Integración Económica con Diploma de Estudios Avanzados (2010). Formación complementaria en los seminarios del Departamento de Economía Aplicada V” (Univ. Del País Vasco /Euskal Herriko Unibertsitatea) y estancia de investigación en la Universidad de Leicester, Inglaterra. Es asimismo autor y árbitro de publicaciones académicas y ha ejecutado proyectos relativos a Auditorías de Marca en el ámbito del turismo, la cultura y otras ciencias sociales, así como en el análisis de impacto económico y social de la cultura desde la rama Cultumetría, que desde agosto de 2016 se constituye como empresa. Colabora habitualmente en revistas especializadas de música (Ruta 66, Mondo Sonoro) y es co- director y co- guionista de los documentales 160 Metros: Una Historia del Rock en Bizkaia y Atrapados por la Serpiente.

Twitter: @cultumetria

Déjanos tu email a través de este formulario para estar informado de Bilbao Data Lab:

Conversaciones en línea y marketing en social media: una mirada crítica

Actividad gratuita. No hace falta tener conocimientos previos para participar. Si tienes un ordenador portátil ¡tráelo! Aún así, pedimos a la gente que se apunte en este Doodle para confirmar su asistencia.

Qué

Taller donde Habib comparte su mirada sobre 3 ramas de las industrias de la comunicación en línea, sus objetivos y su manera de interpretar datos en el contexto de disponibilidad de una  cantidad fenomenal de información en el social media (explicará durante la sesión por qué no quiero usar la palabra ‘redes sociales’).

Esas 3 ramas son:

  • la publicidad
  • las relaciones públicas
  • el boca a boca (Word-of-Mouth)

Una sesión de 4 horas con diferentes dinámicas:

  • una charla para compartir unas claves y experiencias personales
  • un taller para practicar en grupo sobre 3 temas concretos (#bilbao, #educación y #comida) y poniendo nos en la piel de 3 roles (publicista, responsable de relaciones públicas y el responsable de campaña para una ONG ciudadana)
  • una conversación abierta para compartir nuestras impresiones, dudas, preguntas, opiniones…

Quién

‘Sé programar muy poco. Trabaje en París en el ámbito de la formación y de la consultoría en los ámbitos de los sistemas de información en una multi-nacional, luego en Londres en el desarrollo de aplicación web y luego 3 años en Shanghai en el marketing móvil y la análisis de conversaciones publicas en línea. Desde que volví hace casi 3 años, trabaje como autónomo en el campo de la ‘Economía Social’ (socialmediasquad.cc) y desde poco sobre proyectos de creación de plataformas p2p opensource, su dinámica comunitaria y su proceso de comunicación participativa. He visto diferentes maneras y motivos para interpretar y usar los datos conversacionales y quiero compartiros unas claves sobre mi experiencia con este tema.’ – Habib Belaribi.

Cuándo y dónde

La próxima sesión de Bilbao Data Lab será el próximo jueves 23 de febrero de 2017 en Wikitoki (Plaza La Cantera, 5 – 2. Bilbao).

Actividad gratuita.

Horario: 16.00h a 20.00h.

Por favor, confirma tu asistencia al taller apuntándote en el doodle.

Déjanos tu email a través de este formulario para estar informado de Bilbao Data Lab:

Captura de datos y análisis de red en Twitter

Qué

Taller sobre captura masiva de tuits de la plataforma Twitter (realizado con t-hoarder) y análsis de los mismos con Gephi. Todo realizado con software libre.

  1. En la primera parte estará centrada en las diferentes estrategias para obtener datos (tuits) de la página web de Twitter y se introducirá al uso de t-hoarder.
  2. En la segunda parte usaremos los datos obtenidos para visualizarlos con Gephi.

Puedes ver un ejemplo de análisis de Twitter como este Antes y después de la muerte de Rita Barberá en Twitter.

Necesidades para el taller

Trae descargado/instalado de casa:

  • Instala el programa Python (Python 2.7.12 o superior siempre que sea 2.7. No se garantiza el funcionamiento en 3.x).
  • Instala Gephi.
  • También habrá una máquina virtual en Linux para uso de los participantes, así todos compartiríamos sistema operativo cuando usemos t-hoarder. Para acceder a ella hace falta instalar Virtualbox.
    Descargar la máquina virtual aquí (3,7Gb) [link actualizado 6 marzo 2017]. Para quien no pueda descargarlo tendremos disponible un pendrive durante toda la sesión.

Diapositivas y código

Los scripts del taller están disponibles en el repositorio https://github.com/congosto/t-hoarder_kit

Diapositivas de la presentación: introducción y taller (.pdf, 18Mb)

Datos

Se partirá de los datos previamente recopilados de Twitter sobre diferentes temas.

Quién

Impartido por Mari Luz Congosto. Doctora en Telemática por la Universidad Carlos III y licenciada en Informática por la Universidad Politécnica de Madrid. Investiga sobre la propagación y caracterización de usuarios en Twitter dentro del entorno de los datos socio-políticos. Ha desarrollado la plataforma t-hoarder para capturar y visualizar datos sociales de Twitter y la plataforma metroaverias para medir la calidad del metro de Madrid percibida pos sus usuarios. Anteriormente trabajó durante 20 años en Telefónica I+D. Actualmente publica artículos en Bez.es e imparte clases de captura de datos y visualización de datos en varios Masters de periodismo de datos y de Big Data.

Tecnologías

Ttaller basado en el programa de captura de tuits de Twitter t-hoarder desarrollado por Mari Luz Congosto. Puedes acceder al repositorio del proyecto t-hoarder.

Imagen: de la visualización de Congosto.

Cuándo y dónde

La próxima sesión de Bilbao Data Lab será el próximo jueves 9 de febrero de 2017 en Wikitoki (Plaza La Cantera, 5 – 2. Bilbao).

Actividad gratuita. No requiere inscripción previa.

Horario: 16.00h a 20.00h.

Por favor, confirma tu asistencia al taller apuntandote en el doodle.

Déjanos tu email a través de este formulario para estar informado de Bilbao Data Lab:

Workflow de un proyecto de datos

Repositorio con los archivos de la presentación y el taller: github.com/BilbaoDataLab/workflow-datos

De los datos a la web.

Qué

Un taller para entender las diferentes tareas necesarias para hacer público online un proyecto de visualización de datos. Nos guiará por su metodología (workflow) de trabajo: cómo limpiar y preparar los datos con R para hacer visualización con la librería de javascript D3.js.
Se desarrollarán diversos diagramas de dispersión (scatter plot) para profundizar en el análisis de los datos y su correcta visualización: diseño responsive, anotaciones… Ver ejemplo.

Actividad gratuita. No hace falta tener conocimientos previos para participar. Si tienes un ordenador portátil ¡tráelo!

Diapositivas y código

El código del taller está disponible en el repositorio https://github.com/BilbaoDataLab/workflow-datos/

Diapositivas de la presentación: introducción y taller (.pdf, 10Mb)

Datos

Se partirá de los datos rescatados de la web de Udalmap (indicadores socioeconómicos de municipios en Esukadi) en la sesión anterior de Bilbao Data Lab.

Quién

Impartido por Martín González. Periodista de datos y diseñador, ha trabajado en eldiario.es, El Español, y colaborado en diversos medios de ámbito nacional. Ahora trabaja en Populate Tools, un estudio de aplicaciones cívicas, diseñando e implementando gráficos y apps de gobierno abierto.

Tecnologías

Taller basado en la librería de Javascript D3.js para la visualización de datos. Conocimientos de html, css y javascript son bienvenidos, pero no imprescindibles.

Es un taller práctico ¡Traes tu ordenador portátil si puedes!

Imagen: de la visualización Where did the Basque Socialists lost 40% of the vote? de Martín González y Jorge Galindo.

Cuándo y dónde

La próxima sesión de Bilbao Data Lab será el próximo jueves 19 de enero de 2017 en Wikitoki (Plaza La Cantera, 5 – 2. Bilbao).

Actividad gratuita. No requiere inscripción previa.

Horario: 16.00h a 20.00h.

Visualización

Puedes ver la visualización resultado del taller en esta página: