Datasets del curso de NLP Moderno en Python
Los cuadernos de Colab y los datos de las dos aplicaciones prácticas del curso: el análisis de sentimiento con redes convolucionales y el traductor inglés-francés con Transformer. Las partes 1, 2 y 4 son teoría y no necesitan ficheros.
Procesamiento del Lenguaje Natural Moderno en Python
De las redes convolucionales aplicadas al texto al Transformer, construyendo un analizador de sentimiento y un traductor automático desde cero.
- 12,5 h de vídeo
- Experto 🐸🐸🐸🐸
Parte 3: redes convolucionales para NLP (aplicación)
- Notebook del análisis de sentimiento
Google Colab
El cuaderno de la aplicación. Haz una copia en tu Drive antes de ejecutarlo.
- Dataset de Twitter (Sentiment140)
Dropbox · ZIP
1,6 millones de tuits etiquetados como positivos o negativos. Es el corpus clásico para entrenar análisis de sentimiento.
Parte 5: Transformer (aplicación)
Para el traductor de inglés a francés hacen falta el cuaderno, los corpus del Parlamento Europeo en los dos idiomas y los ficheros de prefijos que se usan al preprocesar.
- Notebook del traductor
Google Colab
El cuaderno donde se monta el Transformer pieza a pieza.
- Corpus Europarl inglés-francés
statmt.org · TGZ
El par de idiomas que se usa en clase: actas del Parlamento Europeo alineadas frase a frase.
- Europarl: todos los pares de idiomas
statmt.org · índice
Si quieres entrenar el traductor con otro par de idiomas, aquí están todos los disponibles.
- nonbreaking_prefix.en
Moses · repositorio oficial
Las abreviaturas del inglés que llevan punto sin terminar la frase («Mr.», «Dr.»). Sin esto, el troceado en frases sale mal.
- nonbreaking_prefix.fr
Moses · repositorio oficial
Lo mismo para el francés.
- nonbreaking_prefix.es
Dropbox
La versión en español, por si adaptas el traductor a nuestro idioma. En el repositorio de Moses están los del resto de idiomas.
¿Vas a montar un Transformer a base de copiar celdas?
El cuaderno funciona, pero el Transformer solo se entiende cuando lo construyes: qué hace la atención, por qué hay varias cabezas y qué pasa si te saltas el positional encoding. Eso son las 12,5 horas del curso.