Textise
La extracción de datos de texto es la habilidad básica que hay que adquirir, ya que la mayoría de los datos se representan como texto visual en la web, como artículos de noticias, información de productos, blog, etc. En esta lección, voy a ver cómo capturar datos de texto simples de una página web con un simple apuntar y hacer clic. La habilidad básica de extracción de texto, cuando se combina con otras técnicas como la paginación, la creación de listas, sienta las bases para lograr el raspado de datos en todo tipo de páginas web.
El modo avanzado es un modo increíblemente potente que ofrece una gran flexibilidad para adaptarse a todo tipo de sitios web. Le permite personalizar las acciones individuales necesarias para realizar la extracción, incluyendo la búsqueda de palabras clave, la autenticación de inicio de sesión, la apertura de desplegables, etc.
Extraer texto del html
Existe una enorme cantidad de información en las interminables páginas web que existen en línea. Gran parte de esta información son textos “no estructurados” que pueden ser útiles en nuestros análisis. Esta sección cubre los aspectos básicos de la extracción de estos textos de fuentes en línea. A lo largo de esta sección ilustraré cómo extraer diferentes componentes de texto de las páginas web mediante la disección de la página de Wikipedia sobre el raspado de la web. Sin embargo, es importante cubrir primero uno de los componentes básicos de los elementos HTML ya que aprovecharemos esta información para extraer la información deseada. Sólo ofrezco la información necesaria para empezar a raspar; recomiendo encarecidamente XML y Web Technologies for Data Sciences with R y Automated Data Collection with R para aprender más sobre las estructuras de los elementos HTML y XML.
Los elementos HTML se escriben con una etiqueta de inicio, una etiqueta de fin y con el contenido en medio: <tagname>content</tagname>. Las etiquetas que suelen contener el contenido textual que deseamos raspar, y las etiquetas que aprovecharemos en las dos próximas secciones, incluyen:
Extraer enlaces del sitio web
también especifica el método de extracción que se va a utilizar.Ejemploscolapsar todosExtraer texto de HTML Open Live ScriptPara extraer datos de texto directamente del código HTML, utilice extractHTMLText y especifique el código HTML como una cadena. code = “<html><body><h1>Los cantos</h1><p>de William Shakespeare</p></body></html>”;
Text Analytics Toolbox™ proporciona algoritmos y visualizaciones para preprocesar, analizar y modelar datos de texto. Los modelos creados con la caja de herramientas pueden utilizarse en aplicaciones como el análisis de sentimientos, el mantenimiento predictivo y el modelado de temas.
Text Analytics Toolbox incluye herramientas para procesar texto sin procesar de fuentes como registros de equipos, noticias, encuestas, informes de operadores y redes sociales. Puede extraer texto de los formatos de archivo más habituales, preprocesar el texto en bruto, extraer palabras individuales, convertir el texto en representaciones numéricas y construir modelos estadísticos.
Utilizando técnicas de aprendizaje automático como LSA, LDA y la incrustación de palabras, puede encontrar clusters y crear características a partir de conjuntos de datos de texto de alta dimensión. Las características creadas con Text Analytics Toolbox pueden combinarse con características de otras fuentes de datos para construir modelos de aprendizaje automático que aprovechen los datos textuales, numéricos y de otro tipo.
Página web a texto
Extraer texto de un archivo HTML es literalmente lo mismo que copiar y pegar la información de la página web en un bloc de notas. Puede parecer sencillo, pero imagina que tuvieras que extraer texto de miles de archivos HTML (páginas web), entonces no sería tan divertido. De hecho, extraer texto de las páginas web tiene muchos usos prácticos, por nombrar algunos:
Entender la estructura de un archivo HTML sería útil si sólo se desea extraer un dato concreto del archivo HTML (o de la página web). Y así es exactamente como entraría en juego Xpath: un lenguaje de consulta para seleccionar elementos de un documento XML/HTML.
En el caso de los documentos HTML sencillos, las personas con conocimientos básicos de codificación optarían por escribir un programa que eliminara todas las etiquetas HTML y conservara sólo el texto dentro de los archivos HTML, utilizando Expresiones Regulares o XPath. Hay varios lenguajes de programación ampliamente utilizados como C#, Java, Python, JS, PHP, Go y NodeJs que están disponibles para los programadores informáticos.
Algunos de estos lenguajes tienen su propio parser para HTML que están disponibles de forma gratuita y usted sabrá más sobre estos parsers de HTML haciendo clic aquí https://en.wikipedia.org/wiki/Comparison_of_HTML_parsers.