{"id":908,"date":"2024-05-06T10:15:55","date_gmt":"2024-05-06T08:15:55","guid":{"rendered":"https:\/\/arter-demo.bslthemes.com\/?p=148"},"modified":"2026-10-05T08:15:54","modified_gmt":"2026-10-05T06:15:54","slug":"guia-requests-beautifulsoup","status":"publish","type":"post","link":"https:\/\/germanmallo.com\/en\/guia-requests-beautifulsoup\/","title":{"rendered":"Gu\u00eda de Requests y BeautifulSoup en Python"},"content":{"rendered":"

En esta gu\u00eda comparto c\u00f3mo aprend\u00ed a utilizar las bibliotecas Requests y BeautifulSoup en Python para realizar solicitudes HTTP y hacer web scrapping para analizar el contenido de una p\u00e1gina web.<\/p>\n

Introducci\u00f3n<\/h2>\n

Requests<\/strong> es una biblioteca de Python que permite realizar solicitudes HTTP de manera sencilla y eficiente. Por otro lado, BeautifulSoup<\/strong> es una biblioteca que facilita el an\u00e1lisis y extracci\u00f3n de datos de documentos HTML y XML.<\/p>\n

Instalaci\u00f3n<\/h2>\n

Para utilizar Requests y BeautifulSoup, primero debes instalarlas. Puedes hacerlo ejecutando los siguientes comandos en tu terminal:<\/p>\n

```bash\npip install requests\npip install bs4\n```\n<\/code><\/pre>\n
Librer\u00eda Requests<\/h2>\n
Realizar una solicitud HTTP<\/h3>\n
Con el modulo Requests, usamos el m\u00e9todo get()<\/code> para obtener el contenido de una p\u00e1gina web. Por ejemplo, para obtener el contenido de la p\u00e1gina de Wikipedia en espa\u00f1ol, podemos ejecutar el siguiente c\u00f3digo:<\/p>\n
```python\nimport<\/span> requests\n\nresponse = requests.get('https:\/\/es.wikipedia.org\/wiki\/Wikipedia:Portada'<\/span>)\n```\n<\/code><\/pre>\n
En este caso, obtendremos un objeto de tipo Response<\/code> que contiene el contenido de la p\u00e1gina web. Para acceder al contenido, podemos utilizar el atributo text<\/code>:<\/p>\n
```python\nprint(response.text)\n```\n<\/code><\/pre>\n
Y as\u00ed obtendremos el contenido de la p\u00e1gina web en formato de texto plano.<\/p>\n
Para obtener el c\u00f3digo de estado de la respuesta HTTP, podemos utilizar el atributo status_code<\/code>:<\/p>\n
```python\nprint<\/span>(response.status_code)\n```\nUn peque\u00f1o apunte: los c\u00f3digos de<\/span> estado de<\/span> las respuestas HTTP indican si una solicitud HTTP se<\/span> ha completado satisfactoriamente. Por ejemplo, el c\u00f3digo de<\/span> estado `200` indica que<\/span> la<\/span> solicitud se<\/span> ha completado correctamente, mientras que<\/span> el c\u00f3digo de<\/span> estado `404` indica que<\/span> la<\/span> p\u00e1gina web no<\/span> ha sido encontrada.\n<\/code><\/pre>\n
Tambi\u00e9n podemos obtener los encabezados de la respuesta HTTP utilizando el atributo headers<\/code>:<\/p>\n
```python\nprint(response.headers)\n```\n<\/code><\/pre>\n
Y as\u00ed obtendremos un diccionario con los encabezados de la respuesta HTTP.<\/p>\n
Para utilizar el contenido de la pagina en cuesti\u00f3n como una variable, podemos utilizar el m\u00e9todo content<\/code>:<\/p>\n
```python\ncontent = response.content\n```\n<\/code><\/pre>\n
Este m\u00e9todo, lo que hace exactamente es codificar el contenido de la p\u00e1gina web en formato binario.<\/p>\n
Una vez tengamos el contenido de la p\u00e1gina web almacenado en una variable, podemos utilizar la librer\u00eda BeautifulSoup para parsear el contenido y extraer la informaci\u00f3n que nos interese.<\/p>\n
Librer\u00eda BeautifulSoup<\/h2>\n
Parsear el contenido de una p\u00e1gina web<\/h3>\n
Para utilizar BeautifulSoup, primero debemos importarla:<\/p>\n
```python\nfrom<\/span> bs4 import<\/span> BeautifulSoup\n```\n<\/code><\/pre>\n
Una vez importada, podemos crear un objeto de tipo BeautifulSoup<\/code> a partir del contenido de la p\u00e1gina web:<\/p>\n
```python<\/span>\nsoup = BeautifulSoup(content, 'lxml'<\/span>)\n```\nPAR\u00c1METRO CONTENT: contenido de la<\/span> p<\/span>\u00e1gina web en<\/span> formato binario.\nPAR\u00c1METRO 'lxml'<\/span>: especifica el<\/span> analizador que se<\/span> utilizar\u00e1 para parsear el<\/span> contenido de la<\/span> p<\/span>\u00e1gina web. En este caso, utilizaremos el<\/span> analizador lxml, pero tambi\u00e9n podr\u00edamos utilizar el<\/span> analizador html.parser\n<\/code><\/pre>\n
Ahora que tenemos el contenido de la p\u00e1gina web parseado, podemos utilizar los m\u00e9todos de BeautifulSoup para extraer la informaci\u00f3n que nos interese.<\/p>\n
M\u00e9todos de BeautifulSoup<\/h3>\n
soup.title<\/code><\/strong><\/h4>\n
Usaremos los m\u00e9todos de BeautifulSoup para extraer la informaci\u00f3n que nos interese de la p\u00e1gina web. Por ejemplo, para obtener el t\u00edtulo de la p\u00e1gina web, podemos utilizar el m\u00e9todo title<\/code>:<\/p>\n
```python\nprint(soup.title)\n```\nEl m\u00e9todo title nos devuelve el t\u00edtulo de la p\u00e1gina web, incluyendo las etiquetas HTML.\n<\/code><\/pre>\n
soup.find()<\/code> y soup.find_all()<\/code><\/strong><\/h4>\n
Otro m\u00e9todo muy \u00fatil de BeautifulSoup es find()<\/code> y find_all()<\/code>. Estos m\u00e9todos nos permiten buscar elementos HTML en el contenido de la p\u00e1gina web.<\/p>\n
En el siguiente ejemplo, utilizaremos el m\u00e9todo find_all()<\/code> para obtener todos los enlaces de la p\u00e1gina web:<\/p>\n
links = soup.find_all(\"a\"<\/span>) #links<\/span> es una lista de enlaces\nprint<\/span>('print(soup.find_all(\"a\"))'<\/span>)<\/span><\/span>\nprint<\/span>(links)<\/span><\/span>\nprint<\/span>(\"\\n\"<\/span>)<\/span><\/span>\n<\/code><\/pre>\n
Peque\u00f1o apunte: para identificar los enlaces en HTML se utiliza la etiqueta , es por eso por lo que utilizamos el par\u00e1metro \u00aba\u00bb en el m\u00e9todo find_all().<\/a><\/p>\n
soup.prettify()<\/code><\/strong><\/h4>\n
Para imprimir el contenido de la p\u00e1gina web de una manera m\u00e1s legible, podemos utilizar el m\u00e9todo prettify()<\/code>:<\/p>\n
print(soup<\/span>.prettify())\n<\/code><\/pre>\n
El m\u00e9todo prettify() nos devuelve el contenido de la p\u00e1gina web con una estructura de \u00e1rbol, lo que hace que sea m\u00e1s f\u00e1cil de leer.<\/p>\n
Diferencias entre response.text<\/code>, BeautifulSoup(response.text, 'lxml')<\/code> y soup.prettify()<\/code>.<\/strong><\/h3>\n
import<\/span> requests\nfrom bs4 import<\/span> BeautifulSoup\n\nresponse<\/span> = requests.get('https:\/\/es.wikipedia.org\/wiki\/Wikipedia:Portada')\ncontent<\/span> = response.content\nsoup<\/span> = BeautifulSoup(content, 'lxml')\nprettify<\/span> = soup.prettify()\n<\/code><\/pre>\n
    \n
  • RESPONSE:<\/strong> El m\u00e9todo text nos devuelve el contenido de la p\u00e1gina web en formato de texto plano.<\/li>\n
  • SOUP:<\/strong> Cuando hacemos BeautifulSoup(response.text, ‘lxml’), lo que hacemos es crear un objeto de tipo BeautifulSoup a partir del contenido de la p\u00e1gina web en formato de texto plano. Este objeto es (internamente) como una especie de \u00e1rbol que contiene todos los elementos HTML de la p\u00e1gina web estructurados a su manera.<\/li>\n
  • PRETTIFY:<\/strong> El m\u00e9todo prettify() nos devuelve el soup con una estructura de \u00e1rbol. B\u00e1sicamente hace que podamos entender mejor la estructura del objeto BeautifulSoup, identando el texto y a\u00f1adiendo saltos de l\u00ednea seg\u00fan la estructura del \u00e1rbol.<\/li>\n<\/ul>\n
    Ejemplo pr\u00e1ctico<\/strong><\/h4>\n
    Para continuar con el ejemplo y recapitular un poco lo que hemos visto hasta ahora, vamos a buscar todos los enlaces que contengan la cadena \u00abacerca de\u00bb en la p\u00e1gina principal de google:<\/p>\n
    import<\/span> requests\nfrom<\/span> bs4 import<\/span> BeautifulSoup\n\nresult = requests.get(\"https:\/\/www.google.com\/\"<\/span>)\nprint<\/span>(result.status_code) # 200, es correcto<\/span>\n\nsrc = result.content # contenido de la p\u00e1gina web en formato binario<\/span>\nsoup = BeautifulSoup(src, 'lxml'<\/span>) # parseamos el contenido de la p\u00e1gina web<\/span>\n\nlinks = soup.find_all(\"a\"<\/span>) # buscamos todos los enlaces de la p\u00e1gina web<\/span>\nfor<\/span> link in<\/span> links: # por cada enlace en la lista de enlaces<\/span>\n    if<\/span> \"Acerca de\"<\/span> in<\/span> link.text:\n        print<\/span>(link) # imprimimos el enlace<\/span>\n        print<\/span>(\\n)<\/span> # imprimimos un salto de l\u00ednea<\/span>\n        print<\/span>(link.attrs['href'<\/span>]) # obtenemos el valor del  atributo href<\/span>\n<\/code><\/pre>\n
    Peque\u00f1o apunte: para obtener el valor de un atributo HTML, podemos utilizar el m\u00e9todo attrs<\/code> y especificar el nombre del atributo que queremos obtener. En este caso, queremos obtener el valor del atributo href<\/code>, que contiene la URL del enlace.<\/p>\n
    Atributos de los elementos HTML<\/h3>\n
    Los atributos de los elementos HTML son pares de valores que se utilizan para configurar el comportamiento de los elementos HTML. Por ejemplo, el atributo href<\/code> se utiliza para especificar la URL de un enlace. A continuaci\u00f3n veremos los atributos m\u00e1s comunes:<\/p>\n
    Primero, si queremos observar todos los atributos de un elemento HTML, podemos utilizar el m\u00e9todo attrs<\/code>:<\/p>\n
    link = soup.find(\"a\"<\/span>)\nprint<\/span>(link.attrs)<\/span><\/span>\n<\/code><\/pre>\n
    Esto nos mostrar\u00e1 un diccionario con todos los atributos del elemento HTML.<\/p>\n
    href<\/code><\/h4>\n
    Este ya lo hemos visto antes, se utiliza para especificar la URL de un enlace.<\/p>\n
    <a<\/span> href<\/span>=\"https:\/\/www.google.com\/\"<\/span>><\/span>Google<\/a<\/span>><\/span>\n<\/code><\/pre>\n
    Para obtener el valor de cualquier atributo HTML en python, usaremos el m\u00e9todo attrs<\/code> y especificaremos el nombre del atributo que queremos obtener:<\/p>\n
    link = soup.find<\/span>(\"a\"<\/span>)\nprint<\/span>(link.attrs['href'<\/span>]) # https:\/\/www.google.com\/<\/span><\/span>\n<\/code><\/pre>\n
    id<\/code><\/h4>\n
    Se utiliza para especificar un identificador \u00fanico para un elemento HTML.<\/p>\n
    <p<\/span> id<\/span>=\"parrafo\"<\/span>><\/span>Lorem ipsum dolor sit amet, consectetur adipiscing elit.<\/p<\/span>><\/span>\n<\/code><\/pre>\n
    De la misma forma que anteriormente, con python obtendremos el valor del atributo id<\/code> de la siguiente manera:<\/p>\n
    p = soup.find<\/span>(\"p\"<\/span>)\nprint<\/span>(p.attrs['id'<\/span>]) # parrafo<\/span>\n<\/code><\/pre>\n
    src<\/code><\/h4>\n
    Se utiliza para especificar la URL de una imagen.<\/p>\n
    <img<\/span> src=\"https:\/\/germanmallo.com\/wp-content\/uploads\/2024\/05\/googlelogo_color_272x92dp.png\"<\/span>>\n<\/code><\/pre>\n
    img = soup.find<\/span>(\"img\"<\/span>)\nprint<\/span>(img.attrs['src'<\/span>]) # https:\/\/www.google.com\/images\/branding\/googlelogo\/1x\/googlelogo_color_272x92dp.png<\/span><\/span>\n<\/code><\/pre>\n","protected":false},"excerpt":{"rendered":"
    En esta gu\u00eda comparto c\u00f3mo aprend\u00ed a utilizar las bibliotecas Requests y BeautifulSoup en Python para realizar solicitudes HTTP y hacer web scrapping para analizar el contenido de una p\u00e1gina web. Introducci\u00f3n Requests es una biblioteca de Python que permite realizar solicitudes HTTP de manera sencilla y eficiente. Por otro lado, BeautifulSoup es una biblioteca […]<\/p>\n","protected":false},"author":2,"featured_media":1016,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[73],"tags":[257,90,274],"class_list":["post-908","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-desarrollo-de-software","tag-apis","tag-python","tag-web-scraping"],"acf":[],"_links":{"self":[{"href":"https:\/\/germanmallo.com\/en\/wp-json\/wp\/v2\/posts\/908","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/germanmallo.com\/en\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/germanmallo.com\/en\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/germanmallo.com\/en\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/germanmallo.com\/en\/wp-json\/wp\/v2\/comments?post=908"}],"version-history":[{"count":2,"href":"https:\/\/germanmallo.com\/en\/wp-json\/wp\/v2\/posts\/908\/revisions"}],"predecessor-version":[{"id":4511,"href":"https:\/\/germanmallo.com\/en\/wp-json\/wp\/v2\/posts\/908\/revisions\/4511"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/germanmallo.com\/en\/wp-json\/wp\/v2\/media\/1016"}],"wp:attachment":[{"href":"https:\/\/germanmallo.com\/en\/wp-json\/wp\/v2\/media?parent=908"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/germanmallo.com\/en\/wp-json\/wp\/v2\/categories?post=908"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/germanmallo.com\/en\/wp-json\/wp\/v2\/tags?post=908"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}