# Como fazer um scrape corretamente
**URL:** https://forum.cpha.pt/t/como-fazer-um-scrape-corretamente/9096
**Category:** Node-Red
**Created:** [18 Dezembro , 2021 13:35 UTC](https://forum.cpha.pt/t/como-fazer-um-scrape-corretamente/9096 "2021-12-18T13:35:45Z")
**Posts on this page:** 8
**Page:** 1
### Author:  [@Moacir\_Ferreira](https://forum.cpha.pt/u/Moacir_Ferreira)
#### Post date: [18 Dezembro , 2021 13:35 UTC](https://forum.cpha.pt/t/como-fazer-um-scrape-corretamente/9096/1 "2021-12-18T13:35:45Z")
Para pegar o valor diário da energia elétrica para a península ibérica eu tenho no meu configuration.yaml:
```auto
- platform: scrape
resource: https://www.omie.es/pt
name: Preço Energia OMIE
select: "#portugal_average"
index: 0
unit_of_measurement: "EUR"
scan_interval: 14400
value_template: '{{ value.replace(",", ".") }}'
```
Funciona muito bem!
Entretanto, quando utilizo o node de “http request” a página me chega incompleta e verifico que nela tem definido:
```auto
x-content-type-options: "nosniff, nosniff"
```
Parece-me que o site da OMIE deteta que é o Node Red a colher os dados e bloqueia a resposta completa.
**Pergunto:** Como posso fazer algo idêntico no Node Red?
Obrigado!
---
### Author:  [@codedmind](https://forum.cpha.pt/u/codedmind)
#### Post date: [31 Maio , 2022 09:17 UTC](https://forum.cpha.pt/t/como-fazer-um-scrape-corretamente/9096/2 "2022-05-31T09:17:05Z")
Bom dia, @Moacir_Ferreira
Será possivel fazer o scrape horario?
---
### Author:  [@Moacir\_Ferreira](https://forum.cpha.pt/u/Moacir_Ferreira)
#### Post date: [16 Setembro , 2022 10:14 UTC](https://forum.cpha.pt/t/como-fazer-um-scrape-corretamente/9096/3 "2022-09-16T10:14:12Z")
Ser possível sempre é, mas… Na página por defeito do OMIE esta informação horária é dada, referenciando o dia anterior (no gráfico do preço do dia vês os preços das últimas 24 horas).
Acho que só com um “GET” criado no NodeRed, a pegar a página e processar os dados, é que conseguiríamos fazer isto. Entretanto, a site da OMIE não deixa colher a página completa quando utilizamos o node de “http request”.
Há algum tempo pedi ajuda nisto mas ninguém respondeu, onde a pergunta de base foi "como colher a página inicial do OMIE, via NodeRed, para processar estes dados.
Em resumo, há como fazer com outras ferramentas. O problema é a complexidade do script Linux para o efeito.
Se houver interesse por mais pessoas, e que queiram colaborar no sentido de criar um script em Python para isto, eu participo.
---
### Author:  [@FragMenthor](https://forum.cpha.pt/u/FragMenthor)
#### Post date: [16 Setembro , 2022 14:02 UTC](https://forum.cpha.pt/t/como-fazer-um-scrape-corretamente/9096/4 "2022-09-16T14:02:08Z")
Não precisas. Para isso já há uma integração disponível:
> **[Spain electricity hourly pricing (PVPC)](https://www.home-assistant.io/integrations/pvpc_hourly_pricing/)**
>
> Instructions on how to set up the PVPC Hourly Pricing sensor in Home Assistant.
Eu estou a usar outra que usa uma API, para a qual tens de solicitar acesso, mas tive de instalar “à mão”:
[https://community.home-assistant.io/t/esios-ree-integration-spain-national-network-of-electricity/155115](https://community.home-assistant.io/t/esios-ree-integration-spain-national-network-of-electricity/155115)
, mais especificamente aqui:
>
>
> Hi,
>
> Is it possible to add the hourly price for the energy injected on the gri…d aswell? (https://www.esios.ree.es/es/analisis/1739?vis=1&start\_date=16-01-2021T00%3A00&end\_date=16-01-2021T23%3A00&compare\_start\_date=15-01-2021T00%3A00&groupby=hour&compare\_indicators=1013,1014,1015)
>
> This would be awesome
Até há um custom-card depois para isto, não fica 100% funcional para os dados da venda, mas quase:
---
### Author:  [@Moacir\_Ferreira](https://forum.cpha.pt/u/Moacir_Ferreira)
#### Post date: [16 Setembro , 2022 16:11 UTC](https://forum.cpha.pt/t/como-fazer-um-scrape-corretamente/9096/5 "2022-09-16T16:11:39Z")
Não sabia desta integração, parece-me ótima!
Entretanto, há que ter cuidado pois o nosso preço diário é quase sempre idêntico ao de Espanha mas há exceções onde são diferentes.
Outro ponto, podemos também fazer o download do ficheiro contendo esta informação. Quem tiver curiosidade, abra o link que se segue.
> **[Preços por hora do mercado diário em Portugal | OMIE](https://www.omie.es/pt/file-access-list?parents%5B0%5D=%2F&parents%5B1%5D=%20Mercado%20Di%C3%A1rio&parents%5B2%5D=1.%20Pre%C3%A7os&dir=%20Pre%C3%A7os%20por%20hora%20do%20mercado%20di%C3%A1rio%20em%20Portugal&realdir=marginalpdbcpt)**
>
> A OMIE administra a totalidade dos mercados (diários e intradiários) para toda a Península Ibérica, e seu modelo operacional é o mesmo de muitos outros mercados europeus.
---
### Author:  [@JeffersM](https://forum.cpha.pt/u/JeffersM)
#### Post date: [29 Maio , 2023 13:53 UTC](https://forum.cpha.pt/t/como-fazer-um-scrape-corretamente/9096/6 "2023-05-29T13:53:34Z")
Instalei esta integração personalizada PVPC Spain electricity hourly pricing e tem 4 entidades, mas o preço OMIE aparece como indisponível. O que é que me pode estar a falhar? ![image|640x315] 
(upload://2bahMIqzzNVAx7ZefnrTK3XcreX.png)
---
### Author:  [@luuuis](https://forum.cpha.pt/u/luuuis)
#### Post date: [29 Maio , 2023 15:35 UTC](https://forum.cpha.pt/t/como-fazer-um-scrape-corretamente/9096/7 "2023-05-29T15:35:26Z")
Acho que está-te a falhar [este tópico aqui ao lado](https://forum.cpha.pt/t/integracao-omie-precos-horarios-diarios-mecanismo-de-ajuste/11668) (ou usas a rede eléctrica espanhola?) 😃
---
### Author:  [@JeffersM](https://forum.cpha.pt/u/JeffersM)
#### Post date: [29 Maio , 2023 15:43 UTC](https://forum.cpha.pt/t/como-fazer-um-scrape-corretamente/9096/8 "2023-05-29T15:43:43Z")
Agora funciona com a sua integração custom. Obrigado, era isso que eu estava à procura. Vai acrescentar as tarifas do dia seguinte?
