Como fazer um scrape corretamente

Node-Red
1

Para pegar o valor diário da energia elétrica para a península ibérica eu tenho no meu configuration.yaml:

  - platform: scrape
    resource: https://www.omie.es/pt
    name: Preço Energia OMIE
    select: "#portugal_average"
    index: 0
    unit_of_measurement: "EUR"
    scan_interval: 14400
    value_template: '{{ value.replace(",", ".") }}'

Funciona muito bem!

Entretanto, quando utilizo o node de “http request” a página me chega incompleta e verifico que nela tem definido:

x-content-type-options: "nosniff, nosniff"

Parece-me que o site da OMIE deteta que é o Node Red a colher os dados e bloqueia a resposta completa.

Pergunto: Como posso fazer algo idêntico no Node Red?

Obrigado!

2

Bom dia, @Moacir_Ferreira

Será possivel fazer o scrape horario?

3

Ser possível sempre é, mas… Na página por defeito do OMIE esta informação horária é dada, referenciando o dia anterior (no gráfico do preço do dia vês os preços das últimas 24 horas).

Acho que só com um “GET” criado no NodeRed, a pegar a página e processar os dados, é que conseguiríamos fazer isto. Entretanto, a site da OMIE não deixa colher a página completa quando utilizamos o node de “http request”.

Há algum tempo pedi ajuda nisto mas ninguém respondeu, onde a pergunta de base foi "como colher a página inicial do OMIE, via NodeRed, para processar estes dados.

Em resumo, há como fazer com outras ferramentas. O problema é a complexidade do script Linux para o efeito.

Se houver interesse por mais pessoas, e que queiram colaborar no sentido de criar um script em Python para isto, eu participo.

4

Não precisas. Para isso já há uma integração disponível:

Eu estou a usar outra que usa uma API, para a qual tens de solicitar acesso, mas tive de instalar “à mão”:
https://community.home-assistant.io/t/esios-ree-integration-spain-national-network-of-electricity/155115
, mais especificamente aqui:

image
image385×234 8.29 KB

image
image660×740 29.5 KB

Até há um custom-card depois para isto, não fica 100% funcional para os dados da venda, mas quase:

image
image499×683 31.7 KB

5

Não sabia desta integração, parece-me ótima!

Entretanto, há que ter cuidado pois o nosso preço diário é quase sempre idêntico ao de Espanha mas há exceções onde são diferentes.

Outro ponto, podemos também fazer o download do ficheiro contendo esta informação. Quem tiver curiosidade, abra o link que se segue.

6

Instalei esta integração personalizada PVPC Spain electricity hourly pricing e tem 4 entidades, mas o preço OMIE aparece como indisponível. O que é que me pode estar a falhar? ![image|640x315]image
(upload://2bahMIqzzNVAx7ZefnrTK3XcreX.png)

image
image668×325 25.3 KB

7

Acho que está-te a falhar este tópico aqui ao lado (ou usas a rede eléctrica espanhola?) :smiley:

8

Agora funciona com a sua integração custom. Obrigado, era isso que eu estava à procura. Vai acrescentar as tarifas do dia seguinte?

image
image667×342 29.2 KB