Como fazer um scrape corretamente

[Moacir_Ferreira]

Para pegar o valor diário da energia elétrica para a península ibérica eu tenho no meu configuration.yaml:

  - platform: scrape
    resource: https://www.omie.es/pt
    name: Preço Energia OMIE
    select: "#portugal_average"
    index: 0
    unit_of_measurement: "EUR"
    scan_interval: 14400
    value_template: '{{ value.replace(",", ".") }}'

Funciona muito bem!

Entretanto, quando utilizo o node de “http request” a página me chega incompleta e verifico que nela tem definido:

x-content-type-options: "nosniff, nosniff"

Parece-me que o site da OMIE deteta que é o Node Red a colher os dados e bloqueia a resposta completa.

Pergunto: Como posso fazer algo idêntico no Node Red?

Obrigado!

[codedmind]

Bom dia, @Moacir_Ferreira

Será possivel fazer o scrape horario?

[Moacir_Ferreira]

Ser possível sempre é, mas… Na página por defeito do OMIE esta informação horária é dada, referenciando o dia anterior (no gráfico do preço do dia vês os preços das últimas 24 horas).

Acho que só com um “GET” criado no NodeRed, a pegar a página e processar os dados, é que conseguiríamos fazer isto. Entretanto, a site da OMIE não deixa colher a página completa quando utilizamos o node de “http request”.

Há algum tempo pedi ajuda nisto mas ninguém respondeu, onde a pergunta de base foi "como colher a página inicial do OMIE, via NodeRed, para processar estes dados.

Em resumo, há como fazer com outras ferramentas. O problema é a complexidade do script Linux para o efeito.

Se houver interesse por mais pessoas, e que queiram colaborar no sentido de criar um script em Python para isto, eu participo.

[FragMenthor (Pedro Roque)]

Não precisas. Para isso já há uma integração disponível:

Spain electricity hourly pricing (PVPC)

Eu estou a usar outra que usa uma API, para a qual tens de solicitar acesso, mas tive de instalar “à mão”:

ESIOS REE Integration (Spain National Network of Electricity)

, mais especificamente aqui:

Price list for energy injected on the grid when solar installations

Até há um custom-card depois para isto, não fica 100% funcional para os dados da venda, mas quase:

[Moacir_Ferreira]

Não sabia desta integração, parece-me ótima!

Entretanto, há que ter cuidado pois o nosso preço diário é quase sempre idêntico ao de Espanha mas há exceções onde são diferentes.

Outro ponto, podemos também fazer o download do ficheiro contendo esta informação. Quem tiver curiosidade, abra o link que se segue.

https://www.omie.es/pt/file-access-list?parents[0]=/&parents[1]=%20Mercado%20Diário&parents[2]=1.%20Preços&dir=%20Preços%20por%20hora%20do%20mercado%20diário%20em%20Portugal&realdir=marginalpdbcpt

[JeffersM (Michael Jeffers)]

Instalei esta integração personalizada PVPC Spain electricity hourly pricing e tem 4 entidades, mas o preço OMIE aparece como indisponível. O que é que me pode estar a falhar? ![image|640x315]
(upload://2bahMIqzzNVAx7ZefnrTK3XcreX.png)

[luuuis (Luís M.)]

Acho que está-te a falhar este tópico aqui ao lado (ou usas a rede eléctrica espanhola?)

[JeffersM (Michael Jeffers)]

Agora funciona com a sua integração custom. Obrigado, era isso que eu estava à procura. Vai acrescentar as tarifas do dia seguinte?