Como fazer um scrape corretamente

Para pegar o valor diário da energia elétrica para a península ibérica eu tenho no meu configuration.yaml:

  - platform: scrape
    resource: https://www.omie.es/pt
    name: Preço Energia OMIE
    select: "#portugal_average"
    index: 0
    unit_of_measurement: "EUR"
    scan_interval: 14400
    value_template: '{{ value.replace(",", ".") }}'

Funciona muito bem!

Entretanto, quando utilizo o node de “http request” a página me chega incompleta e verifico que nela tem definido:

x-content-type-options: "nosniff, nosniff"

Parece-me que o site da OMIE deteta que é o Node Red a colher os dados e bloqueia a resposta completa.

Pergunto: Como posso fazer algo idêntico no Node Red?

Obrigado!

1 Curtiu

Bom dia, @Moacir_Ferreira

Será possivel fazer o scrape horario?

Ser possível sempre é, mas… Na página por defeito do OMIE esta informação horária é dada, referenciando o dia anterior (no gráfico do preço do dia vês os preços das últimas 24 horas).

Acho que só com um “GET” criado no NodeRed, a pegar a página e processar os dados, é que conseguiríamos fazer isto. Entretanto, a site da OMIE não deixa colher a página completa quando utilizamos o node de “http request”.

Há algum tempo pedi ajuda nisto mas ninguém respondeu, onde a pergunta de base foi "como colher a página inicial do OMIE, via NodeRed, para processar estes dados.

Em resumo, há como fazer com outras ferramentas. O problema é a complexidade do script Linux para o efeito.

Se houver interesse por mais pessoas, e que queiram colaborar no sentido de criar um script em Python para isto, eu participo.

1 Curtiu

Não precisas. Para isso já há uma integração disponível:

Eu estou a usar outra que usa uma API, para a qual tens de solicitar acesso, mas tive de instalar “à mão”:

, mais especificamente aqui:

image

Até há um custom-card depois para isto, não fica 100% funcional para os dados da venda, mas quase:

1 Curtiu

Não sabia desta integração, parece-me ótima!

Entretanto, há que ter cuidado pois o nosso preço diário é quase sempre idêntico ao de Espanha mas há exceções onde são diferentes.

Outro ponto, podemos também fazer o download do ficheiro contendo esta informação. Quem tiver curiosidade, abra o link que se segue.

https://www.omie.es/pt/file-access-list?parents[0]=/&parents[1]=%20Mercado%20Diário&parents[2]=1.%20Preços&dir=%20Preços%20por%20hora%20do%20mercado%20diário%20em%20Portugal&realdir=marginalpdbcpt


Copyright © 2017-2021. Todos os direitos reservados
CPHA.pt - info@cpha.pt


FAQ | Termos de Serviço/Regras | Política de Privacidade