Skip to content

Coleta o HTML do corpo editorial e exibe na página do periódico - #1497

Open
samuelveigarangel wants to merge 6 commits into
scieloorg:mainfrom
samuelveigarangel:feat/editorial-board-html
Open

samuelveigarangel wants to merge 6 commits into
scieloorg:mainfrom
samuelveigarangel:feat/editorial-board-html

Conversation

@samuelveigarangel

@samuelveigarangel samuelveigarangel commented Nov 16, 2026 •

Copy link
Copy Markdown
Collaborator

O que esse PR faz?

Coleta o HTML do corpo editorial no site clássico e o guarda por periódico e idioma. Quando o periódico não tem membros cadastrados, a página about mostra esse HTML.

A coleta distingue dois formatos de página:

  • o site clássico, como o do México, recortado pelo cabeçalho e pelo rodapé de edboard.htm
  • a página nova com a âncora #editors, usada quando a coleção é informada em editors_anchor_collection_acron_list (por exemplo ["scl"]). Nesse formato o título da seção fica de fora do recorte

A página about do periódico foi dividida em includes, um por seção.

Onde a revisão poderia começar?

editorialboard/tasks.py, na task collect_editorial_board_html. Em seguida, editorialboard/sources/classic_website.py e editorialboard/sources/editors_anchor.py. O que os dois recortes compartilham está em editorialboard/sources/utils.py.

Como este poderia ser testado manualmente?

O PR cria duas tasks no Celery, em editorialboard/tasks.py.

collect_editorial_board_html escolhe os periódicos e enfileira uma coleta para cada um. Ela não baixa as páginas. Quem baixa é a filha, fetch_editorial_board_html, uma por SciELOJournal. O worker precisa estar no ar (make up).

Parâmetros de collect_editorial_board_html:

  • collection_acron_list: só essas coleções entram. Exemplo: ["mex"] ou ["scl", "mex"]. Vazio percorre as coleções ativas que têm domínio e sigla de periódico.
  • exclude_collection_acron_list: tira essas coleções da lista. Serve para coletar o resto e deixar uma de fora.
  • only_missing: True ignora o periódico que já tem HTML ok nos três idiomas (es, pt, en). False, o padrão, coleta de novo.
  • editors_anchor_collection_acron_list: coleções cuja página usa a âncora #editors, como ["scl"]. Para elas a filha recebe editors_anchor=True e recorta a partir dessa âncora. As outras, como o México, seguem o recorte do site clássico.
  • base_url: host de onde as páginas serão lidas. Vazio usa o domain da coleção. O caminho continua /revistas/{sigla}/{e|p|i}edboard.htm.
  • user_id e username: identificam quem disparou a coleta e são repassados à task filha. O HTML salvo não muda por causa deles.

Parâmetros de fetch_editorial_board_html:

  • scielo_journal_id: o periódico SciELO a coletar.
  • editors_anchor: True recorta a página da âncora #editors. False recorta o edboard.htm clássico, do cabeçalho até o rodapé.
  • base_url: o mesmo host opcional. Vazio usa o domain da coleção desse periódico.

No shell do Django (make django_shell), dá para coletar um periódico sem passar pela fila. O México usa o site clássico. A Salud Pública de México, sigla spm, é o exemplo:

from editorialboard.tasks import fetch_editorial_board_html
from journal.models import SciELOJournal

spm = SciELOJournal.objects.get(collection__acron3="mex", journal_acron="spm")
fetch_editorial_board_html(scielo_journal_id=spm.id)

O retorno é uma lista com um item por idioma (es, pt, en). Idioma encontrado fica com status ok. No admin, em Editorial Board HTML, o registro traz os nomes dos membros. O cabeçalho com o ISSN e o rodapé com os links de navegação ficam de fora.

Para a coleção inteira, a task pai enfileira uma filha por periódico. Aqui o worker precisa consumir a fila:

from editorialboard.tasks import collect_editorial_board_html

collect_editorial_board_html(collection_acron_list=["mex"])

O SciELO Brasil publica o corpo editorial na âncora #editors. A Revista de Saúde Pública, sigla rsp, é o exemplo. Compare o HTML salvo com https://www.scielo.br/journal/rsp/about/#editors. A lista de editores permanece. O título "Corpo editorial" ou "Editorial board" fica de fora.

rsp = SciELOJournal.objects.get(collection__acron3="scl", journal_acron="rsp")
fetch_editorial_board_html(scielo_journal_id=rsp.id, editors_anchor=True)

A mesma coleta, para todos os periódicos do Brasil, deixando de fora quem já foi coletado com sucesso:

collect_editorial_board_html(
    collection_acron_list=["scl"],
    exclude_collection_acron_list=["mex"],
    only_missing=True,
    editors_anchor_collection_acron_list=["scl"],
    base_url="https://www.scielo.br",
)

Na página about do Core, abra um periódico sem membros cadastrados: a seção mostra esse HTML. Abra um periódico que já tenha membros: a lista cadastrada continua, e o HTML coletado não a substitui.

Algum cenário de contexto que queira dar?

No SciELO Brasil, revistas/{sigla}/pedboard.htm redireciona para /journal/{sigla}/about/#editors. O corpo editorial dessa página não usa o class="titulo" do site clássico. A Revista de Saúde Pública segue a lista dentro da tabela. Cadernos de Saúde Pública e outros usam parágrafos ou marcadores. O recorte da âncora guarda esses miolos como estão. O México permanece no recorte clássico porque não entra no parâmetro.

Screenshots

Não se aplica. A mudança é a coleta e o trecho de HTML exibido na seção que já existia.

Quais são os tickets relevantes?

Nenhum ticket vinculado.

Referências

  • Página clássica: https://{domínio}/revistas/{sigla}/{e|p|i}edboard.htm
  • Página nova: https://www.scielo.br/journal/{sigla}/about/#editors

Segurança da informação (NSI.04)

Seção obrigatória. Marque as opções aplicáveis e justifique quando necessário. Referência: NSI.04 - Norma de Desenvolvimento Seguro.

Este PR manipula dados sensíveis ou pessoais (LGPD)?

  • Sim — descreva os controles de proteção aplicados (criptografia, mascaramento, anonimização, etc.): o HTML coletado pode trazer nome, e-mail, ORCID e Lattes que já estão públicos na página do periódico. O texto é gravado no banco como veio da página, sem criptografia ou mascaramento adicional.
  • Não

Este PR altera autenticação, autorização, controle de acesso ou gerenciamento de sessão?

  • Sim — descreva o que mudou e por quê:
  • Não

Este PR introduz, atualiza ou remove dependências de terceiros?

  • Sim — as novas dependências foram verificadas no SBOM/Trivy sem vulnerabilidades críticas/altas em aberto?
    • Verificado e aprovado
    • Pendente / vulnerabilidade aceita com justificativa: entra curl_cffi==0.17.0, usado para buscar as páginas com o fingerprint do Chrome. A verificação no SBOM/Trivy fica para o pipeline deste PR.
  • Não

Este PR foi validado pelo pipeline de segurança (SonarQube / Trivy)?

  • Sim — link do job:
  • Não aplicável a este PR (justifique): o pipeline ainda não rodou. Ele passa a valer quando este PR for aberto.

Este PR concatena, monta ou executa comandos SQL, HTML ou JavaScript a partir de entrada externa?

  • Sim — confirme que há sanitização/parametrização (prepared statements, escaping, etc.): o HTML coletado das páginas do SciELO é renderizado com {{ edboard_html|safe }} em journalpage/includes/about/editorial_board.html. Não há sanitização. A origem é a página pública do periódico, não um campo preenchido por um visitante.
  • Não

Este PR expõe novos endpoints, telas ou serviços?

  • Sim — HTTPS obrigatório está garantido e o acesso segue o princípio de menor privilégio? A página about do periódico já era pública. O snippet Editorial Board HTML entra no admin do Wagtail, restrito a quem já administra o corpo editorial. Não há endpoint novo.
  • Não

Algum segredo, senha, chave ou token está sendo adicionado ao código-fonte?

  • Não, nenhum segredo foi commitado
  • Sim (bloquear merge e corrigir antes de prosseguir)

Made with Cursor

Samuel Veiga Rangel and others added 6 commits November 16, 2026 18:20
Co-authored-by: Cursor <cursoragent@cursor.com>
Co-authored-by: Cursor <cursoragent@cursor.com>
…tors.

Co-authored-by: Cursor <cursoragent@cursor.com>
Co-authored-by: Cursor <cursoragent@cursor.com>
…astrado.

Co-authored-by: Cursor <cursoragent@cursor.com>
…orpo editorial.

Co-authored-by: Cursor <cursoragent@cursor.com>
@robertatakenaka

Copy link
Copy Markdown
Member

@samuelveigarangel Subir o worker e chamar collect_editorial_board_html sem editors_anchor_collection_acron_list para uma coleção do site clássico, como mex. é uma instrução de comando no terminal? Se sim, faça uma tarefa para ser usada na interface web.

Comment thread editorialboard/tasks.py
extract = extract_editors_anchor_section if editors_anchor else extract_edboard_section
saved = []
for result in fetch_edboard_html(
scielo_journal.collection.base_url, scielo_journal.journal_acron

@robertatakenaka robertatakenaka Nov 17, 2026 •

Copy link
Copy Markdown
Member

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

@samuelveigarangel vai ter que flexibilizar qual é a base_url pois algumas extrações poderão ocorrer no old.scielo.xxx, pois não vamos esperar que todo o conteúdo esteja ok para realizar o lançamento da nova plataforma.

Talvez adicionar a collect_editorial_board_html() o parâmetro indicando que o clássico está em outro domínio (old.scielo.xxx)

Comment thread journalpage/models.py

acron_journal = journal.scielojournal_set.all()[0].journal_acron
acron_collection = journal.scielojournal_set.all()[0].collection.acron3
scielo_journal = journal.scielojournal_set.all()[0]

Copy link
Copy Markdown
Member

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

@samuelveigarangel não pode simplesmente pegar o primeiro item. Tem que ser o journal correspondente à coleção em questão

Copy link
Copy Markdown
Collaborator Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

A questão é que essa função exibe a página informativa. A unica informacao que é obtida do scielojournal é o acron da coleção e do journal para ir o número anterior ou número seguinte.

Copy link
Copy Markdown
Collaborator Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Só a seção Sobre o periódico esta servindo para o scielo.br

@robertatakenaka robertatakenaka left a comment

Copy link
Copy Markdown
Member

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

@samuelveigarangel realizar as correções

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants