Skip to content

Evita gravar periódico sem ISSN e filtra o admin por coleção - #1500

Open
samuelveigarangel wants to merge 2 commits into
scieloorg:mainfrom
samuelveigarangel:fix/journal-empty-issn-and-collection-filter
Open

samuelveigarangel wants to merge 2 commits into
scieloorg:mainfrom
samuelveigarangel:fix/journal-empty-issn-and-collection-filter

Conversation

@samuelveigarangel

@samuelveigarangel samuelveigarangel commented Nov 17, 2026 •

Copy link
Copy Markdown
Collaborator

O que esse PR faz?

Duas correções independentes no cadastro de periódicos:

  • _fetch_and_store_journal deixa de gravar o periódico no ArticleMeta quando o ISSN vem vazio. A consulta à API ainda acontece; o retorno ocorre antes de AMJournal.create_or_update.
  • A listagem de periódicos no admin passa a filtrar pela coleção SciELO. O filtro antigo por main_collection foi trocado por scielojournal__collection, com o rótulo "Collection", porque a relação reversa não tem related_name e o django-filter mostrava "[invalid name]".

Onde a revisão poderia começar?

journal/sources/article_meta.py, na função _fetch_and_store_journal. O filtro do admin está em JournalFilterSet, em journal/wagtail_hooks.py.

Como este poderia ser testado manualmente?

  1. Disparar a carga de periódicos do ArticleMeta com um item sem ISSN e conferir que nenhum AMJournal é criado ou atualizado para esse item.
  2. Abrir a listagem de periódicos no admin do Wagtail.
  3. Filtrar por uma coleção e conferir que só aparecem periódicos dessa coleção.
  4. Repetir o filtro por licença, modelo de publicação, assunto e país, que continuam no mesmo filtro.

Algum cenário de contexto que queira dar?

São dois ajustes separados, cada um no seu commit. Não fazem parte da coleta do HTML do corpo editorial.

O if not issn em _fetch_and_store_journal evita gravar o periódico quando o campo code vem nulo. Esse erro apareceu ao coletar a coleção de Cuba (cub). A lista de identificadores devolve itens sem code:

https://articlemeta.scielo.org/api/v1/journal/identifiers/?collection=cub&limit=1000&offset=0

Sem esse if, o code nulo segue para AMJournal.create_or_update como ISSN.

Screenshots

Não se aplica.

Quais são os tickets relevantes?

Nenhum ticket vinculado.

Referências

Nenhuma referência externa.


Segurança da informação (NSI.04)

Seção obrigatória. Marque as opções aplicáveis e justifique quando necessário. Referência: NSI.04 - Norma de Desenvolvimento Seguro.

Este PR manipula dados sensíveis ou pessoais (LGPD)?

  • Sim — descreva os controles de proteção aplicados (criptografia, mascaramento, anonimização, etc.):
  • Não

Este PR altera autenticação, autorização, controle de acesso ou gerenciamento de sessão?

  • Sim — descreva o que mudou e por quê:
  • Não

Este PR introduz, atualiza ou remove dependências de terceiros?

  • Sim — as novas dependências foram verificadas no SBOM/Trivy sem vulnerabilidades críticas/altas em aberto?
    • Verificado e aprovado
    • Pendente / vulnerabilidade aceita com justificativa:
  • Não

Este PR foi validado pelo pipeline de segurança (SonarQube / Trivy)?

  • Sim — link do job:
  • Não aplicável a este PR (justifique): o pipeline ainda não rodou. Ele passa a valer quando este PR for aberto.

Este PR concatena, monta ou executa comandos SQL, HTML ou JavaScript a partir de entrada externa?

  • Sim — confirme que há sanitização/parametrização (prepared statements, escaping, etc.):
  • Não

Este PR expõe novos endpoints, telas ou serviços?

  • Sim — HTTPS obrigatório está garantido e o acesso segue o princípio de menor privilégio?
  • Não

Algum segredo, senha, chave ou token está sendo adicionado ao código-fonte?

  • Não, nenhum segredo foi commitado
  • Sim (bloquear merge e corrigir antes de prosseguir)

Made with Cursor

Samuel Veiga Rangel and others added 2 commits November 16, 2026 18:20
Co-authored-by: Cursor <cursoragent@cursor.com>
Co-authored-by: Cursor <cursoragent@cursor.com>
def _fetch_and_store_journal(collection, issn, obj_collection, user, verify=False):
url_journal = f"https://articlemeta.scielo.org/api/v1/journal/?collection={collection}&issn={issn}"
data_journal = fetch_data(url_journal, json=True, timeout=30, verify=verify)
if not issn:

@robertatakenaka robertatakenaka Nov 18, 2026 •

Copy link
Copy Markdown
Member

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

@samuelveigarangel qual é o objetivo / uso do _fetch_and_store_journal()? Aparentemente o return deve ser antes da consulta. Além disso talvez no lugar do return, o certo é levantar exceção.

Copy link
Copy Markdown
Collaborator Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Essa funcao serve para coletar os periodicos do AM e armazenar no modelo AMJournal. Acho que atualmente essa funcao serve mais no ambiente de testes do que em prod. O if issn evitar a coleta parar no meio do processamento quando algum periodico vier com issn none. Encontrei esse error ao cletar cub: https://articlemeta.scielo.org/api/v1/journal/identifiers/?collection=cub&limit=1000&offset=0

@robertatakenaka

Copy link
Copy Markdown
Member

@samuelveigarangel importante acrescentar aqui ou em um issue a motivação deste PR. Analisando as chamadas não encontrei razão para que issn_list tenha valores None. Informe a origem do problema

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants