Skip to content

Completa e mantém consistentes os dados por coleção de artigos presentes em mais de uma coleção - #1499

Merged
robertatakenaka merged 9 commits into
scieloorg:mainfrom
robertatakenaka:main_revisao_multicolecao_2
Nov 17, 2026
Merged

robertatakenaka merged 9 commits into
scieloorg:mainfrom
robertatakenaka:main_revisao_multicolecao_2

Conversation

@robertatakenaka

Copy link
Copy Markdown
Member

O que esse PR faz?

Completa e mantém consistentes os dados por coleção de artigos presentes em mais de uma coleção (CollectionPidV2). Também mantém sempre preenchidos os campos legados PidProviderXML.v2 e PidProviderXML.current_version, que guardam os dados da coleção principal.

  • Campos legados nunca vazios. O XML da coleção principal sempre os atualiza. O XML de outra coleção apenas os completa, ou os atualiza enquanto a coleção principal não tiver versão registrada. A coleção principal é a classificada como scielonetwork ou, na falta, a única coleção do periódico.
  • Completa documentos legados. Um XML idêntico ao registrado volta a ser registrado quando os dados por coleção estão incompletos ou divergentes (get_reasons_to_update). Isso completa documentos registrados antes de CollectionPidV2.
  • PID v2 e versão por coleção. get_pid_v2(collection_acron) e get_current_version com fallbacks. is_equal_to compara com a versão da coleção do XML. XML sem a coleção de origem é identificado pelo PID e pelo acrônimo do periódico.
  • Nome do pacote. CollectionPidV2.sps_pkg_name é construído com build_sps_pkg_name, o que exige atualizar o packtools para 4.18.1. Registros com o PID v3 no lugar do nome são selecionados para correção.
  • Registro de falhas por URI. provide_pid_for_xml_uri passa a registrar falhas somente em UnexpectedEvent, com a etapa (xml_fetch_failed, pid_v3_mismatch, pid_provider_xml_failed). Também valida o PID v3 esperado e executa o registro em transação, para evitar registros parciais.
  • Remoção de modelos. Remove XMLURL, XMLEvent e o menu "XML URLs" (migração 0022).

Onde a revisão poderia começar?

pid_provider/models.py, em PidProviderXML.add_collections e PidProviderXML.get_reasons_to_update. Em seguida, PidProviderXML.is_updated e CollectionPidV2.get_current_version.

Como este poderia ser testado manualmente?

Preparação

  1. Atualize a aplicação com este branch e reconstrua a imagem, para instalar o packtools 4.18.1.
  2. No contêiner do django, execute python manage.py migrate e confirme que a migração pid_provider.0022_delete_xmlurl_xmlevent foi aplicada.
  3. Acesse o admin (/admin) com um usuário administrador.

Remoção de XML URLs

  1. No menu lateral, abra Pid Provider e confirme que o item XML URLs não aparece mais. Os demais itens devem abrir normalmente.

Coleções e periódico

  1. Em Coleções, identifique uma coleção classificada como scielonetwork (ex.: scl) e outra que não seja (ex.: psi).
  2. Em Periódicos, escolha um periódico presente nas duas coleções.

Artigo em mais de uma coleção

  1. Processe (submissão de pacote ou migração) um artigo desse periódico primeiro pela coleção secundária (psi).
  2. Em Pid Provider > Pid Provider XML, busque o artigo pelo PID v3 e abra o registro. Confira que:
    • as duas coleções do periódico estão associadas;
    • existe o PID v2 da coleção psi, com versão do XML;
    • v2 e a versão atual estão preenchidos com os dados de psi, pois a coleção principal ainda não foi registrada.
  3. Processe o mesmo artigo pela coleção principal (scl).
  4. Abra o registro novamente e confira que:
    • existem os PIDs v2 das duas coleções, cada um com sua versão;
    • v2 e a versão atual passaram a ser os de scl;
    • o nome do pacote de cada coleção é o nome do pacote SPS (ex.: 1234-5678-acron-10-02-e123), e não o PID v3.
  5. Processe novamente o artigo pela coleção psi. Confira que v2 e a versão atual continuam sendo os de scl.

Documento legado

  1. Escolha um artigo registrado antes de CollectionPidV2, sem dados por coleção, de periódico em mais de uma coleção.
  2. Reprocesse-o sem alterar o XML.
  3. Confira em Pid Provider XML que os dados por coleção foram completados, e não ignorados por ser "igual ao registrado".

Periódico de uma única coleção

  1. Processe um artigo de periódico presente em uma única coleção, não classificada como scielonetwork.
  2. Confira que essa coleção é tratada como principal: v2 e a versão atual estão preenchidos com os dados dela.

Registro de falhas

  1. Provoque uma falha de obtenção de XML por URI, por exemplo com um documento cujo XML esteja indisponível na fonte.
  2. Em Tracker > Unexpected Events, confira que o evento foi registrado com a ação PidProvider.provide_pid_for_xml_uri e com a etapa (stage) no detalhe.

Algum cenário de contexto que queira dar?

O mesmo documento (mesmo PID v3) pode estar em mais de uma coleção, cada uma com seu PID v2 e sua versão do XML. Os campos legados PidProviderXML.v2 e current_version ainda são usados por outras funcionalidades e não podiam ficar vazios. Isso acontecia quando não havia coleção principal ou quando o XML de outra coleção era registrado primeiro.

As migrações não alteram os registros existentes. Os documentos registrados antes de CollectionPidV2 são completados ao serem reprocessados, mesmo com XML idêntico ao registrado.

PidProviderXML.fix_pid_v2 foi marcado como obsoleto, pois a correção do PID v2 por coleção é feita no Upload (proc.models.ArticleProc.fix_pid_v2). Mesmo assim, ele passou a corrigir também CollectionPidV2.

xml_url_zipfile_path foi mantido em models.py porque é referenciado pela migração histórica 0015.

Screenshots

N/A

Quais são os tickets relevantes?

#1498

Referências


Segurança da informação (NSI.04)

Este PR manipula dados sensíveis ou pessoais (LGPD)?

  • Sim — descreva os controles de proteção aplicados (criptografia, mascaramento, anonimização, etc.):
  • Não

Este PR altera autenticação, autorização, controle de acesso ou gerenciamento de sessão?

  • Sim — descreva o que mudou e por quê:
  • Não

Este PR introduz, atualiza ou remove dependências de terceiros?

  • Sim — as novas dependências foram verificadas no SBOM/Trivy sem vulnerabilidades críticas/altas em aberto?
    • Verificado e aprovado
    • Pendente / vulnerabilidade aceita com justificativa:
  • Não

Este PR foi validado pelo pipeline de segurança (SonarQube / Trivy)?

  • Sim — link do job:
  • Não aplicável a este PR (justifique):

Este PR concatena, monta ou executa comandos SQL, HTML ou JavaScript a partir de entrada externa?

  • Sim — confirme que há sanitização/parametrização (prepared statements, escaping, etc.):
  • Não

Este PR expõe novos endpoints, telas ou serviços?

  • Sim — HTTPS obrigatório está garantido e o acesso segue o princípio de menor privilégio?
  • Não

Algum segredo, senha, chave ou token está sendo adicionado ao código-fonte?

  • Não, nenhum segredo foi commitado
  • Sim (bloquear merge e corrigir antes de prosseguir)

Atualiza packtools de 4.17.8 para 4.18.1, versão que fornece
XMLWithPre.build_sps_pkg_name, usado por CollectionPidV2.set_sps_pkg_name.
…vent

Deixa de registrar o resultado de cada URI em XMLURL. As falhas passam a ser
registradas em um único ponto (UnexpectedEvent), identificadas pela etapa em
que ocorreram. Também valida o PID v3 esperado pela fonte e evita registros
parciais.

Detalhes de implementação:
- remove o uso de XMLURL e a função _truncate_traceback
- substitui _handle_xml_fetch_failure, _handle_pid_provider_failure,
  _register_success e _handle_unexpected_error por _handle_uri_error, que
  registra a etapa (xml_fetch_failed, pid_v3_mismatch,
  pid_provider_xml_failed) em detail["stage"]
- provide_pid_for_xml_uri recebe document_item e expected_pid_v3; compara
  expected_pid_v3 com o v3 do XML antes do registro
- executa provide_pid_for_xml_with_pre em transaction.atomic e transforma
  resposta com erro em exceção, para desfazer o registro parcial
- a resposta de erro inclui exc_value e exc_traceback somente se existirem
Remove XMLURLViewSet e sua inclusão em PidProviderViewSetGroup, pois o
modelo XMLURL deixa de existir.
Os campos legados PidProviderXML.v2 e PidProviderXML.current_version nunca
ficam vazios e guardam os dados da coleção principal (scielonetwork ou, na
falta, a única coleção do periódico). Um XML idêntico ao registrado volta a
ser registrado quando os dados por coleção estão incompletos ou divergentes,
o que completa os documentos registrados antes de CollectionPidV2. O pid v2
e a versão do XML passam a ser obtidos por coleção. Remove os modelos
XMLURL e XMLEvent, sem uso.

Detalhes de implementação:
- add_collections: XML da coleção principal sempre atualiza v2 e
  current_version; XML de outra coleção somente os completa, se vazios, ou
  os atualiza enquanto a coleção principal não tem versão registrada
- novo get_xml_collection_acron_and_main: identifica a coleção do XML
  (inclusive XML sem coleção, pelo PID e acrônimo do periódico) e a
  coleção principal
- novo get_reasons_to_update: missing_journal_collections,
  missing_collection_pids_v2, collection_pid_v2_differs, missing_v2,
  missing_current_version, main_collection_data_differs
- is_updated e is_registered consideram get_reasons_to_update; is_registered
  retorna is_equal_xml e reasons_to_update quando o XML é igual, mas os
  dados por coleção estão incompletos
- novo get_pid_v2(collection_acron); complete_missing_xml_pids completa o
  pid v2 da coleção do XML
- is_equal_to compara com a versão da coleção informada
- CollectionPidV2.get_current_version: fallback para a versão mais recente
  (sem coleção) e para current_version legado (documento sem versões por
  coleção); PidProviderXML.xml_with_pre usa get_current_version
- set_sps_pkg_name usa build_sps_pkg_name, pois sps_pkg_name prioriza o
  nome do arquivo, que em XMLVersion é o pid v3; registros com pid v3 no
  lugar do nome são selecionados para correção
- fix_pid_v2 (marcado como obsoleto) também corrige CollectionPidV2
- remove XMLURL, XMLEvent e PidProviderXML.add_event; mantém
  xml_url_zipfile_path, referenciado pela migração 0015
Remove XMLURL_STATUS e suas constantes, usadas somente pelo modelo XMLURL,
removido.
Migração 0022 remove os modelos XMLURL e XMLEvent.
complete_missing_xml_pids passa a obter o pid v2 registrado por
get_pid_v2(colecao_do_xml).
Adiciona testes para get_reasons_to_update, is_updated com coleções,
get_pid_v2, get_current_version de documento registrado antes de
CollectionPidV2 e add_collections com XML identificado pelo PID do
periódico.
Atualiza os cenários sem coleção principal: v2 e current_version passam a
ser completados pelo primeiro XML registrado. Adiciona cenários de
periódico de uma única coleção e de novo registro de XML idêntico para
completar dados por coleção e registros legados.
@robertatakenaka robertatakenaka changed the title Completa e mantém consistentes os dados por coleção de artigos presentes em mais de uma coleção (CollectionPidV2). Também mantém sempre preenchidos os campos legados PidProviderXML.v2 e PidProviderXML.current_version, que guardam os dados da coleção principal Completa e mantém consistentes os dados por coleção de artigos presentes em mais de uma coleção Nov 17, 2026
Comment thread requirements/base.txt
tornado>=6.5.2 # not directly required, pinned by Snyk to avoid a vulnerability
lxml==6.1.2 # https://github.com/lxml/lxml
git+https://git@github.com/scieloorg/packtools@4.17.8#egg=packtools
git+https://git@github.com/scieloorg/packtools@4.18.1#egg=packtools

@pitangainnovare pitangainnovare Nov 17, 2026 •

Copy link
Copy Markdown
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Observação: não teria sido melhor subir para a versão 4.18.3?

Comment on lines +231 to +233
error_msg = response.get("error_msg") or response.get(
"error_message"
)

@pitangainnovare pitangainnovare Nov 17, 2026 •

Copy link
Copy Markdown
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Observação: há as duas formas de obter msg de erro, de fato?

Comment thread pid_provider/models.py
if reasons:
# XML igual ao registrado, mas dados por coleção incompletos
logging.info(f"Do not skip update: equal, but {reasons}")
return

Copy link
Copy Markdown
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Observação

Esse retorno permite atualizar o registro quando faltam dados por coleção, mas ocorre antes da comparação de origin_date. Assim, a necessidade de completar esses dados também libera a gravação de uma data de origem mais antiga, o que talvez não seja interessante.

@pitangainnovare pitangainnovare left a comment

Copy link
Copy Markdown
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Seria interessante ajustar a atualização de XMLs idênticos com dados por coleção incompletos. Há um return que permite gravar uma origin_date anterior à registrada.

Entendo que isso pode ser relevante porque origin_date é usada para impedir que versões antigas sobrescrevam registros mais recentes. Quando ela retrocede, essa proteção fica enfraquecida.

Detalhando,

  1. O registro recebeu uma versão de 1º de fevereiro.
  2. Um reenvio idêntico faz a data gravada retroceder para 1º de janeiro.
  3. Depois chega um XML diferente, de 15 de janeiro. A comparação passa a considerá-lo mais recente que o registro, embora ele seja anterior à versão de fevereiro.

Esse terceiro envio pode substituir o XML atual da coleção e seus metadados por conteúdo antigo, desde que passe pelas demais validações.

@robertatakenaka
robertatakenaka merged commit 3cc5d69 into scieloorg:main Nov 17, 2026
3 of 5 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants