Skip to content

Adiciona testes caixa-preta de load_article - #1502

Draft
robertatakenaka wants to merge 7 commits into
scieloorg:mainfrom
robertatakenaka:add_testes_article
Draft

robertatakenaka wants to merge 7 commits into
scieloorg:mainfrom
robertatakenaka:add_testes_article

Conversation

@robertatakenaka

Copy link
Copy Markdown
Member

O que foi feito

Testes (article/tests/test_xmlsps_load_article.py)

Testes caixa-preta de load_article. Um XML SPS completo é gravado como versão do PidProviderXML, load_article é executado e os asserts verificam o Article e os modelos relacionados. Cada valor esperado tem um comentário indicando o elemento do XML de onde vem. Os testes não usam a API do packtools.

Cobertura:

  • Identificação: pids v2 e v3, DOI, sps_pkg_name. Para o sps_pkg_name o teste não fixa o formato, só verifica que existe e que não é um pid.
  • Vínculos: journal (inclusive quando encontrado pelo ISSN), issue e suplemento, paginação e elocation-id.
  • Datas: publicação, inclusive quando só há a data de collection.
  • Classificação: tipo de artigo, idiomas e seções.
  • Conteúdo: títulos, resumos (texto simples e formatado) e palavras-chave.
  • Autores: ORCID, afiliações, collab e e-mail.
  • Revisão: history, preprint e intervalos de revisão.
  • Licença e financiamento: licença, vários award-groups e funding sem award.
  • Outros: data availability (todos os status), related article e contagens de figuras, tabelas e fórmulas.
  • Recarga: recarregar o mesmo XML não duplica registros relacionados.
  • Casos de erro: journal ou issue inexistente e XML sem v2.

Correções no core (um commit por correção)

Commit Correção
487fe595 sps_pkg_name passa a vir de pp_xml.pkg_name e usa o valor do XML só quando esse estiver vazio.
36eea2ee DocumentAbstract.create passa a gravar rich_text.
c2b79f3e ContribPerson.get ganha o parâmetro opcional affiliation, e fica um registro por afiliação. Quem chama sem esse parâmetro tem o mesmo comportamento de antes.
a34c895f Contrib só com <collab> deixa de gerar ContribPerson.
e44d3292 Article.languages passa a conter os idiomas do article e dos sub-article de tradução. Os valores são substituídos a cada carga.

Para cada correção, o teste correspondente foi criado no primeiro commit com @expectedFailure, e o commit da correção remove essa marcação.

Pendências fora do escopo

Quatro testes continuam marcados com @expectedFailure porque dependem de correções no packtools:

  • texto do resumo começa com o título (dois testes: texto simples e texto formatado);
  • e-mail do contrib não exposto;
  • flags *_estimated vêm None com datas completas.

Quando o packtools for corrigido, esses testes vão aparecer como "unexpected success", e basta remover a marcação.

Observações

  • Os artigos que já estão com sps_pkg_name igual ao pid v3 só serão corrigidos quando forem recarregados.
  • Os erros de import em test_article_by_collection e test_migration_fill_article_collection (make_article_in_collection) já existiam antes e não têm relação com este PR.

Como testar

docker compose -f local.yml run --rm django python manage.py test article.tests.test_xmlsps_load_article

Resultado da suíte article: 185 testes. O módulo novo passa inteiro, com 4 falhas esperadas. Os únicos erros são os 2 de import citados acima.

Closes #1501


Segurança da informação (NSI.04)

Seção obrigatória. Marque as opções aplicáveis e justifique quando necessário. Referência: NSI.04 - Norma de Desenvolvimento Seguro.

Este PR manipula dados sensíveis ou pessoais (LGPD)?

  • Sim — descreva os controles de proteção aplicados (criptografia, mascaramento, anonimização, etc.):
    • O PR altera como dados de autoria (nome, ORCID, afiliação) são gravados em ContribPerson: agora fica um registro por afiliação, e um contrib de <collab> não gera mais ContribPerson.
    • São metadados bibliográficos públicos, já publicados no XML do artigo. O PR não cria campos novos, não coleta dados novos e não muda quem tem acesso a esses dados. Por isso não foram necessários controles adicionais.
    • Os dados pessoais das fixtures de teste (nomes, ORCID, e-mails) são fictícios e usam domínios reservados para exemplo (example.org).
  • Não

Este PR altera autenticação, autorização, controle de acesso ou gerenciamento de sessão?

  • Sim — descreva o que mudou e por quê:
  • Não

Este PR introduz, atualiza ou remove dependências de terceiros?

  • Sim — as novas dependências foram verificadas no SBOM/Trivy sem vulnerabilidades críticas/altas em aberto?
    • Verificado e aprovado
    • Pendente / vulnerabilidade aceita com justificativa:
  • Não — a versão do packtools e dos demais requisitos não mudou.

Este PR foi validado pelo pipeline de segurança (SonarQube / Trivy)?

  • Sim — link do job:
  • Não aplicável a este PR (justifique):

Este PR concatena, monta ou executa comandos SQL, HTML ou JavaScript a partir de entrada externa?

  • Sim — confirme que há sanitização/parametrização (prepared statements, escaping, etc.):
  • Não
    • Os dados do XML são gravados apenas pelo ORM do Django (consultas parametrizadas). Não há SQL montado manualmente.
    • O rich_text do resumo (marcação vinda do XML) agora é gravado já na primeira carga. Antes ele só era gravado na atualização, então nenhum conteúdo novo passou a ser armazenado, e o PR não muda como esse campo é exibido.

Este PR expõe novos endpoints, telas ou serviços?

  • Sim — HTTPS obrigatório está garantido e o acesso segue o princípio de menor privilégio?
  • Não

Algum segredo, senha, chave ou token está sendo adicionado ao código-fonte?

  • Não, nenhum segredo foi commitado
    • O teste cria um usuário com senha "x" apenas no banco temporário do teste. Não é uma credencial real.
  • Sim (bloquear merge e corrigir antes de prosseguir)

robertatakenaka and others added 7 commits November 17, 2026 16:13
Dado um XML SPS gravado como versão de um PidProviderXML, executa
load_article e verifica como Article e os modelos relacionados ficam
preenchidos. Os valores esperados são derivados do XML, sem depender da
camada de extração (packtools).

Divergências conhecidas entre o XML e o que é gravado estão marcadas com
expectedFailure.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
load_article obtinha o nome do pacote de xml_with_pre.sps_pkg_name, mas o
XML é lido do arquivo "{v3}.xml" da XMLVersion, então o valor era o nome do
arquivo (pid v3). Passa a usar o nome registrado em pp_xml.pkg_name, com
fallback para o valor obtido do XML.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
DocumentAbstract.create_or_update chamava create() sem rich_text, então
na primeira carga o resumo ficava sem o texto formatado, que só era
gravado ao recarregar o XML.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
create_or_update_contrib_persons cria um registro por afiliação, mas
ContribPerson.get ignorava a afiliação no lookup: a segunda afiliação
encontrava o registro da primeira e o sobrescrevia. A afiliação, quando
informada, passa a fazer parte do lookup.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Contribs com <collab> e sem <name> eram gravados também como
ContribPerson sem nome. Colaborações já são registradas como
ContribCollab, então passam a ser ignoradas em
create_or_update_contrib_persons.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Antes só o idioma principal era registrado. Passam a ser registrados o
idioma do article e os dos sub-articles de tradução; idiomas presentes
apenas em metadados (trans-title, trans-abstract, kwd-group) e
sub-articles que não são tradução não contam. Usa set() para que a
recarga do XML remova idiomas que não estão mais no documento.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Troca joao.souza@usp.br por joao.souza@example.org para que os dados
pessoais das fixtures sejam fictícios.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

Garantir que os dados de Article sejam fiéis ao que está no XML

2 participants