Repository navigation
Completa e mantém consistentes os dados por coleção de artigos presentes em mais de uma coleção - #1499
Conversation
Atualiza packtools de 4.17.8 para 4.18.1, versão que fornece XMLWithPre.build_sps_pkg_name, usado por CollectionPidV2.set_sps_pkg_name.
…vent Deixa de registrar o resultado de cada URI em XMLURL. As falhas passam a ser registradas em um único ponto (UnexpectedEvent), identificadas pela etapa em que ocorreram. Também valida o PID v3 esperado pela fonte e evita registros parciais. Detalhes de implementação: - remove o uso de XMLURL e a função _truncate_traceback - substitui _handle_xml_fetch_failure, _handle_pid_provider_failure, _register_success e _handle_unexpected_error por _handle_uri_error, que registra a etapa (xml_fetch_failed, pid_v3_mismatch, pid_provider_xml_failed) em detail["stage"] - provide_pid_for_xml_uri recebe document_item e expected_pid_v3; compara expected_pid_v3 com o v3 do XML antes do registro - executa provide_pid_for_xml_with_pre em transaction.atomic e transforma resposta com erro em exceção, para desfazer o registro parcial - a resposta de erro inclui exc_value e exc_traceback somente se existirem
Remove XMLURLViewSet e sua inclusão em PidProviderViewSetGroup, pois o modelo XMLURL deixa de existir.
Os campos legados PidProviderXML.v2 e PidProviderXML.current_version nunca ficam vazios e guardam os dados da coleção principal (scielonetwork ou, na falta, a única coleção do periódico). Um XML idêntico ao registrado volta a ser registrado quando os dados por coleção estão incompletos ou divergentes, o que completa os documentos registrados antes de CollectionPidV2. O pid v2 e a versão do XML passam a ser obtidos por coleção. Remove os modelos XMLURL e XMLEvent, sem uso. Detalhes de implementação: - add_collections: XML da coleção principal sempre atualiza v2 e current_version; XML de outra coleção somente os completa, se vazios, ou os atualiza enquanto a coleção principal não tem versão registrada - novo get_xml_collection_acron_and_main: identifica a coleção do XML (inclusive XML sem coleção, pelo PID e acrônimo do periódico) e a coleção principal - novo get_reasons_to_update: missing_journal_collections, missing_collection_pids_v2, collection_pid_v2_differs, missing_v2, missing_current_version, main_collection_data_differs - is_updated e is_registered consideram get_reasons_to_update; is_registered retorna is_equal_xml e reasons_to_update quando o XML é igual, mas os dados por coleção estão incompletos - novo get_pid_v2(collection_acron); complete_missing_xml_pids completa o pid v2 da coleção do XML - is_equal_to compara com a versão da coleção informada - CollectionPidV2.get_current_version: fallback para a versão mais recente (sem coleção) e para current_version legado (documento sem versões por coleção); PidProviderXML.xml_with_pre usa get_current_version - set_sps_pkg_name usa build_sps_pkg_name, pois sps_pkg_name prioriza o nome do arquivo, que em XMLVersion é o pid v3; registros com pid v3 no lugar do nome são selecionados para correção - fix_pid_v2 (marcado como obsoleto) também corrige CollectionPidV2 - remove XMLURL, XMLEvent e PidProviderXML.add_event; mantém xml_url_zipfile_path, referenciado pela migração 0015
Remove XMLURL_STATUS e suas constantes, usadas somente pelo modelo XMLURL, removido.
Migração 0022 remove os modelos XMLURL e XMLEvent.
complete_missing_xml_pids passa a obter o pid v2 registrado por get_pid_v2(colecao_do_xml).
Adiciona testes para get_reasons_to_update, is_updated com coleções, get_pid_v2, get_current_version de documento registrado antes de CollectionPidV2 e add_collections com XML identificado pelo PID do periódico.
Atualiza os cenários sem coleção principal: v2 e current_version passam a ser completados pelo primeiro XML registrado. Adiciona cenários de periódico de uma única coleção e de novo registro de XML idêntico para completar dados por coleção e registros legados.
CollectionPidV2). Também mantém sempre preenchidos os campos legados PidProviderXML.v2 e PidProviderXML.current_version, que guardam os dados da coleção principal| tornado>=6.5.2 # not directly required, pinned by Snyk to avoid a vulnerability | ||
| lxml==6.1.2 # https://github.com/lxml/lxml | ||
| git+https://git@github.com/scieloorg/packtools@4.17.8#egg=packtools | ||
| git+https://git@github.com/scieloorg/packtools@4.18.1#egg=packtools |
There was a problem hiding this comment.
Observação: não teria sido melhor subir para a versão 4.18.3?
| error_msg = response.get("error_msg") or response.get( | ||
| "error_message" | ||
| ) |
There was a problem hiding this comment.
Observação: há as duas formas de obter msg de erro, de fato?
| if reasons: | ||
| # XML igual ao registrado, mas dados por coleção incompletos | ||
| logging.info(f"Do not skip update: equal, but {reasons}") | ||
| return |
There was a problem hiding this comment.
Observação
Esse retorno permite atualizar o registro quando faltam dados por coleção, mas ocorre antes da comparação de origin_date. Assim, a necessidade de completar esses dados também libera a gravação de uma data de origem mais antiga, o que talvez não seja interessante.
pitangainnovare
left a comment
There was a problem hiding this comment.
Seria interessante ajustar a atualização de XMLs idênticos com dados por coleção incompletos. Há um return que permite gravar uma origin_date anterior à registrada.
Entendo que isso pode ser relevante porque origin_date é usada para impedir que versões antigas sobrescrevam registros mais recentes. Quando ela retrocede, essa proteção fica enfraquecida.
Detalhando,
- O registro recebeu uma versão de 1º de fevereiro.
- Um reenvio idêntico faz a data gravada retroceder para 1º de janeiro.
- Depois chega um XML diferente, de 15 de janeiro. A comparação passa a considerá-lo mais recente que o registro, embora ele seja anterior à versão de fevereiro.
Esse terceiro envio pode substituir o XML atual da coleção e seus metadados por conteúdo antigo, desde que passe pelas demais validações.
O que esse PR faz?
Completa e mantém consistentes os dados por coleção de artigos presentes em mais de uma coleção (
CollectionPidV2). Também mantém sempre preenchidos os campos legadosPidProviderXML.v2ePidProviderXML.current_version, que guardam os dados da coleção principal.scielonetworkou, na falta, a única coleção do periódico.get_reasons_to_update). Isso completa documentos registrados antes deCollectionPidV2.get_pid_v2(collection_acron)eget_current_versioncom fallbacks.is_equal_tocompara com a versão da coleção do XML. XML sem a coleção de origem é identificado pelo PID e pelo acrônimo do periódico.CollectionPidV2.sps_pkg_nameé construído combuild_sps_pkg_name, o que exige atualizar o packtools para 4.18.1. Registros com o PID v3 no lugar do nome são selecionados para correção.provide_pid_for_xml_uripassa a registrar falhas somente emUnexpectedEvent, com a etapa (xml_fetch_failed,pid_v3_mismatch,pid_provider_xml_failed). Também valida o PID v3 esperado e executa o registro em transação, para evitar registros parciais.XMLURL,XMLEvente o menu "XML URLs" (migração0022).Onde a revisão poderia começar?
pid_provider/models.py, emPidProviderXML.add_collectionsePidProviderXML.get_reasons_to_update. Em seguida,PidProviderXML.is_updatedeCollectionPidV2.get_current_version.Como este poderia ser testado manualmente?
Preparação
python manage.py migratee confirme que a migraçãopid_provider.0022_delete_xmlurl_xmleventfoi aplicada./admin) com um usuário administrador.Remoção de XML URLs
Coleções e periódico
scielonetwork(ex.:scl) e outra que não seja (ex.:psi).Artigo em mais de uma coleção
psi).psi, com versão do XML;v2e a versão atual estão preenchidos com os dados depsi, pois a coleção principal ainda não foi registrada.scl).v2e a versão atual passaram a ser os descl;1234-5678-acron-10-02-e123), e não o PID v3.psi. Confira quev2e a versão atual continuam sendo os descl.Documento legado
CollectionPidV2, sem dados por coleção, de periódico em mais de uma coleção.Periódico de uma única coleção
scielonetwork.v2e a versão atual estão preenchidos com os dados dela.Registro de falhas
PidProvider.provide_pid_for_xml_urie com a etapa (stage) no detalhe.Algum cenário de contexto que queira dar?
O mesmo documento (mesmo PID v3) pode estar em mais de uma coleção, cada uma com seu PID v2 e sua versão do XML. Os campos legados
PidProviderXML.v2ecurrent_versionainda são usados por outras funcionalidades e não podiam ficar vazios. Isso acontecia quando não havia coleção principal ou quando o XML de outra coleção era registrado primeiro.As migrações não alteram os registros existentes. Os documentos registrados antes de
CollectionPidV2são completados ao serem reprocessados, mesmo com XML idêntico ao registrado.PidProviderXML.fix_pid_v2foi marcado como obsoleto, pois a correção do PID v2 por coleção é feita no Upload (proc.models.ArticleProc.fix_pid_v2). Mesmo assim, ele passou a corrigir tambémCollectionPidV2.xml_url_zipfile_pathfoi mantido emmodels.pyporque é referenciado pela migração histórica0015.Screenshots
N/A
Quais são os tickets relevantes?
#1498
Referências
Segurança da informação (NSI.04)
Este PR manipula dados sensíveis ou pessoais (LGPD)?
Este PR altera autenticação, autorização, controle de acesso ou gerenciamento de sessão?
Este PR introduz, atualiza ou remove dependências de terceiros?
Este PR foi validado pelo pipeline de segurança (SonarQube / Trivy)?
Este PR concatena, monta ou executa comandos SQL, HTML ou JavaScript a partir de entrada externa?
Este PR expõe novos endpoints, telas ou serviços?
Algum segredo, senha, chave ou token está sendo adicionado ao código-fonte?