Repository navigation
Coleta o HTML do corpo editorial e exibe na página do periódico - #1497
samuelveigarangel wants to merge 6 commits into
Conversation
Co-authored-by: Cursor <cursoragent@cursor.com>
Co-authored-by: Cursor <cursoragent@cursor.com>
…tors. Co-authored-by: Cursor <cursoragent@cursor.com>
Co-authored-by: Cursor <cursoragent@cursor.com>
…astrado. Co-authored-by: Cursor <cursoragent@cursor.com>
…orpo editorial. Co-authored-by: Cursor <cursoragent@cursor.com>
|
@samuelveigarangel |
| extract = extract_editors_anchor_section if editors_anchor else extract_edboard_section | ||
| saved = [] | ||
| for result in fetch_edboard_html( | ||
| scielo_journal.collection.base_url, scielo_journal.journal_acron |
There was a problem hiding this comment.
@samuelveigarangel vai ter que flexibilizar qual é a base_url pois algumas extrações poderão ocorrer no old.scielo.xxx, pois não vamos esperar que todo o conteúdo esteja ok para realizar o lançamento da nova plataforma.
Talvez adicionar a collect_editorial_board_html() o parâmetro indicando que o clássico está em outro domínio (old.scielo.xxx)
|
|
||
| acron_journal = journal.scielojournal_set.all()[0].journal_acron | ||
| acron_collection = journal.scielojournal_set.all()[0].collection.acron3 | ||
| scielo_journal = journal.scielojournal_set.all()[0] |
There was a problem hiding this comment.
@samuelveigarangel não pode simplesmente pegar o primeiro item. Tem que ser o journal correspondente à coleção em questão
There was a problem hiding this comment.
A questão é que essa função exibe a página informativa. A unica informacao que é obtida do scielojournal é o acron da coleção e do journal para ir o número anterior ou número seguinte.
There was a problem hiding this comment.
Só a seção Sobre o periódico esta servindo para o scielo.br
robertatakenaka
left a comment
There was a problem hiding this comment.
@samuelveigarangel realizar as correções
O que esse PR faz?
Coleta o HTML do corpo editorial no site clássico e o guarda por periódico e idioma. Quando o periódico não tem membros cadastrados, a página about mostra esse HTML.
A coleta distingue dois formatos de página:
edboard.htm#editors, usada quando a coleção é informada emeditors_anchor_collection_acron_list(por exemplo["scl"]). Nesse formato o título da seção fica de fora do recorteA página about do periódico foi dividida em includes, um por seção.
Onde a revisão poderia começar?
editorialboard/tasks.py, na taskcollect_editorial_board_html. Em seguida,editorialboard/sources/classic_website.pyeeditorialboard/sources/editors_anchor.py. O que os dois recortes compartilham está emeditorialboard/sources/utils.py.Como este poderia ser testado manualmente?
O PR cria duas tasks no Celery, em
editorialboard/tasks.py.collect_editorial_board_htmlescolhe os periódicos e enfileira uma coleta para cada um. Ela não baixa as páginas. Quem baixa é a filha,fetch_editorial_board_html, uma porSciELOJournal. O worker precisa estar no ar (make up).Parâmetros de
collect_editorial_board_html:collection_acron_list: só essas coleções entram. Exemplo:["mex"]ou["scl", "mex"]. Vazio percorre as coleções ativas que têm domínio e sigla de periódico.exclude_collection_acron_list: tira essas coleções da lista. Serve para coletar o resto e deixar uma de fora.only_missing:Trueignora o periódico que já tem HTMLoknos três idiomas (es,pt,en).False, o padrão, coleta de novo.editors_anchor_collection_acron_list: coleções cuja página usa a âncora#editors, como["scl"]. Para elas a filha recebeeditors_anchor=Truee recorta a partir dessa âncora. As outras, como o México, seguem o recorte do site clássico.base_url: host de onde as páginas serão lidas. Vazio usa odomainda coleção. O caminho continua/revistas/{sigla}/{e|p|i}edboard.htm.user_ideusername: identificam quem disparou a coleta e são repassados à task filha. O HTML salvo não muda por causa deles.Parâmetros de
fetch_editorial_board_html:scielo_journal_id: o periódico SciELO a coletar.editors_anchor:Truerecorta a página da âncora#editors.Falserecorta oedboard.htmclássico, do cabeçalho até o rodapé.base_url: o mesmo host opcional. Vazio usa odomainda coleção desse periódico.No shell do Django (
make django_shell), dá para coletar um periódico sem passar pela fila. O México usa o site clássico. A Salud Pública de México, siglaspm, é o exemplo:O retorno é uma lista com um item por idioma (
es,pt,en). Idioma encontrado fica comstatusok. No admin, em Editorial Board HTML, o registro traz os nomes dos membros. O cabeçalho com o ISSN e o rodapé com os links de navegação ficam de fora.Para a coleção inteira, a task pai enfileira uma filha por periódico. Aqui o worker precisa consumir a fila:
O SciELO Brasil publica o corpo editorial na âncora
#editors. A Revista de Saúde Pública, siglarsp, é o exemplo. Compare o HTML salvo com https://www.scielo.br/journal/rsp/about/#editors. A lista de editores permanece. O título "Corpo editorial" ou "Editorial board" fica de fora.A mesma coleta, para todos os periódicos do Brasil, deixando de fora quem já foi coletado com sucesso:
Na página about do Core, abra um periódico sem membros cadastrados: a seção mostra esse HTML. Abra um periódico que já tenha membros: a lista cadastrada continua, e o HTML coletado não a substitui.
Algum cenário de contexto que queira dar?
No SciELO Brasil,
revistas/{sigla}/pedboard.htmredireciona para/journal/{sigla}/about/#editors. O corpo editorial dessa página não usa oclass="titulo"do site clássico. A Revista de Saúde Pública segue a lista dentro da tabela. Cadernos de Saúde Pública e outros usam parágrafos ou marcadores. O recorte da âncora guarda esses miolos como estão. O México permanece no recorte clássico porque não entra no parâmetro.Screenshots
Não se aplica. A mudança é a coleta e o trecho de HTML exibido na seção que já existia.
Quais são os tickets relevantes?
Nenhum ticket vinculado.
Referências
https://{domínio}/revistas/{sigla}/{e|p|i}edboard.htmhttps://www.scielo.br/journal/{sigla}/about/#editorsSegurança da informação (NSI.04)
Este PR manipula dados sensíveis ou pessoais (LGPD)?
Este PR altera autenticação, autorização, controle de acesso ou gerenciamento de sessão?
Este PR introduz, atualiza ou remove dependências de terceiros?
curl_cffi==0.17.0, usado para buscar as páginas com o fingerprint do Chrome. A verificação no SBOM/Trivy fica para o pipeline deste PR.Este PR foi validado pelo pipeline de segurança (SonarQube / Trivy)?
Este PR concatena, monta ou executa comandos SQL, HTML ou JavaScript a partir de entrada externa?
{{ edboard_html|safe }}emjournalpage/includes/about/editorial_board.html. Não há sanitização. A origem é a página pública do periódico, não um campo preenchido por um visitante.Este PR expõe novos endpoints, telas ou serviços?
Algum segredo, senha, chave ou token está sendo adicionado ao código-fonte?
Made with Cursor