Aprimora o tratamento de erros robusto no pipeline de ingestão de artigos

[robertatakenaka]

O que esse PR faz?

Este PR introduz tratamento de erros robusto no pipeline de ingestão de artigos via XML (RequestXMLException, status URL_ERROR/XML_ERROR, modelo XMLURL, refatoração de deduplicação). O presente PR constrói sobre essa base e consolida o pipeline de processamento de artigos, eliminando a fragmentação das tasks Celery de orquestração.

Problemas resolvidos (este PR):

• Falhas de rede e erros de XML durante a ingestão não eram registrados com granularidade suficiente, impossibilitando retentativas seletivas.
• Conteúdo de URLs problemáticas era perdido; agora é preservado em arquivos ZIP via modelo XMLURL.
• Lógica de identificação de PIDs duplicados e pkg_name estava dispersa; foi centralizada no PidProviderXML.
• Viewsets fragmentados foram centralizados em core/views.py.
• Lógica de seleção de artigos duplicada em seis tasks distintas (task_select_articles_to_complete_data, task_select_articles_to_load_from_api, task_select_articles_to_load_from_collection_endpoint, task_load_articles, task_load_journal_articles, task_select_articles_to_load_from_article_source), cada uma reimplementando filtros por coleção, periódico e data de forma independente.
• Etapas request_xml e request_pid em add_pid_provider reexecutadas desnecessariamente mesmo quando já concluídas com sucesso — agora integradas com os novos status do PR anterior para decisão de skip.
• Exceções PidProviderXML.DoesNotExist não tratadas explicitamente em is_pp_xml_valid, provide_pid_for_opac_and_am_xml e _iter_from_article.
• URLs compostas sem protocolo ao concatenar collection.domain diretamente nos índices Solr.
• Índices Solr sem campos relevantes para filtragem: ISSN oficial, licença, afiliação, status OA, bases de indexação e Crossmark.

Funcionalidades adicionadas (este PR):

• ArticleIteratorBuilder em controller.py: encapsula em um único objeto iterável os quatro modos de seleção de artigos (pid_provider, article, harvest, article_source), ativáveis simultaneamente via argumentos, e tira proveito dos novos status de erro introduzidos no PR anterior para filtrar ArticleSource com precisão.
• task_dispatch_articles: orquestradora unificada que delega a seleção ao ArticleIteratorBuilder e dispara task_process_article_pipeline para cada item.
• task_process_article_pipeline: consolida os três fluxos de entrada (XML URL → ArticleSource → PidProviderXML → Article; ArticleSource existente; PidProviderXML direto) em uma única task atômica.
• cached_property base_url em Collection: retorna o domain com protocolo https:// quando ausente, corrigindo URLs nos índices Solr.

---

Onde a revisão poderia começar?

Recomenda-se seguir a ordem abaixo, que respeita a cadeia de dependências entre os dois PRs:

1. pid_provider/models.py — modelo XMLURL e refatoração de deduplicação (base do PR anterior): entender como falhas são persistidas e como duplicatas são identificadas.
2. pid_provider/sources/harvesting.py — tratamento de DoesNotExist e return None adicionados: ponto de integração entre os dois PRs.
3. article/models.py — método add_pid_provider com verificações de estado (has_valid_file, has_pid_provider) e is_pp_xml_valid com DoesNotExist tratado: confirmar que os novos status URL_ERROR/XML_ERROR do PR anterior são corretamente considerados nas decisões de skip.
4. article/controller.py — classe ArticleIteratorBuilder: entender os quatro iteradores e a lógica de encadeamento via __iter__.
5. article/tasks.py — funções task_dispatch_articles e task_process_article_pipeline: verificar se os três fluxos de entrada do pipeline estão corretos e se o tratamento de erro cobre todos os casos.

---

Como este poderia ser testado manualmente?

Pré-requisitos: ambiente local com Docker, banco populado com ao menos um PidProviderXML com proc_status = todo e uma coleção cadastrada.

Cenário 1 — falha de XML com preservação em ZIP (PR anterior):

# Carregar artigo com URL inválida
python manage.py shell -c "
from article.models import ArticleSource
from django.contrib.auth import get_user_model
u = get_user_model().objects.first()
src = ArticleSource.objects.create(url='https://url-invalida.scielo.br/artigo.xml')
src.add_pid_provider(user=u)
print(src.status, src.detail)
# Verificar se XMLURL foi criado com arquivo ZIP
from pid_provider.models import XMLURL
print(XMLURL.objects.filter(url=src.url).exists())
"
# Esperado: status url_error, XMLURL criado com conteúdo preservado

Cenário 2 — reprocessamento parcial sem repetir etapa concluída:

python manage.py shell -c "
from article.models import ArticleSource
from django.contrib.auth import get_user_model
u = get_user_model().objects.first()
# ArticleSource com arquivo já baixado mas sem pid_provider_xml
src = ArticleSource.objects.filter(pid_provider_xml__isnull=True).exclude(file='').first()
src.add_pid_provider(user=u, force_update=False)
print(src.status, src.detail)
"
# Esperado: status COMPLETED, detail contendo 'request_xml skipped (file already exists)'

Cenário 3 — fluxo padrão via pid_provider:

python manage.py shell -c "
from article.tasks import task_dispatch_articles
from django.contrib.auth import get_user_model
u = get_user_model().objects.first()
result = task_dispatch_articles(username=u.username, collection_acron_list=['scl'])
print(result)
"
# Esperado: {'status': 'success', 'dispatched': N, 'skipped': 0}

Cenário 4 — múltiplas fontes simultâneas:

python manage.py shell -c "
from article.tasks import task_dispatch_articles
from django.contrib.auth import get_user_model
u = get_user_model().objects.first()
result = task_dispatch_articles(
    username=u.username,
    proc_status_list=['todo'],
    data_status_list=['invalid'],
    article_source_status_list=['error'],
)
print(result)
"
# Esperado: dispatched > 0, sem exceções

Cenário 5 — deduplicação (PR anterior):

python manage.py shell -c "
from pid_provider.models import PidProviderXML
# Registrar dois artigos com mesmo pkg_name e verificar marcação
dupes = PidProviderXML.objects.values('pkg_name').annotate(
    total=__import__('django.db.models', fromlist=['Count']).Count('id')
).filter(total__gt=1)
print(list(dupes))
"
# Esperado: duplicatas identificadas e marcadas corretamente

Cenário 6 — verificação dos índices Solr:

python manage.py update_index --using=default
# Consultar no Solr Admin UI: http://localhost:8983/solr/#/scielo/query
# Campos a verificar: issn, license, open_access, indexed_at, crossmark_active
# Verificar que URLs em fulltext_pdf_* e fulltext_html_* iniciam com https://

Cenário 7 — limpeza de tasks obsoletas:

python manage.py shell -c "
from bigbang.tasks_scheduler import delete_outdated_tasks
delete_outdated_tasks()
"
# Verificar no Django Celery Beat (admin /django-celery-beat/periodictask/)
# que tasks como task_load_articles e task_select_articles_to_complete_data
# não aparecem mais na listagem

Testes automatizados:

python manage.py test pid_provider.test_models
python manage.py test article.tests

---

Algum cenário de contexto que queira dar?

O pipeline de artigos cresceu organicamente ao longo de múltiplos ciclos de desenvolvimento. O PR anterior atacou a camada de resiliência — garantindo que falhas de rede e erros de XML fossem registrados, preservados e recuperáveis. Este PR ataca a camada de orquestração — que havia acumulado seis tasks com sobreposição de responsabilidades, cada uma reimplementando os mesmos filtros de forma independente.

A integração entre os dois PRs é direta: add_pid_provider agora decide se pula request_xml ou request_pid com base no estado do objeto, que por sua vez pode ter sido marcado com URL_ERROR ou XML_ERROR pelo mecanismo introduzido no PR anterior. O ArticleIteratorBuilder usa ArticleSource.get_queryset_to_complete_data com os novos status para selecionar apenas os registros que realmente precisam de reprocessamento.

O bug de URLs sem protocolo nos índices Solr era silencioso — registros eram indexados com www.scielo.br/scielo.php?... em vez de https://www.scielo.br/scielo.php?..., causando falhas apenas no momento de uso pelo cliente de busca.

---

Screenshots

Não aplicável — alterações em tasks Celery, modelos e índices Solr sem impacto direto na interface gráfica.

---

Quais são tickets relevantes?

• Continuação direta do PR não mesclado: Melhoria de resiliência e rastreabilidade do processo de ingestão de artigos via XML (tratamento de erros, XMLURL, deduplicação, centralização de Viewsets).

---

Referências

• [Celery best practices — task granularity](https://docs.celeryq.dev/en/stable/userguide/tasks.html#granularity)
• [Django iterator() para querysets grandes](https://docs.djangoproject.com/en/5.0/ref/models/querysets/#iterator)
• [cached_property — Django](https://docs.djangoproject.com/en/5.0/ref/utils/#django.utils.functional.cached_property)
• [Haystack SearchIndex fields](https://django-haystack.readthedocs.io/en/master/searchindex_api.html)

[Copilot]

Pull request overview

This PR extends the XML ingestion resiliency work by consolidating the article processing/orchestration flow (Celery) and persisting richer failure metadata (including preserving failing XML content), while also expanding journal/Crossmark support and improving i18n and Solr indexing.

Changes:

• Consolidates article ingestion orchestration into unified iterator + dispatch/pipeline tasks, and introduces/uses URL/XML error statuses to enable selective retries.
• Adds XMLURL persistence (including ZIP preservation of fetched XML) and refactors PID Provider lookup/dedup helpers.
• Expands journal/Crossmark policy admin + API exposure, improves Solr index fields, and introduces configurable HomePage footer sponsors + broader template i18n.

Reviewed changes

Copilot reviewed 51 out of 52 changed files in this pull request and generated 8 comments.

Show a summary per file

File	Description
researcher/models.py	Lattes identifier extraction/normalization changes in ResearcherIds.
requirements/base.txt	Bumps packtools version.
pid_provider/wagtail_hooks.py	Updates CommonControlFieldViewSet import location.
pid_provider/test_models.py	Adds tests for new XMLURL behavior and BasePidProvider failure/success flows.
pid_provider/sources/harvesting.py	Uses new PID lookup helper and makes return behavior explicit.
pid_provider/models.py	Adds XMLURL model + zip storage, refactors PID lookup/dedup logic, extends file path limits.
pid_provider/migrations/0015_alter_xmlversion_file_xmlurl.py	Migration for XMLVersion file length and new XMLURL table.
pid_provider/base_pid_provider.py	Adds XMLURL-based failure persistence + refactors error handling paths.
organization/REFACTORING.md	Removes refactoring documentation file.
location/models.py	Minor __str__ / __unicode__ formatting changes.
locale/es/LC_MESSAGES/django.po	Updates Spanish translation for “Publisher”.
journalpage/templates/journalpage/journal_page.html	Adds {% trans %} for multiple static strings.
journalpage/templates/journalpage/includes/share.html	Translates “Imprimir”.
journalpage/templates/journalpage/includes/levelMenu.html	Translates menu labels/strings.
journalpage/templates/journalpage/includes/journal_info.html	Translates journal info labels.
journalpage/templates/journalpage/includes/header.html	Translates header dropdown entries.
journalpage/templates/journalpage/includes/footer.html	Adds i18n and blocktrans for footer text.
journalpage/templates/journalpage/includes/contact_footer.html	Adds i18n and translates contact/footer strings.
journalpage/templates/journalpage/base.html	Translates modal strings and “Reportar erro”.
journalpage/templates/journalpage/about.html	Translates “Atualizado”.
journal/wagtail_hooks.py	Adds CrossmarkPolicy admin (filtered by user permissions) + tweaks list displays/filters.
journal/tasks.py	Extends ArticleMeta journal load tasks to support journal_issn_list.
journal/sources/article_meta.py	Refactors journal fetch/store and allows targeted ISSN processing.
journal/proxys.py	Adds Crossmark policy inline panels to journal proxy editors/policy panels.
journal/models.py	Adds crossref_configuration FK, introduces CrossmarkPolicy model + related helpers, adjusts panels and logo URL logic.
journal/migrations/0058_remove_journal_doi_prefix_journal_crossref_configuration.py	Migrates legacy doi_prefix into CrossRefConfiguration FK then removes old field.
journal/migrations/0057_crossmarkpolicy.py	Creates CrossmarkPolicy model.
journal/choices.py	Adds UPDATE_POLICY_TYPE choices list.
journal/api/v1/views.py	Adds CrossmarkPolicy endpoint + optimizes queryset prefetching.
journal/api/v1/serializers.py	Adds CrossmarkPolicySerializer and exposes crossmark policies + doi_prefix via FK.
issue/test_format_code_sections.py	Adds unit tests ensuring toc-driven section formatting.
issue/tasks.py	Renames task function and updates UnexpectedEvent action strings.
issue/formats/articlemeta_format.py	Switches code section output source to table_of_contents.
docs/EDITORIAL_BOARD_FORM_IMPROVEMENTS.md	Removes documentation file.
core/viewsets.py	Removes CommonControlFieldViewSet from this module.
core/views.py	Moves/introduces CommonControlFieldViewSet into views module.
core/templates/home/scieloorg/footer.html	Renders footer sponsors dynamically with Wagtail images + fallback to static logos.
core/home/models.py	Adds HomePageSponsor orderable model + InlinePanel on HomePage.
core/home/migrations/0014_homepagesponsor.py	Creates HomePageSponsor table.
core/home/context_processors.py	Adds global context processor to provide footer_sponsors.
config/settings/base.py	Registers sponsors context processor; changes profiling logger handler.
config/api_router.py	Registers crossmarkpolicy API route.
compose/local/django/Dockerfile	Runs container as non-root django user with configurable UID.
collection/models.py	Adds base_url (protocol-safe) and normalizes stored domain.
bigbang/tasks_scheduler.py	Removes obsolete article task schedules and replaces with unified dispatch task; updates issue schedule name.
article/tasks.py	Introduces unified dispatch + pipeline task; removes fragmented selection/load tasks; expands docstrings.
article/sources/xmlsps.py	Uses new PID lookup helper and reduces repeated xml_with_pre access.
article/search_indexes.py	Adds new Solr fields and fixes URL building with protocol-safe collection.base_url.
article/models.py	Adds URL/XML error statuses, refactors ArticleSource pipeline with skip logic, adds autocomplete helpers.
article/migrations/0048_alter_articlesource_status.py	Adds URL_ERROR/XML_ERROR to ArticleSource status choices.
article/controller.py	Adds ArticleIteratorBuilder to unify selection logic across multiple sources.

---

💡 Add Copilot custom instructions for smarter, more guided reviews. Learn how to get started.

[Copilot]

_handle_pid_provider_failure reads response["error_message"], but PidProviderXML.register() populates "error_msg" (and not "error_message") on exceptions. As written, XMLURL.exceptions will frequently record "Unknown error" and lose the real failure detail. Read from "error_msg" (and/or support both keys) when formatting the stored error.

[Copilot]

This template uses {% if loop.last %}, but Django templates use forloop.last ("loop" is a Jinja variable). As-is, this will raise a TemplateSyntaxError / never render as intended. Replace with {% if forloop.last %}.

[Copilot]

ResearcherIds.save() normalizes LATTES identifiers via extract_lattes() but does not validate the normalized value before saving. Since model.save() may be called without full_clean(), this can persist invalid identifiers (e.g., URLs without a 16-digit ID). Call validate_lattes(clean_value) (or run full_clean()) before assigning/saving, similar to the EMAIL path.

[Copilot]

ArticleIteratorBuilder.iter always yields from _iter_from_harvest() and _iter_from_article_source() regardless of which selector args were provided. This contradicts the class docstring (which says these iterators should only be active when their exclusive args are present) and can cause an unexpected full harvest of all collections + extra dispatch duplicates on every run. Gate each iterator behind the intended activation condition (or compute an explicit list of active iterators) so the default path only iterates from PidProviderXML.

Suggested change

	yield from self._iter_from_harvest()
	yield from self._iter_from_article_source()
	yield from self._iter_from_pid_provider()
	yield from self._iter_from_article()
	"""
	Seleciona o iterador apropriado de acordo com os argumentos
	exclusivos fornecidos no construtor, conforme documentado na
	tabela da docstring da classe.
	Prioridade / mapeamento:
	- opac_url -> _iter_from_harvest
	- article_source_status_list -> _iter_from_article_source
	- data_status_list -> _iter_from_article
	- nenhum -> _iter_from_pid_provider (padrão)
	"""
	if self.opac_url:
	yield from self._iter_from_harvest()
	elif self.article_source_status_list:
	yield from self._iter_from_article_source()
	elif self.data_status_list:
	yield from self._iter_from_article()
	else:
	yield from self._iter_from_pid_provider()

[Copilot]

task_process_article_pipeline assumes ArticleSource.create_or_update()/add_pid_provider always sets pid_provider_xml and then unconditionally accesses article_source.pid_provider_xml.id. But add_pid_provider swallows URL/XML errors and may leave pid_provider_xml unset (status url_error/xml_error), which will raise AttributeError here and turn a handled ingestion failure into a task crash. After creating/updating the ArticleSource, check for pid_provider_xml (and/or is_completed/status) and return a structured error/skip result instead of dereferencing blindly.

[Copilot]

XMLURL.create()/create_or_update() assumes URL collisions will raise IntegrityError and that URL is unique, but the model/migration do not define url as unique. This can silently create duplicates; later create_or_update() will start raising MultipleObjectsReturned from XMLURL.get(url=...). Add a uniqueness constraint for url (or implement deterministic upsert logic that can handle duplicates) and adjust create() accordingly.

[Copilot]

xml_url_zipfile_path uses Python's built-in hash(instance.url) to build the upload path. Python hash randomization means the same URL can map to different directories across processes/restarts, making paths non-deterministic and harder to debug/migrate. Use a stable hash (e.g., sha1/md5 of the URL string) or derive a safe slug instead.

[robertatakenaka]

fechado por aparentemente conter mudanças de outros pr