% ------------------------------------------------------------------------
% ------------------------------------------------------------------------
% ICMC: Modelo de Trabalho Acadêmico (tese de doutorado, dissertação de
% mestrado e trabalhos monográficos em geral) em conformidade com
% ABNT NBR 14724:2011: Informação e documentação - Trabalhos acadêmicos -
% Apresentação
% ------------------------------------------------------------------------
% ------------------------------------------------------------------------
% Opções:
% Qualificação = qualificacao
% Curso = doutorado/mestrado
% Situação do trabalho = pre-defesa/pos-defesa (exceto para qualificação)
% Versão para impressão = impressao
\documentclass[qualificacao,doutorado]{packages/icmc}
\usepackage{enumerate} % adicionei para permitir colocar (i) como um marcador
% ---------------------------------------------------------------------------
\usepackage{mdframed}
\usepackage[document]{ragged2e}
% Pacotes Opcionais
\usepackage{tcolorbox} %frame add em 31/10
\usepackage{framed}
\usepackage{lipsum}
\newenvironment{cframed}[1][gray]
{\begin{tcolorbox}[colframe=#1,colback=white]}
{\end{tcolorbox}}
\usepackage{colortbl}
% ---------------------------------------------------------------------------
%\usepackage{rotating} % Usado para rotacionar o texto
%\usepackage[all,knot,arc,import,poly]{xy}
%\usepackage{lettrine} %pacote para usar letra estilizada, recomendado pela M. Lydia
%\newcommand{\VerbL}{0.52\textwidth}
%\newcommand{\LatL}{0.42\textwidth}
% ---------------------------------------------------------------------------
\usepackage{multirow} % multilinhas
\usepackage{multicol} % multicolunas
\usepackage{pdfpages} %incluir pdf
% ---
% Informações de dados para CAPA e FOLHA DE ROSTO
% ---
% Tanto na capa quanto nas folhas de rosto apenas a primeira letra da primeira palavra (ou nomes próprios) devem estar em letra maiúscula, todas as demais devem ser em letra minúscula.
\tituloPT{Um template experimental para teses e dissertações do programa de pós-graduação em ciência da computação da UEM}
\tituloEN{An experimental template for theses and dissertations of the graduate program in computer science of UEM}
\autor[OliveiraJr, E.]{Edson OliveiraJr}
\genero{M} % Gênero do autor (M = Masculino / F = Feminino)
\orientador[Orientador]{Prof. Dr.}{LaTeX}
\iesorientador{Universidade Estadual de Maringá (DIN--UEM)}
\generoOR{M}
% se nao tiver coorientador, comentar as próximas 3 linhas!!
\coorientador[Coorientador]{Prof. Dr.}{Overleaf}
\iescoorientador{Universidade Federal do Paraná (DECOM--UFPR)}
\generoCOOR{F}
\curso{CCMC}
\data{21}{05}{2021} % Data do depósito
\idioma{PT} % Idioma principal do documento (PT = português / EN = inglês)
%========================= folha de aprovacao ==================================
%========================= só para Teses e Dissertações ===============================
% se for qualificacao, comentar todas as linhas dessa parte
\dataaprovacao{21 de Junho de 2021}
\localdefesa{Sala 101, Bloco C56, \textit{campus} sede, da Universidade Estadual de Maringá}
\bancauemnomeA{Joao da Silva}
\bancaueminstituicaoA{Universidade Estadual de Maringá (DEP--UEM)}
\generoUEMA{M}
\bancauemnomeB{Maria da Silva}
\bancaueminstituicaoB{Universidade Estadual de Maringá (DIN--UEM)}
\generoUEMB{F}
\bancaexternonomeA{Teresa de Jesus}
\bancaexternoinstituicaoA{Universidade de São Paulo (ICMC--USP)}
\generoExteriorA{F}
\bancaexternonomeB{Antonio Carlos}
\bancaexternoinstituicaoB{Universidade Estadual de Londrina (DC--UEL)}
\generoExteriorB{M}
%========================= folha de aprovacao ==================================
% ---
% ---
% RESUMOS
% ---
% Resumo em PORTUGUÊS
% conter no máximo 500 palavras
% conter no mínimo 1 e no máximo 5 palavras-chave
\textoresumo[brazil]{
\textbf{Contexto:} Sistemas conversacionais têm sido estudados e definidos para diferentes domínios. Um campo de estudos que têm investido esforços no seu desenvolvimento é o educacional. Estudos abordam a existência de vários sistemas com propósitos educacionais, atuando em diferentes frentes pedagógicas, conteúdos e ambientes. \textbf{Motivação:} Ainda que haja um forte apelo no desenvolvimento desse tipo de software, a atenção dos pesquisadores tem sido quase que exclusivamente em sua concepção e pouco interesse foi direcionado à avaliação do seu impacto nos processos de aprendizagem. Ao mesmo tempo, existem poucos relatos de experiências sobre implantações de agentes conversacionais em contextos reais de ensino, como escolas e cursos. A escassez de relatos pode indicar problemas na qualidade dos sistemas conversacionais educacionais. Em particular, estudos recentes que têm investigado esses sistemas na educação argumentam que existem falhas metodológicas nas avaliações realizadas. Esses problemas relacionam-se com a ausência de sistematização na análise da viabilidade desses sistemas como mecanismo de apoio ao ensino. A falta de padronização repercute por meio da cobertura de aspectos irregulares e não uniformes durante a avaliação e, sobretudo, na carência de um entendimento concreto sobre elementos que são fundamentais de serem avaliados. Tais problemas prejudicam a replicação dos estudos e a comparação entre os resultados obtidos nos estudos. \textbf{Hipótese:} Diante disso, acredita-se que um suporte metodológico ajudará os pesquisadores de agentes conversacionais no domínio educacional a projetar suas avaliações para conseguir obter evidências significativas sobre o seu impacto em determinadas situações e contextos de aprendizagem. \textbf{Objetivo:} Este projeto de doutorado tem a intenção de oferecer uma contribuição para a comunidade da área, por meio de um framework metodológico que guiará o usuário no planejamento, operação, condução e reporte de avaliações experimentais no contexto de sistemas conversacionais educacionais. \textbf{Resultados esperados:} O projeto prevê a definição de um vocabulário de experimentação, um corpo de conhecimento sobre variáveis e métricas, um conjunto de diretrizes para os pesquisadores mitigarem possíveis ameaças à validade dos estudos, um guia de experimentação e um sistema conversacional para auxiliar pesquisadores em estudos experimentais.
}{Agentes conversacionais, Avaliação de Software, Estudos baseados em Evidências, Estudos Experimentais}
% resumo em INGLÊS
% conter no máximo 500 palavras
% conter no mínimo 1 e no máximo 5 palavras-chave
\textoresumo[english]{
\textbf{Background:} Conversational systems have been studied and defined for different areas. One of those areas that have invested efforts in its development is the educational area. Many studies address the existence of several systems with educational purposes acting on different pedagogical fronts, contents, and environments. \textbf{Motivation:} Although there is a strong appeal in the development of this type of software, the researchers' attention has been almost exclusively in its conception and little interest has been directed to the evaluation of its impact on the learning processes. At the same time, there are few reports of experiences regarding the implantation of conversational agents in real teaching contexts, such as schools and courses. The scarcity of reports may indicate problems in the quality of educational conversational systems. In particular, recent studies that have investigated these systems in education argue that there are methodological flaws in the carried out evaluations. These problems are related to the lack of systematization in the analysis of the viability of these systems as a mechanism to support teaching. The lack of standardization has repercussions through the coverage of irregular and non-uniform aspects during the evaluation and in the absence of a concrete understanding of elements that are fundamental to be evaluated. Such problems limit the replication of the studies and the comparison among the results obtained in the studies. \textbf{Hypothesis:} Therefore, we believe that methodological support can help researchers who have been involved with conversational systems to support teaching-learning processes. \textbf{Objective:} This doctoral project intends to contribute to the community of the area through a methodological framework that will guide the user in the planning, operation, conduction, and reporting of experimental evaluations in the context of educational conversational systems. \textbf{Expected results:} The project provides for the definition of an experimentation vocabulary, a body of knowledge about variables and metrics, a set of guidelines for researchers to mitigate possible threats to the validity of studies, an experimentation guide, and a conversational system to assist researchers in experimental studies.
}{Conversational Agents, Software Evaluation, Evidence-based Studies, Experimental Studies}
% ----------------------------------------------------------
% ELEMENTOS PRÉ-TEXTUAIS
% ----------------------------------------------------------
% Inserir a ficha catalográfica
\incluifichacatalografica{tex/pre-textual/ficha-catalografica.pdf}
% DEDICATÓRIA / AGRADECIMENTO / EPÍGRAFE
\textodedicatoria*{tex/pre-textual/dedicatoria}
\textoagradecimentos*{tex/pre-textual/agradecimentos}
\textoepigrafe*{tex/pre-textual/epigrafe}
% Inclui a lista de figuras
\incluilistadefiguras
% Inclui a lista de tabelas
\incluilistadetabelas
% Inclui a lista de quadros
\incluilistadequadros
% Inclui a lista de algoritmos
\incluilistadealgoritmos
% Inclui a lista de códigos
\incluilistadecodigos
% Inclui a lista de siglas e abreviaturas
\incluilistadesiglas
% Inclui a lista de símbolos
\incluilistadesimbolos
% ----
% Início do documento
% ----
\begin{document}
% ----------------------------------------------------------
% ELEMENTOS TEXTUAIS
% ----------------------------------------------------------
{
\textual
}
\justifying
\chapter{Introdução}
\label{chapter:introducao}
\input{Textos_Quali/Introducao}
%\chapter{Agente Conversacional para o ensino de teste de software}
%\label{chapter:introducao}
%\input{Textos_Quali/Tob-stt}
\chapter{Evaluation of Brazilian Conversational Agents}
\noindent Este capítulo é constituído pelo artigo intitulado ``On the Experimental Process in Evaluations of Brazilian Conversational Agents in Education'', de autoria principal de Leo Natan Paschoal, Tayana Uchôa Conte e Simone do Rocio Senger de Souza (orientadoras do aluno). O artigo foi aceito para publicação no journal IEEE-RITA (qualis A3). No estudo, os autores fazem uma análise sobre como ocorrem as avaliações de agentes conversacionais com propósitos educacionais. Para o estudo, foram considerados agentes conversacionais apresentados como um novo produto ou objeto de estudo em teses e dissertações brasileiras. A análise foi feita tendo como base as \textit{guidelines} de \citeonline{Petersen:2015} e \citeonline{Kitchenham07} para condução de mapeamento sistemáticos na literatura. Os resultados do estudo reforçam a problemática discutida no capítulo introdutório deste projeto. Como o artigo envolve somente a comunidade nacional, em estudo a ser realizado no desenvolvimento deste projeto, serão considerados os estudos primários publicados na comunidade internacional. Salienta-se que a versão incluída no capítulo acompanha o idioma adotado no projeto e o texto segue a estrutura do journal.
\includepdf[pages=-]{Textos_Quali/Coletanea/Mapeamento.pdf}
\chapter{Conversational Agent for Software Testing}\noindent Este capítulo é constituído pelo artigo intitulado ``Towards a Conversational Agent to Support the Software Testing Education'', de autoria principal de Leo Natan Paschoal, Lucas Fernandes Turci (colaborador no desenvolvimento do agente conversacional), Tayana Uchôa Conte e Simone do Rocio Senger de Souza (orientadoras do aluno). O artigo foi publicado no Simpósio Brasileiro de Engenharia de Software (qualis A3). Nele, os autores apresentam o desenvolvimento do agente conversacional como um mecanismo de apoio ao ensino de técnicas e critérios de teste de software. São discutidos aspectos considerados no seu desenvolvimento, a concepção das bases de conhecimento do agente e uma avaliação sobre a qualidade da interação fornecida pelo agente conversacional. Essa avaliação se baseou em um conjunto de métricas proposta por \citeonline{abushawar2016}. Ainda, aspectos conceituais dos agentes conversacionais são abordados. Destaca-se que a versão incluída no capítulo segue o idioma adotado no projeto e o texto adere a estrutura utilizada pela conferência.
\includepdf[pages=-]{Textos_Quali/Coletanea/Tob.pdf}
\chapter{Conversational Agent in Software Testing Lessons}\noindent Este capítulo é constituído pelo artigo intitulado ``Evidences on the Educational Support offered by a Conversational Agent in Software Testing Lessons '', de autoria principal de Leo Natan Paschoal, Vânia de Oliveira Neves (colaboradora), Silvana Morita Melo (colaboradora), Tayana Uchôa Conte e Simone do Rocio Senger de Souza (orientadoras do aluno). O artigo foi submetido para parecer e publicação no journal IEEE-RITA (qualis A3). Nele, os autores fazem um estudo experimental sobre a eficácia do apoio oferecido pelo agente conversacional TOB--STT em aulas de teste de software. No estudo, os autores consideraram o processo de \citeonline{Wohlin} e, ao final do estudo, compartilharam que problemas existem e que algumas ameaças à validade não foram mitigadas, passando a se tornar limitações associadas ao estudo. Os resultados do estudo oferecem discussões importantes que amparam e indicam a necessidade de novos estudos e evoluções no TOB--STT. Salienta-se que a versão incluída no capítulo acompanha o idioma adotado no projeto e o texto segue a estrutura do journal.
\includepdf[pages=-]{Textos_Quali/Coletanea/ExperimentoTob.pdf}
\chapter{Plano de Trabalho}
\label{chapter:config-pre-textual}
\input{Textos_Quali/PlanoDeTrabalho}
% ---
% Finaliza a parte no bookmark do PDF, para que se inicie o bookmark na raiz
% ---
\bookmarksetup{startatroot}%
% ---
% ----------------------------------------------------------
% ELEMENTOS PÓS-TEXTUAIS
% ----------------------------------------------------------
\postextual
% ----------------------------------------------------------
% Referências bibliográficas
% ----------------------------------------------------------
\bibliography{references}
% ---------------------------------------------------------------------
% GLOSSÁRIO
% ---------------------------------------------------------------------
% ----------------------------------------------------------
% Apêndices
% ---------------------------------------------------------
% ----------------------------------------------------------
% Anexos
% ----------------------------------------------------------
% ---
\end{document}