Modo "Imagem em Imagem" (PiP)#

Modo PiP é um modo especial de conexão ao seu próprio computador via protocolo RDP, permitindo trabalhar em uma mini-janela ao mesmo tempo que na janela principal da sessão. Por exemplo, o Usuário pode interagir com a interface web enquanto o Robô executa suas Tarefas em outra janela.

1. Principais recursos do modo PiP#

Multitarefa: interação simultânea com vários aplicativos (possível nos casos em que isso é suportado pelo próprio aplicativo; muitos programas não permitem a execução de várias instâncias ao mesmo tempo).

Aumento da eficiência: o Robô é capaz de interagir com os aplicativos de forma a não interferir no Usuário.

O modo PiP permite interagir simultaneamente com as interfaces do Robô e do Usuário em uma única tela. Isso significa que:

• O Robô pode executar suas tarefas em segundo plano em uma janela separada.
• O Usuário pode, ao mesmo tempo, gerenciar a interface, inserir dados, clicar em elementos na tela ou visualizar informações.

Suponha que o Usuário tenha scripts automatizados em execução e também precise verificar ou alterar algo manualmente. Graças ao modo PiP, tudo acontece em uma única tela, com a possibilidade de alternar ou sobrepor.

• A interface ativa é a interface que está sendo controlada no momento. Por exemplo, o Usuário clica com o mouse na janela ativa.
• Ações automatizadas são a interface onde as ações podem ser executadas pelo Robô, seja em segundo plano ou paralelamente ao controle manual.
• No modo PiP, o controle do mouse do sistema frequentemente alterna ou é simulado para janelas específicas.
• Ao clicar ou mover o mouse, o Usuário controla diretamente a janela ativa atual, enquanto o Robô, se estiver em execução, pode trabalhar em outra janela.
• Em alguns cenários, o bloqueio do mouse é utilizado.

No modo PiP, é possível configurar a alternância automática das janelas principais ou operar em modo "sincronizado" — isso depende do cenário.

2. Configurando o Robô para trabalhar no modo PiP#

Para um funcionamento correto no modo PiP, é necessário seguir os seguintes passos:

2.1. Configuração da política de grupo#

• Abra o Editor de Política de Grupo Local.
• Navegue até: `Configuração do Computador` → `Modelos Administrativos` → `Sistema` → `Delegação de Credenciais`.
• Ative a opção: Permitir delegar credenciais padrão.
• Certifique-se de que está definido como Habilitado.

2.2. Configuração dos direitos do Usuário#

O Usuário precisa de direitos:

• `Permitir Logon Localmente`
• `Acessar este computador pela rede`

Essas políticas podem ser definidas através de `Configurações do Computador` → `Configurações do Windows` → `Configurações de Segurança` → `Políticas Locais` → `Atribuição de Direitos do Usuário`.

Para ativar o modo PiP, são necessários direitos de administrador. Após sua ativação, qualquer Usuário poderá usar o modo PiP sem a necessidade de ter direitos de administrador.

3. Iniciando o Robô no modo PiP#

O Robô no modo PiP pode ser iniciado de duas maneiras:

3.1. Através da interface do Sherpa Designer:#

O Usuário pode iniciar no modo PiP através do bloco "Iniciar robô" no Sherpa Designer. Para isso, ele deve:

1) Na barra "Depuração", clicar no botão .

2) Clicar em "Iniciar no modo PiP (Imagem em Imagem)":

3) Confirmar a ação clicando no botão “Sim”:

Para um funcionamento correto com navegadores, certifique-se de que o navegador não esteja sendo executado na sessão principal, caso contrário, o Robô não conseguirá interagir com ele.

3.2. Através da interface do Sherpa Assistant:#

O Usuário pode iniciar no modo PiP através do Sherpa Assistant, para isso:

1) Na janela "Robôs", selecionar o Robô desejado e clicar no botão :

Configurações de inicialização do cliente PiP:

• “Sempre iniciar no modo cliente PiP” – ao ativar esta opção, o Robô sempre será iniciado com a interface do cliente PiP visível para o Usuário.
• “Sempre iniciar cliente PiP bloqueado” – o Robô é iniciado em estado bloqueado (a interface do cliente PiP está aberta, mas o Usuário não pode influenciar o funcionamento do Robô).
• “Sempre iniciar cliente PiP em modo oculto” – o Robô é iniciado, mas a janela do cliente PiP está oculta e não é exibida na tela.

2) Ativar o modo desejado e definir as teclas de atalho:

Para acessar os Processos sincronizados com o Orquestrador, é necessário realizar a autenticação através do Usuário.

Para isso, é necessário:

• no menu do Sherpa Assistant na bandeja, selecionar a opção “Robôs”:

• na parte superior da janela, clicar no botão “Configurações”:

• na janela pop-up “Configurações”, inserir login e senha:

• clicar no botão “OK”.

Após o login, os Processos sincronizados com o Orquestrador estarão disponíveis para o Usuário:

Eles também podem ser vistos na tela Processos:

3.3. Recomendações e limitações importantes1) Ao trabalhar em modo normal, o Usuário pode interferir no Trabalho do Robô, especialmente se várias abas e/ou aplicativos estiverem abertos na tela. Para resolver esse problema, no modo PiP, foi configurada a função de Bloqueio do Mouse.#

O Bloqueio do Mouse permite evitar cliques acidentais do mouse durante o Trabalho do Robô. No entanto, vale ressaltar que essa função pode criar dificuldades para o próprio Robô, por exemplo, se for necessário interagir com a interface. Nesse caso, o Robô não conseguirá executar todas as ações necessárias.

2) Se o Usuário tiver problemas com seletores ao iniciar um aplicativo Java no modo PiP, recomenda-se verificar a resolução da janela que se abre no Log do Robô no caminho:

c:\Users\User\AppData\Roaming\Sherpa RPA Data\!PiPClient\Log\

3) Se o Outlook estiver aberto na área de trabalho principal, pode ocorrer um erro para o Robô que está operando no modo PiP. Não é possível trabalhar com duas instâncias do Outlook ao mesmo tempo. O Usuário deve escolher onde é mais conveniente trabalhar: no PiP ou na área de trabalho principal.

As limitações atuais surgem devido ao funcionamento do objeto COM do Outlook, que pode se conectar apenas à primeira instância do aplicativo. Se o Usuário estiver usando Exchange no sistema, pode-se tentar estabelecer uma interação direta com ele.

3.4. Automação de aplicativos em modo invisível#

A automação de aplicativos, como Power BI, pode ser efetivamente realizada em modo invisível usando a tecnologia PiP.

A implementação do modo PiP é feita através das configurações do Usuário, proporcionando uma maneira mais conveniente e eficiente de gerenciar a automação. Para obter mais informações detalhadas e instruções passo a passo sobre a configuração, você pode consultar a documentação da Microsoft.

4. Cenários de uso#

4.1. Exemplo 1: script automático com cliques + entrada manual#

• O Robô executa uma série de cliques na interface (por exemplo, em botões na página da web).
• O Usuário insere novos dados ou verifica o resultado, controlando a interface manualmente.

Implementação

O Robô é iniciado no modo PiP com controle ativo do mouse em uma área específica, enquanto o próprio Usuário pode, por exemplo, clicar em outros elementos ou inserir texto.

4.2. Exemplo 2: teste e automação da interface#

• O Robô testa automaticamente a interface do programa.
• Enquanto o script está em execução, o Usuário (testador) observa e intervém se necessário (por exemplo, para parar o script ou corrigir o script).

Implementação

Implementação de monitoramento e pausa:

• Ativação do modo de observação — o script é demonstrado na janela PiP.
• Implementação de botões "Pausar", "Parar", "Continuar", se o script aguardar confirmação ou intervenção manual.
• Implementação de verificações automáticas (por exemplo, busca de texto ou imagens para confirmar a conclusão bem-sucedida das etapas).

Tratamento de erros e situações incorretas:

• Adição de verificações ao script (por exemplo, para a presença de um elemento, para a execução bem-sucedida de uma ação).
• Adição de notificação de parada em caso de erro, ou configuração de tentativa automática de reinício.

Conclusão do teste e coleta de relatórios:

Geração de logs, capturas de tela ou relatórios.

Coleta de estatísticas.

5. Alternância de controle#

No modo PiP, é possível configurar o sistema para que o Robô execute ações paralelamente ao Usuário, ou, inversamente, alternar o controle (por exemplo, para que o Robô trabalhe enquanto o Usuário não o parar forçosamente).

5.1. Trabalho paralelo do Robô e do Usuário#

Nesse caso, o Robô e o Usuário trabalham de forma independente e simultânea — o Robô executa ações automáticas, enquanto o Usuário pode intervir ou controlar a interface manualmente. Para trabalho paralelo, inicie as ações automáticas em segundo plano (por exemplo, em uma thread separada).

5.2. Alternância de controle entre o Robô e o Usuário#

Nesse caso, o Robô primeiro controla a interface, e depois o Usuário pode assumir o controle do Robô, ou vice-versa. Para alternar o controle, implemente uma flag ou um interruptor que pare a execução automática ou a ative, permitindo gerenciar o script manualmente ou automaticamente.

6. Exemplos de cenários de trabalho do PiP na prática#

7. FAQ sobre o modo PiP#

Pergunta: É possível executar dois Robôs simultaneamente no modo PiP?

Resposta: Não. No modo PiP, apenas um Robô pode ser executado. Posteriormente, esse Robô poderá iniciar outros Robôs em segundo plano.

Pergunta: O que fazer se o Robô não conseguir interagir com a interface?

Resposta: Verifique a janela ativa, permissões de acesso, presença de seletores. Muitas vezes, isso está relacionado a configurações incorretas ou bloqueios.

Pergunta: É possível trabalhar no PiP com navegadores?

Resposta: O navegador deve ser executado apenas em uma instância no modo PiP, caso contrário, o plugin não conseguirá trabalhar com o Robô.