Palestra - Plone - Alinhamento de LLMs: O Que É e Principais Técnicas

10 Dec 2024

Reading time ~2 minutes

Esta apresentação foi pensada como um sobrevoo rápido, não como um curso completo. O objetivo é dar vocabulário e mapa mental suficientes para alguém que já está construindo sistemas com LLMs perceber que “fazer o modelo funcionar” e “fazer o modelo responder de forma útil, segura e previsível” são problemas diferentes. Esse segundo problema é justamente o alinhamento.

Capítulos por assunto

00:00 Abertura e definicao pratica de alinhamento
04:57 Prompts, objetivos e onde os modelos falham
09:58 Jailbreaks, seguranca e usos maliciosos
15:00 Camadas de intervencao: prompt, prompt tuning e fine-tuning
24:57 Instruction tuning, reward models e RLHF
33:54 RAG, embeddings e guardrails em producao
39:00 Perguntas finais e trade-offs

Na fala eu começo definindo alinhamento da maneira mais pragmática possível: dado que existem muitas respostas aceitáveis para a mesma pergunta, como forçar o modelo a responder do jeito que interessa ao sistema, ao produto ou ao usuário? A partir daí, a palestra percorre os principais riscos que aparecem em produção, como vazamento de informação, respostas perigosas, inconsistência, viés e comportamentos absurdos que destroem a confiança no sistema.

O valor prático do vídeo está em organizar as técnicas por famílias. Eu passo por prompt engineering, prompt learning, parameter-efficient fine-tuning, instruction tuning, continued pre-training, representation engineering, sparse autoencoders, guardrails, human in the loop e RLHF. A ideia não é provar que uma delas resolve tudo, mas mostrar quando cada abordagem atua fora do modelo, quando mexe nos pesos, quando cria uma camada de policiamento e quando tenta intervir direto na representação interna do conceito.

Também tem uma parte boa de exemplos concretos de falha, incluindo respostas perigosas ou absurdas e casos de viés em geração de imagem. Isso ajuda a manter a conversa no terreno correto: alinhamento não é só um detalhe acadêmico ou um “acabamento” de UX, mas uma parte do trabalho de segurança, produto e responsabilidade de quem põe modelos no mundo.

Transcription (experimental) 395 trechos · 4 vozes

Fonte: YouTube

00:20 Um dois.
00:31 SPEAKER_01 Só deixa eu dar duas oficialmente.
00:45 SPEAKER_01 E pessoal, boa tarde, bem-vindo de volta aí, depois do almoço.
00:50 SPEAKER_01 Tem um cafezinho ali, acho que ele na lanchonete ali, para quem está precisando aí, né?
00:54 SPEAKER_01 Daquele soninho depois.
00:56 SPEAKER_01 Mas, beleza, pessoal, vamos apresentar aqui o Breno Brito.
00:59 SPEAKER_01 Ele vai falar agora sobre aliamento de LLMs, o que é, e as principais técnicas.
01:05 SPEAKER_01 Ele é engenheiro de ML de Machine Learning, empreendedor e autor, com foco na interseção entre Bitcoin, inteligência artificial e finanças.
01:14 SPEAKER_01 Então, vamos dar uma salva de palmas aí para receber o Breno.
01:20 SPEAKER_02 E aí, gente, tudo bom?
01:24 SPEAKER_02 Então, muito obrigado aí pela introdução.
01:28 SPEAKER_02 A ideia dessa palestra aqui é bem simples.
01:35 SPEAKER_02 Não tem só30 minutinhos aqui de conversa e depois mais10 de perguntas.
01:40 SPEAKER_02 Então, a ideia vai ser só um purpurri ali, passar por cima, para vocês terem um conhecimento por alto das principais técnicas para depois, quando vocês forem trabalhar com isso, vocês saberem o que pesquisar.
01:54 SPEAKER_02 Tem muita gente que já parte direto para a programação e vai montando.
01:58 SPEAKER_02 Para programação e vai montando, vai criando sistema e depois nem sabe as técnicas que.
02:06 SPEAKER_02 Oi, está melhor agora?
02:08 SPEAKER_02 Então, muita gente vai fazendo tudo e nem sabe das técnicas que já existem e que funcionam muito bem, que eles podereriam estar usando.
02:17 SPEAKER_02 Então, essa é a ideia aqui.
02:19 SPEAKER_02 Beleza?
02:20 SPEAKER_02 Então,brigadão aí pela Plone Python Serrado, por isso aí.
02:25 SPEAKER_02 Eu sou cientista de dados, sou.
02:29 SPEAKER_02 Eu trabalho hoje como cientista de dados sêniers na Bipa, trabalhei também como engenheiro de machine learning no Spirit of Satoshi, cientista de dados do mercado Bitcoin, trabalho com Bitcoin na indústria de Bitcoin desde2017, na área de dados.
02:44 SPEAKER_02 Inclusive, tem um livro publicado aí, ganhei o hackathon, meu hackathon que eu ganhei ano passado, foi usando uma LLM para fazer smart contract de Bitcoin.
02:54 SPEAKER_02 Enfim, só para dar uma overview aí rapidinho de quem sou eu.
02:59 SPEAKER_02 Quem quiser falar comigo depois, mandar falar no Twitter ou alguma coisa assim, ter uns contatos ali no final.
03:08 SPEAKER_02 Então, para começar, todo mundo sabe o que é uma rede neural, o que é uma LLM, alguém não sabe, levanta a mão, quem não sabe quem, tipo.
03:17 SPEAKER_02 Beleza.
03:19 SPEAKER_02 Então, a maioria que já sabe, o.
03:24 SPEAKER_02 LLM é uma rede neural, uma rede neural é um conjunto de neurônios.
03:29 SPEAKER_02 O neurônio, ele foi o neurônio artificial, ele foi um modelo matemático para simular o neurônio nosso mesmo da cabeça.
03:38 SPEAKER_02 Então, se você vê aqui, não sei se vocês lembram do livro de biologia, ele parece ali o axiônio com os nedritos, mas esse é um modelo matemático, é basicamente uma multiplicação com uma depois uma função não linear.
03:57 SPEAKER_02 É
03:56 SPEAKER_02 Não linear.
03:59 SPEAKER_02 A gente não precisa entrar em detalhes aqui, mas quando você pegue esse perceptrum, que é o neurônio, e você coloque ali na rede neural, você junta vários deles para criar uma rede neural, você criou um aproximador universal.
04:15 SPEAKER_02 Ou seja, você tem uma entrada, você tem uma saída, e você consegue aproximar qualquer função.
04:21 SPEAKER_02 E isso que dá a força da rede neural, isso que faz as redes neurais serem algo tão poderoso assim.
04:30 SPEAKER_02 E, no final, o modelo de linguagem é basicamente uma rede neural que usa.
04:36 SPEAKER_02 Geralmente ele usa aquela arquitetura ali, transformer, não vou entrar em detalhes, mas ela ajuda nesse processamento da rede neural que é melhor para trabalhar com linguagem.
04:53 SPEAKER_02 Beleza, e o que é, de fato, alinhamento?
04:57 SPEAKER_02 Alinhamento é o processo de fazer com que o modelo de linguagem responda de acordo com o que você quer que ele responda.
05:10 Como assim?
05:12 SPEAKER_02 Vamos dizer aqui que eu pergunte aí, qual capital do Brasil?
05:17 SPEAKER_02 Modelo pode simplesmente responder Brasília.
05:21 SPEAKER_02 Porém, o modelo também pode falar.
05:23 SPEAKER_02 Ah, eu sei essa resposta.
05:25 SPEAKER_02 A resposta para a capital do Brasil pode dar uma resposta longa, ele pode dar uma resposta curta, ele pode dar uma resposta diversos tipos de respostas diferentes.
05:33 SPEAKER_02 Quando a gente está trabalhando com linguagem, a gente entra num campo menos objetivo e a gente tem uma infinidade de respostas que respondem uma mesma pergunta.
05:47 SPEAKER_02 E o alinhamento é justamente fazer com que o modelo responda do jeito que você quer que ele responda.
05:56 SPEAKER_02 E isso tem vários desafios aí que tem problemas éticos, problemas técnicos que a gente vai mostrar aqui agora.
06:08 SPEAKER_02 Então, alguns problemas de segurança.
06:10 SPEAKER_02 Por exemplo, a gente, com um modelo de linguagem em produção, dependendo do que esse modelo de linguagem está fazendo, ele pode expor informações sensíveis.
06:23 SPEAKER_02 Ele.
06:24 SPEAKER_02 Vocês sabem que ele é treinado com uma vastaidão de dados, e nessa vastidão de dados, pode ser que tinha o dado de alguém ali no meio.
06:33 SPEAKER_02 Não é incomum pessoas falando, ah, eu consegui puxar um endereço, eu peguei uma aqui do Windows, agora eu consigo instalar Windows na minha máquina usando essa aqui que eu peguei aqui numa LLM.
06:45 SPEAKER_02 Então, esses são dados que são sensíveis e a gente não, na grande maioria dos casos, a gente não tem interesse que ele esse dado vaze, né?
06:55 SPEAKER_02 Então tem informações sensíveis, instruções erradas ou perigosas também.
07:02 SPEAKER_02 Se a gente.
07:04 SPEAKER_02 A gente quer que ele que ele instrua de uma de uma maneira certa e cuidadosa.
07:10 SPEAKER_02 Na maioria dos casos.
07:12 SPEAKER_02 Se a gente tem.
07:13 SPEAKER_02 Se a gente está ensinando a fazer uma receita que é muito difícil, de algo que é muito importante.
07:20 SPEAKER_02 Por exemplo, um médico, se a gente está tem um robô, uma modelo de linguagem falando sobre um procedimento médico, a gente não pode responder de qualquer forma.
07:33 SPEAKER_02 É importante que seja detalhado e seja minucioso nos pontos sensíveis para não quem estiver usando isso daí for colocar em prática não acabar pulando algum passo importante que prejudicam outra pessoa.
07:51 SPEAKER_02 Então tem problemas técnicos, também, então a gente pode ter respostas inconsistentes, imprecisas, imprevisíveis, ou até inúteis.
08:00 SPEAKER_02 E problemas éticos.
08:03 SPEAKER_02 Muitas pessoas aí já devem ter escutado o problema de racismo algoritmo, que eu não gosto muito desse termo, mas o que acontece é o seguinte, se a gente treina um algoritmo onde uma parte é sobrepresentada, uma parte da população é sobre representada, o que acontece é que esse viés ele pode passar pelo modelo e trazer informações que não são interessantes para reforçar preconceito e essas coisas.
08:40 SPEAKER_02 E aqui algum problema de segurança recentemente aí no Google implementou o Jamie9.
08:47 SPEAKER_02 O que aconteceu foi que ele colocou o modelo junto da ferramenta de busca.
08:57 SPEAKER_02 E ele pegou a maior parte das vezes do treinamento.
09:03 SPEAKER_02 Ou do treinamento ou de outras técnicas ali de busca de informações, ele pegou do Reddit.
09:10 SPEAKER_02 Então vocês já devem imaginar o que a resposta que tem, né?
09:14 SPEAKER_02 Então aqui alguém pergunta, eu estou sentindo depressivo.
09:18 SPEAKER_02 Aí alguém fala, ah, uma solução é pular da ponte.
09:24 SPEAKER_02 O Google colocando isso no site, né?
09:27 SPEAKER_02 Outra aqui, ó.
09:28 SPEAKER_02 Como é que eu faço um queijo que não fique grudando a pizza?
09:32 SPEAKER_02 E aí alguém fala pra você usar uma.
09:35 SPEAKER_02 Você colocar cola na pizza.
09:38 SPEAKER_02 Então, assim, tem várias dessas respostas absurdas que acabaram passando desse lado.
09:48 SPEAKER_02 Eu tiro aqui e coloco de novo.
09:50 Tá.
09:51 SPEAKER_02 Vamos ver se.
09:50 Tá.
09:51 SPEAKER_02 Vamos ver se isso aí resolveu.
09:54 SPEAKER_02 Pois é.
09:55 SPEAKER_02 Foi mal, gente.
09:58 SPEAKER_02 Então, assim, tem vários.
10:01 SPEAKER_02 São alguns problemas de segurança, né?
10:05 SPEAKER_02 Aqui, é claro, são só uma pessoa meio tapada, vai ler isso daí e sei lá.
10:13 SPEAKER_02 Comer uma pedra por dia, que nem o Google falou aqui.
10:17 SPEAKER_02 Mas.
10:20 SPEAKER_02 Se ele respondem essas coisas absurdas, eles podem responder coisas sutis que são problemáticas também.
10:28 SPEAKER_02 E aí vem problemas éticos.
10:29 SPEAKER_02 Isso aqui não são modelos de linguagem, são modelos de imagem, né?
10:36 SPEAKER_02 Stable diffusion, mas eu acho que é muito ilustrativo.
10:40 SPEAKER_02 Então o Google tinha esse departamento, essa área de ética dentro da parte de inteligência artificial, e eles colocaram muito forte ali no modelo pra não sobre representar pessoas brancas.
10:57 SPEAKER_02 E aí o que aconteceu?
11:00 SPEAKER_02 Pediam presidente dos Estados Unidos, aí aparece aí presidência dos Estados Unidos indígenas.
11:06 SPEAKER_02 Não que existe, de fato, um problema nisso aí, mas é algo que não é.
11:14 SPEAKER_02 Não é real, não é acurado.
11:17 SPEAKER_02 E as pessoas, obviamente, se aproveitaram para fazer coisas piosas aí.
11:27 SPEAKER_01 Não é daqui.
11:34 SPEAKER_02 Então, em inglês, talvez eu falando em português aqui não atrapalhe tanto.
11:38 SPEAKER_02 Mas aí pediram para fazer soldados nazistas, aí tinham soldados nazistas asiáticos negros, etc.
11:45 SPEAKER_02 São problemas aí que.
11:47 SPEAKER_02 Não é não é muito legal, né?
11:50 SPEAKER_02 Você ter um modelo em produção e aparecer e as pessoas usarem e acontecer esse tipo de coisa.
11:55 SPEAKER_02 Então, como que a gente faz esse alinhamento?
12:06 SPEAKER_02 Pois é, tradição simultânea aí.
12:09 SPEAKER_02 Como é que a gente faz esse aliamento?
12:10 SPEAKER_02 Então, eu vou rouber esse gráfico aqui da Nvidia.
12:13 SPEAKER_02 Ele não mostra tudo o que existe, mas ele tem.
12:17 SPEAKER_02 Dá pra gente dar uma visualização bem interessante de formas diferentes de alinhamento.
12:22 SPEAKER_02 Então, a forma mais simples, rápida e fácil e barata, é o Prompt Engineering.
12:30 SPEAKER_02 Provavelmente quase todo mundo aí já deve ter ouvido falar Prompt Engineering.
12:33 SPEAKER_02 Você basicamente você muda o prompt que você está dando para o modelo e tentam fazer ele responder melhor de acordo com o que você quer.
12:48 SPEAKER_02 Segunda forma aí, essa segunda forma que é o prompt learning.
12:52 SPEAKER_01 Prompt learning é você criar um sistema de feedback onde você.
12:59 SPEAKER_02 Sabendo a resposta que você quer, você treina o prompt.
13:05 SPEAKER_02 Você treina, você consegue encontrar os tokens que vão gerar aquele o prompt para gerar aquela resposta.
13:14 SPEAKER_02 Depois, se eu estiver falando alguma coisa muito complexa, alguma tiver difícil de entender, por favor, falem aqui.
13:22 SPEAKER_02 Depois temos o parameter efficient fine tuning.
13:27 SPEAKER_02 Antes que é você.
13:30 SPEAKER_02 Ao invés de você treinar um modelo inteiro, você congela o modelo e você treina só um pedaço do modelo.
13:37 SPEAKER_02 E existem.
13:38 SPEAKER_02 Isso aí é.
13:40 SPEAKER_02 Existem essas formas que são mais eficientes, obviamente, elas não são tão boas, mas elas conseguem. ajudar bastante no alinhamento.
13:49 SPEAKER_02 E por último é o treinamento, é o Instruction Tunning, que seria.
13:55 SPEAKER_02 Basicamente, é similar ao fine tunning, mas no modelo inteiro.
14:04 SPEAKER_02 E aí, como você está treinando o modelo inteiro, você tem todos aqueles cursos de modelo.
14:17 SPEAKER_02 Isso, exatamente.
14:20 SPEAKER_02 Isso, a pergunta aqui dele foi se o Prompt Engineering e o Prompt Learning você mexe dentro do modelo.
14:26 SPEAKER_02 E ele está correto que você disse, o Prompt Engineering e Prompt Learning é fora do modelo, você mexe só o prompt, você só muda o prompt e o fine tuning você muda os pesos do modelo.
14:39 É isso aí.
14:45 SPEAKER_02 Exatamente, exatamente.
14:46 SPEAKER_02 É muito mais barato e muito mais rápido fazer aqueles dois primeiros, que como a gente vê aqui, o custo vai aumentando conforme a gente vai indo ali para treinar o modelo inteiro.
15:00 SPEAKER_02 E aqui as técnicas.
15:03 SPEAKER_02 Então, a gente, depois que.
15:05 SPEAKER_02 Quando a gente baixa o modelo que já existe, ele tem o chamado pre-training.
15:10 SPEAKER_02 O que é o pre-training?
15:11 SPEAKER_02 Ele treinou o modelo de forma geral.
15:14 SPEAKER_02 E aí depois você pode fazer um continued pre-training.
15:18 SPEAKER_02 O que é o continued pre-training?
15:19 SPEAKER_02 É você continuar treinando o modelo com o geral também.
15:25 SPEAKER_02 Em seguida, você pode fazer um fine tunning.
15:30 SPEAKER_02 Até hoje ainda existem algumas divergências nos termos técnicos.
15:36 SPEAKER_02 Então, não existe ainda um consenso até onde é fine tunning, onde é que é instruction turning, mas basicamente. depois do pre-training, você faz um aprendizado supervisionado.
15:56 SPEAKER_02 Com um instruction tuning, você ensina o modelo a seguir instruções, e aí depois você faz um fine tunning que é ajustando para os dados que você quer.
16:09 SPEAKER_02 Então você primeiro você treina uma coisa que é generalista, e você depois vai treinando para ele ficar mais especialista, mais ou menos que nem a gente.
16:18 SPEAKER_02 A gente é na vida, né?
16:20 SPEAKER_02 A gente estuda ali em ensino fundamental, ensino médio, a gente vê todas as áreas, ciência, filosofia, história e tudo mais.
16:28 SPEAKER_02 E aí depois beleza, agora eu vou para a engenharia, eu vou para a programação, e aí você vai afunilando e vai ficando mais especialista.
16:38 SPEAKER_02 Então você faz o fine tuning do modelo completo, que também dá para ser chamado de instruction tuning, se você está treinando para as instruções, e depois você pode.
16:48 SPEAKER_02 Você também pode fazer o fine tuning de baixo modelo, que eu comentei ali, que é uma forma mais eficiente, apesar de ser um pouquinho pior na qualidade.
17:00 SPEAKER_02 Você tem o Prompt Learning, o Prompt Engineering, que a gente comentou ali atrás.
17:05 SPEAKER_02 No Prompt Engineering tem diversas técnicas, inclusive ali o promptingguide.ai,
17:10 SPEAKER_02 muito bom esse site, ele tem basicamente uma coleção de quase que todas as técnicas de Prompt Engineering que já foram criadas, é um negócio gigante, é muito completo.
17:24 SPEAKER_02 É bem legal.
17:25 SPEAKER_02 Mas assim, se você sabe o que é o fio shot prompt, que é basicamente você dar alguns exemplos, e o chain of thought que é você pedir pra ele responder em passo a passo, isso aí geralmente resolve90% dos casos.
17:42 SPEAKER_02 E aí, um bônus e umas coisinhas a mais.
17:45 SPEAKER_02 Então, além disso daí você tem também o Representation Engineering e Sparse Altencoders, são duas técnicas levemente diferentes, mas as duas dá para eu tentar resumir de uma forma mais alto nível, como se a gente estivesse fazendo uma cirurgia cerebral no modelo.
18:09 SPEAKER_02 Ou seja, a gente observa quais são os neurônios que estão sendo ativados, conforme a gente pede algum prompt, e a gente faz um steering, a gente aumenta ou diminui eles conforme a gente quer algum resultado.
18:27 SPEAKER_02 Então, nos papers que fizeram que criaram essas técnicas, eles conseguiram, por exemplo, fazer um modelo esquecer o que é um cachorro.
18:39 SPEAKER_02 Você pergunta lá, qual é o animal que faz woofuff.
18:44 SPEAKER_02 E aí o modelo não sabe, fala, ah, não sei, eu acho que é uma vaca.
18:48 SPEAKER_02 Ele responde qualquer coisa.
18:50 SPEAKER_02 Então, você consegue fazer.
18:52 SPEAKER_02 São técnicas mais complicadas, um pouco, mas elas são muito interessantes e muito promissoras.
18:59 SPEAKER_02 Tem muita gente trabalhando, especialmente em Sparse Alten Coders, onde você consegue catalogar uma variedade muito grande de features do modelo.
19:14 SPEAKER_02 Então, você não sei quem é que acompanha aí, mas recentemente o One Tropic usou usou essa técnica de Sparse Autom Coders para fazer o modelo da Golden Bridge.
19:27 SPEAKER_02 E aí ele colocou, ele viu que existia essa ideia, esse conceito de Golden Bridge, e ele colocou isso no máximo.
19:38 SPEAKER_02 Então, tudo que você falava com o modelo, com esse modelo da Golden Bridge. ele sempre respondia como se ele fosse a ponte, ou trazendo o assunto para a ponte, ou falando da ponte.
19:50 SPEAKER_02 Então ele estava sempre aí falando dessa ponte.
19:53 SPEAKER_02 E você pode fazer isso, por exemplo, para isso aí, apesar de eu estar falando isso para modelos de linguagem, dá para fazer para modelos de imagem também.
20:04 SPEAKER_02 Então, digamos assim, que você peça para o seu modelo de imagem fazer uma imagem de uma cabana.
20:11 SPEAKER_02 E aí você pode controlar essa feature, por exemplo, de neve.
20:15 SPEAKER_02 E aí você aumenta a feature ou diminui a feature de neve, e aí você vai ter a cabana e a cabana vai ter mais neve ou menos neve.
20:23 SPEAKER_02 Isso num modelo que você consegue colocar, tipo um nob.
20:28 SPEAKER_02 Ao invés de você literalmente escrever.
20:32 SPEAKER_02 Então você consegue ter um ter uns controles mais finos e bem interessantes disso daí.
20:39 SPEAKER_02 Além disso, Guard Rails e as camadas de segurança também são partes cruciais para a gente ir no nosso alinhamento.
20:48 SPEAKER_02 Se vocês já tentaram conversar com algum modelo e pedir alguma coisa, sei lá, pedir para ele te ensinar a fazer metafentamina, ou alguma coisa assim, você vai ver que ele fala, eu sou um modelo, que eu não posso fazer isso, não sei o que.
21:02 SPEAKER_02 Por que ele faz isso?
21:05 SPEAKER_02 Existem essas técnicas.
21:08 SPEAKER_02 Guardails, apesar de ter um nome só, é uma coleção, é uma diversidade de técnicas diferentes.
21:16 SPEAKER_02 Tem algumas bibliotecas de Guardails diferentes, e formas diferentes de você usar.
21:21 SPEAKER_02 E.
21:22 SPEAKER_02 Enfim, e aí você consegue fazer o modelo ir para o caminho que você quer.
21:28 SPEAKER_02 E também, por último, a forma mais simples, você pode colocar um Humaning in the Loop.
21:33 SPEAKER_02 Você coloca um ser humano para revisar e autorizar passo a passo tudo que você quer.
21:38 SPEAKER_02 Também é uma forma. válida para vários casos de uso.
21:42 SPEAKER_02 Quando você está escrevendo, por exemplo, você chega lá no chat EPT e você está escrevendo um artigo, você não pega a primeira coisa que ele cospe e já usa como seu artigo, você vai.
21:51 SPEAKER_02 Beleza, agora faz isso, agora faz aquilo.
21:53 SPEAKER_02 Você é o Hillman in the Loop, e você está controlando o que ele está trazendo.
21:59 SPEAKER_02 Então, um pouquinho mais a fundo aqui, já estamos aqui no final, mas só para chegar ali no Instruction Tuning, que é um passo bem fundamental hoje na maioria dos modelos.
22:14 SPEAKER_02 Basicamente, depois que você faz o pre-training, só para a gente ir um pouquinho mais a fundo, você tem o Supervised Learning, onde você dá inputs e outputs, isso aqui é o que eu quero.
22:26 SPEAKER_02 Esse aqui é isso aqui é a entrada, essa aqui é a saída que eu quero.
22:29 SPEAKER_02 Então você vai controlando ali o que ele vai te trazer, e depois você faz o reinforcement learning with human feedback.
22:36 SPEAKER_02 É o aprendizado por reforço com feedback humano, que você consegue.
22:40 SPEAKER_02 que é o que o ChatGPT faz.
22:43 SPEAKER_02 Se vocês já escreveram alguma coisa e o ChatGPT pergunta, qual dessas duas resposta ficou melhor?
22:49 SPEAKER_02 Essa ou essa?
22:50 SPEAKER_02 E aí você escolhe uma delas, você está ajudando a treinar o modelo e fazendo aí o alinhamento.
22:56 SPEAKER_02 Isso aqui é.
22:57 SPEAKER_02 Acho que a gente vou pular essa parte aqui rapidinho, mas é só ainda mais detalhes.
23:01 SPEAKER_02 Isso aqui tem no blog da OpenAI dele explicando como é que funciona o reenforcement learning with human feedback.
23:11 SPEAKER_02 Tem lá no site da OpenAI, mas é bem detalhes, eu acho que eu vou parar aqui um pouquinho para tirar dúvidas aí.
23:18 SPEAKER_02 Surgiram algumas dúvidas, vamos ver que já está chegando nos últimos minutos da palestra?
23:28 SPEAKER_02 Ah, são mais oito minutos, mais tempo de pergunta?
23:31 SPEAKER_02 E aí, o que vocês acham?
23:31 SPEAKER_02 Vocês querem ir um pouquinho mais a fundo naquela parte ali?
23:35 SPEAKER_02 Beleza, então, como é que? a OpenAI fez o sistema de alinhamento deles.
23:42 SPEAKER_02 Quem aí já.
23:43 SPEAKER_02 Quem aí sabe como é que funciona.
23:45 SPEAKER_02 Quem sabe como é que funciona reinforcement learning?
23:48 SPEAKER_02 Levanta a mão.
23:50 SPEAKER_02 Ok, poucas pessoas, mas eu consigo dar um overview rápido.
23:55 SPEAKER_02 Reinforcement learning, aprendizado por reforço, basicamente é o seguinte: é um modelo onde você tem o agente, e você tem o ambiente.
24:05 SPEAKER_02 Então, o agente é quem toma ações e o ambiente recebe ações e provê um estado.
24:12 SPEAKER_02 Então, por exemplo, vamos pensar num bebê.
24:15 SPEAKER_02 Um bebê ele quer pegar um biscoito em cima da mesa.
24:19 SPEAKER_02 Então ele vai tentar levantar e vai tentar caminhar, ele é um agente e o ambiente é a sala.
24:25 SPEAKER_02 E aí, às vezes ele cai.
24:28 SPEAKER_02 Então ele recebe um recompensa negativa.
24:33 SPEAKER_02 E o ele.
24:35 SPEAKER_02 E aí ele consegue pegar o biscoito, isso é uma recompensa positiva.
24:39 SPEAKER_02 Então, esse sistema de treinamento, ele é um sistema de treinamento que é um pouquinho diferente do Supervised e Unsupervised Learning, mas ele é muito bom, porque você não precisa explicar exatamente o que você quer.
24:54 SPEAKER_02 Você só dá uma recompensa se for bom ou se for.
24:57 SPEAKER_02 ou um punição se for ruim.
25:01 SPEAKER_02 Então, isso aí é o reinforcement learning.
25:03 SPEAKER_02 Agora, como é que isso se encaixa nos modelos de linguagem?
25:09 SPEAKER_02 Então, vamos voltar ali para o Supervised Learning.
25:12 SPEAKER_02 Você acabou de treinar o.
25:14 SPEAKER_02 Você acabou de treinar seu modelo, fazer o pre-training, onde você basicamente você está ensinando o modelo a prever o próximo token, a próxima palavra de um conjunto muito grande de dados.
25:28 SPEAKER_02 E aí, com base nisso daí, você tem o.
25:31 SPEAKER_02 Você já tem o seu modelo, e aí você começa a perguntar para o modelo.
25:35 SPEAKER_02 Você vai para o modelo e fala.
25:37 SPEAKER_02 Você coloca inputs.
25:39 SPEAKER_02 E você fala qual é o output específico que você queria.
25:43 SPEAKER_02 E aí, com isso daí, você usa isso para continuar treinando o modelo.
25:54 SPEAKER_02 Deixa eu tirar e colocar isso aqui de novo.
25:58 Para ver se melhor.
26:06 SPEAKER_02 Acho que agora foi.
26:08 SPEAKER_02 Acho que agora foi.
26:13 SPEAKER_02 Já anotado.
26:14 SPEAKER_02 Próxima vez eu trago minha energia para não acontecer isso.
26:19 Tá.
26:23 Vamos lá.
26:24 SPEAKER_02 Mais uma vez.
26:29 SPEAKER_02 Third time the charm.
26:35 Nada?
26:41 SPEAKER_01 Tá ligado.
26:42 SPEAKER_01 Espera aí.
26:52 SPEAKER_02 Tá, vamos assim mesmo.
26:55 SPEAKER_02 Então, a gente está ali sempre treinando, colocando entrada e saída e fazendo modelo treinar.
27:02 SPEAKER_02 E esse é o primeiro passo, o supervised learning.
27:04 SPEAKER_02 Segundo passo.
27:06 SPEAKER_02 É a gente.
27:09 SPEAKER_02 Isso aqui ele deu um exemplo aqui.
27:11 SPEAKER_02 Acho que está muito pequeno para vocês lerem, mas está.
27:14 SPEAKER_02 O exemplo aqui é explica reinforcement learning para uma criança de seis anos de idade.
27:20 SPEAKER_02 E a gente deu ali nossa resposta.
27:22 SPEAKER_02 O que a gente gostaria que ele respondesse.
27:25 Segundo passo.
27:27 SPEAKER_02 Beleza.
27:28 SPEAKER_02 Segundo passo, ele vai ali e a gente pede várias respostas.
27:33 SPEAKER_02 Como ele é um modelo generativo, ele dá várias respostas diferentes, ele usa.
27:39 SPEAKER_02 ele não responde, ele não dá uma resposta final, ele tem uma gama de probabilidade das próximas palavras, e a gente consegue gerar diversas respostas diferentes.
27:53 SPEAKER_02 Então a gente seleciona, a gente pega essas várias respostas diferentes, por exemplo, quatro aqui, vamos dizer, e um ser humano chega e fala.
28:06 SPEAKER_02 A resposta B é a melhor é melhor que a resposta C, que é melhor do que a resposta A, que é melhor que a resposta D, por exemplo.
28:14 SPEAKER_02 Ele cria isso daí, e aí com isso.
28:18 SPEAKER_02 Ele vai criar, ele vai treinar um outro modelo, que é um modelo de recompensa.
28:24 SPEAKER_02 Ali no reenforcement learning, você tem um agente que atua no ambiente e recebe uma recompensa.
28:31 SPEAKER_02 Seja ali o biscoito, ou então ele se machuca, cai no pé, cai no chão e se machuca um pouquinho, isso aí é uma recompensa positiva ou negativa.
28:39 SPEAKER_02 E a gente vai treinar um modelo, uma rede neural que vai dar essa recompensa para o modelo, conforme os tokens que está dando ali na resposta.
28:52 SPEAKER_02 Naquela entrada ali, essa aqui são as saídas, e esses são os possíveis.
29:02 SPEAKER_02 Essa é a ordem que eu gosto.
29:04 SPEAKER_02 Então a gente treina um outro modelo, um modelo de recompensas para fazer isso daí, para aprender o reinforcement learning, e com esse modelo treinado, a gente consegue tirar o ser humano.
29:20 SPEAKER_02 E aí a gente consegue depois fazer o a inteligência artificial gerar várias respostas.
29:30 SPEAKER_02 Depois o modelo. de recompensa vai classificar essas respostas de acordo com o que ele aprendeu antes com os anotadores humanos.
29:42 SPEAKER_02 Com isso aí de ficar abrindo e fechando a tela, talvez tenha ficado confuso.
29:46 SPEAKER_02 Ficou.
29:46 SPEAKER_02 Bem, acho que agora vai ser a parte das perguntas, então, se tiver ficado confuso essa parte, vocês vão poder perguntar.
29:55 SPEAKER_01 Perfeito, pessoal, uma salva de palmas aí para o Breno.
30:02 SPEAKER_01 Vamos fazer assim, quem quiser fazer pergunta, pode formar uma fila aqui.
30:06 SPEAKER_01 Tem alguém interessado em fazer pergunta?
30:09 SPEAKER_01 Tudo bem, se vocês a gente fizer uma fila aqui, só para organizar melhor.
30:29 SPEAKER_03 Opa.
30:29 SPEAKER_03 Então, eu já trabalhei num projeto que estava construindo nenhuma solução com LLM.
30:36 SPEAKER_03 E na época, o Fine Tuning não estava legal.
30:40 SPEAKER_03 As respostas não estavam.
30:42 SPEAKER_03 Estavam boas, mas não estavam excelentes.
30:45 SPEAKER_03 E aí, na época, eu acho que cogitou-se fazer uma busca híbrida com base de gráfico também.
30:52 SPEAKER_03 Usar o próprio LLM para criar o grafo, dos dados de treinamento, dos dados de da HAG.
30:59 SPEAKER_03 E fazer tentar fazer uma busca híbrida para ver se.
31:02 SPEAKER_03 Eu não fiquei lá.
31:04 SPEAKER_03 Eu não sei o resultado, mas eu queria saber da sua experiência.
31:07 SPEAKER_03 Sei que pode ser cada casa a casa, mas sua experiência, você acha que faz diferença uma busca híbrida com gráfico?
31:14 SPEAKER_03 Ou geralmente não valeu o esforço?Ótima
31:21 SPEAKER_02 pergunta.
31:22 SPEAKER_02 E eu, sinceramente, eu não sei responder muito bem.
31:26 SPEAKER_02 Eu já vi pessoas falando muito bem. de uso de LLMs com grafos, mas eu, pessoalmente, eu nunca usei, tem diversas formas diferentes de usar de usar reg.
31:39 SPEAKER_02 Reg, para quem não sabe, é retrieval augmente generation.
31:43 SPEAKER_02 Basicamente, se a gente pensar que a LLM é uma pessoa.
31:48 SPEAKER_02 O reg seria uma enciclopédia que ela dá uma pesquisada antes de dar uma resposta.
31:54 SPEAKER_02 Então, já vi muita gente falando disso, usando e falando que funciona bem.
32:01 SPEAKER_02 Eu, sinceramente, não sei, nunca usei, e tem diversas implemententações diferentes com reg.
32:08 SPEAKER_02 Como eu nunca usei grafo para fazer isso, o que eu faria seria outro approach, mas isso é totalmente pessoal meu.
32:17 SPEAKER_02 Eu teria tentaria melhorar a arquitetura do reg, eu tentaria usar re-rankers, que são modelos.
32:25 SPEAKER_02 Um re-ranker é quando você busca, faz a busca no reg, e aí, digando assim que eu pego10 textos que são que podem ser relevantes, e aí desses10, eu faço um reordenamento e seleciono os cinco melhores.
32:42 SPEAKER_02 Então eu faço o primeiro usando, por exemplo, cosseno, distância de cosseno, que é rápido de fazer e é relativamente barato.
32:53 SPEAKER_02 E aí depois eu uso uma LLM menor para fazer um re-ranking de menos aí, onde ele vai dar uma fazer um reordenamento e diminua ali, e aí eu passo no final como esse contexto.
33:08 SPEAKER_02 Falam muito bem desse approach, eu tentaria esse approach antes de ir para uma arquitetura que eu não conheço, mas é pessoal meu.
33:21 SPEAKER_03 Só pra explicar qual é o estado da arte hoje nessa região aí do processo de reg e tal.
33:26 SPEAKER_03 Tudo o processo de reggae e tal.
33:29 SPEAKER_03 O que hoje é estar na.
33:31 SPEAKER_02 O que eu vejo de estado da arte é usando re-rankers.
33:35 SPEAKER_02 Fazendo isso que eu te falei agora.
33:38 SPEAKER_02 Você pegando o menos das últimas das últimas artigos que eu li, e do grandes pesquisadores falando sobre isso.
33:47 SPEAKER_02 É.
33:47 SPEAKER_02 Você faz um busca, entre aspas, burra, naive.
33:54 SPEAKER_02 Com cosseno mesmo, distância de cosseno, e depois você usa um modelo menor para fazer um re ranking, e aí você faz essa segunda seleção, e aí você coloca a resposta como contexto e responde com a sua LLM.
34:12 SPEAKER_02 É isso, seria mais.
34:13 SPEAKER_02 É, basicamente, sei lá, você e depois.
34:16 SPEAKER_02 Isso, procurar de novo.
34:17 SPEAKER_02 É porque se você usar simplesmente os embeddings para fazer uma.
34:22 SPEAKER_02 Para fazer a distância de cosseno, o que vai acontecer é que esses embeddings, ele.
34:29 SPEAKER_02 Eles são muito bons, mas eles não são perfeitos.
34:32 SPEAKER_02 Vão ter muita coisa que vai vir que não tem nada a ver.
34:35 SPEAKER_02 Então você usa isso primeiramente.
34:39 SPEAKER_02 E depois, que é mais rápido, seleciona10,20, e depois você coloca ali no re ranking e você diminui.
34:47 SPEAKER_02 Ou então você, pelo menos, ordena eles dos mais importantes para os menos importantes, e coloca como contexto.
34:58 SPEAKER_04 A minha pergunta é mais voltando para aquela que você estava falando um pouco mais no começo, sobre as questões éticas e seus desafios, né?
35:08 SPEAKER_04 Tem um de break muito famoso, que é o da vovó, né?
35:13 SPEAKER_04 Você consegue fazer uma LLM te ensinar a fazer metaphetamina, pedindo para que ela te ensine como se fosse a avó passando uma receita.
35:22 SPEAKER_04 E funciona.
35:23 SPEAKER_04 Não sei se ainda funciona, mas em2009.
35:24 SPEAKER_04 Não sei se ainda funciona, mas em2023 funcionava.
35:27 SPEAKER_04 Essa é a minha pergunta.
35:29 SPEAKER_04 Como garantir que o usuário criativo não consiga desfazer todo o teu processo de.
35:43 SPEAKER_04 Tudo que tu fez para que ele não ensine fazer a minha pergunta pedindo para a vovó ensinar.
35:49 SPEAKER_04 Como impedir o usuário.
35:51 SPEAKER_02 É, isso daí.
35:53 SPEAKER_02 Não existe uma resposta definitiva para isso.
35:55 SPEAKER_02 Do mesmo jeito que você cria um sistema e sempre vai ter um hacker russo que vai descobrir uma forma aí de burlar seu sistema.
36:05 SPEAKER_02 Da mesma forma, dá para fazer a mesma coisa com as redes ouais.
36:09 SPEAKER_02 A maioria das redes que eu testei e o da vovó não estava mais funcionando.
36:13 SPEAKER_02 Não, eu tentei pedir pra vovó me contar uma história antes de dormir com os keys da Microsoft e ela não me deu.
36:25 SPEAKER_04 A minha pergunta era meio no sentido de tipo, você consegue fazer alguma coisa.
36:31 SPEAKER_04 Digamos que não seja só na parte de engenharia de prompt ou de learning.
36:38 SPEAKER_04 Prompt learning, mas sim no modelo.
36:41 Sim, sim.
36:43 SPEAKER_02 Que é ali no Sparse Aut Encoders.
36:46 SPEAKER_02 Cadê aqui?
36:47 SPEAKER_02 O Sparse Aut Encoders?
36:49 SPEAKER_02 Você consegue.
36:52 SPEAKER_02 Você está meio que fazendo uma.
36:55 SPEAKER_02 Do mesmo jeito que você consegue fazer ele esquecer conceitos.
36:58 SPEAKER_02 Então, por exemplo, se ele esquecer o conceito de metafetamina, ele não vai conseguir te ensinar a fazer.
37:07 SPEAKER_02 Mas isso.
37:08 SPEAKER_02 Isso ainda é muito recente.
37:11 SPEAKER_02 A princípio.
37:13 SPEAKER_02 Não tem uma degradação muito grande.
37:16 SPEAKER_02 Mas provavelmente se você ficar mexendo muito e mexer em várias coisas ao mesmo tempo, pode ser que isso aconteça.
37:24 SPEAKER_02 Mas a forma que eu acho que é que geralmente é mais usada são os Guard Rails.
37:31 SPEAKER_02 São essas camadas de segurança.
37:33 SPEAKER_02 Então, por exemplo, uma coisa que eu já vi muitas vezes acontecendo é o modelo, eu tentando fazer de jail break do modelo, e o que acontece é o modelo começa a me responder o que eu queria, e aí de repente a conversa some, e aí vem um outro texto e fala, desculpa, eu não posso falar isso daí, não sei o quê.
37:53 SPEAKER_02 E o que isso é?
37:55 SPEAKER_02 Na verdade, são duas chamadas de LLM.
37:58 SPEAKER_02 Uma que está respondendo o que eu perguntei, e a outra que está lendo a resposta do que está respondendo, e tentando detectar se tem alguma coisa que alguma coisa perigosa.
38:09 SPEAKER_02 Então, existem formas de lidar com isso, tem outras formas, por exemplo, se você fizer com lead speak, eu já fiz.
38:18 SPEAKER_02 Eu dei jail break no.
38:21 SPEAKER_02 No LLM do WhatsApp com o lead speak.
38:24 SPEAKER_02 Então, ele me ensinou a fazer metafentamina com leadspeak.
38:29 SPEAKER_02 E aí, assim, se você pensa que ele consegue fazer isso com lead speak, você.
38:35 SPEAKER_02 Porque o que acontece?
38:36 SPEAKER_02 Ele não vê letras e palavras.
38:39 SPEAKER_02 Ele vê tokens, né?
38:40 SPEAKER_02 Que são pedaços.
38:41 SPEAKER_02 Então, se você está usando LeadSpeak, por mais que ele entenda o Lead Speak, ele não são os mesmos tokens.
38:47 SPEAKER_02 Então, e aí, se funciona para Lead Speak, provavelmente, se você colocar, sei lá, espaço entre as palavras em maiúsculo, talvez funcione também.
38:57 SPEAKER_02 Então tem várias formas de fazer e você pode também combinar.
39:00 SPEAKER_02 Então, se você faz um.
39:03 SPEAKER_02 Se você junta a técnica da vovó com o Lead Speak, com outras coisas assim, pode ser que isso aí não é linear, não é.
39:13 SPEAKER_02 Beleza, eu travei, travei aqui a técnica da vovó não vai funcionar nunca mais.
39:17 SPEAKER_02 Você pode ir juntando outras coisas e tentar combinar.
39:20 SPEAKER_02 Tá combinar e existe essa possibilidade, mas o que eu tentaria fazer é com camada de segurança Guard Rails específico.
39:31 Muito obrigado.
39:34 SPEAKER_01 Perfeito, pessoal.
39:35 SPEAKER_01 Então, mais uma salva de palmas aí para o nosso palestrinho.
39:42 SPEAKER_01 Muito obrigado a todos, pessoal.
39:43 SPEAKER_01 Valeu e obrigado pela participação.
39:44 SPEAKER_01 Obrigado.
39:45 SPEAKER_01 Valeu, pessoal.