Baixe Aprendizagem de Máquina - Conceitos e Definições e outras Manuais, Projetos, Pesquisas em PDF para Inteligência Artificial, somente na Docsity!
José Augusto Baranauskas Departamento de Física e Matemática – FFCLRP-USP
augusto@usp.br http://dfm.ffclrp.usp.br/~augusto
Aprendizado de MáquinaAprendizado de Máquina
Conceitos e DefiniçõesConceitos e Definições
Os diversos sistemas de AM
possuem características
particulares e comuns que
possibilitam sua classificação
quanto à linguagem de descrição,
modo, paradigma e forma de
aprendizado utilizados
Algumas dessas características,
conceitos introdutórios e
definições são introduzidos nesta
aula, os quais são importantes
para a compreensão das aulas
subseqüentes
2
ConteúdoConteúdo
Introdução
Hierarquia do Aprendizado
Paradigmas de Aprendizado
AM: Conceitos e Definições
Linguagens de Descrição
3
Aprendizado de Máquina (AM) Aprendizado de Máquina (AM)
Aprendizado de Máquina é uma área de IA cujo
objetivo é o desenvolvimento de técnicas
computacionais sobre o aprendizado bem como a
construção de sistemas capazes de adquirir
conhecimento de forma automática
Um sistema de aprendizado é um programa de
computador que toma decisões baseado em
experiências acumuladas através da solução
bem sucedida de problemas anteriores
4
Motivação (1)Motivação (1)
Dado um conjunto de objetos, colocar os
objetos em grupos baseados na
similaridade entre eles
Motivação (1) Motivação (1)
Dado um conjunto de objetos, colocar os
objetos em grupos baseados na
similaridade entre eles
ComCom bicobico
Sem bicoSembico
Motivação (1)Motivação (1)
Dado um conjunto de objetos, colocar os
objetos em grupos baseados na
similaridade entre eles
ÁguaÁgua TerraTerra
7
Motivação (1) Motivação (1)
Dado um conjunto de objetos, colocar os
objetos em grupos baseados na
similaridade entre eles
OvíparoOvíparo
MamíferoMamífero
8
MotivaçãoMotivação (2)(2)
Dados pares (x,f(x)), inferir f(·)
5?
4 16
3 9
2 4
1 1
x f(x) Dada uma amostra finita, é
freqüentemente impossível
determinar a verdadeira função f(·)
Abordagem: Encontre uma hipótese
( modelo ) nos exemplos de treinamento
e assuma que a hipótese se repita para
exemplos futuros também
9
f = função desconhecida
x (^1) x (^2) x (^3) x (^4)
y = f (x 1 , x 2 , x 3 , x 4 )
f : X 1 × X 2 × X 3 × X 4 → Y
Exemplo X 1 X 2 X 3 X 4 Y z 1 0 1 1 0 0 z 2 0 0 0 0 0 z 3 0 0 1 1 1 z 4 1 0 0 1 1 z 5 0 1 1 0 0 z 6 1 1 0 0 0 z 7 0 1 0 1 0
Motivação (2) Motivação(2)
10
Exemplo: Cogumelos Comestíveis xExemplo: Cogumelos Comestíveis x
VenenososVenenosos
Um pesquisador foi a
campo e coletou diversos
cogumelos
Ao chegar em seu
laboratório, ele mediu o
comprimento e altura de
cada cogumelo
Ele também classificou
cada cogumelo coletado
como comestível ou
venenoso
Exemplo: Cogumelos Comestíveis x Exemplo: Cogumelos Comestíveis x
VenenososVenenosos
H (altura)
- Comestível (^) ¯ Venenoso
W (comprimento)
1 2 3 4
3
1
2
Exemplo: Cogumelos Comestíveis xExemplo: Cogumelos Comestíveis x
VenenososVenenosos
W (comprimento)
1 2 3 4
H (altura) 3
1
2
- Comestível (^) ¯ Venenoso
Suponha um novo cogumelo com W=3, H=1. Ele é comestível ou venenoso?
19
Aprendizado de Máquina Aprendizado de Máquina
(Simon, 1983):
“Aprender implica em alterações no sistema que são
adaptativas, no sentido que elas capacitam o sistema a
realizar a mesma tarefa, ou tarefas provenientes da
mesma população, de forma mais eficiente e eficaz na
próxima vez”
(Weiss & Kulikowski, 1991)
“Um sistema de aprendizado [supervisionado] é um
programa de computador que toma decisões baseadas
na experiência contida em exemplos solucionados com
sucesso”
(Russel & Norvig 1995)
“...todo aprendizado pode ser visto como o aprendizado
de uma função”
20
ConteúdoConteúdo
Introdução
Hierarquia do Aprendizado
Paradigmas de Aprendizado
AM: Conceitos e Definições
Linguagens de Descrição
21
Hierarquia do Aprendizado Hierarquia do Aprendizado
Aprendizado não Supervisionado
Classificação Regressão
Efetuado a partir de exemplos externos (coletados)
Exemplos estão rotulados (classe é conhecida)
Exemplos não rotulados (não existe classe associada)
Os rótulos assumem valores discretos
Os rótulos assumem valores contínuos
Aprendizado Supervisionado
Aprendizado Indutivo
22
Exemplos Brutos
Especificação do Problema
Conhecimento do Domínio
Conhecimento do Domínio
Aprendizado de Máquina
Especialista
Avaliação
Hipótese
X1 53 maleX2 140 X3 (^) trueX4 X53.1 (^) downX6 X7 0 sickY 6040 malemale (^140140) truefal (^) 1.4 3 flatup 00 sickbuff 5760 malemale (^165130) truefal (^) 1.4 1 flatup 31 sicksick 4643 femmale 138110 truefal 00 flatup 00 buffbuff 5855 malemale (^120160) truefal 1.80.8 flatflat 01 sicksick 4152 malemale 120172 falfal (^) 0.5 0 upup 00 buffbuff 6243 femmale (^138120) truefal 1.92.5 flatflat 30 sicksick 4756 malemale 110130 truetrue (^) 0.6 1 flatflat 11 sicksick
Aprendizado de MáquinaAprendizado de Máquina
Exemplos
Exemplos Brutos
Especificação do Problema
Conhecimento do Domínio
Conhecimento do Domínio
Aprendizado de Máquina
Especialista
Avaliação
Hipótese
X1 53 maleX2 140 X3 X4true X53.1 (^) downX6 X7 0 sickY 6040 malemale 140140 faltrue (^) 1.4 3 flatup 00 sickbuff 5760 malemale 165130 faltrue (^) 1.4 1 flatup 31 sicksick (^4643) malefem 138110 truefal 00 flatup 00 buffbuff 5855 malemale 120160 faltrue 1.80.8 flatflat 01 sicksick 4152 malemale 120172 falfal (^) 0.5 0 upup 00 buffbuff (^6243) malefem 138120 faltrue 1.92.5 flatflat 30 sicksick 4756 malemale 110130 truetrue (^) 0.6 1 flatflat 11 sicksick
Aprendizado de Máquina Aprendizado de Máquina
Menos Exemplos Compacto (específico)
Mais Compacto (genérico)
Algoritmo de Aprendizado ou Indutor
Exemplos Brutos
Especificação do Problema
Conhecimento do Domínio
Conhecimento do Domínio
Aprendizado de Máquina
Especialista
Avaliação
Hipótese
X1 53 maleX2 140 X3 (^) trueX4 X53.1 (^) downX6 X7 0 sickY 6040 malemale (^140140) truefal (^) 1.4 3 flatup 00 sickbuff 5760 malemale (^165130) truefal (^) 1.4 1 flatup 31 sicksick 4643 femmale 138110 truefal 00 flatup 00 buffbuff 5855 malemale (^120160) truefal 1.80.8 flatflat 01 sicksick 4152 malemale 120172 falfal (^) 0.5 0 upup 00 buffbuff 6243 femmale (^138120) truefal 1.92.5 flatflat 30 sicksick 4756 malemale 110130 truetrue (^) 0.6 1 flatflat 11 sicksick
Aprendizado de MáquinaAprendizado de Máquina
Menos Exemplos Compacto (específico)
Mais Compacto (genérico)
Pode ser usado para fornecer informação já conhecida ao indutor
Pode ser usado ao selecionar os dados
25
Exemplos Brutos
Especificação do Problema
Conhecimento do Domínio
Conhecimento do Domínio
Aprendizado de Máquina
Especialista
Avaliação
Hipótese
X1 53 maleX2 140 X3 X4true X53.1 (^) downX6 X7 0 sickY 6040 malemale 140140 faltrue (^) 1.4 3 flatup 00 sickbuff 5760 malemale 165130 faltrue (^) 1.4 1 flatup 31 sicksick (^4643) malefem 138110 truefal 00 flatup 00 buffbuff 5855 malemale 120160 faltrue 1.80.8 flatflat 01 sicksick 4152 malemale 120172 falfal (^) 0.5 0 upup 00 buffbuff (^6243) malefem 138120 faltrue 1.92.5 flatflat 30 sicksick 4756 malemale 110130 truetrue (^) 0.6 1 flatflat 11 sicksick
Aprendizado de Máquina Aprendizado de Máquina
Menos Exemplos Compacto (específico)
Mais Compacto (genérico)
Em AM Supervisionado, a hipótese é normalmente chamada de classificador
26
Categorias de Sistemas de AprendizadoCategorias de Sistemas de Aprendizado
Não Simbólico ou Caixa-preta
Não facilmente interpretado por humanos Desenvolve sua própria representação de conceitos Não fornece esclarecimento ou explicação sobre o processo de classificação
Simbólico ou Orientado a conhecimento
Cria estruturas simbólicas que podem ser compreendidas por seres humanos ”Os resultados da indução devem ser descrições simbólicas das entidades dadas... devem ser compreensíveis como simples ‘pedaços’ de informação, diretamente interpretáveis em linguagem natural...” (Michalski 1983a)
27
Categorias de Sistemas de Aprendizado Categorias de Sistemas de Aprendizado
A distinção entre essas duas categorias pode ser formulada em termos dos critérios:
critério fraco: o sistema utiliza exemplos para gerar
subsídios para melhorar o desempenho com exemplos
posteriores (ex: redes neurais, métodos estatísticos)
critério forte: o critério fraco é satisfeito e além disso
o sistema é capaz de comunicar sua representação
interna na forma simbólica explicitamente
critério ultra-forte: os critérios fraco e forte são
satisfeitos; o sistema deve ser capaz de comunicar sua
representação interna na forma simbólica
explicitamente e esta pode ser usada por um humano
sem a ajuda de um computador (apenas usando seu
cérebro)
28
AS xAS x AnSAnS
Aprendizado Supervisionado
Compreender o relacionamento entre os atributos e a
classe
Predizer a classe de novos exemplos o melhor
possível
Aprendizado Não Supervisionado
Encontrar representações úteis dos exemplos, tais
como:
Encontrar agrupamentos (clusters) Redução da dimensão Encontrar as causas ou as fontes ocultas dos exemplos Modelar a densidade dos exemplos
Exemplo Exemplo
Trestbps
Sex
Slope
Number of vessels colored
Exercise induced angina true false
<= 105 > 105 > 0 <= 0
flat or down up
male female
healthy sick healthy
sick healthy
sick
Parte da árvore de decisão induzida por C4.5 para o conjunto de exemplos Cleveland heart disease
ConteúdoConteúdo
Introdução
Hierarquia do Aprendizado
Paradigmas de Aprendizado
AM: Conceitos e Definições
Linguagens de Descrição
37
Conteúdo Conteúdo
Introdução
Hierarquia do Aprendizado
Paradigmas de Aprendizado
AM: Conceitos e Definições
Linguagens de Descrição
38
IndutorIndutor
Programa que gera uma hipótese
(classificador) a partir de um conjunto de
exemplos
Conjunto de Exemplos ou Dataset
Classificador
Indutor
39
Indutor Indutor
Informalmente, o objetivo de um indutor (ou algoritmo de
aprendizado ou algoritmo de indução) consiste em extrair
um bom classificador a partir de um conjunto de exemplos
rotulados
A saída do indutor, o classificador, pode então ser usada
para classificar exemplos novos (ainda não rotulados)
com a meta de predizer corretamente o rótulo de cada um
Após isso, o classificador pode ser avaliado considerando
sua precisão, compreensibilidade ou grau de interesse,
velocidade de aprendizado, requisitos de
armazenamento, grau de compactação ou qualquer outra
propriedade desejável que determine quão bom e
apropriado ele é para a tarefa em questão
40
Argumentos Dedutivos x IndutivosArgumentos Dedutivos x Indutivos
Argumentos indutivos preservam falsidade
A conclusão contém informação que não está implicitamente ou explicitamente nas premissas
Toda a informação do conteúdo factual da conclusão já está, pelo menos implicitamente, nas premissas
Se todas as premissas são verdadeiras, a conclusão é provavelmente verdadeira, mas não necessariamente verdadeira (à exceção dos argumentos matemáticos indutivos)
Se todas as premissas são verdadeiras então a conclusão é verdadeira
Argumentos Dedutivos Argumentos Indutivos
Argumentos Dedutivos x Indutivos Argumentos Dedutivos x Indutivos
Um exemplo de dedução:
Alguém diz a você “Todas as maçãs são
vermelhas”. A seguir, uma pessoa lhe dá uma maçã. Você infere que ela é vermelha
Um exemplo de indução:
Você vê 5 maçãs vermelhas. Você conclui
“Todas as maçãs são vermelhas”
Suponha que você olhe com mais cuidado as
maçãs e perceba que uma dela é de cor
laranja. Isto falsifica sua conclusão (hipótese)
Exemplo, Atributo & ClasseExemplo, Atributo & Classe
Exemplo
Exemplo, caso ou registro ( instance )
É um conjunto fixo de atributos
Um exemplo descreve o objeto de interesse, tal como
um paciente, exemplos médicos sobre uma
determinada doença ou histórico de clientes de uma
dada companhia
Atributo
Atributo ou campo ( feature )
Uma única característica de um exemplo
Classe
Atributo especial que descreve o fenômeno de
interesse (somente no Aprendizado Supervisionado)
43
Atributo Atributo
O domínio (conjunto de valores que um
atributo pode assumir) do atributo X (^) i é
indicado por dom(X (^) i )
Exemplo
Atributo sexo; dom(sexo) = {m, f}
Atributo cor; dom(cor) = {verde, vermelho,...}
Atributo temperatura; dom(temperatura) =
{baixa, média, alta}
Atributo peso; dom(peso) = {∀w : w ∈ ℜ+}
44
Tipos de AtributosTipos de Atributos
Nominal (ou discreto ou categórico ), quando o atributo
assume valores em um conjunto finito, sendo que alguns
indutores podem também aceitar uma subdivisão entre os
atributos nominais:
Ordenado : o domínio é ordenado, mas a diferença absoluta dos valores é desconhecida (e.g. escala de temperatura: baixa, média, alta ou severidade de um machucado) Não-ordenado : não existe uma ordem entre os valores (e.g., cor: vermelho, verde, azul; ocupação; estado civil, raça)
Contínuo (ou numérico ou real ), quando o domínio é
ordenado e pode ser representado por um valor real (e.g.,
peso ∈ ℜ, um número real)
45
Atributo Atributo
Para qualquer tipo de atributo, usualmente existe
também um símbolo importante que significa desconhecido , ou seja, a ausência de um valor
para aquele atributo
Este símbolo especial é bem diferente, por
exemplo, do valor zero (às vezes usado para números) ou de cadeias de caracteres vazias
Na maioria dos indutores disponíveis, este valor é
representado por um ponto de interrogação?
46
AtributoAtributo
Um outro símbolo especial, mesmo não
sendo reconhecido por vários indutores, é o
não-se-aplica
Por exemplo, para o atributo número de
gestações , pode ser utilizado o símbolo
não-se-aplica caso o paciente seja do
sexo masculino
Em geral, este símbolo é representado por
um ponto de exclamação!
Atributo Atributo
Além disso, vários indutores assumem que os
atributos originais que descrevem os exemplos
são relevantes o suficiente para aprender a
tarefa em questão
Entretanto, alguns atributos podem não ser
diretamente relevantes e outros até irrelevantes
Um atributo é irrelevante se existe uma descrição
completa e consistente das classes a serem
aprendidas que não usa aquele atributo
Escolha de AtributosEscolha de Atributos
Um ponto importante a ser considerado é a escolha de
atributos com boa capacidade preditiva
Não importa qual método seja empregado, os conceitos
que podem ser aprendidos estão à mercê dos exemplos e
da qualidade dos atributos
Por exemplo, para a tarefa de determinar se uma pessoa
está ou não com gripe, pode-se escolher atributos com
baixo poder preditivo, tais como
(cor-do-cabelo, cor-do-olho, modelo-do-carro, número-de-filhos)
ou atributos com alto poder preditivo, tais como
(temperatura, resistência-da-pele, exame-do-pulmão)
Para esta tarefa específica, no segundo caso, melhores
previsões em exemplos não-rotulados provavelmente
ocorrerão do que com o primeiro conjunto de atributos
55
Conjuntos de Exemplos Conjuntos de Exemplos
Após induzir uma hipótese, é possível avaliá-la no
conjunto de treinamento bem como no conjunto de teste
É usual denominar as medidas de desempenho de um
classificador efetuadas sobre o conjunto de treinamento
como aparentes (também conhecidas como medidas de
re-substituição ) e as medidas efetuadas sobre o
conjunto de teste como medidas reais (ou verdadeiras )
Por exemplo, caso a medida seja o erro , pode-se ter o
erro aparente e o erro verdadeiro
Para a maioria das hipóteses, a medida aparente é um
estimador ruim do seu desempenho futuro, uma vez que
ela tem a tendência de possuir um bias otimista
Em geral, o erro calculado sobre o conjunto de exemplos de treinamento (erro aparente) é menor que o erro calculado sobre o conjunto de exemplos de teste (erro verdadeiro)
56
Erro AparenteErro Aparente
Conjunto de Teste
Conjunto de Treinamento
Taxa de Erro (Aparente) do Classificador
Indutor
h
57
Erro Verdadeiro Erro Verdadeiro
Conjunto de Teste
Conjunto de Treinamento
Taxa de Erro (Verdadeira) do Classificador
Indutor
h
58
Preparação de DadosPreparação de Dados
Fase que antecede o processo de
aprendizagem, para facilitar ou melhorar o
processo.
Exemplos:
remover exemplos incorretos
transformar o formato dos exemplos para que
possam ser usados com um determinado indutor
selecionar um subconjunto de atributos
relevantes (FSS – Feature Subset Selection )
Conhecimento do Domínio Conhecimento do Domínio
Background Knowledge
Informação sobre valores válidos de um atributo
Critérios para escolher atributos
Critérios para escolher hipóteses
Restrições no relacionamento dos atributos
Regras para geração de conceitos de nível mais
alto
Construção de novos atributos derivados dos
atributos originais
X 1 X 2 X 3 X 4 Y overcast 19 65 yes dont_go rain 19 70 yes dont_go rain 23 80 yes dont_go sunny 23 95 no dont_go sunny 28 91 yes dont_go sunny 30 85 no dont_go overcast 19 65 yes go rain 21 80 no go rain 22 95 no go sunny 22 70 no go overcast 23 90 yes go rain 25 81 no go sunny 25 72 yes go overcast 26 75 no go overcast 29 78 no go
RuídoRuído
Exemplos imperfeitos que podem ser derivados do processo de aquisição, transformação ou
rotulação das classes
Ex: exemplos com os mesmos atributos mas com
classes diferentes
61
Classificador Classificador
Dado um conjunto de exemplos, o
classificador é a saída do indutor
Conjunto de Exemplos ou Dataset
Classificador
Indutor
62
ClassificadorClassificador
Dado um conjunto de treinamento, um indutor gera como
saída um classificador ( hipótese ou descrição de
conceito ) de forma que, dado um novo exemplo, ele
possa predizer precisamente sua classe
Cada exemplo é um par (x, f(x)), onde
x é a entrada f(x) é a saída (f desconhecida!) y=f(x) assume valores discretos y ∈ {C 1 , C 2 ,…,C k }: classificação y=f(x) assume valores reais: regressão
Indução ou inferência indutiva: dada uma coleção de
exemplos de f(·) , retornar uma função h(·) que aproxima
f(·) , ou seja, h(x) ≅ f(x)
h(·) é denominada uma hipótese sobre a função objetivo
f(·)
63
Exemplos de Hipóteses Exemplos de Hipóteses
(a) exemplos originais
(b), (c), (d) possíveis hipóteses
(a) (b)
(c) (d)
64
Exemplos de HipótesesExemplos de Hipóteses
Qual a melhor hipótese para os exemplos
em (a)?
(a) (b)
(c) (d)
Bias Bias
Qualquer critério de preferência de uma hipótese
sobre outra (além da consistência com os
exemplos)
(a) (b)
(c) (d)
VariânciaVariância
Mede quanto as suposições do algoritmo
da aprendizado variam para diferentes
conjuntos de treinamento
Maiores detalhes serão vistos nas
próximas aulas
73
Idade Renda Classe
20 2000 Ruim
30 5100 Bom
60 5000 Ruim
40 6000 Bom
... ... ...
Espaço de Descrição: ExemploEspaço de Descrição: Exemplo
Assuma o seguinte conjunto de exemplos sobre exemplos
de crédito bancário
74
Idade
Renda
Ruim
Bom
Espaço de Descrição: ExemploEspaço de Descrição: Exemplo
Induzindo uma Árvore de DecisãoInduzindo uma Árvore de Decisão
75
Espaço de Descrição: Exemplo Espaço de Descrição: Exemplo
Induzindo uma Árvore de DecisãoInduzindo uma Árvore de Decisão
Idade < 25
Sim Não
Idade
Renda
Ruim
Bom
76
Espaço de Descrição: ExemploEspaço de Descrição: Exemplo
Induzindo uma Árvore de DecisãoInduzindo uma Árvore de Decisão
Idade < 25
Sim Não
14 - Ruim
0 - Bom
Idade
Renda
Ruim
Bom
Espaço de Descrição: Exemplo Espaço de Descrição: Exemplo
Induzindo uma Árvore de DecisãoInduzindo uma Árvore de Decisão
Idade < 25
Sim Não
Ruim
Idade
Renda
Ruim
Bom
Espaço de Descrição: ExemploEspaço de Descrição: Exemplo
Induzindo uma Árvore de DecisãoInduzindo uma Árvore de Decisão
Idade < 25
Sim
29 - Ruim
19 - Bom
Ruim
Não
Idade
Renda
Ruim
Bom
79
Espaço de Descrição: Exemplo Espaço de Descrição: Exemplo
Induzindo uma Árvore de DecisãoInduzindo uma Árvore de Decisão
8 - Ruim
0 - Bom
Ruim Renda > 1k
Sim
Não
Idade < 25
Sim Não
Idade
Renda
Ruim
Bom
80
Espaço de Descrição: ExemploEspaço de Descrição: Exemplo
Induzindo uma Árvore de DecisãoInduzindo uma Árvore de Decisão
Ruim Renda > 1k
Sim
Não
Idade < 25
Sim Não
Idade
Renda
Ruim
Ruim
Bom
81
Espaço de Descrição: Exemplo Espaço de Descrição: Exemplo
Induzindo uma Árvore de DecisãoInduzindo uma Árvore de Decisão
Ruim Renda > 1k
Sim
Não
Idade < 25
Sim Não
Idade
Renda
Idade > 45 Ruim
Sim
Não
Ruim
Bom
82
Espaço de Descrição: ExemploEspaço de Descrição: Exemplo
Induzindo uma Árvore de DecisãoInduzindo uma Árvore de Decisão
Ruim Renda > 1k
Sim
Não
Idade < 25
Sim Não
Idade
Renda
Idade > 45 Ruim
Sim
Não
15 - Ruim
0 - Bom Ruim
Bom
Espaço de Descrição: Exemplo Espaço de Descrição: Exemplo
Induzindo uma Árvore de DecisãoInduzindo uma Árvore de Decisão
Ruim Renda > 1k
Sim Não
Idade < 25
Sim Não
Idade
Renda
Idade > 45 Ruim
Sim Não
Ruim Ruim
Bom
Espaço de Descrição: ExemploEspaço de Descrição: Exemplo
Induzindo uma Árvore de DecisãoInduzindo uma Árvore de Decisão
Ruim Renda > 1k
Sim Não
Idade < 25
Sim Não
Idade
Renda
Idade > 45 Ruim
Sim Não
Ruim Renda > 5k
Sim Não
Ruim
Bom
91
Qual a Melhor Hipótese? Qual a Melhor Hipótese?
Não Esquecer o Erro...Não Esquecer o Erro...
Conjunto de Teste
Conjunto de Treinamento
Taxa de Erro (Verdadeira) do Classificador
Indutor
h
92
Renda
Idade
H4...H4...
93
Renda
Idade
Conjunto de Teste
Erro de H4 Erro de H
94
Renda
Idade
Conjunto de Teste
Erro de H1Erro de H
Overfitting Overfitting
A hipótese extraída a partir dos exemplos é muito
específica para o conjunto de treinamento
A hipótese apresenta um bom desempenho para o conjunto de treinamento, mas um desempenho ruim para os casos fora desse conjunto
X
X
o (^) o
o
o
o
o
o
o o o o
o
o
o +
o (^) o
o o
5
8
4 o^
o +
Hipótese induzida
Novos exemplos fora do conjunto de treinamento
UnderfittingUnderfitting
A hipótese induzida apresenta um
desempenho ruim tanto no conjunto de
treinamento como de teste
poucos exemplos representativos foram dados
ao sistema de aprendizado (e.g. algoritmos de
árvores de decisão ou de indução de regras)
o usuário pré-definiu um tamanho muito pequeno para o classificador (e.g. insuficientes
neurônios em uma rede neural ou um alto valor
de poda para árvores de decisão)
97
Relação entre o Tamanho do Relação entre o Tamanho do
Classificador e o ErroClassificador e o Erro
Tamanho do Classificador
Erro
N1 N2 N
Conjunto de Teste
Conjunto de Treinamento
98
Relação entre o Tamanho doRelação entre o Tamanho do
Classificador e o ErroClassificador e o Erro
Tamanho do Classificador
Erro
N1 N2 N
Conjunto de Teste
Conjunto de Treinamento
Underfitting
Overfitting
99
Consistência e Completude Consistência e Completude
Depois de induzida, uma hipótese pode ser
avaliada sobre
consistência, se classifica corretamente os
exemplos
completude, se classifica todos os exemplos
100
Relação entre Completude e ConsistênciaRelação entre Completude e Consistência
X
X2 (^) o o o
o
o
o
o (^) o
o o
o o
o
o
o
o o
o
o
o *^ **
**
(b)
X
X2 (^) o o o
o
o
o
o (^) o
o o
o o
o
o
o
o o
o
o
o *^ **
**
(a)
X
X2 (^) oo o
o
o
o
o
o o
o
o o
o
o
o
o o
o
o
o *^ **
**
(c)
X
X2 (^) oo o
o
o
o
o
o o
o
o o
o
o
o
o o
o
o
o *^ **
**
(d)
Completa e consistente Incompleta e consistente
Completa e inconsistente Incompleta e inconsistente
Complexo Complexo
É uma conjunção de disjunções dos atributos de
teste, na forma:
Xi op valor
onde Xi é um atributo, op é um operador
relacional e valor é constante válida para o
atributo Xi
Exemplos
Sexo = Masculino
Idade >= 20
Sexo = Feminino and Idade < 90
RegraRegra
Uma regra assume a forma if L then R que é
equivalente a L → R ≡ R ← L ≡ R :- L
As partes esquerda L e direita R são complexos
sem atributos comuns entre eles, ou seja
atributos(L) ∩ atributos(R) = Ø
A parte esquerda L é denominada condição ,
premissa , antecedente , cauda ou corpo da regra
A parte direita R é denominada conclusão ou
cabeça da regra
109
Linguagens de Descrição Linguagens de Descrição
Lógica de 1ª ordem ou Relacional Pode representar objetos como predicados que especificam propriedades ou relações Cláusulas de Horn são um exemplo Ex: macho(X) ∧ progenitor(Z,X) ∧ progenitor(Z,Y) → irmão(X,Y) ou irmão(X,Y) ← macho(X) ∧ progenitor(Z,X) ∧ progenitor(Z,Y) ou irmão(X,Y) :- macho(X), progenitor(Z,X), progenitor(Z,Y) Lógica de 2ª ordem Extensão da lógica de primeira ordem, em que os predicados podem ser considerados como variáveis Ex: P 1 (X,Y) :- P 2 (X), P 3 (Z,X), P 4 (Z,Y) pode ser instanciado com: irmão(X,Y) :- macho(X), progenitor(Z,X), progenitor(Z,Y) Funções Matemáticas
110
Linguagens de Descrição de AlgunsLinguagens de Descrição de Alguns
IndutoresIndutores
Indutor IDL HDL BDL C4.5 Atributo Atributo CART Atributo Atributo CN2 Atributo Atributo Ripper Atributo Atributo Atributo Foil Atributo Primeira Ordem Primeira Ordem Rede Neural Atributo Função Matemática
111
Características Gerais dos Sistemas
de AM
Modo de Aprendizado
Paradigmas de Aprendizado
Linguagens de Descrição
Formas de Aprendizado
- Supervisionado
- Não Supervisionado
- Simbólico
- Estatístico
- Instance-Based
- Conexionista
- Genético
- Exemplos
- Hipóteses
- Conhecimento do Domínio - Incremental - Não Incremental
112
Paradigma de
Aprendizado
Classificador Específico para uma Aplicação
Sistema de
Aprendizado
Representação da ClassificaçãoRepresentação da Classificação
Conjunto de Exemplos
Valores dos Atributos
Classes Corretas
Esforço em Cada Etapa Esforço em Cada Etapa
0
10
20
30
40
50
60
Determinação de Objetivos
Preparação de Dados
Aprendizado de Máquina
Análise & Assimilação
Esforço (%)
EstruturaEstrutura
DadosDados
InformaçãoInformação
ConhecimentoConhecimento
115
Dado, Informação, Conhecimento Dado, Informação, Conhecimento
Dado: é a estrutura fundamental sobre a qual um
sistema de informação é construído
Informação: a transformação de dados em
informação é freqüentemente realizada através
da apresentação dos dados em uma forma
compreensível ao usuário
Conhecimento:
Fornece a capacidade de resolver problemas, inovar e
aprender baseado em experiências prévias
Uma combinação de instintos, idéias, regras e
procedimentos que guiam as ações e decisões
116
Importante Observar que...Importante Observar que...
Dado não é Informação
Informação não é Conhecimento
Conhecimento não é Inteligência
Inteligência não é Sabedoria
Resumo Resumo
Nesta aula foram apresentados conceitos e definições de
alguns termos amplamente utilizados em Aprendizado de
Máquina, além de uma descrição sobre as principais
linguagens de descrição
A investigação de estruturas diferentes, que podem ser
apropriadas para diferentes contextos, bem como o
entendimento do seu poder e limitação são necessários
para o uso com êxito de Aprendizado de Máquina
Quanto maior a compreensão sobre as estruturas
fundamentais usadas por classificadores, mais
adequadamente pode-se aplicar ou alterá-las com base
no conhecimento do domínio
Além da compreensão dos algoritmos de AM, é
igualmente importante poder avaliar seu desempenho, o
que veremos nas próximas aulas
Slides baseados no Capítulo 4 do livro:
Rezende, S.O. (ed).
Sistemas Inteligentes , Manole, 2003,
ISBN 85-204-1683-
Material elaborado por
José Augusto Baranauskas
Revisão 2007
