Java 101

Antes de falar de Memória em programas Java, precisamos definir o que é Memória. Memória é o principal recurso de um computador junto com a CPU. A função da CPU é executar operações que alteram a memória e a memória é responsável por quase todas as operações de um computador. Tudo se comunica através da memória. Mas como Java é uma linguagem de alto nível, não temos acesso a memória completa, ela é gerenciada pelo Sistema Operacional e pela JVM.

Programas Java rodam dentro de uma Máquina Virtual, logo não precisamos nos preocupar com a alocação de memória. Toda vez que nosso programa precisar de mais memória ela será fornecida automaticamente. Esse tópico é muito importante quando formos falar sobre o tuning de aplicações Java, uma forma de garantir a performance. Precisamos entender que cada objeto e cada linha de comando ocupa um posição da memória. A memória é como um caderno de papel que pegamos pra fazer conta, cada operação realizada ocupa um espaço e quando não há mais espaço na folha temos a opção de pegar uma nova folha ou apagar uma conta já finalizada.

A memória é volátil. Isso significa que toda vez que precisamos salvar uma informação que é relevante ou escrevemos ela em um banco de dados ou escrevemos em um arquivo. O "caderno" é apagado toda vez que o computador reinicia.

Talvez você já tenha ouvido falar de heap ou stack, essa são dois tidos de memória distintas que existem em todos os programas. Vamos tentar entender elas sem falar de Java?

Stack significa pilha que é um conceito fundamental em computação. Toda pilha é uma estrutura que você pode apenas remover o elemento superior e quando você adiciona elementos você adiciona em cima do último elemento. Você não pode pegar o terceiro item de uma pilha, você tem que remover os 3 itens superiores. Essa é a memória responsável pela execução do seu programa, cada vez que você entra em um bloco de execução, você adiciona elementos a pilha, quando você sai de um bloco de execução você remove. Para cada execução existe uma stack especifica, isso significa que um programa single thread vai existir apenas uma stack, já um multi-thread terá várias stacks.

Já heap significa amontoado, ou seja, é uma memória sem organização, sem hierarquia. A memória heap é usada conforme a necessidade do programa e pode ser compartilhada entre as várias pilhas de execução. Cada programa deve alocar e desalocar espaços na memória heap, a alocação é feita por uma chamada de sistema (system call) malloc (ou calloc) e deve ser liberada pelo programa usando free.

Quando uma porção da memória é alocada, tudo que o sistema operacional precisa saber é o tamanho da memória que o programa necessita, assim o sistema operacional retorna o endereço de memória onde essa porção de memória foi alocada. Quando o programa não precisa mais dessa posição de memória ela deve ser liberada, para liberar o sistema operacional precisa do endereço de memória que deve ser desalocada. Quando falamos "endereço de memória" estamos falando de um endereço físico mesmo, é a posição da memória que o sistema operacional achou conveniente oferecer ao programa. Com a posse desse endereço o programa pode manipular a memória, por exemplo se estamos falando de um array, o programa pode fazer operações matemática para acessar as posições. Esse é o conceito de ponteiro, ele aponta para uma posição de memória, mas é apenas um número que representa um endereço físico.

— E se eu não desalocar a posição de memória?

Todo programa tem que ter muito cuidado ao usar a memória por dois motivos. Primeiro memória é um recurso finito, compartilhado e escasso. Isso significa que se seu servidor tem 10GiB de memória RAM, todos os processos só podem usar 10GiB de memória RAM. Caso seja necessário mais memória, o sistema operacional vai criar um arquivo de paginação que podem degradar a eficiência dos programas em execução. Depois cada programa deve operar com o mínimo de memória possível, logo a alocação e liberação de memória deve ser feita de maneira consciente, se seu programa começa a alocar memória a eficiência dele vai degradar até que o sistema operacional simplesmente, e sem cerimônia, vai finalizar a execução. Então quando um programa simplesmente para de funcionar sem nenhum motivo aparente, a primeira coisa que um desenvolvedor observar é o consumo de memória, se ele está crescendo até o programa ser finalizado isso pode ser um sintoma de um problema chamado Memory Leak (vazamento de memória em tradução livre).

Memory Leak acontece quando porções de memória são alocados mas não são desalocados criando porções da memória não utilizadas até não haver mais memória disponível. Um programa com memory leak pode comprometer a eficiente de um servidor ou até de um cluster.

— E porque eu preciso saber disso se vou programar em Java?

Porque esses conceitos são importantes para você fazer um uso consciente da memória. Você já parou para pensar que ao declara um objeto você ocupa um espaço físico? Mas agora vamos rever todos esses conceitos em Java.

Na JVM também existe a memória heap e a stack. A stack irá conter todas as informações de execução e os valores das variáveis primitivas, quando uma variável é um objeto a stack contém uma referência para a heap. Todo objeto é alocado na heap, mas ele não ocupa uma posição fixa pois a heap é gerenciada pela JVM. Diferentemente das linguagens de baixo nível, em Java um novo objeto já cria uma nova alocação de memória sem precisar interagir diretamente com o sistema operacional, mas quando o objeto não é mais necessário ele não precisa ser liberado, pois a JVM tem um processo chamado Garbage Collector que remove da heap todo objeto que não é mais referenciado.

Já a heap será dividida entre várias regiões. As primeiras regiões são a Young Generation e a Old Generation, como o nome já demonstra na Young Generation estão localizados os objetos gerados recentemente e na Old Generation estão os objetos mais antigos. Da mesma forma a Young Generation é dividida entre Eden, S1 e S2 (S de Suvivor 1 e 2, que significa sobrevivente) onde Eden é a região onde os objetos nascem e depois migram pra S1 e depois pra S2.

— Mas como acontecem essas migrações? Porque eu preciso saber disso?!?

Essa informação é importante por dois motivos. O primeiro deles é que o ciclo de vida de um objeto impacta na performance pois a operação feita pelo Garbage Collector é uma operação custosa, já vi processos que 30% do tempo de execução era gasto para liberar memória. O segundo motivo é que, conhecendo o ciclo de vida de um objeto, podemos ajudar o Garbage Collector a eliminar objetos descartáveis.

— Mas qual é o ciclo de vida de um objeto?

Quando a JVM encontra um new ObjetoX(), ela vai alocar o espaço necessário na Eden. Se há espaço suficiente, tudo bem. Se não há espaço suficiente o Garbage Collector vai fazer uma limpeza na Eden descartando todos objetos que não são referenciados na stack e movendo todos os objetos restante para a S1. Se há espaço suficiente na S1, tudo bem. Se não há espaço suficiente o Garbage Collector vai fazer uma limpeza na S1 descartando todos objetos que não são referenciados na stack e movendo todos os objetos restante para a S2. Se há espaço suficiente na S2, tudo bem. Se não há espaço suficiente o Garbage Collector vai fazer uma limpeza na S2 descartando todos objetos que não são referenciados na stack e movendo todos os objetos restante para a Old Generation. Se há espaço suficiente na Old Generation, tudo bem. Se não há espaço suficiente o Garbage Collector vai fazer uma limpeza na Old Generation descartando todos objetos que não são referenciados na stack. Quando essa operação for executada e a JVM não conseguir alocar espaço, a JVM vai lançar uma exceção: Exception in thread thread_name: java.lang.OutOfMemoryError: Java heap space.

As informações sobre a classe ObjetoX ficam armazenadas no Metaspace que fica responsável por armazenar as informações de classes e ClassLoaders. O Metaspace pode também ser alvo de uma limpeza do Garbage Collector, mas ele só irá atuar se não houver mais espaço no Metaspace. O Metaspace pode, também, conter referências a objetos que estão na heap, qualquer campo estático (que usa static) faz parte da classe e não do objeto e criará uma referência do Metaspace para a heap.

— Mas na descrição do Garbage Collector só se falou de referência da heap?

SIM! Por precisamos entender que uma classe pertence a um ClassLoader e se o ClassLoader não for mais usado na heap, ele pode ser eliminado. Um campo estático só será liberado se o ClassLoader for descartado pelo Garbage Collector ou se o valor dele for alterado para null. O ClassLoader é um objeto que tem como responsabilidade ler as informações da classe, ele pode ser definido dinamicamente e sempre tem uma estrutura em árvore, ou seja, se a classe não for encontrada nele será procurada no ClassLoader pai, se não houver ClassLoader pai a JVM lança uma ClassNotFoundException.

Como falamos, o principal problema que o mau uso da memória pode nos trazer é lentidão ou vazamento de memória, mas como podemos analisar se nosso programa tem esses problemas?

Podemos usar ferramentas que a própria JVM nos dá para ver o que está acontecendo na memória.

Se seu processo está gastando muito tempo com o Garbage Collector pode ser que algumas ações devam ser tomadas. Não existe uma regra padrão sobre como se otimiza a memória pois cada programa tem um comportamento diferente.

O ideal é construir um modelo de otimização, você precisa de dados para isso. Primeiro coloque seu programa em execução com determinada configuração, depois registre o número máximo de requisições por segundo, o tempo usado com Garbage Collector e a latência de resposta de uma requisição. Depois vá alterando as configurações e veja como esses valores se comportam.

Eu já trabalhei em um sistema que era possível configurar o número de threads de execução e a performance estava degradada porque a pessoa que dava suporte configurou um elevado número de threads. A solução nesse caso foi reduzir o número de threads e rodar outra instância em paralelo.

Com esse experimento, você será capaz de dizer o que acontece com o sistema se você reduzir o tamanho da heap ou se você aumentar o tamanho do Eden, etc.