No topo do Top 3: transparente, para quem quiser ver

Você pode até achar que nós tivemos sorte. Que estávamos no lugar certo, na hora certa quando começamos nossa pequena empresa, já que hoje nos tornarmos o principal fornecedor de cibersegurança do mundo. Você estaria errado. Para dizer o mínimo. Deixe eu contar uma história.

Na verdade, voltando naqueles dias, logo no início de nosso trabalho com antivírus, estabelecemos uma meta para nós mesmos. Um objetivo incrivelmente ambicioso.

Eu me lembro muito bem. Meu amigo de longa data, Alexey De Mont De Rique, e eu estávamos na parada esperando nosso tram, o número seis, não muito longe da estação de metrô Sokol, em Moscou, no ano de 1992 – quando trabalhamos 12 a 14 horas por dia (‘Papai trabalhando!’, era como meus filhos me chamavam). Sugeri a Alexey que “precisamos estabelecer uma meta”. Sua resposta foi algo do tipo: ‘Ok.

Que objetivo, exatamente, você realmente acha que precisamos definir, e quão persistentes devemos ser para alcançá-lo? A resposta dele foi mais ou menos essa. Repliquei sem pestanejar: “Nosso objetivo deve ser criar o melhor antivírus do mundo!” Alexey riu. Mas ele não tentou tirar essa ideia da minha cabeça. Em vez disso, simplesmente partimos em nossa jornada para alcançar a meta – trabalhando duro e sempre com esse objetivo em nosso horizonte. E funcionou!

Mas como, exatamente?

Com muito trabalho árduo, com inventividade e de alguma forma conseguindo sobreviver e prosperar durante aqueles tempos difíceis na Rússia [Rússia dos anos 90: o colapso da União Soviética e sua economia de comando, as lutas para mudar ‘instantaneamente’ para uma economia de mercado, inflação, desemprego, ilegalidade…]. Trabalhamos sem parar. Eu detectei novos vírus; Alexey codificou a interface do usuário; e o editor de banco de dados antivírus, Vadim Bogdanov (Assembler Jedi), usou a Força para reunir as várias ferramentas de computador necessárias para me dar condições para eu executar meu trabalho. Sim, no início dos anos 90, éramos apenas três! Então depois éramos quatro, depois cinco, então…

Agora, lembre-se de como eu comecei este post dizendo que nosso sucesso não era questão de sorte? Nem de estar no lugar certo, na hora certa? Bem, confesso, havia alguma sorte envolvida: em 1994, foram realizados os primeiros “Jogos Olímpicos de Antivírus” do mundo – testes independentes de software de segurança na Universidade de Hamburgo. Claro, tivemos a oportunidade de ter realizado esse teste independente. Mas não foi sorte termos vencido!

Sim. Conseguimos o ouro (um costume que nos acompanha até hoje – como detalharei neste post). Então, quase desde o início, obtivemos os melhores resultados em Hamburgo. Era fascinante. Seguimos recebendo medalhas de ouro em outros testes independentes assim como nessa época. Viva!

Aqui está uma foto de quando já tínhamos quatro anos, aliás. Eu acho o Vadim foi o autor da foto, nela da esquerda para a direita – Alexey De Mont De Rique, Andrey Krukov (ainda associado a K até hoje) e eu.

Na verdade, os testes antivírus independentes também ocorreram antes, mas nunca houve algo ‘olímpico’ como em Hamburgo; os cenários eram limitados, do tipo: como alguns antivírus detectam as ciberbactérias mais maliciosas. Por exemplo, um mês antes do teste da Universidade de Hamburgo, o ICARO (Organização Italiana de Pesquisa de Antivírus de Computadores, na sigla em inglês) testou o potencial de detecção de antivírus, considerando apenas um par de vírus super mutantes. Obviamente, alçamos os 100%. Aliás: ambos os vírus eram baseados no MS-DOS – 16 bits; pouco relevantes nos dias de hoje.

Então, já deu para entender: desde o início – e depois, e ainda hoje – sempre estabelecemos o objetivo ambicioso de criar as melhores tecnologias do mundo. Mas os usuários nunca confiam cegamente nos fornecedores sobre o que é melhor. E por que deveriam? Consequentemente, em paralelo ao desenvolvimento da própria indústria de cibersegurança, também cresceu uma indústria de laboratórios de testes independentes.

Mas, tendo começado a participar de todos os testes, encontramos um ponto de dificuldade…

Não é segredo para ninguém que cada laboratório de teste usa seu método de análise diferente, e os sistemas de avaliação também são diversos. Mas isso dificulta a comparação entre eles. Além disso, sempre haverá uma imagem mais verdadeira do cenário quando todos os participantes do mercado de antivírus estão representados. Exemplo: um nível de detecção de 99%: por si só, isso não faz sentido. Se todos ou a maioria dos concorrentes têm 100%, 99% é um resultado ruim. Mas se todos ou grande parte dos concorrentes têm porcentagens bem mais baixas, como, digamos, 90%, 80% ou menos, o 99% está entre os primeiros lugares do pódio.

E é por isso que – internamente – começamos a usar uma métrica agregada chamada Top3, que reúne resultados absolutos e relativos em todos os testes para todos os fornecedores.
Como eu disse – era para análise interna. Foi usado como uma referência da Kaspersky e ajudou nossa equipe de Pesquisa e Desenvolvimento a fazer melhor, mais rápido e mais forte. Foi só muito mais tarde, em 2013, quando percebemos: certamente o Top3 deveria se tornar público! Quero dizer – por que não? Portanto, antes que você pudesse dizer “como não pensamos nisso antes?”, ele se tornou público. Por quê? Desse modo, poderíamos responder com base em um indicador, de forma rápida e sintética a questionamentos como: ‘Prove para nós como suas tecnologias são boas!’ (Resposta: ‘Confira o Top3!’, Caso você não tenha prestado atenção lá atrás).

Então, sobre o Top 3. Como obtemos as estatísticas?

Primeiro, levamos em consideração todos os laboratórios de teste de domínio público autorizados que realizaram testes antimalware durante o ano.

Segundo, levamos em conta todo o espectro de testes desses laboratórios, crucialmente – de todos os fornecedores participantes.

Terceiro, reunimos: (i) o número de testes nos quais um fornecedor participou; (ii) a porcentagem de vitórias definitivas absolutas; e (iii) a porcentagem de conquistas em prêmios (três melhores lugares). E decidimos fazer uma métrica 3D para mostrar os três em um gráfico.

Aqui estão os critérios mais importantes para a seleção dos testes incluídos para este indicador:

1) Os testes precisam ser organizados por laboratórios que são amplamente reconhecidos em todo o mundo e possuírem anos de experiência (laboratórios de curta duração que aparecem e desaparecem rapidamente não estão incluídos);

2) Os testes precisam ter uma metodologia transparente;

3) É necessário garantir a transparência dos resultados – os fornecedores devem ter a possibilidade de verificar quaisquer resultados ruins significativos;

4) Testes independentes e encomendados por fornecedores ou por terceiros são permitidos para inclusão na métrica;

5) Foram considerados tantos os testes que participamos como aqueles em que não. Isso garante a transparência e a objetividade da métrica e exclui a possibilidade de não inserção de testes nos quais nossos resultados podem não ter sido muito bons; todas as qualidades técnicas e todos os testes transparentes estão incluídos;

6) Todos os relatórios de resultados de testes usados devem ser publicados em inglês.
Desde o seu início, a metodologia para os cálculos quase não foi alterada; apenas pequenas correções foram feitas para aumentar a precisão, mantendo total imparcialidade quanto aos resultados de qualquer um dos participantes.

Uma versão interativa dos resultados do Top3 nos últimos anos está aqui. Acesse também a versão anual de 2019. E sim, aquela enorme esfera verde no canto superior direito somos nós! E sim, é verdade que devemos gostar do canto superior direito: nunca o deixamos!