sdl et clavier

Bonjour, j ai un petit probleme avec SDL et la gestion du clavier..
je met:
while(done == 0)
{
//...
while ( SDL_PollEvent(&event) )
 {
if ( event.type == SDL_KEYDOWN )
{
if ( event.key.keysym.sym == SDLK_ESCAPE ) { done = 1; }
}
}
//...
}

Pour que le programme quite quand on appuie sur echap, mais..
ça ne marche qu'1 fois sur 5 en gros, et je n arive pas a trouver pourquoi ni comment faire en sorte que ça marche toujour..
Un peu d aide svp