contar registros

pero si no le pongo el agrupar por agente

me vota informacion de esta manera

hora       agente

4              3

y me deberia de mostrar

hora         agente

4                 2

ya que solo hay dos registros