contar registros

Hola chicos tengo un query que deberia de contar registros de una base de datos por ejemplo mi query vota 2 columnas una que es agente y la hora que la hora cuando ejecuto el query me vota la informacion de esta manera

agente    hora

2               4

1               4

y lo que me deberia de salir es esto

agente      hora

2                4

en pocas palabras contar la cantidad de registros que tengo a esa hora

les dejo mi query

select count(agent) as agente,datepart(hour,convert(varchar,start_time,8))as hora 
from easy..ag_in_cp_log 
where campaign='64' 
and convert(varchar(10),start_time,103)='04/05/2013' 
and datepart(hour,convert(varchar,start_time,8))='4' 
group by agent,datepart(hour,convert(varchar,start_time,8))