¿Cómo contar la cantidad de bytes en un archivo, agrupando los mismos bytes?

Esto usa od para mostrar un valor hexadecimal por línea, luego ordena y cuenta:

od -t x1 -w1 -v -An mybinaryfile | sort | uniq -c

(-w1 es una extensión, POSIX no lo exige).

Usar Perl para desempaquetar el archivo sorbido en una matriz de bytes y luego usar un hash para contar bytes únicos:

printf '\xA0\x01\x00\xFF\x77\x01\x77\x01\xA0' | 
  perl -0777 -nE '
    @bytes = unpack("C*",$_) 
    }{ 
    $counts{$_}++ for @bytes; 
    for $k (sort { $a <=> $b } keys %counts) {
      printf "%02X: %d\n", $k, $counts{$k}
    }
 '
00: 1
01: 3
77: 2
A0: 2
FF: 1

Si una versión suficientemente reciente de List::MoreUtils está disponible, es posible que pueda simplificar el conteo usando su frequency función.