Считалось, что наиболее древние известные бесчелюстные животные, напоминающие рыб, известны из раннего ордовика (около 450—470 миллионов лет назад). Однако в 1999 году в китайской провинции Юннань были найдены окаменелости рыбообразного существа Haikouichthys из группы бесчелюстных возрастом около 530 миллионов лет (ранний кембрий). Возможно, подобные формы были предками всех позвоночных.
С развитием челюстей из одной из жаберных дуг возникли первые рыбы. Кроме челюстей, рыбы имеют парные плавники, внутреннее ухо с тремя полукруглыми каналами и жаберные дуги. Несмотря на появление первых челюстноротых рыб еще в ордовике, они занимали подчиненное положение вплоть до девона. Таким образом, рыбы и бесчелюстные существовали больше 100 миллионов лет в условиях преобладания бесчелюстных, в отличие от настоящего времени.
Хрящевые рыбы появились на рубеже силура и девона, около 420 миллионов лет назад, достигнув рассвета в в карбоне. Костные рыбы водятся в мировых океанах как минимум с девона, не исключено, что они существовали уже в силуре.
Более половины всех живущих ныне видов позвоночных, а именно, согласно базе данных FishBase, около 31 тысячи, относятся к рыбам. Число признанных видов продолжает меняться вследствие открытий новых видов, а также таксономических ревизий отдельных групп рыб. Нынеживущие рыбы представлены двумя классами: хрящевые рыбы