Le concept principal du jujutsu est le ju, littéralement la « souplesse », c'est-à-dire éviter l'attaque et la contrôler, sans opposition de force.

Par cette technique, Ju yoku go o sei suru : le doux vainc le dur. Les méthodes de combat connues comme jutsu sont vieilles de 1 500 ans au moins. Les débuts du jujutsu peuvent être situés dans la période turbulente au Japon qui s'étalait entre le VIIIe et le XVIe siècle.

Cette période connut au Japon d'incessantes guerres civiles et les systèmes d'armement classiques furent développés et éprouvés sur les champs de bataille. Les techniques de combat rapproché faisaient partie intégrante de ces systèmes afin de combattre efficacement des adversaires portant armes et armure.

La naissance du jutsu coïncide probablement avec l'origine de la classe des samouraïs datée à l'an 792. L'armée était constituée à cette époque de soldats se déplaçant à pied et armés de javelots. Les officiers étaient recrutés parmi les jeunes fils des grandes familles et étaient formés au maniement de l'arc, au commandement des troupes et également au combat sans armes. L'empereur Kammu construisit le Butokuden, une école formelle pour ces officiers que l'on connait sous le nom de samourais.

A la fin du XIIIe siècle, les Mongols tentent d'envahir le Japon et les samouraïs se défendent durant des années dans de terribles combats.

Au XVe siècle, les maîtres d'armes établirent des écoles afin d'enseigner leur style du kenjutsu, l'art de l'épée. Entre 1467 et 1477, la guerre d'onin fait rage, cette période voit le déclin du pouvoir des shoguns et le début du Sengoku Jidai, l'« age du pays en guerre », qui va durer cent cinquante ans.

Le premier jutsu ryu reconnu fut formé par Takenouchie Hisamori en 1532 et consistait aussi bien en des techniques usant du katana (sabre), du bo (baton) et du tanto (couteau-sabre) que du combat à mains nues. Les sauts et les coups de pied n'étaient peu ou pas enseignés dans le jutsu puisque les techniques étaient souvent destinées à des combattants portant une armure et que ces techniques sont risquées et difficiles dans une situation de rue (vêtements mal adaptés, risque de glisser et tomber, de se faire saisir la jambe…).

Le terme jujutsu commença à être utilisé vers 1600.