阴阳术源自古代中国的自然哲学思想与阴阳五行学说，其创始可归结于盛行于战国末期到汉初的阴阳家流派。当时以齐国人邹衍、邹爽为主要代表。阴阳家流派的哲学思想主要是“阴阳说”和“五行说”。“阴阳说”是把“阴”和“阳”看作事物内部的两种互相消长的协调力量，认为它是孕育天地万物的生成法则。而“五行说”则是由“金、木、水、火、土五种基本元素不断循环变化”的理论，发展出“五行相生相克”的理念。
阴阳家流派将自古以来流传的数术思想，与阴阳五行学说相结合，并进一步发展，建构了规模宏大的宇宙图式，尝试解说自然现象的成因及其变化法则。在蒙昧的科学洪荒时代，为了避免灾厄，人们总是希望能预先得知天地变迁的异动，“阴阳五行说”的出现将这一愿望变成了现实，华夏民族的天文学、气象学、化学、算学、音律学和医药学，都是在阴阳五行学说的基础上发展起来的。
时至公元6世纪，当时位於高丽半岛的百济与日本交通频繁，中国的阴阳五行学说糅合了道教咒术与密教占术，在此时传入日本，被视为是“珍贵的国外科学与技术”。在日本登陆后，又渗透了很多当地文化，比如“万物有灵”的观点，逐渐发展成富有特色的一门自然科学与咒术系统，其中“式神”和“咒”更成为人尽皆知的神道术语。阴阳术也成为日本法术的一个代名词。
例如，日本阴阳术中的式神，指的是为阴阳师所役使的灵体，其力量与操纵的阴阳师有关。“式”者，侍也。式神可以理解为是“侍神”的意思，就是侍奉其主的神怪或是灵体。操控式神是阴阳术师的主要法力技能。有通过封印函定下契约书的，有通过结印方法降服的，有以朋友关系自愿递交，可以剪纸而成形，念出约定的咒语，随时控制召唤出来，连人的魂魄都可以使用，也有以活的生物为凭借做为式神。
阴阳术的应用，一开始是为了国家统治上的需要，例如判定祥瑞灾异，或於建立新都时，勘定风水、地相，以寻求思考和行动上的参考准则的一切思想和理论，甚至包含军事战略及作战情报的搜集也都逐渐成为其执掌之一。
平安时代后，为了回应朝廷贵族的需要，阴阳师也开始占卦、祭祀、判定吉凶时刻或方位。此时的阴阳术，兼备了占卦、祭祀、天文、历法等等应用，上至国运皇命，下至庶民之事，都可运用之来解释。有名的圣德太子，就是运用这门知识的佼佼者，笃信佛教的他在制定“冠位十二阶”及服装颜色时都曾考虑到阴阳五行的配合。
“阴阳术”学问给日本社会带来极大影响，掌握并使用阴阳术的日本阴阳家，也即日本小说、漫画里常出现的“阴阳师”也成为了热门“职业”，还出现了像安倍晴明这样的佼佼者，阴阳术的文化地位也因此得到提升。
然而时代的改变和科学文化水平的不断进步，也对阴阳术这门学科产生了冲击，时至明治时代，在明治维新的时代浪潮下，阴阳道被以“淫祠邪教”的名义废止，部分内容被以民间信仰的名义残存下来，神社神道也与阴阳道决裂，阴阳术的繁荣自此不如往昔。