أُنشئت وزارة الخارجية في الاتحاد الألماني الشمالي في عام 1870 ورئيسها الذي عين لأول مرة في عام 1871 برتبة وزير الخارجية.
عندما نص الدستور الألماني لعام 1871 على تعيين المستشار باعتباره الوزير الوحيد المسؤول عن الحكومة ومنذ أن شغل المستشار منصب وزير الخارجية في بروسيا عموما فإن وزير الخارجية قد قام بدور أكثر موضوعا كمساعد للمستشار حيث عمل إلى حد كبير على صياغة المراسلات بدلا من توجيه الواقع لتشكيل السياسة الخارجية.
وكان هذا صحيحا بشكل خاص خلال مستشاري أوتو فون بسمارك بين عامي 1871-1890 وبرنارد فون بولو بين عامي 1900-1909 وكلاهما كان لهما خبرة سابقة كبيرة في الشؤون الخارجية بينما كان للأمناء في بعض الأحيان نفوذ أكبر على السياسة الخارجية.
من الجدير بالذكر أن غوستاف ستريسمان أحد وزراء الخارجية الأكثر نفوذا في ألمانيا والحائز على جائزة نوبل للسلام عام 1926
وفي عام 1919 رفعت جمهورية فايمار منصب رئيس وزارة الخارجية إلى منصب وزير الخارجية المسؤول عن وزارته.
ومع تشكيل الحكومات الآن بواسطة أحزاب تدخل في تحالفات مع بعضها البعض حصل الوزراء الأفراد أيضا على استقلال من المستشار.
ظلت وزارة الخارجية غير متأثرة نسبيا بتأسيس النظام النازي في عام 1933 حيث بقي الوزير كونستانتين فون نيورات في عام 1932 في منصبه حتى عام 1938 ومع ذلك تم تهميش المكتب بشكل متزايد في عملية صنع السياسة الفعلية
بعد الحرب العالمية الثانية ظهرت دولتان ألمانيتان منفصلتان في عام 1949 هما جمهورية ألمانيا الديمقراطية في الغرب وجمهورية ألمانيا الديمقراطية التي يحكمها الشيوعيين في الشرق.
في حين أن الاتحاد السوفياتي استعاد ظاهريا السيادة السياسية على قمره الصناعي وسمح لوزارة الخارجية في جمهورية ألمانيا الديمقراطية تم تقليص سيادة ألمانيا الغربية رسميا من قبل القوى الغربية وخاصة في مجال السياسة الخارجية.
وذلك من حكومة التحالف الكبير عام 1966 في كورت جورج كيسنجر وما بعده يشغل هذا المنصب عضو من الشريك الأصغر في الائتلافات. لذلك يشغل وزير الخارجية في الغالب منصب نائب رئيس ألمانيا على الرغم من وجود استثناءات ملحوظة كان آخرها خلال ولاية فيليب روسلر كنائب للمستشار من عام 2011 إلى عام 2013.
