Thomas Bayes
(영국 통계학자, 철학자, 1702~1761)
Thomas Bayes 는 영국의 수학자, 장로 (Presbyterian minister) 로서 '베이즈 정리 (Bayes' Theorem)' 라는 확률이론을 형식화한 것이 사후에 출간되어 유명해 졌다. 그는 런던에서 출생하여 생전에 두개의 저서를 출간했다 : Divine Benevolence, or an Attempt to Prove That the Principal End of the Divine Providence and Government is the Happiness of His Creatures (1731), An Introduction to the Doctrine of Fluxions, and a Defence of the Mathematicians Against the Objections of the Author of the Analyst (1736 년에 익명으로 출판). 두번째 책은 The Analyst 의 저자인 George Berkeley 의 비판에 대해 Isaac Newton 의 계산 (calculus) 의 논리적 기초를 옹호한 것이다. 그는 1972 년에 Introduction to the Doctrine of Fluxions 의 영향으로 Royal Society 의 Fellow 로 선출된듯 하며 그는 살아있는 동안에는 수학관련 책은 출간하지 않은 것으로 알려져 있다. Tunbridge Wells 에서 사망하여 비국교도 (Nonconformist) 들이 묻혀있는 런던의 Bunhill Fields Cemetery 에 묻혔다.
역 확률 (inverse probability) 문제를 푸는 베이즈의 방법은 Essay Towards Solving a Problem in the Doctrine of Chances (1763) 에 나타나는데 그것은 그의 사후에 친구인 Richard Price 에 의해 Philosophical Transactions of the Royal Society of London 에 출간되었다. 그 essay 속에서 베이즈정리에 대해 서술하였다.
18 세기 초반에 특정 조건의 상황에서 어떤 사건의 확률에 관한 많은 문제들이 해결되었다. 예를들면 항아리속에 일정한 갯수의 흰돌과 검은돌이 주어졌을때 검은돌을 꺼낼 확률은? 이것은 'forward probability' 문제라고 불리운다. 그러한 문제의 반대 (converse) 도 주목의 대상이 되었다. 즉 하나 또는 여러개의 돌을 꺼낸 결과를 보고, 항아리속의 흰돌과 검은돌의 수는 어떻게 알수 있는가? 베이즈의 essay 는 The Doctrine of Chances (1733) 의 저자 Abraham de Moivre 가 제시한 유사한 문제에 대한 해법을 포함한다. Essay Towards Solving a Problem 에 더해서 일련의 시리즈가 그의 사후에 출간되었다.
베이즈 확률 (Bayesian Probability) 은 단지 어떤 임의변수 (random variable) 을 포함한 것이 아니라 어떤 종류의 확률의 응용에서 흔하게 (in common) 가지는 확률의 해석과 관련되어 주어진 이름이다. 이러한 의미로 1950년 쯔음부터 베이지언들이 사용해왔다. 베이즈 자신이 지금은 베이지언이라 불리는 광범위한 해석을 포용하였는지는 명확하지 않다. 그의 essay 만을 가지고 베이즈가 확률에 대해 어떠한 철학적 견해를 가지고 있었는지 추측하는 것은 어려운 일이다. 그의 essay 에서 베이즈는 확률을 다음과 같이 정의하였다 (Definition 5)
term :
Thomas Bayes 베이즈 확률 (Bayesian Probability) 베이즈 정리 (Bayes' Theorem) 베이즈 네트워크 (Bayesian network) 나이브 베이즈 분류 (Naive Bayesian Classification) 베이즈 추론 (Bayesian Inference) 불확실성 (Uncertainty) 확률 (Probability) 수학 (Mathematics) 인공지능 (Artificial Intelligence)
paper :
An Essay Towards Solving a Problem in the Doctrine of Chances, Phil. Trans., 1763
Andrew I. Dale. "Most Honourable Remembrance: The Life and Work of Thomas Bayes". Springer, 2003.
Stephen M. Stigler. "Thomas Bayes' Bayesian Inference," Journal of the Royal Statistical Society, Series A, 1982.
Stephen M. Stigler. "Who Discovered Bayes's Theorem?" The American Statistician, 1983
video :
뇌과학으로 본 인공지능의 현주소와 미래 - 1부 : afoofa Jung : 박문호 : 2016/04/07
뇌과학으로 본 인공지능의 현주소와 미래 - 2부 : afoofa Jung : 박문호 : 2016/04/07
site :
Thomas Bayes : University of St Andrews
International Society for Bayesian Analysis (ISBA) : Bayesian Statistics Personal Web Pages Who was The Reverend Thomas Bayes?
"On Some Recently Discovered Manuscripts of Thomas Bayes" : D.R. Bellhouse
"An Essay Towards Solving a Problem in the Doctrine of Chances" : Daniel Covarrubias
똑똑한 검색엔진의 비밀 '확률이론' : 오늘날의 컴퓨팅을 이끈 수학 천재 가운데 한 사람인 토마스 베이즈는 여러가지 면에서 보통 수학자들과는 다르다. 그는 방정식으로 신의 존재를 증명할 수 있다고 주장했으며, 그의 핵심 이론은 다른 사람에 의해 출간됐다....... 1702년에 영국 런던에서 태어난 베이즈는 훗날 장로교 목사가 됐다. 그의 논문 가운데 2편이 출판되긴 했지만, 가장 핵심적인 논문인 ‘우연이라는 원칙으로 문제를 해결하는 방법에 관한 논문’ (Essay towards solving a problem in the doctrine of chances) 은 베이즈가 죽고난 뒤 3년이 지난 1762년에서야 공개됐다. 그는 한번도 ‘베이즈의 이론’이라는 말을 직접 쓰지는 않았다. 최근에는 그가 당시 영국의 유명한 사상가들과 개인적인 서신을 교환했다는 사실을 증명하는 여러 통의 편지들이 발견됐다. 이 편지가 발견되기 전까지는 베이즈가 어떻게 유명한 왕족 모임의 회원이 될 수 있었는지 아무도 알 수 없었다.
신학자인 리처드 프라이스와 프랑스의 수학자 Pierre Laplace 는 일찍부터 베이즈를 옹호했다. 그러나 베이즈의 이론은 이후 부울 수학의 창시자인 조지 부울의 이론과 충돌하게 된다. 부울 수학은 대수 논리에 기반한 것으로, 이후 이분법을 탄생시켰다. 부울 역시 왕족 모임의 회원이었다.
베이즈 이론이 요즘 인기를 끌고있긴 하지만, 처음부터 인정받은 것은 아니다. 10년 전만 해도 베이즈를 연구하는 학자들은 별로 주목받지 못했다. 이후 수학 모델의 개선과 컴퓨터의 발전, 실험으로 밝혀진 결과들로 비로소 베이즈의 생각이 인정받게 된 것이다. 인텔 마이크로프로세서 연구소의 애플리케이션 소프트웨어 담당자인 오미드 모해담은 “베이즈 이론의 문제는 너무 과대 포장됐다는 점”이라며 “사실 베이즈 이론을 적용해서 할 수 있는 것이 없었다. 이 이론이 실제로 적용되기 시작한 것은 불과 지난 10년 사이의 일”이라고 말했다.
MS 연구소 수석 연구원인 Eric Horvitz 는 1980년대에 스탠포드 대학에서 확률과 인공지능을 공부했는데, 대학원에서 이 분야를 공부하는 학생은 그를 포함해 단 2명 뿐이었다. 대부분의 다른 학생들은 논리 시스템을 연구하며 ‘만약, 그리고, 그러므로’의 연역적 논리를 통해 세상만사를 해석하는데 열중했다. 호비츠는 “당시 확률은 확실히 유행에 뒤쳐진 분야였다”고 말했다. 하지만 논리 시스템으로는 예상외의 일들을 모두 설명할 수 없다는 것이 분명해지면서, 확률 분야가 부상하게 됐다. 또한 많은 연구자들은 인간이 ‘결정을 내린다’는 행위가 기존에 생각했던 것 보다 훨씬 더 신비로운 과정이라는 것을 인정했다. 칼러는 “인공지능을 연구하는 사람들은 숫자놀음을 꺼리는 편견이 있었다”고 말했다.
MS는 특히 베이즈의 이러한 확률이론을 신봉하는 업체중 하나이다. MS의 ‘노티피케이션(Notification) 플랫폼’은 확률 원리에 기반하고 있다. 앞으로 MS에서 발표할 소프트웨어에는 이 기술이 적용돼 메시지를 필터링하고 회의 일정을 계획하며, 사용자를 위한 대인관계 전략까지도 제시하게 된다. 만일 이 단계까지 성공적으로 진행된다면, 다음 단계는 ‘컨텍스트(context) 서버’이다. 컨텍스트 서버는 사람들의 일상 습관을 분석해 다양한 상황에서 생활을 도와주는 ‘전자 비서’개념이다 ......
베이즈의 이론은 한 문장으로 요약할 수 있다. “미래를 보려면 과거를 봐야 한다”는 것이다. 베이즈는 미래에 어떤 일이 일어날 확률은 과거 같은 일이 발생한 빈도수를 알면 계산할 수 있다는 것을 이론화했다. 동전을 던지면 떨어질 때 앞면이 나올 것인가? 실험에서 나온 데이터에 의하면 확률은 0.5이다. 스탠포드 대학 경영과학 및 엔지니어링 학과 교수인 론 하워드는 “베이즈의 이론은 모든 것이 본질적으로 불확실하며, 확률 분포도는 항상 다르게 나타난다는 것”이라고 설명했다. 예를 들면, 한 연구자는 동전 대신 플라스틱 압정을 던져 뾰족한 핀 부분이 위로 나올 확률은 얼마나 되는지, 또는 옆으로 떨어질 때 뾰족한 핀은 어느 방향을 향하게 되는 지 등을 실험했다. 이런 경우 핀의 모양과 가공시 오차, 무게 분포 등 여러가지 요인들로 인해 결과가 달라지게 된다.
베이즈 이론의 매력은 파격적일 만큼 단순하다는데 있다. ‘현실에서 얻은 데이터를 토대로 미래를 예측한다’가 전부다. 데이터가 많을수록 예측은 더 정확해진다. 베이즈 이론의 또 다른 장점은 자가 수정적이라는 것이다. 데이터가 바뀌면 저절로 결과도 수정된다. 확률적인 사고는 컴퓨터의 사용방법을 바꾸기도 한다. 구글의 보안 책임자인 Peter Norvig 은 “컴퓨터도 하나의 수단일 뿐이다. 컴퓨터에서 찾는 것은 일종의 참고 자료이지 결코 정답은 아니다”라고 말했다.
이같은 변화는 검색엔진의 발전에 큰 공헌을 했다. 몇 년 전 ‘불린 검색 엔진’은 검색어와 일치하는 정보를 찾기 위해 ‘만약, 그리고, 또는, 그러나’같은 말들을 검색어와 함께 사용해야 했다. 하지만 최근의 검색 엔진들은 좀더 복잡한 알고리즘을 이용해 데이터베이스를 샅샅이 뒤져 적당한 검색 결과를 보여준다. ......
....... 베이즈의 이론에서는 결과의 정확성을 높이기 위해 더 많은 데이터가 필요한데, 동시에 계산도 그만큼 복잡해진다. 이렇게 ‘그럴듯한 추측’을 ‘믿을 만한 결과’로 바꾸기 위해 필요한 복잡한 계산은 고성능 컴퓨터의 출현으로 가능하게 됐다.
베이즈 이론의 광범위한 사용에는 UCLA의 Judea Pearl 과 같은 학자들도 중요한 역할을 했다. 이들은 서로 전혀 다른 현상 사이에 존재하는 조건적 상관관계를 효과적으로 연구하기 위해 베이즈의 이론을 적용하는 방법을 밝혀냈는데, 이는 기존의 계산 횟수를 상당히 줄였다. 예를 들어, 폐암의 원인을 밝히기 위해 모든 사람들을 조사한다면, 폐암이 소수의 질병이라는 단순한 결론 외에는 아무것도 얻을 수 없을 것이다. 그러나 만일 흡연자들만을 대상으로 연구하게 되면 어떤 종류의 상관관계가 드러날 것이다. 또 흡연자와 함께 폐암 환자들을 조사해서 폐암과 흡연 사이의 관계에 대한 가설을 정립할 수도 있다.
요즘은 확률의 중요성에 대해 별 이론이 없지만, 적용방법에 대한 논쟁은 간혹 있다. 비평가들은 베이즈의 모델이 본질적으로 주관적인 데이터에 기초하고 있으며, 그 답이 정확한지 여부는 결국 인간 스스로 판단해야 한다고 주장한다. 인간의 사고 과정에서 일어나는 미묘한 감정을 확률적인 모델로는 완전히 설명할 수 없다는 것이 그들의 주장이다. .......