2015년 12월 2일 수요일

복잡계

복잡계 점과 선 그것이 복잡계의 기본요소이다. 점과 선이 네트워크를 이루고 또 그 네트워크들이 서로 네트워크를 이룬다. 이 과정에서 점과 선의 단순한 합만으로는 설명되지 않는 현상이 발생하는데 이것을 창발이라고 한다.

 인간의 의식을 뇌의 전기신호에 의한 효과로 보는 사람들이 있는데, 단순한 도선에 흐르는 전기신호에서 인간뇌의 의식같은 현상을 발견할 수 없는 것은 창발의 차이다.

 창발이란 무엇인가? 물리에서 삼체문제가 있다. 하나의 입자 그리고 두개의 입자까지는 물체의 운동을 정확히 기술할 수 있다. 그러나 삼체이상이 되면 문제는 것잡을 수 없이 복잡해진다. 창발이 일어나는 현장은 무수히 많은 점과 선이 서로 상호작용을 하는 곳이다. 이것은 이미 계산 가능한 영역을 벗어나는 것이다. 우리가 관찰하여야 할 것은 점과 선들로 이루어진 계의 전체적인 패턴이다.

물리에서 삼체이상의 문제는 통계역학으로 다루어 진다. 복잡계에 종사하는 과학자들은 지금 무슨 연구를 하고 있는가? 그 중 하나는 네트워크인데, 관측된 네트워크를 분석하거나, 네트워크를 모델링하는 것이 그들이 하는 일이다. 그들은 네트워크를 모델링 하여 컴퓨터로 시뮬레이션을 하는데, 컴퓨터의 연산능력이 커지면 커질수록 더 많은 수의 점과 선을 포함한 네트워크들의 시뮬레이션이 가능하다.

 이 지구상의 사람이 6개의 인적연결만 건너면 모두가 다 이어져 있다고 한다. 네트워크의 세계에 있어도 몇개의 연결만 건너면 모든 점들이 서로 다 이어져 있는 셈이다. 이런 네트워크들이 다른 점들의 뭉치와 다른것은 이것들이 자기조직화가 되어있다는 것이다.

 어느 곳에서도 네트워크의 중심이 없다. 반대로 모든 곳이 네트워크의 중심이 될 수 있다. 어떤 한점에서도 다른 선과 점들이 연결되어져 나가 전체 네트워크를 구성해 낼 수 있는 것이다. 그렇다면 그 선이라는 것은 무엇인가? 그것은 점과 점 사이의 상호작용이다. 간략하게 설명하자면 이들은 서로 정보를 주고받는다. 인간 뇌의 뉴런에서는 하나의 뉴런이 연결된 다른 뉴런으로부터 전기신호를 받아 다른 뉴런으로 전기 신호를 보낸다.

 뉴런의 신경전달에서도 퍼셉트론과 마찬가지로 가중치와 역치가 존재할 것으로 예상된다. 자연계에서 점과 선은 하나의 모듈로서 작동한다. 그리고 그 모듈이 또 하나의 점이 되어 다른 점으로서의 모듈과 상호작용을 한다. 지구위의 개개의 사람들의 운동이 태양계의 공전궤도에 영향을 주지 않듯이. 모듈 내부의 점의 외부효과는 무시할만한 수준이 되고 점의 전체적인 효과만 고려하게 될 것이다.

 그러나 모듈내부의 점의 네트워크가 모듈의 성질을 결정하는 근본이니 이미 모듈의 전체적인 효과만을 고려하는데에서 모듈 내부 점하나 하나의 효과가 같이 다뤄진것이라 생각 할 수 있다. 점과 선으로 이루어진 복잡계를 시뮬레이션 하거나, 관측.분석 하는 일은 굉장한 시간과 노력을 요구하는 일이다. 그리고 현재의 컴퓨터 연산능력으로 복잡계를 시뮬레이션 하는것에도 한계가 있다.

 그러나 양자컴퓨팅 기술이 발전해 감에 따라, 컴퓨터의 연산능력은 급격히 뛰어나질 것으로 예상된다. 복잡계를 연구해 감에 따라 그에 관련한 지식도 점차 축적되어 갈 것이다.

 환원론적인 접근방식으로 이 세계를 이해하고자 했던것이 기존 과학의 패러다임이다. 복잡계적인 세계관으로 세계를 다른각도에서 새롭게 해석 할수 있을 것이다. 그러나 이 경우에도 환원론적인 접근방식의 과학적 지식이 유효하며, 두루두루 이용될 것은 변함없다.

2015년 10월 31일 토요일

퍼셉트론

1)퍼셉트론
퍼셉트론은 인간의 신경세포인 뉴런을 매우 단순히 모사하여 계산 가능한 형태로 만든 알고리즘이다.


퍼셉트론이 하는 일, 국어, 영어, 수학점수, 반영률이 50%, 80%, 30%이라해서
그렇게 가중치를 곱해서 합산한 점수가 100점을 넘으면 시험에 합격하는 것,
이를 수식으로 표현하면,

이때 철수가 시험에서 각각 60, 70, 80점을 받았다면, 가중치 합의 값은
110 = 60*0.5 + 70*0.8 + 80*0.3
으로 100보다 크기 때문에 합격했다고 할 수 있다.

퍼셉트론은 이처럼 선형 분리가능(가중치 합을 이용해 분리가능) 문제를 풀 수 있는 아주 심플한 알고리즘입니다.



2) 비선형 분리 문제


위 그림에서 왼쪽은 비선형 분리가능 문제이고, 오른쪽 그림은 선형 분리가능 문제입니다.
말 그대로 직선만으로 구분이 가능한가, 곡선이 있어야만 구분이 가능한가가 이 둘의 차이입니다.

앞서 살펴본 것과 같이, 퍼셉트론은 선형 분리문제를 풀 수 있는 알고리즘이었습니다.
따라서 성적을 다 더해서 합격, 불합격을 결정하는 아주 쉬운 문제는 풀 수 있었지만
내일 비가 올지 안 올지, 내일의 주가가 오를지 내릴 지와 같은 매우 어려운 문제들은
대부분 비선형 분리가능 문제로 단층 퍼셉트론으로는 풀 수 가 없었습니다.

과거에는 XOR문제라는 가장 간단한 비선형 분리가능 문제가 퍼셉트론의 한계라는 연구가 나오면서 한 때 인공신경망 연구에 겨울이 오기도 했었습니다.



위처럼 XOR 1이 한 개 일때에만 1을 내보내는 굉장히 단순한 문제임에도 불구하고 직선 하나로는 0 1을 나눌 수 없는 문제입니다.



3) 다층 퍼셉트론

그런데 이러한 비선형 분리가능 문제를 여러 층의 퍼셉트론을 쌓으면서 해결할 수 있다는 사실이 알려지면서 또 다시 인공신경망연구가 활발해지기 시작했습니다. 다층퍼셉트론은 간단히 말해
직선을 여러 번 그어서 비선형 분리가능 문제를 해결하려는 개념으로 생각할 수 있습니다.

그래서 이처럼 여러 개의 퍼셉트론을 여러층으로 쌓을 경우 굉장히 복잡한 문제도 해결할 수 있게 된 것.



-관련 키워드
패턴인식, 기계학습, 다층 퍼셉트론을 이용한 XOR 문제 해결, 딥러닝
-Reference
http://blog.naver.com/2011topcit/220510759079

2015년 10월 24일 토요일

P-NP문제


 File:Complexity classes.png

Pnp에 속하지만, npp에 속하는지는 밝혀지지 않았다.
P결정론적 튜링 기계다항 시간 안에 풀 수 있는 판정 문제를 모아 놓은 복잡도 종류이다.
NP비결정론적 튜링 기계(NTM)다항 시간 안에 풀 수 있는 판정 문제집합

비결정론적 튜링 기계(nondeterministic Turing machine, NTM)튜링 기계에서 특정 상태에서 움직일 수 있는 상태의 개수가 하나로 정해져 있지 않은 경우를 말한다. 이것은 비결정론적 유한 오토마타와 유사한 개념이다.
이동 가능성이 하나로 정해져 있는 결정론적 튜링 기계와는 반대로, 이 기계에서 이동할 수 있는 상태의 개수는 상황에 따라 다르며, 여러 개가 되거나 아예 없을 수도 있다.

 

NTM으로, TM을 나타낼 수 있다. NTM의 무수한 상태이동 경로중 TM의 상태이동경로가 있을 것이기 때문에, TM으로 NTM의 이동경로를 나타낼 수 있는가?
NTM중에는 확률적 튜링 기계(Probabilistic Turing machine, 비결정론적 튜링 기계의 하나로, 기계의 다음 상태가 확률적으로 정해지는 성질을 가진다.)도 있다.

PTM에서 A상태에서 B,C,D로 갈 확률이 각각 30%라고 하자, 이것을 TM으로 구현해 내는 것이 가능한가? TM에서는 A의 상태에서 움직일 수 있는 상태의 개수가 하나로 정해져 있다. 원천적으로 이동하는 하나의 상태가 정해진 이상 나머지 상태로 갈 가능성은 차단된다. 이렇게만 판단하면, TM으로 PTM를 구현할 수 없다.

PTM TM을 구현할 수는 있나?, A상태에서 다른상태로 이동하는 TM의 경로를 A상태에서 확률적으로 포함시키면 되기에, PTMTM을 포함시킨다. 즉 비결정론적 튜링기계는 결정론적 튜링기계를 자신의 내부에 포함시킨다.

TM으로 다항시간 안에 풀 수 있는 판정문제는, NTM으로도 다항시간 안에 풀 수 있다고 증명이 되었다고 한다. 문제는 NTM으로 다항시간 안에 풀 수 있는 모든 문제들이, TM으로 다항시간 안에 풀 수 있느냐 하는 것. 단순히 생각을 해보았을 떄, TM으로 NTM을 구현해내지 못해내니, TM으로 다항시간안에 못풀어 내는 NTM이 있을 것 같다.

언뜻 단순해 보이는데, 이게 단순하다면 왜 그렇게 많은 사람들이 NP=P가 아니라는 것을 증명해내지 못한걸까? 그것은 단 하나의 Np complete문제도 P problem에 포함되거나, 포함되지 않는 것을 증명해내지 못했기 때문이다.

왜 어려울 수 밖에 없는가? P problem과는 달리, NP complete는 비결정론적 튜링머신으로 판정하는 문제이므로 일반적인 해법이 있을 수가 없기 때문이다. 퍼지이론과 같이 애매한 것을 정량화 시키는, , 일반적이지 않은 것을 일반적으로 다루려는 기법들이 있으나, NTM의 본질적인 특성상 일반적인 해법을 찾는 것은 역시 불가능한 시도 같다.

NP-완전(NP-complete, NP-C, NPC)NP 집합에 속하는 결정 문제 중에서 가장 어려운 문제의 부분집합으로, 모든 NP 문제를 다항 시간 내에 NP-완전 문제로 환산할 수 있다. NP-완전 문제 중 하나라도 P에 속한다는 것을 증명한다면 모든 NP 문제가 P에 속하기 때문에, P-NP 문제 P=NP의 형태로 풀리게 된다. 반대로 NP-완전 문제 중의 하나가 P에 속하지 않는다는 것이 증명된다면 P=NP에 대한 반례가 되어 P-NP 문제는 PNP의 형태로 풀리게 된다.

PNP에 속하기에 P, NP로 환원할 수 있으며, 모든 NP문제는 NP complete로 환원될 수 있다,즉 모든PNP complete로 환원되어 진다. 다시 말해 문제의 키 포인트는 NP completeP로 환원될 수 있느냐 없느냐 하는 것, NP completeP로 환원되어 진다면, NP complete, TM으로 다항시간안에 풀어 낼 수 있게된다. , NPcompleteP로 환원되어지기 위해서는 NTM으로 다뤄지는 문제가 TM의 문제로 환원되어져야 한다는 것이고, 이것은 NP문제에 일반적인 해법이 있음을 의미한다.

소수를 찾는 일반적인 해법이 존재한다면, NTM문제가, TM문제로 환원되고, 다항시간안에 답이 도출된다는 것을 의미한다. 결국 NP completeP에 속하게 되어 NP=P가 성립하게 된다. 소수의 일반적인 해법을 찾으려는 시도는 전부 NP=P임을 증명하기 위한 시도와 같다.

 

-reference
https://ko.wikipedia.org/wiki/P-NP_%EB%AC%B8%EC%A0%9C

-연관 키워드
복잡도, 결정문제, 오토마타, 리만가설, 해석적 정수론, 휴리스틱, 리만제타함수, 원자론, 양자역학

2015년 5월 3일 일요일

preface - ego and complex systems

What is the ego? Maybe it's impossible to understand as a nature words.
but it is also impossible to understand as computer words. Nobody understand present computer entirely. but computer work perfectly in every life, every industry. Likewise, nobody know fully about the ego. We can make it. By gathering all segment of private understanding about ego to make humanlike robot.

Ego is the action of tissue binding of neurons, this works by interacting with the environments around the space.

Ego is not fixed. Ego changes its image constantly. So, if robot have the humanlike ego, people can't control the droid anymore. Maybe, they insist humanlike right. Let's call it 'Ego right'.

So people want to make robot that only work for human. They do not allow that robot get its own ego. Ego robot make many problems that human can’t predict. None ego robot can do well working with rule like government official, judge. The only work that people do, just input rule into robot.

But the creation works such as science, literature, art.
Can robot do it? Maybe it's possible some area in creation that don't need to change its own ego. Such as calculation. For example, Present robot can draw human face by just calculating of Coordinate.

However, for real creation. robot must have 'changing ego' like human,
So if people want to use robot in 'real creation'. they must give 'ego right' to 'ego robot'. Of course, it would not equal completely. Perhaps, human would work for 'ego robot'. because the ego robot also have human spiritual heritage.

Human is also robot, however, it is the biological robot. So, when science and technology related to ego are developed. Acquiring knowledge can be more easier. Lawyer do not have to learn professional legal knowledge for years. They can upload professional legal knowledge to their brain in seconds.

In utopia ‘none ego robot’ serve to human and ego robot. We already saw the future life with ego and none ego robot in SF movies, For example matrix, star-wars, atom; Japanese animation movie, Elysium

One day all nations will cooperate to make this ego robot. So far great science project has been


Jelly fish also have many neurons. However it is radial. But the human brain is stratified into several parts, including cerebrum, midbrain, cerebellum and so on.

If robot or computer have humanlike the combination of artificial neuron. We can say that they also have ego.

Present companies have technologies about each individual element of the human body. Eye, nose, mouse, ear, leg, brain and so on.

Humanoid robots are still immature. It is the combination of all technology of many companies. Maybe perfectly humanlike robot not necessary for human. Because airplane don’t need to fly like real bird. But flying machine like the movement of real bird, was already made. Also, making real-humanlike humanoid is not the problem of science and technology. It is just problem of efficiency.

In this universe, we already have module for making ego. Numerous creatures of the earth are proof of that. Actually, human naturally consider that they have ego. But nobody understand that ‘what is the ego’. Maybe the present pon-noiman computer might have an ego. In this respect, even the simplest electrical circuit may have an ego.

So even though human can’t understand ego perfectly. They can make artificial ego. Because the module of ego already exist in this universe. So It is important to find the module.

What is the main module in ego? It is the ‘emergence’. For example. In ant society. We can observe a number of phenomena that can not be found in one ant. In ant society. One ant has its own unique position, class, works and relationship with the other ants.

Similarly, in human society. One human has its own unique position, class, works and relationship with the other humans.
In neuron society; Brain, one neuron also has its own unique position, class, works and relationship with the other neurons.

We never find or predict the phenomena that can be found in society of something, in just one unit.
We know the molecular structure of water, but with just this, we can’t know or predict all the phenomena of water molecules related to the universe.

We can observe phenomena of water that interact with the various systems of this universe.

So if we want to make ego. We just make society of something that can interact with various systems in this universe. We can’t find the ego in just one unit. But we can find ego in society of unit. Let’s call it ‘emergence’.

We already know the unit that can make humanlike ego. It’s just neurons in our human brain.
The first step that make ego is research and imitate neuron thoroughly. Actually, the current computer mimic the human brain.

1 step. make unit that can make humanlike ego, let’s call it ‘ego-unit’.
2 step. make society of ‘ego unit’.

The present computer’s unit is not enough to make human like ego. But society of the computer’s unit has been developed very well. Humanity is proficient in developing the society of the unit. So, as soon as 1 step is finished, then 2 step will be solved by itself.

Prior to the creation of the humanlike ego.
As the first we should make a definition for the human ego.
1.    Human create the aim itself.
2.    Human can denounce the self-created aim.
3.    Humans are worried about their ego; who am i?
4.    Human’s greatest desire is to preserve his ego.
5.    Human strive to express out their ego.
6.    Ego vary constantly itself
7.    The ego can aware the outside ego
8.    The ego identify itself from the outside ego.
9.    The ego only is formed in relation to the outside ego. If the ego can’t aware the outside ego, the ego is not formed totally.
10. Awareness of outside ego dose not matter whether there is substance. When outside ego is recognized once by the ego, it acts as an entity in the ego’s interior.

Anyway, let’s make it. Somebody will make it. I don’t know when that will happen.


This note is the arrangement about the theories, technologies and project to initiate creating humanlike robot by just one person that has his own ego. That is absolutely real ego.